Datanı Araşdırma və Modelləşdirmə: Statistika və Proqnoz Modelləri

OSEMN çərçivəsinin üçüncü və dördüncü mərhələləri — araşdırma (explore) və modelləşdirmə (model) — datanın əsl gücünün ortaya çıxdığı yerdir. Araşdırmada datanı tanıyırsan, modelləşdirmədə isə gələcəyi proqnozlaşdırırsan. Bu yazıda datanın «dilini», əsas statistikaları və başlıca model növlərini izah edirik.

Bu yazı data analitikasi nedir bələdçisinin davamıdır.

Datanın dilini öyrənmək

Data savadlılığını fransız və ya ispan dili kimi düşün: nə qədər çox anlasan, o qədər yaxşı istifadə edərsən. Araşdırmaya datana suallar verməklə başla:

• Neçə data mənbəyim var və hər biri neçə fayldan ibarətdir?
• Fayllar nə boydadır — bir neçə kilobayt, yoxsa qiqabaytlarla?
• Hər datasetdə neçə sətir və sütun var?
• Hər sütunda hansı tip data var?

Sütunlardakı data tipləri müxtəlif ola bilər: rəqəmsal, mətn, boolean («true»/«false»), və ya təqvim (tarix və vaxt). Vacib bir ayrım: data rəqəmsal (numerical/quantitative), yoxsa kateqoriyal (categorical)? Kateqoriyal data fərqli qruplara düşür — məsələn, dondurma dadları və ya marketinq kanalları (Email, TV, Social Media).

Araşdırma praktikada: dedektiv işi

Araşdırma mərhələsində sən əslində bir dedektivsən — datanın səthinin altındakı nümunələri, trendləri və anomaliyaları axtarırsan. Praktik olaraq bir neçə sualla başlayırsan: hansı sütunlar bir-biri ilə əlaqəlidir? Zaman keçdikcə hansı dəyişənlər artıb və ya azalıb? Hansı dəyərlər gözləntidən kənara çıxır (outlier)? Bu sualların cavabı çox vaxt gözlə görünməyən vacib fikirlərə aparır.

Məsələn, marketinq kanalı sütununda üç qrup ola bilər — Email, TV və Social Media. Hər dəyərin neçə dəfə göründüyünü (tezliyini) saysan, deyək ki, 3 Email, 1 Social Media və 4 TV qeydi tapırsan. Bu sadə hesablama belə hansı kanalın datada üstünlük təşkil etdiyini göstərir. Araşdırma məhz belə kiçik kəşflərdən başlayır və getdikcə dərinləşir.

Summary statistika: datanın qısa şəkli

Datasetlər çox vaxt o qədər böyükdür ki, hər sətrə baxmaq mümkün deyil. Buna görə data analitikləri summary statistikadan istifadə edir — böyük datanı tək bir rəqəmə yığan riyazi alətlər. Kateqoriyal data üçün neçə qrup olduğunu və hər dəyərin tezliyini (frequency) hesablayırsan. Rəqəmsal data üçün isə:

• Minimum və maksimum dəyərlər.
• Median (orta nöqtə) və mode (ən çox təkrarlanan dəyər).
• Mean (orta) və standard deviation (dəyərlərin ortadan nə qədər fərqləndiyi).

Xam dataya birbaşa baxmaq da faydalıdır: ilk bir neçə sətir («head»), son bir neçə sətir («tail») və ya təsadüfi seçmə. Datanın dilini anlamaq nəzəri məşq deyil — analiz işində fikir çıxarmağa kömək edən əsas alətdir.

Vizuallaşdırma, paylanma və əlaqələr

Araşdırma mərhələsi yalnız rəqəmlərlə deyil, gözlə də aparılır. Vizuallaşdırma datanın içindəki nümunələri sürətlə görməyə imkan verir — bar chart, xətt qrafiki, histoqram və səpələnmə diaqramı (scatter plot) kimi. Bir qrafik çox vaxt uzun bir cədvəldən daha çox şey danışır.

İki əsas araşdırma istiqaməti var. Birincisi — data paylanmasını (distribution) yoxlamaq: bir dəyişənin dəyərləri necə yayılıb? Çoxu ortadadır, yoxsa uçlara meyllidir? Histoqram bunu göstərir. İkincisi — data əlaqələrini (relationships) yoxlamaq: iki dəyişən bir-biri ilə əlaqəlidirmi? Məsələn, reklam xərci artdıqca satış artırmı? Səpələnmə diaqramı və korrelyasiya bunu üzə çıxarır. Bu əlaqələr sonrakı modelləşdirmənin əsasını təşkil edir.

Araşdırmada bir də «feature engineering» (əlamət mühəndisliyi) anlayışı var. Bu, mövcud datadan yeni, daha faydalı dəyişənlər yaratmaqdır. Məsələn, «doğum tarixi» sütunundan «yaş» hesablamaq, ya da «tarix»dən «həftənin günü» çıxarmaq. Düzgün əlamətlər modelin dəqiqliyini əhəmiyyətli dərəcədə artıra bilər.

Modellər nədir və niyə istifadə olunur?

Model qurmadan əvvəl bir sualla başlayaq: model nədir? Modellər — datadakı, insana açıq görünməyən gizli nümunələri tanıyan riyazi alətlərdir. Ən çox istifadəsi keçmiş dataya əsasən gələcək haqqında proqnoz verməkdir. Model sadə də ola bilər (bir datasetin ortasını hesablayıb gələcəyin də orta olacağını demək), mürəkkəb də (səhm qiymətini proqnozlaşdıran maşın öyrənmə modelləri).

Yaxşı xəbər budur ki, modeli istifadə etmək üçün onu qurmağı bilmək şərt deyil. Analitiklər çox vaxt data alimləri komandası ilə işləyir. Ən çox istifadə olunan sadə modellərdən biri xətti reqressiyadır (linear regression) — bir dəyişənin dəyərini digəri ilə proqnozlaşdıran xətt. Məsələn, evin qiymətini onun sahəsinə (kvadrat fut) görə proqnozlaşdırmaq: 3000 kvadrat futluq ev üçün x oxunda həmin nöqtəni tapıb proqnoz xəttinə qədər qalxırsan. Sahə artdıqca qiymət də artır — məntiqlidir.

Proqnozlar heç vaxt 100% dəqiq deyil. Modeldəki «kölgəli sahə» 95% etimadla xəta marjasını göstərir — yəni faktiki dəyərin həmin sahədə olacağına 95% əminik. Statistik George Box-un məşhur sözü ilə: «Bütün modellər yanlışdır, amma bəziləri faydalıdır.» Model mükəmməl olmasa da, düzgün data ilə biznes dəyəri yaradacaq qədər dəqiq ola bilər.

Modellər necə işləyir?

Model qurmaq əsl mahiyyətcə maşına keçmiş datadan «öyrənmək» imkanı verməkdir. Ev qiyməti nümunəsində maşına çoxlu ev haqqında data (sahə və qiymət) verirsən. Maşın bu nöqtələrə baxıb aralarında ən yaxşı uyğunlaşan xətti tapır — bu xətt modeldir. Sonra yeni bir ev üçün (məsələn, 3000 kvadrat fut) həmin xəttdən istifadə edib qiymət proqnozu verir. Qrafikdəki nöqtələr maşının öyrəndiyi real nümunələr, xətt isə onun proqnozudur.

Modeli qurmaq və istifadə etmək arasında fərq var. Model qurmaq (training) maşına datanı verib nümunələri öyrətməkdir; modeli istifadə etmək isə öyrədilmiş modelə yeni sual verib proqnoz almaqdır. Data analitiki kimi çox vaxt modelin qurulmasında deyil, düzgün seçilib düzgün istifadə olunmasında rol oynayırsan. Vacib olan modelin nə demək olduğunu və nəticələrinə nə qədər etibar etmək lazım olduğunu anlamaqdır.

Qeyri-müəyyənliyi kəmiyyətlə ölçə bilmək modelin əsas gücüdür. Ev qiyməti modelindəki 95% etimad marjası bizə deyir ki, proqnozdan nə qədər sapma gözləyə bilərik. Bu, ağıllı biznes qərarları verməyə imkan verir — çünki proqnoza nə qədər güvənə biləcəyimizi bilirik.

Model növləri

Modeli seçmək üçün əvvəlcə soruş: hansı suala cavab istəyirəm?

• Reqressiya (regression) modelləri «nə qədər?» suallarına cavab verir — rəqəmsal. Satış və ya klik nisbəti proqnozu, səhm qiyməti.
• Klassifikasiya (classification) modelləri qrup/sinif proqnozlaşdırır — kateqoriyal. Binary («true»/«false») və ya çoxsinifli (şəkil it, pişik, yoxsa insan?). Səhiyyədə xəstəlik təxmini, marketinqdə müştərinin rəqibə keçib-keçməyəcəyi.
• Klasterləmə (clustering) alqoritmləri datanı oxşar seqmentlərə bölür. Məsələn, müştəri bazasını «18-25 yaş idman azarkeşləri» kimi niş auditoriyalara ayırmaq.

Alqoritmlərdən üç məşhuru: xətti reqressiya (sadə əlaqələr, az data tələb edir), qərar ağacları (decision trees — ikili qərarlar əsasında, məsələn kredit skorinqində borcun qaytarılma ehtimalı; birləşəndə «random forest» olur) və neyron şəbəkələri (neural networks — mürəkkəb əlaqələr, daşınmaz əmlak, öz-özünə sürən avtomobil, sənət yaradıcılığı; çox data və hesablama gücü tələb edir). Uğurun açarı — problemə uyğun modeli seçməkdir.

Doğru modeli necə seçmək?

Hər model müəyyən problem növü üçün digərlərindən daha effektivdir, ona görə seçim vacibdir. Seçimə sualla başla: rəqəmsal cavab istəyirsən (reqressiya), qrup proqnozu (klassifikasiya), yoxsa oxşar seqmentlər tapmaq (klasterləmə)? Sonra datanın həcmini və mürəkkəbliyini nəzərə al: az data ilə sadə problem üçün xətti reqressiya idealdır; orta mürəkkəblik üçün qərar ağacları (az hesablama gücü tələb edir); çox mürəkkəb, çoxdəyişənli problem üçün isə neyron şəbəkələri. Hər modelin öz güclü və zəif tərəflərini anlamaq layihən üçün ən yaxşı seçimi etməyə kömək edir.

Xatırla ki, mükəmməl model axtarmaq yox, faydalı model qurmaq məqsəddir. George Box-un dediyi kimi, bütün modellər yanlışdır, amma bəziləri faydalıdır. Sadə, anlaşıqlı bir model çox vaxt mürəkkəb, «qara qutu» modeldən daha dəyərlidir — çünki onun nəticələrini izah edib qərar verənlərə çatdıra bilirsən.

Tez-tez verilən suallar (FAQ)

Model qurmaq üçün proqramçı olmaq lazımdır?

Şərt deyil. Bir çox model asan tətbiq olunur; analitiklər çox vaxt data alimləri ilə işləyir. Əsas bacarıq — düzgün modeli seçib düzgün istifadə etməkdir.

Xətti reqressiya nədir?

Bir dəyişəni digəri ilə proqnozlaşdıran xətt. Sadə problemlər üçün idealdır və az data tələb edir.

Reqressiya və klassifikasiya arasında fərq nədir?

Reqressiya rəqəmsal cavab («nə qədər?») verir; klassifikasiya isə kateqoriyal cavab (hansı qrup?) verir.

Neyron şəbəkəsi nə vaxt istifadə olunur?

Mürəkkəb, çoxdəyişənli əlaqələr olanda — daşınmaz əmlak, öz-özünə sürən avtomobil, sənət yaradıcılığı. Çox data və hesablama gücü tələb edir.

«Bütün modellər yanlışdır» nə deməkdir?

Statistik George Box-un sözüdür: model heç vaxt reallığı mükəmməl əks etdirmir, amma düzgün data ilə biznes dəyəri yaradacaq qədər faydalı ola bilər.

Summary statistika nədir?

Böyük datanı tək bir rəqəmə yığan riyazi alətlər — mean (orta), median, mode, minimum, maksimum və standard deviation kimi. Datanın ümumi mənzərəsini tez verir.

Feature engineering nədir?

Mövcud datadan yeni, daha faydalı dəyişənlər yaratmaq — məsələn, doğum tarixindən yaş hesablamaq. Düzgün əlamətlər modelin dəqiqliyini artırır.

Klasterləmə harada istifadə olunur?

Müştəri bazasını oxşar seqmentlərə bölmək üçün — məsələn, «18-25 yaş idman azarkeşləri» — beləcə hər qrup üçün daha fokuslu marketinq qurmaq olar.

Data paylanması (distribution) nədir?

Bir dəyişənin dəyərlərinin necə yayıldığını göstərir — çoxu ortadadır, yoxsa uçlara meyllidir. Histoqram bunu vizual göstərir.

Qərar ağacı (decision tree) nədir?

İkili qərarlar əsasında datanı bölən model. Məsələn, kredit skorinqində gəlir və məşğulluq statusuna görə borcun qaytarılma ehtimalını təxmin edir. Birləşəndə «random forest» olur.

Explore və model mərhələləri arasında fərq nədir?

Explore datanı tanıyıb nümunələri görməkdir; model isə həmin nümunələri riyazi olaraq gələcək proqnozlarına çevirməkdir. Biri təsvir edir, digəri proqnozlaşdırır.

Nəticə: araşdırma və modelləşdirmə birlikdə

Araşdırma və modelləşdirmə bir-birini tamamlayır. Əvvəlcə datanı tanıyır, onun dilini öyrənir və içindəki nümunələri, əlaqələri görürsən (explore). Sonra bu nümunələri riyazi modelə çevirib gələcək haqqında proqnoz verirsən (model). Yaxşı araşdırma olmadan model qurmaq təhlükəlidir — çünki hansı dəyişənlərin vacib olduğunu bilməzsən. Yaxşı model olmadan isə araşdırma sadəcə keçmişi təsvir edir, gələcəyi proqnozlaşdırmır. İkisi birlikdə datanı əsl qərar alətinə çevirir.

Vacib bir xatırlatma: modellər ilk növbədə datanı təhlil etməyə kömək edir ki, onu şərh edib gələcəyi proqnozlaşdıra bilək. Model qurmaq özü-özlüyündə məqsəd deyil — məqsəd fikir çıxarıb qərar verməkdir. Buna görə növbəti mərhələ — nəticələri şərh etmək və çatdırmaq — bir o qədər vacibdir.

Başlamaq üçün mürəkkəb modellərə ehtiyac yoxdur. Sadə summary statistika və xətti reqressiya ilə çox şey öyrənə bilərsən. Təcrübə artdıqca daha mürəkkəb modellərə keçərsən. Ən vacibi — datanı yaxşı tanımaq və problemə uyğun ən sadə modeli seçməkdir; mürəkkəblik həmişə daha yaxşı nəticə demək deyil.

Növbəti addım: model nəticələrini necə şərh edib başqalarına çatdırmağı öyrən.

👉 Növbəti yazı: data storytelling