Veri Bilimi

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım IV: Veri
Soru ve veriVeri düzenlemeKeşifsel analizGörselleştirmeÇıkarım ve anlatıKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?

Veri bilimi, bir soruyla başlayıp veriyi bulmayı, temizlemeyi, çözümlemeyi ve sonucu karara dönüşecek biçimde anlatmayı kapsayan süreçtir. İstatistik, programlama ve alan bilgisini birleştirir; veri madenciliği ve makine öğrenmesi bu sürecin araçlarıdır.

Bir bakışta

Yaklaşım

soru, veri, analiz, anlatı

Girdi

ham, dağınık veri

Çıktı

rapor, görselleştirme, model

Başarı ölçütü

kararlara katkı, doğruluk

Matematik yükü

orta: istatistik

Veri ihtiyacı

orta ve çok

Giriş

Kısa Tarihçe

1962

Tukey "The Future of Data Analysis" makalesinde veri analizini istatistikten ayrı bir bilim olarak savunur.

1977

Tukey "Exploratory Data Analysis" kitabını yayımlar: önce bak, sonra modelle.

2001

Cleveland "veri bilimi"ni istatistiği genişleten bir akademik alan olarak önerir.

2010

Kaggle kurulur; veri bilimi yarışmaları ve açık veri setleri yaygınlaşır.

2012

Harvard Business Review veri bilimciyi "21. yüzyılın en çekici mesleği" diye tanıtır.

2014

Jupyter projesi IPython'dan ayrılır; kod, grafik ve metin aynı defterde birleşir.

Ders

Temel Kavramlar

Soru tanımı

Ne bilinmek isteniyor, hangi karar verilecek?

Düzenli veri

Her satır bir gözlem, her sütun bir değişken (tidy data).

Veri temizleme

Eksik, hatalı ve tutarsız kayıtları düzeltmek.

Keşifsel analiz

Özet istatistik ve grafikle veriyi tanımak.

Görselleştirme

Doğru grafikle örüntüyü ve sonucu göstermek.

Hipotez testi

Farkın tesadüf olup olmadığını sınamak.

A/B testi

Rastgele deneyle iki seçeneği karşılaştırmak.

Tekrarlanabilirlik

Kod, veri ve sürümle aynı sonucu yeniden üretmek.

Ders

Tipik İş Akışı

Soru sorkarar veölçütVeri edinSQL, dosya,APITemizleeksik, hatalı,tutarsızKeşfet vemodellegrafik, test,regresyonAnlatrapor,pano
Örnek: Bir belediye "otobüs seferi artırılmalı mı?" diye sorar. Kart geçiş kayıtları toplanır, hatalı saatler ayıklanır, hat ve saat bazında doluluk grafiklerle incelenir, yoğunluk regresyonla kestirilir ve sonuç tek sayfalık bir raporla karar vericiye sunulur.

Dene

Notları Ne Etkiliyor?

Okulun sorusu: “Öğrencilere hangi alışkanlık için öneri verelim?” Elde 26 öğrencinin anket ve not verisi var. Değişken seçip ilişkiye bakın; bir noktaya tıklayarak onu analizden çıkarın.

Veri bilimi bir soruyla başlar ve karara varır: keşifsel analiz, temizleme, ilişki ölçme ve sonucu anlatma. Korelasyon neden değildir: çok çalışan öğrenci derse de çok gelir; öneri vermeden önce bunu ayırmak gerekir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Olasılık ve İstatistikhipotez testi, regresyon, görselleştirme
ProgramlamaPython ya da R ile dosya okuma, döngü ve fonksiyonlar
Veritabanı ve SQLveriyi sorgulamak, birleştirmek ve gruplamak

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Olasılık ve İstatistik dersini temel alırhipotez testi, regresyon, görselleştirme
yöntem paylaşırMakine Öğrenmesi ile yöntem paylaşırtahmin modelleri
yöntem paylaşırAçıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği ile yöntem paylaşırveri yanlılığı, adalet ölçütleri
yöntem paylaşırVeri Madenciliği ile yöntem paylaşırkeşifsel veri analizi
yöntem paylaşırMakine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşırdeney takibi, veri sürümleme

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütVeri BilimiVeri MadenciliğiMakine Öğrenmesi
Temel soruVeriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Bir program örneklerden nasıl genelleme yapar?
Yaklaşımsoru, veri, analiz, anlatıkeşfe dayalı çözümlemeistatistiksel öğrenme
Girdiham, dağınık veribüyük tablo ya da işlem verisietiketli ya da etiketsiz örnekler
Çıktırapor, görselleştirme, modelkural, küme, aykırı değertahmin yapan model
Başarı ölçütükararlara katkı, doğrulukilginçlik, destek, güvengörülmemiş veride hata
Matematik yüküorta: istatistikortayüksek: doğrusal cebir, olasılık, optimizasyon
Veri ihtiyacıorta ve çokçokorta ve çok
  • Veri Madenciliği: Veri madenciliği büyük veride örüntü bulmaya odaklanır; veri bilimi sorudan karara bütün süreci kapsar.
  • Makine Öğrenmesi: MÖ yeni örnekte iyi tahmin eden modeli kurar; veri bilimi modeli bir soruyu yanıtlayan araçlardan biri olarak kullanır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütVeri BilimiOlasılık ve İstatistikBüyük Veri
Temel soruVeriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır?Tek bir makineye sığmayan veri nasıl saklanır ve işlenir?
Yaklaşımsoru, veri, analiz, anlatıolasılık modeli ve çıkarımdağıtık depolama ve hesaplama
Girdiham, dağınık veriörneklem verisiçok büyük ve hızlı akan veri
Çıktırapor, görselleştirme, modelkestirim, güven aralığı, test sonucuişlenmiş veri, sorgu sonucu
Başarı ölçütükararlara katkı, doğrulukyansızlık, güç, anlamlılıkölçeklenme, gecikme, maliyet
Matematik yüküorta: istatistikkuramın kendisidüşük
Veri ihtiyacıorta ve çokörneklemçok fazla
  • Olasılık ve İstatistik: İstatistik çıkarımın kuramını verir; veri bilimi onu programlama, dağınık gerçek veri ve anlatıyla birleştirir.
  • Büyük Veri: Büyük veri sistemleri verinin saklanıp işlenmesini sağlar; veri bilimi o veriden anlam ve karar çıkarır.

Uygulama

Uygulama Alanları

A/B testi

Yeni tasarım gerçekten daha mı iyi?

Pazarlama analitiği

Hangi kampanya müşteri getiriyor?

Halk sağlığı

Salgın ve hastalık eğilimlerini izlemek.

Spor analitiği

Oyuncu ve takım başarımını ölçmek.

Kamu politikası

Açık veriyle hizmetleri değerlendirmek.

Ürün metrikleri

Kullanıcıyı tutan ya da kaçıran ne?

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

PythonpandasJupyterR ve tidyverseMatplotlib ve seabornSQLstatsmodels

Tanınmış veri setleri

Titanic (Kaggle)GapminderNYC taksi yolculuklarıPalmer PenguinsHouse Prices (Kaggle)Anscombe dörtlüsü

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Veri bilimi model eğitmektir.Zamanın çoğu soruyu netleştirmeye, veriyi bulup temizlemeye ve sonucu anlatmaya gider.
Veri kendi kendine konuşur.Soru, bağlam ve alan bilgisi olmadan aynı veri yanlış sonuca da götürebilir.
Anlamlı p değeri önemli sonuçtur.İstatistiksel anlamlılık etkinin büyüklüğünü söylemez; çok sayıda test yanıltıcı sonuç üretir.
Grafik sonucu süsleyen bir eklentidir.Anscombe dörtlüsü gösterir: özet istatistikleri aynı veriler grafikte bambaşka çıkar.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Veri bilimciVeri analistiÜrün analistiİş zekâsı uzmanıAraştırma analisti
Veri bilimi, veri kısmının çatısıdır. Buradan tahmin modellerini derinleştirmek için makine öğrenmesine, keşif için veri madenciliğine, ölçek için büyük veri sistemlerine ya da adalet ve yanlılık soruları için açıklanabilir YZ ve etiğe geçilebilir.

Sonrası

Kaynaklar

  • Wickham, Çetinkaya-Rundel ve Grolemund, R for Data Science, 2. baskı, O'Reilly, 2023.
  • McKinney, Python for Data Analysis, 3. baskı, O'Reilly, 2022.
  • James, Witten, Hastie ve Tibshirani, An Introduction to Statistical Learning, 2. baskı, Springer, 2021.
  • Tukey, Exploratory Data Analysis, Addison-Wesley, 1977.

Son

Bölüm 26: Veri Bilimi
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.