Veri Bilimi
Giriş
Ders Hangi Soruyu Sorar?
Veri bilimi, bir soruyla başlayıp veriyi bulmayı, temizlemeyi, çözümlemeyi ve sonucu karara dönüşecek biçimde anlatmayı kapsayan süreçtir. İstatistik, programlama ve alan bilgisini birleştirir; veri madenciliği ve makine öğrenmesi bu sürecin araçlarıdır.
Bir bakışta
soru, veri, analiz, anlatı
ham, dağınık veri
rapor, görselleştirme, model
kararlara katkı, doğruluk
orta: istatistik
orta ve çok
Giriş
Kısa Tarihçe
Tukey "The Future of Data Analysis" makalesinde veri analizini istatistikten ayrı bir bilim olarak savunur.
Tukey "Exploratory Data Analysis" kitabını yayımlar: önce bak, sonra modelle.
Cleveland "veri bilimi"ni istatistiği genişleten bir akademik alan olarak önerir.
Kaggle kurulur; veri bilimi yarışmaları ve açık veri setleri yaygınlaşır.
Harvard Business Review veri bilimciyi "21. yüzyılın en çekici mesleği" diye tanıtır.
Jupyter projesi IPython'dan ayrılır; kod, grafik ve metin aynı defterde birleşir.
Ders
Temel Kavramlar
Ne bilinmek isteniyor, hangi karar verilecek?
Her satır bir gözlem, her sütun bir değişken (tidy data).
Eksik, hatalı ve tutarsız kayıtları düzeltmek.
Özet istatistik ve grafikle veriyi tanımak.
Doğru grafikle örüntüyü ve sonucu göstermek.
Farkın tesadüf olup olmadığını sınamak.
Rastgele deneyle iki seçeneği karşılaştırmak.
Kod, veri ve sürümle aynı sonucu yeniden üretmek.
Ders
Tipik İş Akışı
Dene
Notları Ne Etkiliyor?
Okulun sorusu: “Öğrencilere hangi alışkanlık için öneri verelim?” Elde 26 öğrencinin anket ve not verisi var. Değişken seçip ilişkiye bakın; bir noktaya tıklayarak onu analizden çıkarın.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Olasılık ve İstatistik | hipotez testi, regresyon, görselleştirme |
| Programlama | Python ya da R ile dosya okuma, döngü ve fonksiyonlar |
| Veritabanı ve SQL | veriyi sorgulamak, birleştirmek ve gruplamak |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Olasılık ve İstatistik dersini temel alır | hipotez testi, regresyon, görselleştirme |
| yöntem paylaşır | Makine Öğrenmesi ile yöntem paylaşır | tahmin modelleri |
| yöntem paylaşır | Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği ile yöntem paylaşır | veri yanlılığı, adalet ölçütleri |
| yöntem paylaşır | Veri Madenciliği ile yöntem paylaşır | keşifsel veri analizi |
| yöntem paylaşır | Makine Öğrenmesi Sistemleri ve MLOps ile yöntem paylaşır | deney takibi, veri sürümleme |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Veri Bilimi | Veri Madenciliği | Makine Öğrenmesi |
|---|---|---|---|
| Temel soru | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Bir program örneklerden nasıl genelleme yapar? |
| Yaklaşım | soru, veri, analiz, anlatı | keşfe dayalı çözümleme | istatistiksel öğrenme |
| Girdi | ham, dağınık veri | büyük tablo ya da işlem verisi | etiketli ya da etiketsiz örnekler |
| Çıktı | rapor, görselleştirme, model | kural, küme, aykırı değer | tahmin yapan model |
| Başarı ölçütü | kararlara katkı, doğruluk | ilginçlik, destek, güven | görülmemiş veride hata |
| Matematik yükü | orta: istatistik | orta | yüksek: doğrusal cebir, olasılık, optimizasyon |
| Veri ihtiyacı | orta ve çok | çok | orta ve çok |
- Veri Madenciliği: Veri madenciliği büyük veride örüntü bulmaya odaklanır; veri bilimi sorudan karara bütün süreci kapsar.
- Makine Öğrenmesi: MÖ yeni örnekte iyi tahmin eden modeli kurar; veri bilimi modeli bir soruyu yanıtlayan araçlardan biri olarak kullanır.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Veri Bilimi | Olasılık ve İstatistik | Büyük Veri |
|---|---|---|---|
| Temel soru | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? | Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır? | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? |
| Yaklaşım | soru, veri, analiz, anlatı | olasılık modeli ve çıkarım | dağıtık depolama ve hesaplama |
| Girdi | ham, dağınık veri | örneklem verisi | çok büyük ve hızlı akan veri |
| Çıktı | rapor, görselleştirme, model | kestirim, güven aralığı, test sonucu | işlenmiş veri, sorgu sonucu |
| Başarı ölçütü | kararlara katkı, doğruluk | yansızlık, güç, anlamlılık | ölçeklenme, gecikme, maliyet |
| Matematik yükü | orta: istatistik | kuramın kendisi | düşük |
| Veri ihtiyacı | orta ve çok | örneklem | çok fazla |
- Olasılık ve İstatistik: İstatistik çıkarımın kuramını verir; veri bilimi onu programlama, dağınık gerçek veri ve anlatıyla birleştirir.
- Büyük Veri: Büyük veri sistemleri verinin saklanıp işlenmesini sağlar; veri bilimi o veriden anlam ve karar çıkarır.
Uygulama
Uygulama Alanları
Yeni tasarım gerçekten daha mı iyi?
Hangi kampanya müşteri getiriyor?
Salgın ve hastalık eğilimlerini izlemek.
Oyuncu ve takım başarımını ölçmek.
Açık veriyle hizmetleri değerlendirmek.
Kullanıcıyı tutan ya da kaçıran ne?
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Veri bilimi model eğitmektir. | Zamanın çoğu soruyu netleştirmeye, veriyi bulup temizlemeye ve sonucu anlatmaya gider. |
| Veri kendi kendine konuşur. | Soru, bağlam ve alan bilgisi olmadan aynı veri yanlış sonuca da götürebilir. |
| Anlamlı p değeri önemli sonuçtur. | İstatistiksel anlamlılık etkinin büyüklüğünü söylemez; çok sayıda test yanıltıcı sonuç üretir. |
| Grafik sonucu süsleyen bir eklentidir. | Anscombe dörtlüsü gösterir: özet istatistikleri aynı veriler grafikte bambaşka çıkar. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Wickham, Çetinkaya-Rundel ve Grolemund, R for Data Science, 2. baskı, O'Reilly, 2023.
- McKinney, Python for Data Analysis, 3. baskı, O'Reilly, 2022.
- James, Witten, Hastie ve Tibshirani, An Introduction to Statistical Learning, 2. baskı, Springer, 2021.
- Tukey, Exploratory Data Analysis, Addison-Wesley, 1977.