Veri Madenciliği
Giriş
Ders Hangi Soruyu Sorar?
Veri madenciliği, büyük veri yığınlarında önceden bilinmeyen, geçerli ve işe yarar örüntüleri keşfetmeyi inceler. Makine öğrenmesiyle aynı algoritmaları kullanır; ama amaç yeni örnekte tahmin değil, verinin kendisi hakkında kural, küme ve aykırılık bulmaktır.
Bir bakışta
keşfe dayalı çözümleme
büyük tablo ya da işlem verisi
kural, küme, aykırı değer
ilginçlik, destek, güven
orta
çok
Giriş
Kısa Tarihçe
MacQueen "k-ortalamalar" (k-means) adını verdiği kümeleme yöntemini yayımlar.
İlk "veri tabanlarında bilgi keşfi" (KDD) çalıştayı düzenlenir; alan adını bulur.
Agrawal ve Srikant Apriori algoritmasıyla birliktelik kuralı madenciliğini yaygınlaştırır.
Fayyad ve arkadaşları KDD sürecini tanımlar; aynı yıl yoğunluğa dayalı DBSCAN yayımlanır.
CRISP-DM 1.0 yayımlanır: veri madenciliği projeleri için sektörden bağımsız süreç modeli.
Netflix Prize açılır: öneri doğruluğunu yüzde 10 artırana bir milyon dolar ödül.
Ders
Temel Kavramlar
Seçme, ön işleme, dönüştürme, madencilik, yorum.
Birlikte sık görülen ürünler: Apriori, FP-growth.
X ise Y; destek, güven ve kaldıraç (lift) ile ölçülür.
k-ortalamalar, hiyerarşik, DBSCAN; etiketsiz gruplar.
Çoğunluğa benzemeyen kayıt: hata mı, sahtekârlık mı?
Karar ağacı gibi okunabilir, açıklayan modeller.
Eksik değer, gürültü, ayrıklaştırma, normalleştirme.
Zaman sırasıyla tekrarlanan olay dizileri.
Ders
Tipik İş Akışı
Ders
Derste Neler İşlenir?
- Veri madenciliği süreci: KDD ve CRISP-DM
- Veriyi tanımak: öznitelik türleri, benzerlik
- Ön işleme: temizleme, bütünleştirme, indirgeme
- Veri ambarı ve OLAP küpleri
- Sık öğe kümeleri: Apriori ve FP-growth
- Birliktelik kuralları ve ilginçlik ölçütleri
- Sınıflandırma: karar ağaçları, kural tabanlı yöntemler
- Sınıflandırıcı değerlendirme ve dengesiz sınıflar
- Kümeleme: k-ortalamalar ve hiyerarşik yöntemler
- Yoğunluğa dayalı kümeleme ve küme geçerliliği
- Aykırı değer tespiti
- Dizisel örüntü, metin ve çizge madenciliği
Kazandırdığı beceriler
Tipik bir dönemin akışıdır; sıra ve kapsam üniversiteden üniversiteye değişir.
Dene
Market Sepetinde Gizli Kurallar
Mahalle marketi 14 kasa fişine bakıyor: kimse bir soru sormadı, hangi ürünlerin birlikte alındığını veri söylesin. Eşikleri değiştirin, Apriori kuralları yeniden bulsun; bir kurala tıklayıp sepetlerde görün.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Olasılık ve İstatistik | destek, güven, anlamlılık |
| Veritabanı ve SQL | tablo, birleştirme ve gruplama: verinin kaynağı |
| Veri Yapıları | karma tablo ve ağaç: FP-growth gibi algoritmaların yapı taşları |
| Algoritmalar | karmaşıklık: aday kümelerin üstel büyümesini anlamak |
Konum
Bu Ders Sana Göre mi?
Kendine sor; "hayır" dediklerin için sağdaki sütun nereden başlayacağını gösterir.
| Kendine sor | Hayırsa önce |
|---|---|
| İki tabloyu bir SQL sorgusuyla birleştirip gruplayabiliyor musun? | Bir veritabanı dersindeki SQL: JOIN ve GROUP BY |
| Koşullu olasılığı ve bağımsızlığı bir örnekle açıklayabiliyor musun? | Olasılık ve İstatistik |
| Karma tablosunun ne zaman ağaçtan iyi olduğunu açıklayabiliyor musun? | Veri Yapıları dersi: karma tabloları ve ağaçlar |
| Python'da bir CSV dosyasını okuyup eksik değerleri sayabiliyor musun? | Programlamaya giriş, ardından pandas'a kısa bir giriş |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Olasılık ve İstatistik dersini temel alır | destek, güven, anlamlılık |
| uygulama | Biyoenformatik bu dersin yöntemlerini uygular | dizi motifleri, kümeleme |
| yöntem paylaşır | Makine Öğrenmesi ile yöntem paylaşır | aynı algoritmalar; amaç tahmin değil keşif |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | metin sınıflandırma, konu modelleme |
| yöntem paylaşır | Veri Bilimi ile yöntem paylaşır | keşifsel veri analizi |
| yöntem paylaşır | Büyük Veri Sistemleri ile yöntem paylaşır | ölçeklenebilir madencilik |
| yöntem paylaşır | Bilgi Erişimi ve Öneri Sistemleri ile yöntem paylaşır | birliktelik, işbirlikçi süzme |
| yöntem paylaşır | Sosyal Ağ Analizi ile yöntem paylaşır | topluluk bulma |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Veri Madenciliği | Makine Öğrenmesi | Veri Bilimi |
|---|---|---|---|
| Temel soru | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Bir program örneklerden nasıl genelleme yapar? | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? |
| Yaklaşım | keşfe dayalı çözümleme | istatistiksel öğrenme | soru, veri, analiz, anlatı |
| Girdi | büyük tablo ya da işlem verisi | etiketli ya da etiketsiz örnekler | ham, dağınık veri |
| Çıktı | kural, küme, aykırı değer | tahmin yapan model | rapor, görselleştirme, model |
| Başarı ölçütü | ilginçlik, destek, güven | görülmemiş veride hata | kararlara katkı, doğruluk |
| Matematik yükü | orta | yüksek: doğrusal cebir, olasılık, optimizasyon | orta: istatistik |
| Veri ihtiyacı | çok | orta ve çok | orta ve çok |
- Makine Öğrenmesi: Aynı algoritmaları kullanırlar; MÖ yeni örnekte tahmini, veri madenciliği eldeki veride keşfi amaçlar.
- Veri Bilimi: Veri bilimi sorudan karara bütün süreci kapsar; veri madenciliği bu süreçteki örüntü bulma adımına odaklanır.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Veri Madenciliği | Büyük Veri | Olasılık ve İstatistik |
|---|---|---|---|
| Temel soru | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır? |
| Yaklaşım | keşfe dayalı çözümleme | dağıtık depolama ve hesaplama | olasılık modeli ve çıkarım |
| Girdi | büyük tablo ya da işlem verisi | çok büyük ve hızlı akan veri | örneklem verisi |
| Çıktı | kural, küme, aykırı değer | işlenmiş veri, sorgu sonucu | kestirim, güven aralığı, test sonucu |
| Başarı ölçütü | ilginçlik, destek, güven | ölçeklenme, gecikme, maliyet | yansızlık, güç, anlamlılık |
| Matematik yükü | orta | düşük | kuramın kendisi |
| Veri ihtiyacı | çok | çok fazla | örneklem |
- Büyük Veri: Büyük veri sistemleri veriyi saklar ve dağıtık işler; veri madenciliği o veride hangi örüntünün aranacağını sorar.
- Olasılık ve İstatistik: İstatistik önceden kurulmuş bir hipotezi sınar; veri madenciliği hipotezi veriden üretir, sonra sınanması gerekir.
Uygulama
Uygulama Alanları
Birlikte alınan ürünler, raf ve kampanya.
Benzer müşterileri gruplamak.
Olağandışı işlemleri öne çıkarmak.
Ziyaretçilerin gezinme örüntüleri.
Birlikte görülen hata kodları.
Birlikte görülen tanı ve ilaçlar.
Uygulama
Riskler ve Etik
Alışveriş sepetinden hamilelik, hastalık ya da maddi sıkıntı çıkarılabilir; kişi bunu hiç paylaşmamış olsa bile.
Netflix Prize verisi IMDb puanlarıyla eşleştirilip bazı kullanıcılar tanındı; ikinci yarışma bu yüzden iptal edildi.
Yeterince çok örüntü aranırsa tesadüfi olanlar da anlamlı görünür; çoklu karşılaştırma düzeltmesi ve yeni veride sınama gerekir.
Posta koduna ya da alışveriş örüntüsüne göre kurulan müşteri kümeleri, bazı gruplara dolaylı olarak farklı fiyat ve hizmet getirir.
Ayrıntılı tartışma: Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Veri madenciliği veri toplamaktır. | Ad yanıltıcıdır: kazılan veri değil bilgidir; veri zaten vardır, örüntü aranır. |
| Bulunan her kural işe yarar. | Binlerce kural çıkar; çoğu bariz ya da tesadüfidir. İlginçlik ölçütleri ve uzman süzgeci gerekir. |
| Güçlü birliktelik neden-sonuçtur. | Birlikte görülmek birinin ötekine yol açtığını göstermez; ortak bir neden olabilir. |
| Kümelemenin tek doğru sonucu vardır. | Sonucu küme sayısı, uzaklık ölçüsü ve ölçekleme belirler; farklı seçim, farklı küme. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Han, Kamber ve Pei, Data Mining: Concepts and Techniques, 3. baskı, Morgan Kaufmann, 2011.
- Tan, Steinbach, Karpatne ve Kumar, Introduction to Data Mining, 2. baskı, Pearson, 2019.
- Witten, Frank, Hall ve Pal, Data Mining: Practical Machine Learning Tools and Techniques, 4. baskı, Morgan Kaufmann, 2017.
- Leskovec, Rajaraman ve Ullman, Mining of Massive Datasets, 3. baskı, Cambridge University Press, 2020.