Veri Madenciliği
Giriş
Ders Hangi Soruyu Sorar?
Veri madenciliği, büyük veri yığınlarında önceden bilinmeyen, geçerli ve işe yarar örüntüleri keşfetmeyi inceler. Makine öğrenmesiyle aynı algoritmaları kullanır; ama amaç yeni örnekte tahmin değil, verinin kendisi hakkında kural, küme ve aykırılık bulmaktır.
Bir bakışta
keşfe dayalı çözümleme
büyük tablo ya da işlem verisi
kural, küme, aykırı değer
ilginçlik, destek, güven
orta
çok
Giriş
Kısa Tarihçe
MacQueen "k-ortalamalar" (k-means) adını verdiği kümeleme yöntemini yayımlar.
İlk "veri tabanlarında bilgi keşfi" (KDD) çalıştayı düzenlenir; alan adını bulur.
Agrawal ve Srikant Apriori algoritmasıyla birliktelik kuralı madenciliğini yaygınlaştırır.
Fayyad ve arkadaşları KDD sürecini tanımlar; aynı yıl yoğunluğa dayalı DBSCAN yayımlanır.
CRISP-DM 1.0 yayımlanır: veri madenciliği projeleri için sektörden bağımsız süreç modeli.
Netflix Prize açılır: öneri doğruluğunu yüzde 10 artırana bir milyon dolar ödül.
Ders
Temel Kavramlar
Seçme, ön işleme, dönüştürme, madencilik, yorum.
Birlikte sık görülen ürünler: Apriori, FP-growth.
X ise Y; destek, güven ve kaldıraç (lift) ile ölçülür.
k-ortalamalar, hiyerarşik, DBSCAN; etiketsiz gruplar.
Çoğunluğa benzemeyen kayıt: hata mı, sahtekârlık mı?
Karar ağacı gibi okunabilir, açıklayan modeller.
Eksik değer, gürültü, ayrıklaştırma, normalleştirme.
Zaman sırasıyla tekrarlanan olay dizileri.
Ders
Tipik İş Akışı
Dene
Market Sepetinde Gizli Kurallar
Mahalle marketi 14 kasa fişine bakıyor: kimse bir soru sormadı, hangi ürünlerin birlikte alındığını veri söylesin. Eşikleri değiştirin, Apriori kuralları yeniden bulsun; bir kurala tıklayıp sepetlerde görün.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Olasılık ve İstatistik | destek, güven, anlamlılık |
| Veritabanı ve SQL | tablo, birleştirme ve gruplama: verinin kaynağı |
| Veri Yapıları | karma tablo ve ağaç: FP-growth gibi algoritmaların yapı taşları |
| Algoritmalar | karmaşıklık: aday kümelerin üstel büyümesini anlamak |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Olasılık ve İstatistik dersini temel alır | destek, güven, anlamlılık |
| uygulama | Biyoenformatik bu dersin yöntemlerini uygular | dizi motifleri, kümeleme |
| yöntem paylaşır | Makine Öğrenmesi ile yöntem paylaşır | aynı algoritmalar; amaç tahmin değil keşif |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | metin sınıflandırma, konu modelleme |
| yöntem paylaşır | Veri Bilimi ile yöntem paylaşır | keşifsel veri analizi |
| yöntem paylaşır | Büyük Veri Sistemleri ile yöntem paylaşır | ölçeklenebilir madencilik |
| yöntem paylaşır | Bilgi Erişimi ve Öneri Sistemleri ile yöntem paylaşır | birliktelik, işbirlikçi süzme |
| yöntem paylaşır | Sosyal Ağ Analizi ile yöntem paylaşır | topluluk bulma |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Veri Madenciliği | Makine Öğrenmesi | Veri Bilimi |
|---|---|---|---|
| Temel soru | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Bir program örneklerden nasıl genelleme yapar? | Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır? |
| Yaklaşım | keşfe dayalı çözümleme | istatistiksel öğrenme | soru, veri, analiz, anlatı |
| Girdi | büyük tablo ya da işlem verisi | etiketli ya da etiketsiz örnekler | ham, dağınık veri |
| Çıktı | kural, küme, aykırı değer | tahmin yapan model | rapor, görselleştirme, model |
| Başarı ölçütü | ilginçlik, destek, güven | görülmemiş veride hata | kararlara katkı, doğruluk |
| Matematik yükü | orta | yüksek: doğrusal cebir, olasılık, optimizasyon | orta: istatistik |
| Veri ihtiyacı | çok | orta ve çok | orta ve çok |
- Makine Öğrenmesi: Aynı algoritmaları kullanırlar; MÖ yeni örnekte tahmini, veri madenciliği eldeki veride keşfi amaçlar.
- Veri Bilimi: Veri bilimi sorudan karara bütün süreci kapsar; veri madenciliği bu süreçteki örüntü bulma adımına odaklanır.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Veri Madenciliği | Büyük Veri | Olasılık ve İstatistik |
|---|---|---|---|
| Temel soru | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Tek bir makineye sığmayan veri nasıl saklanır ve işlenir? | Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır? |
| Yaklaşım | keşfe dayalı çözümleme | dağıtık depolama ve hesaplama | olasılık modeli ve çıkarım |
| Girdi | büyük tablo ya da işlem verisi | çok büyük ve hızlı akan veri | örneklem verisi |
| Çıktı | kural, küme, aykırı değer | işlenmiş veri, sorgu sonucu | kestirim, güven aralığı, test sonucu |
| Başarı ölçütü | ilginçlik, destek, güven | ölçeklenme, gecikme, maliyet | yansızlık, güç, anlamlılık |
| Matematik yükü | orta | düşük | kuramın kendisi |
| Veri ihtiyacı | çok | çok fazla | örneklem |
- Büyük Veri: Büyük veri sistemleri veriyi saklar ve dağıtık işler; veri madenciliği o veride hangi örüntünün aranacağını sorar.
- Olasılık ve İstatistik: İstatistik önceden kurulmuş bir hipotezi sınar; veri madenciliği hipotezi veriden üretir, sonra sınanması gerekir.
Uygulama
Uygulama Alanları
Birlikte alınan ürünler, raf ve kampanya.
Benzer müşterileri gruplamak.
Olağandışı işlemleri öne çıkarmak.
Ziyaretçilerin gezinme örüntüleri.
Birlikte görülen hata kodları.
Birlikte görülen tanı ve ilaçlar.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Veri madenciliği veri toplamaktır. | Ad yanıltıcıdır: kazılan veri değil bilgidir; veri zaten vardır, örüntü aranır. |
| Bulunan her kural işe yarar. | Binlerce kural çıkar; çoğu bariz ya da tesadüfidir. İlginçlik ölçütleri ve uzman süzgeci gerekir. |
| Güçlü birliktelik neden-sonuçtur. | Birlikte görülmek birinin ötekine yol açtığını göstermez; ortak bir neden olabilir. |
| Kümelemenin tek doğru sonucu vardır. | Sonucu küme sayısı, uzaklık ölçüsü ve ölçekleme belirler; farklı seçim, farklı küme. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Han, Kamber ve Pei, Data Mining: Concepts and Techniques, 3. baskı, Morgan Kaufmann, 2011.
- Tan, Steinbach, Karpatne ve Kumar, Introduction to Data Mining, 2. baskı, Pearson, 2019.
- Witten, Frank, Hall ve Pal, Data Mining: Practical Machine Learning Tools and Techniques, 4. baskı, Morgan Kaufmann, 2017.
- Leskovec, Rajaraman ve Ullman, Mining of Massive Datasets, 3. baskı, Cambridge University Press, 2020.