Veri Madenciliği

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım IV: Veri
Bilgi keşfi süreciBirliktelik kurallarıKümelemeAykırı değerlerİlginçlik ölçütleriKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?

Veri madenciliği, büyük veri yığınlarında önceden bilinmeyen, geçerli ve işe yarar örüntüleri keşfetmeyi inceler. Makine öğrenmesiyle aynı algoritmaları kullanır; ama amaç yeni örnekte tahmin değil, verinin kendisi hakkında kural, küme ve aykırılık bulmaktır.

Bir bakışta

Yaklaşım

keşfe dayalı çözümleme

Girdi

büyük tablo ya da işlem verisi

Çıktı

kural, küme, aykırı değer

Başarı ölçütü

ilginçlik, destek, güven

Matematik yükü

orta

Veri ihtiyacı

çok

Giriş

Kısa Tarihçe

1967

MacQueen "k-ortalamalar" (k-means) adını verdiği kümeleme yöntemini yayımlar.

1989

İlk "veri tabanlarında bilgi keşfi" (KDD) çalıştayı düzenlenir; alan adını bulur.

1994

Agrawal ve Srikant Apriori algoritmasıyla birliktelik kuralı madenciliğini yaygınlaştırır.

1996

Fayyad ve arkadaşları KDD sürecini tanımlar; aynı yıl yoğunluğa dayalı DBSCAN yayımlanır.

2000

CRISP-DM 1.0 yayımlanır: veri madenciliği projeleri için sektörden bağımsız süreç modeli.

2006

Netflix Prize açılır: öneri doğruluğunu yüzde 10 artırana bir milyon dolar ödül.

Ders

Temel Kavramlar

Bilgi keşfi (KDD)

Seçme, ön işleme, dönüştürme, madencilik, yorum.

Sık öğe kümeleri

Birlikte sık görülen ürünler: Apriori, FP-growth.

Birliktelik kuralı

X ise Y; destek, güven ve kaldıraç (lift) ile ölçülür.

Kümeleme

k-ortalamalar, hiyerarşik, DBSCAN; etiketsiz gruplar.

Aykırı değer

Çoğunluğa benzemeyen kayıt: hata mı, sahtekârlık mı?

Tanımlayıcı model

Karar ağacı gibi okunabilir, açıklayan modeller.

Ön işleme

Eksik değer, gürültü, ayrıklaştırma, normalleştirme.

Dizisel örüntü

Zaman sırasıyla tekrarlanan olay dizileri.

Ders

Tipik İş Akışı

Seçilgili veri,hedef kitleÖn işletemizleme,eksik değerDönüştürayrıklaştırma,boyut azaltmaMadencilikkural, küme,aykırılıkYorumlailginçlik,uzman görüşü
Örnek: Bir market bir yılın kasa fişlerini seçer, iadeleri ve hatalı kayıtları ayıklar, her fişi ürün kümesine dönüştürür, Apriori ile "makarna alan sos da alır" gibi kurallar bulur ve kaldıracı yüksek kuralları raf düzeni için yöneticiye sunar.

Dene

Market Sepetinde Gizli Kurallar

Mahalle marketi 14 kasa fişine bakıyor: kimse bir soru sormadı, hangi ürünlerin birlikte alındığını veri söylesin. Eşikleri değiştirin, Apriori kuralları yeniden bulsun; bir kurala tıklayıp sepetlerde görün.

Veri madenciliği keşiftir: soru sorulmadan veride sık tekrar eden kalıplar aranır. Kaldıraç 1 civarındaysa kural boştur (Ekmek zaten herkesin sepetinde); işe yarayan kural kaldıracı 1’in belirgin üstünde olandır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Olasılık ve İstatistikdestek, güven, anlamlılık
Veritabanı ve SQLtablo, birleştirme ve gruplama: verinin kaynağı
Veri Yapılarıkarma tablo ve ağaç: FP-growth gibi algoritmaların yapı taşları
Algoritmalarkarmaşıklık: aday kümelerin üstel büyümesini anlamak

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Olasılık ve İstatistik dersini temel alırdestek, güven, anlamlılık
uygulamaBiyoenformatik bu dersin yöntemlerini uygulardizi motifleri, kümeleme
yöntem paylaşırMakine Öğrenmesi ile yöntem paylaşıraynı algoritmalar; amaç tahmin değil keşif
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırmetin sınıflandırma, konu modelleme
yöntem paylaşırVeri Bilimi ile yöntem paylaşırkeşifsel veri analizi
yöntem paylaşırBüyük Veri Sistemleri ile yöntem paylaşırölçeklenebilir madencilik
yöntem paylaşırBilgi Erişimi ve Öneri Sistemleri ile yöntem paylaşırbirliktelik, işbirlikçi süzme
yöntem paylaşırSosyal Ağ Analizi ile yöntem paylaşırtopluluk bulma

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütVeri MadenciliğiMakine ÖğrenmesiVeri Bilimi
Temel soruBüyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Bir program örneklerden nasıl genelleme yapar?Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?
Yaklaşımkeşfe dayalı çözümlemeistatistiksel öğrenmesoru, veri, analiz, anlatı
Girdibüyük tablo ya da işlem verisietiketli ya da etiketsiz örneklerham, dağınık veri
Çıktıkural, küme, aykırı değertahmin yapan modelrapor, görselleştirme, model
Başarı ölçütüilginçlik, destek, güvengörülmemiş veride hatakararlara katkı, doğruluk
Matematik yüküortayüksek: doğrusal cebir, olasılık, optimizasyonorta: istatistik
Veri ihtiyacıçokorta ve çokorta ve çok
  • Makine Öğrenmesi: Aynı algoritmaları kullanırlar; MÖ yeni örnekte tahmini, veri madenciliği eldeki veride keşfi amaçlar.
  • Veri Bilimi: Veri bilimi sorudan karara bütün süreci kapsar; veri madenciliği bu süreçteki örüntü bulma adımına odaklanır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütVeri MadenciliğiBüyük VeriOlasılık ve İstatistik
Temel soruBüyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Tek bir makineye sığmayan veri nasıl saklanır ve işlenir?Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır?
Yaklaşımkeşfe dayalı çözümlemedağıtık depolama ve hesaplamaolasılık modeli ve çıkarım
Girdibüyük tablo ya da işlem verisiçok büyük ve hızlı akan veriörneklem verisi
Çıktıkural, küme, aykırı değerişlenmiş veri, sorgu sonucukestirim, güven aralığı, test sonucu
Başarı ölçütüilginçlik, destek, güvenölçeklenme, gecikme, maliyetyansızlık, güç, anlamlılık
Matematik yüküortadüşükkuramın kendisi
Veri ihtiyacıçokçok fazlaörneklem
  • Büyük Veri: Büyük veri sistemleri veriyi saklar ve dağıtık işler; veri madenciliği o veride hangi örüntünün aranacağını sorar.
  • Olasılık ve İstatistik: İstatistik önceden kurulmuş bir hipotezi sınar; veri madenciliği hipotezi veriden üretir, sonra sınanması gerekir.

Uygulama

Uygulama Alanları

Market sepeti

Birlikte alınan ürünler, raf ve kampanya.

Müşteri bölütleme

Benzer müşterileri gruplamak.

Sahtekârlık tespiti

Olağandışı işlemleri öne çıkarmak.

Web kullanım

Ziyaretçilerin gezinme örüntüleri.

Arıza kayıtları

Birlikte görülen hata kodları.

Tıbbi kayıtlar

Birlikte görülen tanı ve ilaçlar.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

WekaKNIMEOrangeRapidMinerscikit-learnmlxtendR (arules)

Tanınmış veri setleri

Groceries (arules)Online Retail (UCI)Instacart Market BasketAdult (gelir)KDD Cup 1999Mushroom

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Veri madenciliği veri toplamaktır.Ad yanıltıcıdır: kazılan veri değil bilgidir; veri zaten vardır, örüntü aranır.
Bulunan her kural işe yarar.Binlerce kural çıkar; çoğu bariz ya da tesadüfidir. İlginçlik ölçütleri ve uzman süzgeci gerekir.
Güçlü birliktelik neden-sonuçtur.Birlikte görülmek birinin ötekine yol açtığını göstermez; ortak bir neden olabilir.
Kümelemenin tek doğru sonucu vardır.Sonucu küme sayısı, uzaklık ölçüsü ve ölçekleme belirler; farklı seçim, farklı küme.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Veri madenciliği uzmanıVeri analistiİş zekâsı uzmanıMüşteri analitiği uzmanıDolandırıcılık analisti
Veri madenciliği, veri kısmının keşif ayağıdır. Buradan kurallarla öneri sistemlerine, topluluk bulmayla sosyal ağ analizine, ölçeklenebilir madencilikle büyük veri sistemlerine ya da tahmine odaklanmak için makine öğrenmesine geçilebilir.

Sonrası

Kaynaklar

  • Han, Kamber ve Pei, Data Mining: Concepts and Techniques, 3. baskı, Morgan Kaufmann, 2011.
  • Tan, Steinbach, Karpatne ve Kumar, Introduction to Data Mining, 2. baskı, Pearson, 2019.
  • Witten, Frank, Hall ve Pal, Data Mining: Practical Machine Learning Tools and Techniques, 4. baskı, Morgan Kaufmann, 2017.
  • Leskovec, Rajaraman ve Ullman, Mining of Massive Datasets, 3. baskı, Cambridge University Press, 2020.

Son

Bölüm 25: Veri Madenciliği
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.