Doğal Dil İşleme ve Metin Madenciliği
Giriş
Ders Hangi Soruyu Sorar?
Doğal dil işleme, bilgisayarın insan dilini çözümlemesini, anlamasını ve üretmesini inceler; metin madenciliği ise büyük metin yığınlarından bilgi ve örüntü çıkarır. Dersin merkezinde metni sayılara çeviren metin temsili ve sıradaki sözcüğü tahmin eden dil modelleri vardır.
Bir bakışta
dilbilim, istatistik ve derin öğrenme
metin
etiket, çeviri, özet, yanıt
doğruluk, BLEU, insan değerlendirmesi
orta
çok metin (derlem)
Giriş
Kısa Tarihçe
Georgetown-IBM deneyi: altmışı aşkın Rusça cümle otomatik olarak İngilizceye çevrilir.
Weizenbaum'un ELIZA programı basit kalıp eşlemeyle bir terapisti taklit eder.
İstatistiksel yöntemler kural tabanlı sistemlerin yerini alır; IBM çeviri modelleri öne çıkar.
Mikolov ve arkadaşlarının word2vec yöntemi sözcükleri anlamı yansıtan vektörlere gömer.
Dönüştürücü (transformer) mimarisi tanıtılır; ardından BERT ve GPT gibi önceden eğitilmiş modeller gelir.
Büyük dil modelleri sohbet arayüzleriyle geniş kitlelere ulaşır.
Ders
Temel Kavramlar
Metni sözcük ya da alt sözcük birimlerine bölmek.
Kök ve ek çözümleme; Türkçe gibi eklemeli dillerde kritik.
Sırayı yok sayıp sözcük sayılarıyla metni temsil etmek.
Belgede sık, derlemde seyrek sözcüklere yüksek ağırlık.
Anlamca yakın sözcükler vektör uzayında yakın durur.
Sıradaki sözcüğün olasılığını tahmin eden model.
Metindeki kişi, yer ve kurum adlarını bulmak.
LDA gibi yöntemlerle belgelerdeki gizli konuları bulmak.
Ders
Tipik İş Akışı
Dene
Müşteri Yorumu Olumlu mu?
Bir e-ticaret sitesine günde binlerce yorum geliyor; olumsuzlar hemen müşteri hizmetlerine gitmeli. Hazır bir yorum seçin ya da kendiniz yazın; model sözcükleri tek tek puanlar.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Yapay Zekâ | dil anlama ve üretme |
| Programlama | Python ile dizgi işleme, dosya okuma ve düzenli ifadeler |
| Veri Yapıları | sözlük, hash tablosu ve trie: sözcük dağarcığını tutmak için |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Yapay Zekâ dersinin alt alanıdır | dil anlama ve üretme |
| yöntem paylaşır | Derin Öğrenme ile yöntem paylaşır | sözcük gömmeleri, dönüştürücü (transformer) mimarisi |
| yöntem paylaşır | Olasılıksal Grafik Modeller ile yöntem paylaşır | saklı Markov modeli, koşullu rastgele alan |
| yöntem paylaşır | Üretken Modeller ile yöntem paylaşır | metin üretimi |
| yöntem paylaşır | Konuşma Tanıma ve Ses İşleme ile yöntem paylaşır | dil modeli, konuşmadan metne |
| yöntem paylaşır | Veri Madenciliği ile yöntem paylaşır | metin sınıflandırma, konu modelleme |
| yöntem paylaşır | Bilgi Erişimi ve Öneri Sistemleri ile yöntem paylaşır | metin temsili, TF-IDF, anlamsal arama |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Doğal Dil İşleme | Konuşma ve Ses İşleme | Bilgi Erişimi ve Öneri |
|---|---|---|---|
| Temel soru | Bilgisayar insan dilini nasıl çözümler, anlar ve üretir? | Ses dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır? | Kullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir? |
| Yaklaşım | dilbilim, istatistik ve derin öğrenme | akustik sinyal ve dil modeli | eşleme ve sıralama |
| Girdi | metin | ses dalgası | sorgu, belgeler, kullanıcı geçmişi |
| Çıktı | etiket, çeviri, özet, yanıt | metin, konuşmacı, ses olayı | sıralı sonuç listesi |
| Başarı ölçütü | doğruluk, BLEU, insan değerlendirmesi | sözcük hata oranı (WER) | kesinlik, duyarlılık, NDCG |
| Matematik yükü | orta | orta-yüksek | orta: vektör uzayı |
| Veri ihtiyacı | çok metin (derlem) | çok saatlik kayıt | çok etkileşim verisi |
- Konuşma ve Ses İşleme: Konuşma tanıma ses dalgasından metne ulaşır; NLP metin elde edildikten sonra anlamı çözümler.
- Bilgi Erişimi ve Öneri: Bilgi erişimi sorguya en ilgili belgeyi getirir; NLP belgenin içindeki dili ayrıntılı olarak çözümler ve üretir.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Doğal Dil İşleme | Veri Madenciliği | Üretken Modeller |
|---|---|---|---|
| Temel soru | Bilgisayar insan dilini nasıl çözümler, anlar ve üretir? | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? |
| Yaklaşım | dilbilim, istatistik ve derin öğrenme | keşfe dayalı çözümleme | veri dağılımını öğrenme |
| Girdi | metin | büyük tablo ya da işlem verisi | çok büyük, çoğu etiketsiz veri |
| Çıktı | etiket, çeviri, özet, yanıt | kural, küme, aykırı değer | yeni örnek: görüntü, metin, ses |
| Başarı ölçütü | doğruluk, BLEU, insan değerlendirmesi | ilginçlik, destek, güven | gerçekçilik ve çeşitlilik (FID vb.) |
| Matematik yükü | orta | orta | yüksek |
| Veri ihtiyacı | çok metin (derlem) | çok | çok fazla |
- Veri Madenciliği: Veri madenciliği her tür veride örüntü arar; bu ders dilin kendine özgü yapısını (sözcük, ek, cümle) işler.
- Üretken Modeller: Üretken modeller görüntü ve ses dahil her türlü örnek üretir; NLP dili anlama ve çözümleme görevlerini de kapsar.
Uygulama
Uygulama Alanları
Diller arasında otomatik çeviri.
Yorum ve paylaşımlardaki tutumu bulmak.
Belgeden ya da bilgi tabanından yanıt bulmak.
Uzun metni kısa ve öz hâle getirmek.
Kullanıcıyla doğal dilde konuşan sistemler.
Haber, dilekçe ya da e-postayı konusuna ayırmak.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Model metni insan gibi anlar. | Dil modelleri istatistiksel örüntü öğrenir; akıcı metin her zaman doğru ya da tutarlı değildir. |
| İngilizce için yapılan her yöntem Türkçede de çalışır. | Eklemeli Türkçede bir kök yüzlerce biçim alır; belirteçleme ve biçimbilim ayrı ele alınır. |
| Büyük dil modelleri çıkınca klasik NLP bitti. | TF-IDF, düzenli ifadeler ve küçük modeller hâlâ hızlı, ucuz ve çoğu iş için yeterlidir. |
| Metin madenciliği sözcük saymaktır. | Sayım başlangıçtır; varlık, ilişki ve konu çıkarmak dilin yapısını gerektirir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Jurafsky ve Martin, Speech and Language Processing, 2. baskı, Prentice Hall, 2009.
- Manning ve Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.
- Bird, Klein ve Loper, Natural Language Processing with Python, O'Reilly, 2009.
- Eisenstein, Introduction to Natural Language Processing, MIT Press, 2019.
- Vaswani ve ark., "Attention Is All You Need", Advances in Neural Information Processing Systems 30, 2017.