Doğal Dil İşleme ve Metin Madenciliği

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Metin ön işlemeMetin temsiliDil modelleriDönüştürücülerMetin madenciliğiKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bilgisayar insan dilini nasıl çözümler, anlar ve üretir?

Doğal dil işleme, bilgisayarın insan dilini çözümlemesini, anlamasını ve üretmesini inceler; metin madenciliği ise büyük metin yığınlarından bilgi ve örüntü çıkarır. Dersin merkezinde metni sayılara çeviren metin temsili ve sıradaki sözcüğü tahmin eden dil modelleri vardır.

Bir bakışta

Yaklaşım

dilbilim, istatistik ve derin öğrenme

Girdi

metin

Çıktı

etiket, çeviri, özet, yanıt

Başarı ölçütü

doğruluk, BLEU, insan değerlendirmesi

Matematik yükü

orta

Veri ihtiyacı

çok metin (derlem)

Giriş

Kısa Tarihçe

1954

Georgetown-IBM deneyi: altmışı aşkın Rusça cümle otomatik olarak İngilizceye çevrilir.

1966

Weizenbaum'un ELIZA programı basit kalıp eşlemeyle bir terapisti taklit eder.

1990'lar

İstatistiksel yöntemler kural tabanlı sistemlerin yerini alır; IBM çeviri modelleri öne çıkar.

2013

Mikolov ve arkadaşlarının word2vec yöntemi sözcükleri anlamı yansıtan vektörlere gömer.

2017

Dönüştürücü (transformer) mimarisi tanıtılır; ardından BERT ve GPT gibi önceden eğitilmiş modeller gelir.

2022

Büyük dil modelleri sohbet arayüzleriyle geniş kitlelere ulaşır.

Ders

Temel Kavramlar

Belirteçleme

Metni sözcük ya da alt sözcük birimlerine bölmek.

Biçimbilim

Kök ve ek çözümleme; Türkçe gibi eklemeli dillerde kritik.

Sözcük torbası

Sırayı yok sayıp sözcük sayılarıyla metni temsil etmek.

TF-IDF

Belgede sık, derlemde seyrek sözcüklere yüksek ağırlık.

Sözcük gömmeleri

Anlamca yakın sözcükler vektör uzayında yakın durur.

Dil modeli

Sıradaki sözcüğün olasılığını tahmin eden model.

Varlık tanıma

Metindeki kişi, yer ve kurum adlarını bulmak.

Konu modelleme

LDA gibi yöntemlerle belgelerdeki gizli konuları bulmak.

Ders

Tipik İş Akışı

MetnitopladerlemÖn işlebelirteçleme,kök bulmaTemsil etTF-IDF,gömmelerModellesınıflandırıcı,dönüştürücüDeğerlendirF1, BLEU
Örnek: Bir e-ticaret sitesi ürün yorumlarını toplar, metni belirteçlere ayırıp ekleri çözümler, yorumları önceden eğitilmiş bir dönüştürücüyle vektöre çevirir, olumlu ve olumsuz duygu sınıflandırıcısı eğitir ve F1 puanıyla ölçer. Sonuç, şikâyetlerin hangi konularda toplandığını gösterir.

Dene

Müşteri Yorumu Olumlu mu?

Bir e-ticaret sitesine günde binlerce yorum geliyor; olumsuzlar hemen müşteri hizmetlerine gitmeli. Hazır bir yorum seçin ya da kendiniz yazın; model sözcükleri tek tek puanlar.

Bilgisayar metni önce sözcüklere böler, sonra her sözcüğe bir ağırlık verir. Türkçede “beğenmedim” gibi ekler anlamı tersine çevirir; dil işleme bu yapıyı modele öğretmek zorundadır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Yapay Zekâdil anlama ve üretme
ProgramlamaPython ile dizgi işleme, dosya okuma ve düzenli ifadeler
Veri Yapılarısözlük, hash tablosu ve trie: sözcük dağarcığını tutmak için

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
alt alanBu ders, Yapay Zekâ dersinin alt alanıdırdil anlama ve üretme
yöntem paylaşırDerin Öğrenme ile yöntem paylaşırsözcük gömmeleri, dönüştürücü (transformer) mimarisi
yöntem paylaşırOlasılıksal Grafik Modeller ile yöntem paylaşırsaklı Markov modeli, koşullu rastgele alan
yöntem paylaşırÜretken Modeller ile yöntem paylaşırmetin üretimi
yöntem paylaşırKonuşma Tanıma ve Ses İşleme ile yöntem paylaşırdil modeli, konuşmadan metne
yöntem paylaşırVeri Madenciliği ile yöntem paylaşırmetin sınıflandırma, konu modelleme
yöntem paylaşırBilgi Erişimi ve Öneri Sistemleri ile yöntem paylaşırmetin temsili, TF-IDF, anlamsal arama

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütDoğal Dil İşlemeKonuşma ve Ses İşlemeBilgi Erişimi ve Öneri
Temel soruBilgisayar insan dilini nasıl çözümler, anlar ve üretir?Ses dalgasından sözcükler, konuşmacı ve olaylar nasıl çıkarılır?Kullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir?
Yaklaşımdilbilim, istatistik ve derin öğrenmeakustik sinyal ve dil modelieşleme ve sıralama
Girdimetinses dalgasısorgu, belgeler, kullanıcı geçmişi
Çıktıetiket, çeviri, özet, yanıtmetin, konuşmacı, ses olayısıralı sonuç listesi
Başarı ölçütüdoğruluk, BLEU, insan değerlendirmesisözcük hata oranı (WER)kesinlik, duyarlılık, NDCG
Matematik yüküortaorta-yüksekorta: vektör uzayı
Veri ihtiyacıçok metin (derlem)çok saatlik kayıtçok etkileşim verisi
  • Konuşma ve Ses İşleme: Konuşma tanıma ses dalgasından metne ulaşır; NLP metin elde edildikten sonra anlamı çözümler.
  • Bilgi Erişimi ve Öneri: Bilgi erişimi sorguya en ilgili belgeyi getirir; NLP belgenin içindeki dili ayrıntılı olarak çözümler ve üretir.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütDoğal Dil İşlemeVeri MadenciliğiÜretken Modeller
Temel soruBilgisayar insan dilini nasıl çözümler, anlar ve üretir?Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?
Yaklaşımdilbilim, istatistik ve derin öğrenmekeşfe dayalı çözümlemeveri dağılımını öğrenme
Girdimetinbüyük tablo ya da işlem verisiçok büyük, çoğu etiketsiz veri
Çıktıetiket, çeviri, özet, yanıtkural, küme, aykırı değeryeni örnek: görüntü, metin, ses
Başarı ölçütüdoğruluk, BLEU, insan değerlendirmesiilginçlik, destek, güvengerçekçilik ve çeşitlilik (FID vb.)
Matematik yüküortaortayüksek
Veri ihtiyacıçok metin (derlem)çokçok fazla
  • Veri Madenciliği: Veri madenciliği her tür veride örüntü arar; bu ders dilin kendine özgü yapısını (sözcük, ek, cümle) işler.
  • Üretken Modeller: Üretken modeller görüntü ve ses dahil her türlü örnek üretir; NLP dili anlama ve çözümleme görevlerini de kapsar.

Uygulama

Uygulama Alanları

Makine çevirisi

Diller arasında otomatik çeviri.

Duygu çözümlemesi

Yorum ve paylaşımlardaki tutumu bulmak.

Soru yanıtlama

Belgeden ya da bilgi tabanından yanıt bulmak.

Özetleme

Uzun metni kısa ve öz hâle getirmek.

Sohbet asistanları

Kullanıcıyla doğal dilde konuşan sistemler.

Belge sınıflandırma

Haber, dilekçe ya da e-postayı konusuna ayırmak.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

NLTKspaCyHugging Face TransformersGensimStanzaZemberek (Türkçe)

Tanınmış veri setleri

Penn TreebankCoNLL-2003SQuADGLUEIMDb film yorumlarıWikipedia dökümleri

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Model metni insan gibi anlar.Dil modelleri istatistiksel örüntü öğrenir; akıcı metin her zaman doğru ya da tutarlı değildir.
İngilizce için yapılan her yöntem Türkçede de çalışır.Eklemeli Türkçede bir kök yüzlerce biçim alır; belirteçleme ve biçimbilim ayrı ele alınır.
Büyük dil modelleri çıkınca klasik NLP bitti.TF-IDF, düzenli ifadeler ve küçük modeller hâlâ hızlı, ucuz ve çoğu iş için yeterlidir.
Metin madenciliği sözcük saymaktır.Sayım başlangıçtır; varlık, ilişki ve konu çıkarmak dilin yapısını gerektirir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

NLP mühendisiHesaplamalı dilbilimciVeri bilimciArama ve öneri mühendisiAraştırmacı
NLP'den sonra konuşma tanıma ile sözlü dile, bilgi erişimi ile anlamsal aramaya, üretken modeller ile büyük dil modellerinin iç yapısına geçilebilir. Açıklanabilir YZ ve etik dersi ise dil modellerinin yanlılık ve güvenilirlik sorunlarını ele alır.

Sonrası

Kaynaklar

  • Jurafsky ve Martin, Speech and Language Processing, 2. baskı, Prentice Hall, 2009.
  • Manning ve Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.
  • Bird, Klein ve Loper, Natural Language Processing with Python, O'Reilly, 2009.
  • Eisenstein, Introduction to Natural Language Processing, MIT Press, 2019.
  • Vaswani ve ark., "Attention Is All You Need", Advances in Neural Information Processing Systems 30, 2017.

Son

Bölüm 6: Doğal Dil İşleme ve Metin Madenciliği
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.