Bilgi Erişimi ve Öneri Sistemleri

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım IV: Veri
DizinlemeSorgu ve sıralamaİşbirlikçi süzmeDeğerlendirmeYoğun vektör aramasıKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Kullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir?

Bilgi erişimi, bir sorguya karşılık milyonlarca belge arasından en ilgili olanları bulup sıralayan sistemleri inceler. Öneri sistemleri aynı işi sorgu olmadan yapar: kullanıcının geçmişinden neyi beğeneceğini kestirir. İkisinin de çıktısı bir yanıt değil, sıralı bir listedir.

Bir bakışta

Yaklaşım

eşleme ve sıralama

Girdi

sorgu, belgeler, kullanıcı geçmişi

Çıktı

sıralı sonuç listesi

Başarı ölçütü

kesinlik, duyarlılık, NDCG

Matematik yükü

orta: vektör uzayı

Veri ihtiyacı

çok etkileşim verisi

Giriş

Kısa Tarihçe

1972

Spärck Jones ters belge sıklığını (IDF) önerir: nadir terim daha çok şey söyler.

1975

Salton ve arkadaşları vektör uzayı modelini yayımlar: belge ve sorgu birer terim vektörüdür.

1992

Xerox PARC'ın Tapestry sistemi "işbirlikçi süzme" adını kullanır.

1998

Brin ve Page, PageRank'e dayanan Google arama motorunu tanıtır.

2006

Netflix Prize başlar; kazanan çözümlerde matris ayrıştırma öne çıkar.

2020

Yoğun vektörlerle erişim ve erişimle desteklenen üretim (RAG) yaygınlaşmaya başlar.

Ders

Temel Kavramlar

Ters dizin

Her terimden onu içeren belgelere giden liste.

TF-IDF ve BM25

Terim sıklığı ve nadirliğiyle belge puanlamak.

Vektör uzayı modeli

Benzerliği kosinüs açısıyla ölçmek.

Kesinlik, duyarlılık

Getirilenlerin ne kadarı ilgili, ilgililerin ne kadarı geldi.

Sıralama ölçütleri

MAP, MRR, NDCG: sıradaki yer de önemlidir.

İşbirlikçi süzme

Benzer kullanıcıların beğenisinden öneri yapmak.

Matris ayrıştırma

Kullanıcı-ürün tablosunu gizli etkenlere bölmek.

Soğuk başlangıç

Geçmişi olmayan yeni kullanıcı ya da ürün sorunu.

Ders

Tipik İş Akışı

Toplatarama,etkileşim kaydıDizinleters dizin,vektör diziniAday getirbinlercehızlı adaySıralaöğrenensıralayıcıDeğerlendirNDCG,A/B testi
Örnek: Bir video platformu izleme kayıtlarını toplar, videoları vektörlerle dizinler, milyonlarca videodan birkaç yüz aday getirir, bunları izlenme olasılığına göre sıralar ve yeni sıralayıcıyı A/B testiyle eskisiyle karşılaştırır.

Dene

Yardım Merkezinde Arama

Bir alışveriş sitesinin yardım merkezinde dokuz makale var; müşteri sorusunu kendi sözcükleriyle yazıyor. Hazır bir soru seçin ya da kendiniz yazın; makaleler TF-IDF ağırlıkları ve kosinüs benzerliğiyle sıralanır.

IDF, neredeyse her makalede geçen “sipariş”, “kargo” gibi sözcüklerin ağırlığını düşürür; ayırt edici “hasarlı” öne çıkar. TF düğmesiyle farkı görün. Kökü ilk dört harfle almak Türkçe ekleri basitçe yutar.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Doğrusal Cebirvektör uzayı modeli, matris ayrıştırma
Veri Yapılarıkarma tablosu, ağaçlar ve öncelik kuyruğu: dizin ve ilk k sonuç
Algoritmalarsıralama, birleştirme ve karmaşıklık: büyük dizinlerde hız

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Doğrusal Cebir dersini temel alırvektör uzayı modeli, matris ayrıştırma
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırmetin temsili, TF-IDF, anlamsal arama
yöntem paylaşırVeri Madenciliği ile yöntem paylaşırbirliktelik, işbirlikçi süzme
yöntem paylaşırSosyal Ağ Analizi ile yöntem paylaşırPageRank, bağlantı çözümlemesi

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütBilgi Erişimi ve ÖneriVeri MadenciliğiDoğal Dil İşleme
Temel soruKullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir?Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur?Bilgisayar insan dilini nasıl çözümler, anlar ve üretir?
Yaklaşımeşleme ve sıralamakeşfe dayalı çözümlemedilbilim, istatistik ve derin öğrenme
Girdisorgu, belgeler, kullanıcı geçmişibüyük tablo ya da işlem verisimetin
Çıktısıralı sonuç listesikural, küme, aykırı değeretiket, çeviri, özet, yanıt
Başarı ölçütükesinlik, duyarlılık, NDCGilginçlik, destek, güvendoğruluk, BLEU, insan değerlendirmesi
Matematik yüküorta: vektör uzayıortaorta
Veri ihtiyacıçok etkileşim verisiçokçok metin (derlem)
  • Veri Madenciliği: Veri madenciliği veride örüntü keşfeder; bu ders keşfi bir kullanıcının o anki ihtiyacına göre sıralı listeye çevirir.
  • Doğal Dil İşleme: NLP dilin yapısını ve anlamını çözümler; bu ders metni yalnızca ilgililik puanı için temsil eder ve sıralar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütBilgi Erişimi ve ÖneriMakine ÖğrenmesiSosyal Ağ Analizi
Temel soruKullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir?Bir program örneklerden nasıl genelleme yapar?Kişiler ve ilişkilerden oluşan ağlar nasıl çözümlenir?
Yaklaşımeşleme ve sıralamaistatistiksel öğrenmeçizge kuramı ve istatistik
Girdisorgu, belgeler, kullanıcı geçmişietiketli ya da etiketsiz örneklerdüğümler ve bağlantılar
Çıktısıralı sonuç listesitahmin yapan modelmerkezilik, topluluk, yayılım
Başarı ölçütükesinlik, duyarlılık, NDCGgörülmemiş veride hatamodülerlik, yorumlanabilirlik
Matematik yüküorta: vektör uzayıyüksek: doğrusal cebir, olasılık, optimizasyonorta: çizge, matris
Veri ihtiyacıçok etkileşim verisiorta ve çokağ verisi
  • Makine Öğrenmesi: MÖ tek tek örnekleri doğru tahmin etmeye çalışır; bu ders listenin sırasını, özellikle ilk birkaç sonucu önemser.
  • Sosyal Ağ Analizi: Sosyal ağ analizi ilişkilerin yapısını inceler; bu ders o yapıyı (ör. PageRank) yalnız sıralama sinyali olarak kullanır.

Uygulama

Uygulama Alanları

Web arama

Sorguya en ilgili sayfaları sıralamak.

E-ticaret önerisi

Bunu alanlar şunları da aldı.

Video ve müzik

Kişiye özel akış ve çalma listeleri.

Kurumsal arama

Şirket belgeleri ve e-postalarda arama.

Haber akışı

Gönderileri ilgiye göre sıralamak.

RAG

Dil modeline doğru belgeleri getirmek.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

Apache LuceneElasticsearchFAISSPyseriniSurprisescikit-learn

Tanınmış veri setleri

MovieLensNetflix PrizeMS MARCOTREC koleksiyonlarıCranfield koleksiyonuAmazon ürün yorumları

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Arama motoru sorgudaki sözcükleri bulmaktan ibarettir.Asıl iş eşleşen binlerce belgeyi sıralamaktır; kullanıcı çoğu zaman yalnız ilk sayfaya bakar.
En yüksek puanlı ürünleri önermek yeterlidir.Herkese aynı listeyi vermek kişiselleştirme değildir; çeşitlilik ve yenilik de ölçülür.
Doğruluk yüksekse öneri iyidir.Puan tahmini hatası düşük bir model kötü sıralama yapabilir; NDCG gibi sıra ölçütleri gerekir.
Yoğun vektörler klasik aramayı tamamen bitirdi.BM25 hâlâ güçlü bir taban çizgisidir; birçok sistem ikisini birlikte kullanır.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Arama mühendisiÖneri sistemi mühendisiVeri bilimciSıralama (ranking) araştırmacısı
Bu dersten sonra doğal dil işlemeyle anlamsal aramaya, sosyal ağ analiziyle bağlantı temelli sıralamaya, büyük veri sistemleriyle milyarlarca belgeyi dizinlemeye geçilebilir. Erişimle desteklenen üretim, bu dersi büyük dil modelleriyle doğrudan buluşturur.

Sonrası

Kaynaklar

  • Manning, Raghavan ve Schütze, Introduction to Information Retrieval, Cambridge University Press, 2008.
  • Baeza-Yates ve Ribeiro-Neto, Modern Information Retrieval, 2. baskı, Addison-Wesley, 2011.
  • Aggarwal, Recommender Systems: The Textbook, Springer, 2016.
  • Koren, Bell ve Volinsky, "Matrix Factorization Techniques for Recommender Systems", IEEE Computer 42(8), 2009.

Son

Bölüm 28: Bilgi Erişimi ve Öneri Sistemleri
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.