Bilgi Erişimi ve Öneri Sistemleri
Giriş
Ders Hangi Soruyu Sorar?
Bilgi erişimi, bir sorguya karşılık milyonlarca belge arasından en ilgili olanları bulup sıralayan sistemleri inceler. Öneri sistemleri aynı işi sorgu olmadan yapar: kullanıcının geçmişinden neyi beğeneceğini kestirir. İkisinin de çıktısı bir yanıt değil, sıralı bir listedir.
Bir bakışta
eşleme ve sıralama
sorgu, belgeler, kullanıcı geçmişi
sıralı sonuç listesi
kesinlik, duyarlılık, NDCG
orta: vektör uzayı
çok etkileşim verisi
Giriş
Kısa Tarihçe
Spärck Jones ters belge sıklığını (IDF) önerir: nadir terim daha çok şey söyler.
Salton ve arkadaşları vektör uzayı modelini yayımlar: belge ve sorgu birer terim vektörüdür.
Xerox PARC'ın Tapestry sistemi "işbirlikçi süzme" adını kullanır.
Brin ve Page, PageRank'e dayanan Google arama motorunu tanıtır.
Netflix Prize başlar; kazanan çözümlerde matris ayrıştırma öne çıkar.
Yoğun vektörlerle erişim ve erişimle desteklenen üretim (RAG) yaygınlaşmaya başlar.
Ders
Temel Kavramlar
Her terimden onu içeren belgelere giden liste.
Terim sıklığı ve nadirliğiyle belge puanlamak.
Benzerliği kosinüs açısıyla ölçmek.
Getirilenlerin ne kadarı ilgili, ilgililerin ne kadarı geldi.
MAP, MRR, NDCG: sıradaki yer de önemlidir.
Benzer kullanıcıların beğenisinden öneri yapmak.
Kullanıcı-ürün tablosunu gizli etkenlere bölmek.
Geçmişi olmayan yeni kullanıcı ya da ürün sorunu.
Ders
Tipik İş Akışı
Dene
Yardım Merkezinde Arama
Bir alışveriş sitesinin yardım merkezinde dokuz makale var; müşteri sorusunu kendi sözcükleriyle yazıyor. Hazır bir soru seçin ya da kendiniz yazın; makaleler TF-IDF ağırlıkları ve kosinüs benzerliğiyle sıralanır.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Doğrusal Cebir | vektör uzayı modeli, matris ayrıştırma |
| Veri Yapıları | karma tablosu, ağaçlar ve öncelik kuyruğu: dizin ve ilk k sonuç |
| Algoritmalar | sıralama, birleştirme ve karmaşıklık: büyük dizinlerde hız |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Doğrusal Cebir dersini temel alır | vektör uzayı modeli, matris ayrıştırma |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | metin temsili, TF-IDF, anlamsal arama |
| yöntem paylaşır | Veri Madenciliği ile yöntem paylaşır | birliktelik, işbirlikçi süzme |
| yöntem paylaşır | Sosyal Ağ Analizi ile yöntem paylaşır | PageRank, bağlantı çözümlemesi |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Bilgi Erişimi ve Öneri | Veri Madenciliği | Doğal Dil İşleme |
|---|---|---|---|
| Temel soru | Kullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir? | Büyük veri yığınlarındaki gizli ve işe yarar örüntüler nasıl bulunur? | Bilgisayar insan dilini nasıl çözümler, anlar ve üretir? |
| Yaklaşım | eşleme ve sıralama | keşfe dayalı çözümleme | dilbilim, istatistik ve derin öğrenme |
| Girdi | sorgu, belgeler, kullanıcı geçmişi | büyük tablo ya da işlem verisi | metin |
| Çıktı | sıralı sonuç listesi | kural, küme, aykırı değer | etiket, çeviri, özet, yanıt |
| Başarı ölçütü | kesinlik, duyarlılık, NDCG | ilginçlik, destek, güven | doğruluk, BLEU, insan değerlendirmesi |
| Matematik yükü | orta: vektör uzayı | orta | orta |
| Veri ihtiyacı | çok etkileşim verisi | çok | çok metin (derlem) |
- Veri Madenciliği: Veri madenciliği veride örüntü keşfeder; bu ders keşfi bir kullanıcının o anki ihtiyacına göre sıralı listeye çevirir.
- Doğal Dil İşleme: NLP dilin yapısını ve anlamını çözümler; bu ders metni yalnızca ilgililik puanı için temsil eder ve sıralar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Bilgi Erişimi ve Öneri | Makine Öğrenmesi | Sosyal Ağ Analizi |
|---|---|---|---|
| Temel soru | Kullanıcıya en ilgili belge ya da ürün milyonlarca aday içinden nasıl getirilir? | Bir program örneklerden nasıl genelleme yapar? | Kişiler ve ilişkilerden oluşan ağlar nasıl çözümlenir? |
| Yaklaşım | eşleme ve sıralama | istatistiksel öğrenme | çizge kuramı ve istatistik |
| Girdi | sorgu, belgeler, kullanıcı geçmişi | etiketli ya da etiketsiz örnekler | düğümler ve bağlantılar |
| Çıktı | sıralı sonuç listesi | tahmin yapan model | merkezilik, topluluk, yayılım |
| Başarı ölçütü | kesinlik, duyarlılık, NDCG | görülmemiş veride hata | modülerlik, yorumlanabilirlik |
| Matematik yükü | orta: vektör uzayı | yüksek: doğrusal cebir, olasılık, optimizasyon | orta: çizge, matris |
| Veri ihtiyacı | çok etkileşim verisi | orta ve çok | ağ verisi |
- Makine Öğrenmesi: MÖ tek tek örnekleri doğru tahmin etmeye çalışır; bu ders listenin sırasını, özellikle ilk birkaç sonucu önemser.
- Sosyal Ağ Analizi: Sosyal ağ analizi ilişkilerin yapısını inceler; bu ders o yapıyı (ör. PageRank) yalnız sıralama sinyali olarak kullanır.
Uygulama
Uygulama Alanları
Sorguya en ilgili sayfaları sıralamak.
Bunu alanlar şunları da aldı.
Kişiye özel akış ve çalma listeleri.
Şirket belgeleri ve e-postalarda arama.
Gönderileri ilgiye göre sıralamak.
Dil modeline doğru belgeleri getirmek.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Arama motoru sorgudaki sözcükleri bulmaktan ibarettir. | Asıl iş eşleşen binlerce belgeyi sıralamaktır; kullanıcı çoğu zaman yalnız ilk sayfaya bakar. |
| En yüksek puanlı ürünleri önermek yeterlidir. | Herkese aynı listeyi vermek kişiselleştirme değildir; çeşitlilik ve yenilik de ölçülür. |
| Doğruluk yüksekse öneri iyidir. | Puan tahmini hatası düşük bir model kötü sıralama yapabilir; NDCG gibi sıra ölçütleri gerekir. |
| Yoğun vektörler klasik aramayı tamamen bitirdi. | BM25 hâlâ güçlü bir taban çizgisidir; birçok sistem ikisini birlikte kullanır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Manning, Raghavan ve Schütze, Introduction to Information Retrieval, Cambridge University Press, 2008.
- Baeza-Yates ve Ribeiro-Neto, Modern Information Retrieval, 2. baskı, Addison-Wesley, 2011.
- Aggarwal, Recommender Systems: The Textbook, Springer, 2016.
- Koren, Bell ve Volinsky, "Matrix Factorization Techniques for Recommender Systems", IEEE Computer 42(8), 2009.