Olasılıksal Grafik Modeller
Giriş
Ders Hangi Soruyu Sorar?
Olasılıksal grafik modeller, çok sayıda belirsiz değişkenin ortak dağılımını bir çizge ile gösterir: düğümler değişkenler, kenarlar doğrudan bağımlılıklardır. Çizgenin söylediği koşullu bağımsızlıklar dev bir dağılımı küçük parçalara böler; böylece hem modellemek hem de sorgulamak mümkün olur.
Bir bakışta
olasılık ve çizge bir arada
değişkenler, bağımlılık yapısı, veri
koşullu olasılık, en olası açıklama
olabilirlik, çıkarım doğruluğu
yüksek: olasılık
orta
Giriş
Kısa Tarihçe
Markov, bir sonraki durumun yalnız şimdiki duruma bağlı olduğu zincirleri inceler.
Baum ve Petrie saklı Markov modelinin (HMM) istatistiksel temelini yayımlar.
Dempster, Laird ve Rubin, eksik veriyle öğrenmek için EM algoritmasını yayımlar.
Pearl "Probabilistic Reasoning in Intelligent Systems" kitabıyla Bayes ağlarını YZ'ye taşır.
Rabiner'in HMM eğitici makalesi konuşma tanımada standart başvuru olur.
Lafferty, McCallum ve Pereira dizi etiketleme için koşullu rastgele alanları (CRF) önerir.
Ders
Temel Kavramlar
Bütün değişkenlerin birlikte alabileceği değerlerin olasılığı.
Bir değişken bilinince ötekiler birbirini etkilemez.
Yönlü, döngüsüz çizge; her düğümde koşullu olasılık tablosu.
Yönsüz çizge; ilişkiler potansiyel fonksiyonlarıyla.
Gözlenmeyen durum zinciri ve her durumdan bir gözlem.
Değişken eleme, kavşak ağacı (junction tree).
Örnekleme (MCMC), döngülü inanç yayılımı, değişimsel.
Parametreler (EM) ve yapı: çizgenin kendisini veriden bulmak.
Ders
Tipik İş Akışı
Dene
Çim Neden Islak?
Sabah çim ıslak: yağmur mu yağdı, fıskiye mi çalıştı? Dört değişkenli Bayes ağında bir düğüme tıklayarak kanıt verin (evet / hayır / bilinmiyor); diğer düğümlerin olasılıkları tam olasılık hesabıyla güncellenir.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Olasılık ve İstatistik | koşullu bağımsızlık, ortak dağılım |
| Algoritmalar | çizge dolaşma, dinamik programlama (Viterbi, ileri-geri) |
| Veri Yapıları | çizge gösterimi, ağaç ve öncelik kuyruğu |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Bu ders Olasılık ve İstatistik dersini temel alır | koşullu bağımsızlık, ortak dağılım |
| yöntem paylaşır | Makine Öğrenmesi ile yöntem paylaşır | olasılıksal sınıflandırıcılar, EM algoritması |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | saklı Markov modeli, koşullu rastgele alan |
| yöntem paylaşır | Uzman Sistemler ve Bilgi Temsili ile yöntem paylaşır | belirsizlik altında çıkarım |
| yöntem paylaşır | Üretken Modeller ile yöntem paylaşır | gizil değişkenli modeller, değişimsel çıkarım |
| yöntem paylaşır | Biyoenformatik ile yöntem paylaşır | dizi hizalamada saklı Markov modeli |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Olasılıksal Grafik Modeller | Olasılık ve İstatistik | Makine Öğrenmesi |
|---|---|---|---|
| Temel soru | Birbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır? | Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır? | Bir program örneklerden nasıl genelleme yapar? |
| Yaklaşım | olasılık ve çizge bir arada | olasılık modeli ve çıkarım | istatistiksel öğrenme |
| Girdi | değişkenler, bağımlılık yapısı, veri | örneklem verisi | etiketli ya da etiketsiz örnekler |
| Çıktı | koşullu olasılık, en olası açıklama | kestirim, güven aralığı, test sonucu | tahmin yapan model |
| Başarı ölçütü | olabilirlik, çıkarım doğruluğu | yansızlık, güç, anlamlılık | görülmemiş veride hata |
| Matematik yükü | yüksek: olasılık | kuramın kendisi | yüksek: doğrusal cebir, olasılık, optimizasyon |
| Veri ihtiyacı | orta | örneklem | orta ve çok |
- Olasılık ve İstatistik: Olasılık ve istatistik birkaç değişkenin dağılımını inceler; bu ders yüzlerce değişkeni çizgeyle parçalayarak modellemeyi öğretir.
- Makine Öğrenmesi: MÖ çoğu zaman tek bir hedefi tahmin eder; OGM bütün değişkenlerin ortak dağılımını kurar ve herhangi birini sorgulatır.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Olasılıksal Grafik Modeller | Üretken Modeller | Uzman Sistemler |
|---|---|---|---|
| Temel soru | Birbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır? | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? | Bir uzmanın bilgisi nasıl yazıya dökülür ve çıkarım için kullanılır? |
| Yaklaşım | olasılık ve çizge bir arada | veri dağılımını öğrenme | sembolik mantık ve kurallar |
| Girdi | değişkenler, bağımlılık yapısı, veri | çok büyük, çoğu etiketsiz veri | olgular ve uzman kuralları |
| Çıktı | koşullu olasılık, en olası açıklama | yeni örnek: görüntü, metin, ses | sonuç ve gerekçesi |
| Başarı ölçütü | olabilirlik, çıkarım doğruluğu | gerçekçilik ve çeşitlilik (FID vb.) | uzmanla uyum, açıklanabilirlik |
| Matematik yükü | yüksek: olasılık | yüksek | düşük: önerme ve yüklem mantığı |
| Veri ihtiyacı | orta | çok fazla | az; bilgi tabanı |
- Üretken Modeller: Üretken modeller örnek üretmek için büyük sinir ağları kullanır; bu ders açık, yorumlanabilir yapı ve kesin çıkarım üzerinde durur.
- Uzman Sistemler: Uzman sistemler bilgiyi keskin kurallarla yazar; OGM aynı bilgiyi olasılıklarla yazar ve kanıtları tutarlı biçimde birleştirir.
Uygulama
Uygulama Alanları
Belirti ve testlerden hastalık olasılığı.
HMM ile sesten sözcük dizisi.
Sözcük türü ve varlık adı bulma (CRF).
Gen bulma ve dizi hizalama.
Gözlenen belirtilerden en olası arıza.
Komşu piksellerin etiket uyumu (MRF).
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik ağlar ve veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Kenar neden-sonuç ilişkisi demektir. | Bayes ağında kenar yalnız olasılıksal bağımlılıktır; nedensellik ayrıca varsayım ya da deney ister. |
| Bağlantı yoksa değişkenler bağımsızdır. | Bağımsızlık koşulludur; iki düğüm ortak bir çocukları gözlenince bağımlı hâle gelebilir. |
| Çıkarım her zaman kolayca hesaplanır. | Genel çizgelerde kesin çıkarım NP-zordur; büyük modellerde yaklaşık yöntemler gerekir. |
| Derin öğrenme bu alanı gereksiz kıldı. | Az veri, açıklanabilirlik ve belirsizlik ölçümü gereken yerlerde OGM hâlâ güçlüdür; ikisi birleştirilir de. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Koller ve Friedman, Probabilistic Graphical Models: Principles and Techniques, MIT Press, 2009.
- Pearl, Probabilistic Reasoning in Intelligent Systems, Morgan Kaufmann, 1988.
- Murphy, Machine Learning: A Probabilistic Perspective, MIT Press, 2012.
- Darwiche, Modeling and Reasoning with Bayesian Networks, Cambridge University Press, 2009.
- Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proceedings of the IEEE 77(2), 1989.