Olasılıksal Grafik Modeller

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Bayes ağlarıMarkov ağlarıKoşullu bağımsızlıkÇıkarımParametre öğrenmeKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Birbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır?

Olasılıksal grafik modeller, çok sayıda belirsiz değişkenin ortak dağılımını bir çizge ile gösterir: düğümler değişkenler, kenarlar doğrudan bağımlılıklardır. Çizgenin söylediği koşullu bağımsızlıklar dev bir dağılımı küçük parçalara böler; böylece hem modellemek hem de sorgulamak mümkün olur.

Bir bakışta

Yaklaşım

olasılık ve çizge bir arada

Girdi

değişkenler, bağımlılık yapısı, veri

Çıktı

koşullu olasılık, en olası açıklama

Başarı ölçütü

olabilirlik, çıkarım doğruluğu

Matematik yükü

yüksek: olasılık

Veri ihtiyacı

orta

Giriş

Kısa Tarihçe

1906

Markov, bir sonraki durumun yalnız şimdiki duruma bağlı olduğu zincirleri inceler.

1966

Baum ve Petrie saklı Markov modelinin (HMM) istatistiksel temelini yayımlar.

1977

Dempster, Laird ve Rubin, eksik veriyle öğrenmek için EM algoritmasını yayımlar.

1988

Pearl "Probabilistic Reasoning in Intelligent Systems" kitabıyla Bayes ağlarını YZ'ye taşır.

1989

Rabiner'in HMM eğitici makalesi konuşma tanımada standart başvuru olur.

2001

Lafferty, McCallum ve Pereira dizi etiketleme için koşullu rastgele alanları (CRF) önerir.

Ders

Temel Kavramlar

Ortak dağılım

Bütün değişkenlerin birlikte alabileceği değerlerin olasılığı.

Koşullu bağımsızlık

Bir değişken bilinince ötekiler birbirini etkilemez.

Bayes ağı

Yönlü, döngüsüz çizge; her düğümde koşullu olasılık tablosu.

Markov ağı

Yönsüz çizge; ilişkiler potansiyel fonksiyonlarıyla.

Saklı Markov modeli

Gözlenmeyen durum zinciri ve her durumdan bir gözlem.

Kesin çıkarım

Değişken eleme, kavşak ağacı (junction tree).

Yaklaşık çıkarım

Örnekleme (MCMC), döngülü inanç yayılımı, değişimsel.

Öğrenme

Parametreler (EM) ve yapı: çizgenin kendisini veriden bulmak.

Ders

Tipik İş Akışı

Değişkenleriseçneler belirsiz?ÇizgeyikurbağımlılıklarOlasılıklarıveruzman ya daveri (EM)Kanıt girgözlenenlerSorgulakoşulluolasılık
Örnek: Bir tanı ağında sigara, kanser ve öksürük düğümleri vardır. Hekim tablolarını literatürden doldurur. Hasta öksürüyor ve sigara içiyorsa bu iki kanıt girilir; ağ kanser olasılığını yeniden hesaplar ve hangi testin belirsizliği en çok azaltacağını gösterir.

Dene

Çim Neden Islak?

Sabah çim ıslak: yağmur mu yağdı, fıskiye mi çalıştı? Dört değişkenli Bayes ağında bir düğüme tıklayarak kanıt verin (evet / hayır / bilinmiyor); diğer düğümlerin olasılıkları tam olasılık hesabıyla güncellenir.

Dört değişkenin 16 birleşik durumu tablo olarak tutulmadı; ağ yalnız yerel koşullu olasılıkları saklar. Kanıt gelince numaralandırma bu küçük tablolardan istenen sonsal olasılığı hesaplar.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Olasılık ve İstatistikkoşullu bağımsızlık, ortak dağılım
Algoritmalarçizge dolaşma, dinamik programlama (Viterbi, ileri-geri)
Veri Yapılarıçizge gösterimi, ağaç ve öncelik kuyruğu

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırBu ders Olasılık ve İstatistik dersini temel alırkoşullu bağımsızlık, ortak dağılım
yöntem paylaşırMakine Öğrenmesi ile yöntem paylaşırolasılıksal sınıflandırıcılar, EM algoritması
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırsaklı Markov modeli, koşullu rastgele alan
yöntem paylaşırUzman Sistemler ve Bilgi Temsili ile yöntem paylaşırbelirsizlik altında çıkarım
yöntem paylaşırÜretken Modeller ile yöntem paylaşırgizil değişkenli modeller, değişimsel çıkarım
yöntem paylaşırBiyoenformatik ile yöntem paylaşırdizi hizalamada saklı Markov modeli

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütOlasılıksal Grafik ModellerOlasılık ve İstatistikMakine Öğrenmesi
Temel soruBirbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır?Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır?Bir program örneklerden nasıl genelleme yapar?
Yaklaşımolasılık ve çizge bir aradaolasılık modeli ve çıkarımistatistiksel öğrenme
Girdideğişkenler, bağımlılık yapısı, veriörneklem verisietiketli ya da etiketsiz örnekler
Çıktıkoşullu olasılık, en olası açıklamakestirim, güven aralığı, test sonucutahmin yapan model
Başarı ölçütüolabilirlik, çıkarım doğruluğuyansızlık, güç, anlamlılıkgörülmemiş veride hata
Matematik yüküyüksek: olasılıkkuramın kendisiyüksek: doğrusal cebir, olasılık, optimizasyon
Veri ihtiyacıortaörneklemorta ve çok
  • Olasılık ve İstatistik: Olasılık ve istatistik birkaç değişkenin dağılımını inceler; bu ders yüzlerce değişkeni çizgeyle parçalayarak modellemeyi öğretir.
  • Makine Öğrenmesi: MÖ çoğu zaman tek bir hedefi tahmin eder; OGM bütün değişkenlerin ortak dağılımını kurar ve herhangi birini sorgulatır.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütOlasılıksal Grafik ModellerÜretken ModellerUzman Sistemler
Temel soruBirbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır?Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?Bir uzmanın bilgisi nasıl yazıya dökülür ve çıkarım için kullanılır?
Yaklaşımolasılık ve çizge bir aradaveri dağılımını öğrenmesembolik mantık ve kurallar
Girdideğişkenler, bağımlılık yapısı, veriçok büyük, çoğu etiketsiz veriolgular ve uzman kuralları
Çıktıkoşullu olasılık, en olası açıklamayeni örnek: görüntü, metin, sessonuç ve gerekçesi
Başarı ölçütüolabilirlik, çıkarım doğruluğugerçekçilik ve çeşitlilik (FID vb.)uzmanla uyum, açıklanabilirlik
Matematik yüküyüksek: olasılıkyüksekdüşük: önerme ve yüklem mantığı
Veri ihtiyacıortaçok fazlaaz; bilgi tabanı
  • Üretken Modeller: Üretken modeller örnek üretmek için büyük sinir ağları kullanır; bu ders açık, yorumlanabilir yapı ve kesin çıkarım üzerinde durur.
  • Uzman Sistemler: Uzman sistemler bilgiyi keskin kurallarla yazar; OGM aynı bilgiyi olasılıklarla yazar ve kanıtları tutarlı biçimde birleştirir.

Uygulama

Uygulama Alanları

Tıbbi tanı

Belirti ve testlerden hastalık olasılığı.

Konuşma tanıma

HMM ile sesten sözcük dizisi.

Dizi etiketleme

Sözcük türü ve varlık adı bulma (CRF).

Biyoenformatik

Gen bulma ve dizi hizalama.

Arıza teşhisi

Gözlenen belirtilerden en olası arıza.

Görüntü bölütleme

Komşu piksellerin etiket uyumu (MRF).

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

pgmpyPyMCStanhmmlearnPyroGeNIe ve SMILEbnlearn (R)

Klasik ağlar ve veri setleri

Asia (göğüs kliniği) ağıALARM ağıYağmur-fıskiye ağıInsurance ağıCoNLL-2003TIMIT

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Kenar neden-sonuç ilişkisi demektir.Bayes ağında kenar yalnız olasılıksal bağımlılıktır; nedensellik ayrıca varsayım ya da deney ister.
Bağlantı yoksa değişkenler bağımsızdır.Bağımsızlık koşulludur; iki düğüm ortak bir çocukları gözlenince bağımlı hâle gelebilir.
Çıkarım her zaman kolayca hesaplanır.Genel çizgelerde kesin çıkarım NP-zordur; büyük modellerde yaklaşık yöntemler gerekir.
Derin öğrenme bu alanı gereksiz kıldı.Az veri, açıklanabilirlik ve belirsizlik ölçümü gereken yerlerde OGM hâlâ güçlüdür; ikisi birleştirilir de.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Makine öğrenmesi araştırmacısıVeri bilimciBiyoistatistikçiKonuşma ve dil teknolojileri mühendisi
Olasılıksal grafik modeller olasılığı yapıyla buluşturur. Bu dersten sonra gizil değişkenli üretken modellere, dizi modelleriyle doğal dil işlemeye ve biyoenformatiğe ya da nedensel çıkarıma geçmek doğal adımlardır.

Sonrası

Kaynaklar

  • Koller ve Friedman, Probabilistic Graphical Models: Principles and Techniques, MIT Press, 2009.
  • Pearl, Probabilistic Reasoning in Intelligent Systems, Morgan Kaufmann, 1988.
  • Murphy, Machine Learning: A Probabilistic Perspective, MIT Press, 2012.
  • Darwiche, Modeling and Reasoning with Bayesian Networks, Cambridge University Press, 2009.
  • Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Proceedings of the IEEE 77(2), 1989.

Son

Bölüm 12: Olasılıksal Grafik Modeller
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.