Bilgi Kuramı
Giriş
Ders Hangi Soruyu Sorar?
Bilgi kuramı, bir mesajın taşıdığı bilgiyi olasılıkla ölçer: az beklenen olay daha çok bilgi taşır ve ortalama bilgi entropi ile ifade edilir. Ders, verinin en çok ne kadar sıkıştırılabileceğini ve gürültülü bir kanaldan ne hızla güvenle iletilebileceğini gösteren sınırları kurar.
Bir bakışta
olasılıkla bilgi ölçümü
kaynak ve kanal modeli
sınır, kod, sıkıştırma oranı
bit, kanal kapasitesi
yüksek: olasılık
gerekmez
Giriş
Kısa Tarihçe
Hartley bilgiyi olası mesaj sayısının logaritmasıyla ölçmeyi önerir.
Shannon, "A Mathematical Theory of Communication" ile entropiyi ve kanal kapasitesini tanımlar.
Kullback ve Leibler iki olasılık dağılımı arasındaki ıraksama ölçüsünü yayımlar.
Huffman, ortalama uzunluğu en kısa önek kodunu kuran algoritmayı yayımlar.
Lempel ve Ziv sözlük tabanlı LZ77 sıkıştırmasını yayımlar; ZIP ve PNG'nin atası.
Turbo kodlar tanıtılır: pratik bir kod Shannon sınırına yarım desibel kadar yaklaşır.
Ders
Temel Kavramlar
Bir kaynağın sembol başına ortalama bilgisi, bit cinsinden.
Bir değişken bilindiğinde ötekinde kalan belirsizlik.
İki değişkenin birbiri hakkında ne kadar bilgi taşıdığı.
Bir dağılımı ötekiyle kodlamanın fazladan maliyeti.
Sınıflandırmada en yaygın kayıp fonksiyonu.
Kayıpsız sıkıştırma: Huffman, aritmetik kodlama, LZ.
Gürültülü kanaldan güvenle geçebilecek en yüksek hız.
Artıklık ekleyerek hataları bulmak ve düzeltmek.
Ders
Tipik İş Akışı
Dene
Mesajı Daha Az Bitle Gönder
Pille çalışan bir sensör mesajlarını radyoyla yolluyor; her bit enerji harcar. Bir metin yazın ya da hazır metin seçin: Huffman ağacı sık harfe kısa kod verir. Ağaçta bir harfe tıklayıp kodunu görün.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Ayrık Matematik | logaritma, kümeler, sayma ve ikili gösterim |
| Algoritmalar | açgözlü algoritmalar ve öncelik kuyruğu: Huffman kodunun kuruluşu |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| temel alır | Üretken Modeller bu dersi temel alır | KL ıraksaması, olabilirlik |
| yöntem paylaşır | Makine Öğrenmesi ile yöntem paylaşır | çapraz entropi kaybı, karar ağacı bölme ölçütü |
| yöntem paylaşır | Sayısal Sinyal İşleme ile yöntem paylaşır | sıkıştırma, örnekleme, kanal |
| yöntem paylaşır | Olasılık ve İstatistik ile yöntem paylaşır | entropi, ortak bilgi |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Bilgi Kuramı | Olasılık ve İstatistik | Sayısal Sinyal İşleme |
|---|---|---|---|
| Temel soru | Bilgi nasıl ölçülür, en az kayıpla nasıl sıkıştırılır ve iletilir? | Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır? | Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür? |
| Yaklaşım | olasılıkla bilgi ölçümü | olasılık modeli ve çıkarım | matematiksel dönüşüm ve süzgeç |
| Girdi | kaynak ve kanal modeli | örneklem verisi | örneklenmiş sinyal |
| Çıktı | sınır, kod, sıkıştırma oranı | kestirim, güven aralığı, test sonucu | süzülmüş sinyal, spektrum |
| Başarı ölçütü | bit, kanal kapasitesi | yansızlık, güç, anlamlılık | sinyal-gürültü oranı, frekans yanıtı |
| Matematik yükü | yüksek: olasılık | kuramın kendisi | yüksek: karmaşık sayı, Fourier |
| Veri ihtiyacı | gerekmez | örneklem | öğrenme yok; sinyal yeter |
- Olasılık ve İstatistik: Olasılık ve istatistik dağılımları ve belirsizliği tanımlar; bu ders aynı dağılımlardan bilgi miktarını ve iletim sınırlarını çıkarır.
- Sayısal Sinyal İşleme: Sinyal işleme sinyali süzer ve dönüştürür; bu ders o sinyalin taşıyabileceği bilginin ve iletim hızının sınırını sorar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Bilgi Kuramı | Makine Öğrenmesi | Üretken Modeller |
|---|---|---|---|
| Temel soru | Bilgi nasıl ölçülür, en az kayıpla nasıl sıkıştırılır ve iletilir? | Bir program örneklerden nasıl genelleme yapar? | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? |
| Yaklaşım | olasılıkla bilgi ölçümü | istatistiksel öğrenme | veri dağılımını öğrenme |
| Girdi | kaynak ve kanal modeli | etiketli ya da etiketsiz örnekler | çok büyük, çoğu etiketsiz veri |
| Çıktı | sınır, kod, sıkıştırma oranı | tahmin yapan model | yeni örnek: görüntü, metin, ses |
| Başarı ölçütü | bit, kanal kapasitesi | görülmemiş veride hata | gerçekçilik ve çeşitlilik (FID vb.) |
| Matematik yükü | yüksek: olasılık | yüksek: doğrusal cebir, olasılık, optimizasyon | yüksek |
| Veri ihtiyacı | gerekmez | orta ve çok | çok fazla |
- Makine Öğrenmesi: MÖ çapraz entropiyi kayıp fonksiyonu olarak kullanır; bu ders o ölçünün nereden geldiğini ve ne anlama geldiğini açıklar.
- Üretken Modeller: Üretken modeller KL ıraksamasını eğitimde küçültür; bu ders ıraksamanın kendisini ve kod uzunluğuyla bağını inceler.
Uygulama
Uygulama Alanları
ZIP, gzip ve PNG: kayıpsız sıkıştırma.
JPEG ve MP3: kayıplı sıkıştırma.
4G'de turbo, 5G'de LDPC ve polar kodlar.
QR kod, CD ve SSD'de hata düzelten kodlar.
Çapraz entropi kaybı, karar ağacında bilgi kazancı.
Ortak bilgiyle en bilgilendirici öznitelikler.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik örnek problemler
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Bilgi, mesajın anlamıyla ölçülür. | Shannon bilgisi anlamla ilgilenmez; mesajın ne kadar beklenmedik olduğuyla, yani olasılıkla ölçülür. |
| İyi bir program her dosyayı küçültebilir. | Hiçbir kayıpsız yöntem her girdiyi küçültemez; veri entropisinin altına sıkıştırılamaz. |
| Gürültülü kanalda hatasız iletim imkânsızdır. | Kapasitenin altındaki hızlarda hata olasılığı istenildiği kadar küçültülebilir (Shannon). |
| KL ıraksaması bir uzaklıktır. | Simetrik değildir ve üçgen eşitsizliğini sağlamaz: p'den q'ya ve q'dan p'ye değerler farklıdır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Cover ve Thomas, Elements of Information Theory, 2. baskı, Wiley, 2006.
- MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003.
- Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal 27, 1948.
- Shannon ve Weaver, The Mathematical Theory of Communication, University of Illinois Press, 1949.