Bilgi Kuramı

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım V: Matematik Temeli
EntropiSıkıştırmaKanal kapasitesiHata düzelten kodlarMÖ'deki ölçülerKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bilgi nasıl ölçülür, en az kayıpla nasıl sıkıştırılır ve iletilir?

Bilgi kuramı, bir mesajın taşıdığı bilgiyi olasılıkla ölçer: az beklenen olay daha çok bilgi taşır ve ortalama bilgi entropi ile ifade edilir. Ders, verinin en çok ne kadar sıkıştırılabileceğini ve gürültülü bir kanaldan ne hızla güvenle iletilebileceğini gösteren sınırları kurar.

Bir bakışta

Yaklaşım

olasılıkla bilgi ölçümü

Girdi

kaynak ve kanal modeli

Çıktı

sınır, kod, sıkıştırma oranı

Başarı ölçütü

bit, kanal kapasitesi

Matematik yükü

yüksek: olasılık

Veri ihtiyacı

gerekmez

Giriş

Kısa Tarihçe

1928

Hartley bilgiyi olası mesaj sayısının logaritmasıyla ölçmeyi önerir.

1948

Shannon, "A Mathematical Theory of Communication" ile entropiyi ve kanal kapasitesini tanımlar.

1951

Kullback ve Leibler iki olasılık dağılımı arasındaki ıraksama ölçüsünü yayımlar.

1952

Huffman, ortalama uzunluğu en kısa önek kodunu kuran algoritmayı yayımlar.

1977

Lempel ve Ziv sözlük tabanlı LZ77 sıkıştırmasını yayımlar; ZIP ve PNG'nin atası.

1993

Turbo kodlar tanıtılır: pratik bir kod Shannon sınırına yarım desibel kadar yaklaşır.

Ders

Temel Kavramlar

Entropi

Bir kaynağın sembol başına ortalama bilgisi, bit cinsinden.

Koşullu entropi

Bir değişken bilindiğinde ötekinde kalan belirsizlik.

Ortak bilgi

İki değişkenin birbiri hakkında ne kadar bilgi taşıdığı.

KL ıraksaması

Bir dağılımı ötekiyle kodlamanın fazladan maliyeti.

Çapraz entropi

Sınıflandırmada en yaygın kayıp fonksiyonu.

Kaynak kodlama

Kayıpsız sıkıştırma: Huffman, aritmetik kodlama, LZ.

Kanal kapasitesi

Gürültülü kanaldan güvenle geçebilecek en yüksek hız.

Hata düzelten kodlar

Artıklık ekleyerek hataları bulmak ve düzeltmek.

Ders

Tipik İş Akışı

Kaynakmesaj,olasılıklarSıkıştırkaynakkodlamaKorukanal kodlama,artıklıkGöndergürültülükanalÇözhata düzeltme,açma
Örnek: Telefonla gönderilen bir fotoğraf önce JPEG ile sıkıştırılır; ardından kablosuz ağın kanal kodu buna denetimli artıklık ekler. Havada bozulan bitler alıcıda bu artıklıkla düzeltilir ve fotoğraf açılır. Sıkıştırma ve koruma birbirinin tersi gibi görünse de ikisi de aynı kuramdan çıkar.

Dene

Mesajı Daha Az Bitle Gönder

Pille çalışan bir sensör mesajlarını radyoyla yolluyor; her bit enerji harcar. Bir metin yazın ya da hazır metin seçin: Huffman ağacı sık harfe kısa kod verir. Ağaçta bir harfe tıklayıp kodunu görün.

Bilgi kuramı sınırı koyar: kayıpsız hiçbir kod ortalamada entropiden kısa olamaz. Huffman bu sınıra bir bitten yakın kalır. Harfler eşit sıklıktaysa kazanç yalnız alfabenin küçüklüğünden gelir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Ayrık Matematiklogaritma, kümeler, sayma ve ikili gösterim
Algoritmalaraçgözlü algoritmalar ve öncelik kuyruğu: Huffman kodunun kuruluşu

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
temel alırÜretken Modeller bu dersi temel alırKL ıraksaması, olabilirlik
yöntem paylaşırMakine Öğrenmesi ile yöntem paylaşırçapraz entropi kaybı, karar ağacı bölme ölçütü
yöntem paylaşırSayısal Sinyal İşleme ile yöntem paylaşırsıkıştırma, örnekleme, kanal
yöntem paylaşırOlasılık ve İstatistik ile yöntem paylaşırentropi, ortak bilgi

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütBilgi KuramıOlasılık ve İstatistikSayısal Sinyal İşleme
Temel soruBilgi nasıl ölçülür, en az kayıpla nasıl sıkıştırılır ve iletilir?Belirsizlik nasıl ölçülür ve sınırlı veriden nasıl güvenilir sonuç çıkarılır?Örneklenmiş sinyaller nasıl çözümlenir, süzülür ve dönüştürülür?
Yaklaşımolasılıkla bilgi ölçümüolasılık modeli ve çıkarımmatematiksel dönüşüm ve süzgeç
Girdikaynak ve kanal modeliörneklem verisiörneklenmiş sinyal
Çıktısınır, kod, sıkıştırma oranıkestirim, güven aralığı, test sonucusüzülmüş sinyal, spektrum
Başarı ölçütübit, kanal kapasitesiyansızlık, güç, anlamlılıksinyal-gürültü oranı, frekans yanıtı
Matematik yüküyüksek: olasılıkkuramın kendisiyüksek: karmaşık sayı, Fourier
Veri ihtiyacıgerekmezörneklemöğrenme yok; sinyal yeter
  • Olasılık ve İstatistik: Olasılık ve istatistik dağılımları ve belirsizliği tanımlar; bu ders aynı dağılımlardan bilgi miktarını ve iletim sınırlarını çıkarır.
  • Sayısal Sinyal İşleme: Sinyal işleme sinyali süzer ve dönüştürür; bu ders o sinyalin taşıyabileceği bilginin ve iletim hızının sınırını sorar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütBilgi KuramıMakine ÖğrenmesiÜretken Modeller
Temel soruBilgi nasıl ölçülür, en az kayıpla nasıl sıkıştırılır ve iletilir?Bir program örneklerden nasıl genelleme yapar?Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?
Yaklaşımolasılıkla bilgi ölçümüistatistiksel öğrenmeveri dağılımını öğrenme
Girdikaynak ve kanal modelietiketli ya da etiketsiz örneklerçok büyük, çoğu etiketsiz veri
Çıktısınır, kod, sıkıştırma oranıtahmin yapan modelyeni örnek: görüntü, metin, ses
Başarı ölçütübit, kanal kapasitesigörülmemiş veride hatagerçekçilik ve çeşitlilik (FID vb.)
Matematik yüküyüksek: olasılıkyüksek: doğrusal cebir, olasılık, optimizasyonyüksek
Veri ihtiyacıgerekmezorta ve çokçok fazla
  • Makine Öğrenmesi: MÖ çapraz entropiyi kayıp fonksiyonu olarak kullanır; bu ders o ölçünün nereden geldiğini ve ne anlama geldiğini açıklar.
  • Üretken Modeller: Üretken modeller KL ıraksamasını eğitimde küçültür; bu ders ıraksamanın kendisini ve kod uzunluğuyla bağını inceler.

Uygulama

Uygulama Alanları

Dosya sıkıştırma

ZIP, gzip ve PNG: kayıpsız sıkıştırma.

Görüntü ve ses

JPEG ve MP3: kayıplı sıkıştırma.

Mobil iletişim

4G'de turbo, 5G'de LDPC ve polar kodlar.

Veri depolama

QR kod, CD ve SSD'de hata düzelten kodlar.

Makine öğrenmesi

Çapraz entropi kaybı, karar ağacında bilgi kazancı.

Öznitelik seçimi

Ortak bilgiyle en bilgilendirici öznitelikler.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

PythonNumPySciPyzlibscikit-learnMATLAB

Klasik örnek problemler

Hileli zar ve yazı-turaİkili simetrik kanalİngilizce metnin entropisiHuffman ağacı kurmaYirmi soru oyunuCanterbury derlemi
Bilgi kuramı çoğunlukla ispat ve hesapla çalışılır; kod, entropiyi ölçmek ve sıkıştırma oranını gerçek dosyalarda denemek için yazılır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Bilgi, mesajın anlamıyla ölçülür.Shannon bilgisi anlamla ilgilenmez; mesajın ne kadar beklenmedik olduğuyla, yani olasılıkla ölçülür.
İyi bir program her dosyayı küçültebilir.Hiçbir kayıpsız yöntem her girdiyi küçültemez; veri entropisinin altına sıkıştırılamaz.
Gürültülü kanalda hatasız iletim imkânsızdır.Kapasitenin altındaki hızlarda hata olasılığı istenildiği kadar küçültülebilir (Shannon).
KL ıraksaması bir uzaklıktır.Simetrik değildir ve üçgen eşitsizliğini sağlamaz: p'den q'ya ve q'dan p'ye değerler farklıdır.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Haberleşme mühendisiSıkıştırma ve kodek geliştiricisiMakine öğrenmesi araştırmacısıKriptografi uzmanıVeri depolama mühendisi
Bilgi kuramı, matematik temelinin MÖ'ye açılan kapısıdır: çapraz entropi, KL ıraksaması ve ortak bilgi üretken modellerde, karar ağaçlarında ve temsil öğrenmede yeniden karşınıza çıkar. Haberleşme yönünde ise sayısal sinyal işleme ve kodlama kuramıyla devam edilir.

Sonrası

Kaynaklar

  • Cover ve Thomas, Elements of Information Theory, 2. baskı, Wiley, 2006.
  • MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003.
  • Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal 27, 1948.
  • Shannon ve Weaver, The Mathematical Theory of Communication, University of Illinois Press, 1949.

Son

Bölüm 34: Bilgi Kuramı
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.