Üretken Modeller
Giriş
Ders Hangi Soruyu Sorar?
Üretken modeller, verinin olasılık dağılımını öğrenip o dağılımdan yeni örnekler üreten modelleri inceler. Ayırt edici bir model "bu görüntü kedi mi?" diye sorarken üretken model "kedi görüntüleri nasıl dağılır, yenisini nasıl çizerim?" diye sorar.
Bir bakışta
veri dağılımını öğrenme
çok büyük, çoğu etiketsiz veri
yeni örnek: görüntü, metin, ses
gerçekçilik ve çeşitlilik (FID vb.)
yüksek
çok fazla
Giriş
Kısa Tarihçe
Kingma ve Welling değişimsel otokodlayıcıyı (VAE) önerir.
Goodfellow ve arkadaşları üretici ile ayırıcının yarıştığı çekişmeli ağları (GAN) tanıtır.
Sohl-Dickstein ve arkadaşları, gürültüyü adım adım geri alan difüzyon modeli fikrini yayımlar.
OpenAI'ın ilk GPT modeli: büyük metin üzerinde önceden eğitilmiş özbağlanımlı dönüştürücü.
Ho, Jain ve Abbeel'in DDPM çalışması difüzyon modellerini görüntü üretiminde öne çıkarır.
Stable Diffusion açık ağırlıklarla yayımlanır; ChatGPT üretken modelleri geniş kitlelere taşır.
Ders
Temel Kavramlar
Modelin gerçek veriye verdiği olasılık; eğitim onu büyütür.
Örnekleri özetleyen düşük boyutlu gizli değişkenler.
Kodla, çöz; VAE gizil uzayı düzenli bir dağılıma zorlar.
Üretici sahte örnek üretir, ayırıcı onu gerçekten ayırmaya çalışır.
Veriye gürültü ekler, ağ gürültüyü adım adım silmeyi öğrenir.
Her belirteci öncekilere bakarak tahmin eder: GPT.
Metin, sınıf ya da çizimle yönlendirilen üretim.
FID, şaşkınlık (perplexity) ve insan değerlendirmesi.
Ders
Tipik İş Akışı
Dene
Gizil Uzaydan Yeni Yüzler
Bir oyun stüdyosu 60 çizgi yüzden yeni karakterler üretmek istiyor. Model her yüzü iki sayıya (z₁, z₂) sıkıştırmayı öğrendi; kaydırıcılarla ya da soldaki düzleme tıklayarak yeni yüz üretin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Derin Öğrenme | GAN, VAE, difüzyon, büyük dil modelleri |
| Bilgi Kuramı | KL ıraksaması, olabilirlik |
| Analiz (Kalkülüs) | integral, türev ve olasılık yoğunluklarıyla rahat çalışmak |
| Programlama | Python ve bir derin öğrenme kütüphanesi (PyTorch) |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Derin Öğrenme dersinin alt alanıdır | GAN, VAE, difüzyon, büyük dil modelleri |
| temel alır | Bu ders Bilgi Kuramı dersini temel alır | KL ıraksaması, olabilirlik |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | metin üretimi |
| yöntem paylaşır | Olasılıksal Grafik Modeller ile yöntem paylaşır | gizil değişkenli modeller, değişimsel çıkarım |
| yöntem paylaşır | Bilgisayar Grafiği ile yöntem paylaşır | görüntü ve sahne sentezi |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Üretken Modeller | Derin Öğrenme | Olasılıksal Grafik Modeller |
|---|---|---|---|
| Temel soru | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Birbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır? |
| Yaklaşım | veri dağılımını öğrenme | çok katmanlı temsil öğrenme | olasılık ve çizge bir arada |
| Girdi | çok büyük, çoğu etiketsiz veri | ham veri: görüntü, metin, ses | değişkenler, bağımlılık yapısı, veri |
| Çıktı | yeni örnek: görüntü, metin, ses | öğrenilmiş temsil ve tahmin | koşullu olasılık, en olası açıklama |
| Başarı ölçütü | gerçekçilik ve çeşitlilik (FID vb.) | doğruluk, kayıp, ölçeklenme | olabilirlik, çıkarım doğruluğu |
| Matematik yükü | yüksek | yüksek: türev, matris, olasılık | yüksek: olasılık |
| Veri ihtiyacı | çok fazla | çok; GPU gerekir | orta |
- Derin Öğrenme: Derin öğrenme genel araç takımıdır ve çoğunlukla tahmin yapar; bu ders o araçlarla veri dağılımından yeni örnek üretir.
- Olasılıksal Grafik Modeller: Grafik modeller değişkenler arası yapıyı açıkça kurar; bu dersin derin üretken modelleri yapıyı çoğu zaman örtük öğrenir.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Üretken Modeller | Doğal Dil İşleme | Bilgisayar Grafiği |
|---|---|---|---|
| Temel soru | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? | Bilgisayar insan dilini nasıl çözümler, anlar ve üretir? | Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir? |
| Yaklaşım | veri dağılımını öğrenme | dilbilim, istatistik ve derin öğrenme | geometri ve ışık benzetimi |
| Girdi | çok büyük, çoğu etiketsiz veri | metin | sahne: model, ışık, kamera |
| Çıktı | yeni örnek: görüntü, metin, ses | etiket, çeviri, özet, yanıt | görüntü ya da animasyon |
| Başarı ölçütü | gerçekçilik ve çeşitlilik (FID vb.) | doğruluk, BLEU, insan değerlendirmesi | gerçekçilik, kare hızı |
| Matematik yükü | yüksek | orta | yüksek: doğrusal cebir, geometri |
| Veri ihtiyacı | çok fazla | çok metin (derlem) | gerekmez |
- Doğal Dil İşleme: NLP dili çözümleme ve anlamayı da kapsar; bu ders metni, görüntüyü ve sesi üretmenin ortak ilkelerine bakar.
- Bilgisayar Grafiği: Bilgisayar grafiği görüntüyü sahnenin fiziksel tanımından hesaplar; üretken modeller görüntüyü veriden öğrenerek üretir.
Uygulama
Uygulama Alanları
İstemden resim ve illüstrasyon üretmek.
Büyük dil modelleriyle metin üretimi.
Doğal sesli konuşma ve müzik üretimi.
Az veri olan sınıflar için yapay örnekler.
Yeni molekül adayları önermek.
Eksik bölgeyi doldurma, çözünürlük artırma.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Üretken model eğitim verisini kopyalar. | Amaç dağılımı öğrenmektir; yine de ezberleme olabilir ve ayrıca denetlenmelidir. |
| Üretken YZ yalnız sohbet robotlarıdır. | Görüntü, ses, video, molekül ve kod üreten modeller de bu dersin konusudur. |
| Gerçekçi görünen çıktı doğru çıktıdır. | Model akla yatkın ama yanlış içerik üretebilir; doğruluk ayrıca denetlenir. |
| GAN eski, difüzyon her yerde daha iyi. | Her ailenin hız, kalite ve çeşitlilik dengesi farklıdır; GAN tek adımda üretir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Foster, Generative Deep Learning, 2. baskı, O'Reilly, 2023.
- Tomczak, Deep Generative Modeling, Springer, 2022.
- Goodfellow ve ark., "Generative Adversarial Nets", Advances in Neural Information Processing Systems 27, 2014.
- Kingma ve Welling, "Auto-Encoding Variational Bayes", ICLR, 2014.
- Ho, Jain ve Abbeel, "Denoising Diffusion Probabilistic Models", Advances in Neural Information Processing Systems 33, 2020.