Üretken Modeller

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Veri dağılımıGizil uzayVAE ve GANDifüzyonÖzbağlanımlı modellerKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?

Üretken modeller, verinin olasılık dağılımını öğrenip o dağılımdan yeni örnekler üreten modelleri inceler. Ayırt edici bir model "bu görüntü kedi mi?" diye sorarken üretken model "kedi görüntüleri nasıl dağılır, yenisini nasıl çizerim?" diye sorar.

Bir bakışta

Yaklaşım

veri dağılımını öğrenme

Girdi

çok büyük, çoğu etiketsiz veri

Çıktı

yeni örnek: görüntü, metin, ses

Başarı ölçütü

gerçekçilik ve çeşitlilik (FID vb.)

Matematik yükü

yüksek

Veri ihtiyacı

çok fazla

Giriş

Kısa Tarihçe

2013

Kingma ve Welling değişimsel otokodlayıcıyı (VAE) önerir.

2014

Goodfellow ve arkadaşları üretici ile ayırıcının yarıştığı çekişmeli ağları (GAN) tanıtır.

2015

Sohl-Dickstein ve arkadaşları, gürültüyü adım adım geri alan difüzyon modeli fikrini yayımlar.

2018

OpenAI'ın ilk GPT modeli: büyük metin üzerinde önceden eğitilmiş özbağlanımlı dönüştürücü.

2020

Ho, Jain ve Abbeel'in DDPM çalışması difüzyon modellerini görüntü üretiminde öne çıkarır.

2022

Stable Diffusion açık ağırlıklarla yayımlanır; ChatGPT üretken modelleri geniş kitlelere taşır.

Ders

Temel Kavramlar

Olabilirlik

Modelin gerçek veriye verdiği olasılık; eğitim onu büyütür.

Gizil uzay

Örnekleri özetleyen düşük boyutlu gizli değişkenler.

Otokodlayıcı ve VAE

Kodla, çöz; VAE gizil uzayı düzenli bir dağılıma zorlar.

GAN

Üretici sahte örnek üretir, ayırıcı onu gerçekten ayırmaya çalışır.

Difüzyon

Veriye gürültü ekler, ağ gürültüyü adım adım silmeyi öğrenir.

Özbağlanımlı model

Her belirteci öncekilere bakarak tahmin eder: GPT.

Koşullu üretim

Metin, sınıf ya da çizimle yönlendirilen üretim.

Değerlendirme

FID, şaşkınlık (perplexity) ve insan değerlendirmesi.

Ders

Tipik İş Akışı

Verikümesigörüntü, metin,sesDağılımımodelleVAE, GAN,difüzyonEğitolabilirlik,çekişmeÖrneklegürültüdenveriyeDeğerlendirFID, insanyargısı
Örnek: Bir difüzyon modeli milyonlarca görüntüye adım adım gürültü ekleyip ağı bu gürültüyü tahmin etmeye eğitir. Üretim sırasında saf gürültüden başlar, metin isteminin yönlendirmesiyle gürültüyü onlarca adımda siler ve hiç görülmemiş bir görüntüye varır.

Dene

Gizil Uzaydan Yeni Yüzler

Bir oyun stüdyosu 60 çizgi yüzden yeni karakterler üretmek istiyor. Model her yüzü iki sayıya (z₁, z₂) sıkıştırmayı öğrendi; kaydırıcılarla ya da soldaki düzleme tıklayarak yeni yüz üretin.

Model yüzleri ezberlemedi; verinin gizil yapısını öğrendi. Düzlemdeki her nokta yeni ama inandırıcı bir yüz verir; VAE ve difüzyon aynı fikri milyonlarca boyuta taşır.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Derin ÖğrenmeGAN, VAE, difüzyon, büyük dil modelleri
Bilgi KuramıKL ıraksaması, olabilirlik
Analiz (Kalkülüs)integral, türev ve olasılık yoğunluklarıyla rahat çalışmak
ProgramlamaPython ve bir derin öğrenme kütüphanesi (PyTorch)

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
alt alanBu ders, Derin Öğrenme dersinin alt alanıdırGAN, VAE, difüzyon, büyük dil modelleri
temel alırBu ders Bilgi Kuramı dersini temel alırKL ıraksaması, olabilirlik
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırmetin üretimi
yöntem paylaşırOlasılıksal Grafik Modeller ile yöntem paylaşırgizil değişkenli modeller, değişimsel çıkarım
yöntem paylaşırBilgisayar Grafiği ile yöntem paylaşırgörüntü ve sahne sentezi

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütÜretken ModellerDerin ÖğrenmeOlasılıksal Grafik Modeller
Temel soruBir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Birbirine bağlı, belirsiz çok sayıda değişken nasıl modellenir ve sorgulanır?
Yaklaşımveri dağılımını öğrenmeçok katmanlı temsil öğrenmeolasılık ve çizge bir arada
Girdiçok büyük, çoğu etiketsiz veriham veri: görüntü, metin, sesdeğişkenler, bağımlılık yapısı, veri
Çıktıyeni örnek: görüntü, metin, sesöğrenilmiş temsil ve tahminkoşullu olasılık, en olası açıklama
Başarı ölçütügerçekçilik ve çeşitlilik (FID vb.)doğruluk, kayıp, ölçeklenmeolabilirlik, çıkarım doğruluğu
Matematik yüküyüksekyüksek: türev, matris, olasılıkyüksek: olasılık
Veri ihtiyacıçok fazlaçok; GPU gerekirorta
  • Derin Öğrenme: Derin öğrenme genel araç takımıdır ve çoğunlukla tahmin yapar; bu ders o araçlarla veri dağılımından yeni örnek üretir.
  • Olasılıksal Grafik Modeller: Grafik modeller değişkenler arası yapıyı açıkça kurar; bu dersin derin üretken modelleri yapıyı çoğu zaman örtük öğrenir.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütÜretken ModellerDoğal Dil İşlemeBilgisayar Grafiği
Temel soruBir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?Bilgisayar insan dilini nasıl çözümler, anlar ve üretir?Bir sahnenin tanımından gerçekçi bir görüntü nasıl üretilir?
Yaklaşımveri dağılımını öğrenmedilbilim, istatistik ve derin öğrenmegeometri ve ışık benzetimi
Girdiçok büyük, çoğu etiketsiz verimetinsahne: model, ışık, kamera
Çıktıyeni örnek: görüntü, metin, sesetiket, çeviri, özet, yanıtgörüntü ya da animasyon
Başarı ölçütügerçekçilik ve çeşitlilik (FID vb.)doğruluk, BLEU, insan değerlendirmesigerçekçilik, kare hızı
Matematik yüküyüksekortayüksek: doğrusal cebir, geometri
Veri ihtiyacıçok fazlaçok metin (derlem)gerekmez
  • Doğal Dil İşleme: NLP dili çözümleme ve anlamayı da kapsar; bu ders metni, görüntüyü ve sesi üretmenin ortak ilkelerine bakar.
  • Bilgisayar Grafiği: Bilgisayar grafiği görüntüyü sahnenin fiziksel tanımından hesaplar; üretken modeller görüntüyü veriden öğrenerek üretir.

Uygulama

Uygulama Alanları

Metinden görüntü

İstemden resim ve illüstrasyon üretmek.

Sohbet ve yazım

Büyük dil modelleriyle metin üretimi.

Ses sentezi

Doğal sesli konuşma ve müzik üretimi.

Veri artırma

Az veri olan sınıflar için yapay örnekler.

İlaç tasarımı

Yeni molekül adayları önermek.

Görüntü düzenleme

Eksik bölgeyi doldurma, çözünürlük artırma.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

PyTorchHugging Face DiffusersHugging Face TransformersJAXStable DiffusionWeights & Biases

Tanınmış veri setleri

MNISTCelebACIFAR-10LSUNLAION-5BFFHQ

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Üretken model eğitim verisini kopyalar.Amaç dağılımı öğrenmektir; yine de ezberleme olabilir ve ayrıca denetlenmelidir.
Üretken YZ yalnız sohbet robotlarıdır.Görüntü, ses, video, molekül ve kod üreten modeller de bu dersin konusudur.
Gerçekçi görünen çıktı doğru çıktıdır.Model akla yatkın ama yanlış içerik üretebilir; doğruluk ayrıca denetlenir.
GAN eski, difüzyon her yerde daha iyi.Her ailenin hız, kalite ve çeşitlilik dengesi farklıdır; GAN tek adımda üretir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Üretken YZ mühendisiAraştırmacıMakine öğrenmesi mühendisiYaratıcı teknoloji uzmanı
Üretken modellerden sonra metin üretimi için doğal dil işlemeye, görüntü ve sahne sentezi için bilgisayar grafiğine ya da modellerin güvenli ve sorumlu kullanımı için açıklanabilir YZ ve etik dersine geçilebilir. Bilgi kuramı ve olasılıksal grafik modeller ise kuramsal temeli derinleştirir.

Sonrası

Kaynaklar

  • Foster, Generative Deep Learning, 2. baskı, O'Reilly, 2023.
  • Tomczak, Deep Generative Modeling, Springer, 2022.
  • Goodfellow ve ark., "Generative Adversarial Nets", Advances in Neural Information Processing Systems 27, 2014.
  • Kingma ve Welling, "Auto-Encoding Variational Bayes", ICLR, 2014.
  • Ho, Jain ve Abbeel, "Denoising Diffusion Probabilistic Models", Advances in Neural Information Processing Systems 33, 2020.

Son

Bölüm 13: Üretken Modeller
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.