Derin Öğrenme
Giriş
Ders Hangi Soruyu Sorar?
Derin öğrenme, çok katmanlı sinir ağlarının ham veriden (piksel, ses, metin) işe yarar ara temsilleri katman katman kendisinin öğrenmesini inceler. Öznitelikleri elle tasarlamak yerine temsil öğrenme esastır; bunu büyük veri, GPU ve iyi mimariler mümkün kılar.
Bir bakışta
çok katmanlı temsil öğrenme
ham veri: görüntü, metin, ses
öğrenilmiş temsil ve tahmin
doğruluk, kayıp, ölçeklenme
yüksek: türev, matris, olasılık
çok; GPU gerekir
Giriş
Kısa Tarihçe
Hochreiter ve Schmidhuber LSTM'yi önerir: uzun dizilerde gradyanın sönmesine çare.
LeCun ve arkadaşlarının LeNet-5 evrişimli ağı el yazısı rakamları tanır.
Hinton ve arkadaşları derin inanç ağlarını katman katman ön eğitimle eğitir; ilgi yeniden canlanır.
AlexNet, GPU'da eğitilen evrişimli ağla ImageNet yarışmasını büyük farkla kazanır.
He ve arkadaşlarının artık ağları (ResNet) 152 katmanla ImageNet yarışmasını kazanır.
Vaswani ve arkadaşları dönüştürücü (transformer) mimarisini tanıtır: yalnız dikkat mekanizması.
Ders
Temel Kavramlar
Katmanlar kenardan nesneye giderek soyut öznitelikler öğrenir.
Küçük süzgeçler görüntü üzerinde kayar; ağırlıklar paylaşılır.
Uzamsal boyutu küçültür, küçük kaymalara dayanıklılık sağlar.
RNN ve LSTM: diziyi adım adım işler, durum taşır.
Her öğe dizinin hangi öğelerine bakacağını ağırlıkla seçer.
Katmanı atlayan yol; çok derin ağları eğitilebilir kılar.
Toplu (batch) ve katman normalizasyonu eğitimi kararlı kılar.
Büyük veride eğitilmiş modeli yeni göreve uyarlamak.
Ders
Tipik İş Akışı
Dene
Süzgeçler Çizgiyi Nasıl Görür?
Bir okul uygulaması çocukların çizdiği işaretleri tanıyacak. Sol ızgaraya tıklayarak çizin; iki evrişim süzgeci resmi tarar, öznitelik haritalarından sınıf puanı çıkar.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Yapay Sinir Ağları | çok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları |
| GPU Programlama ve Paralel Hesaplama | büyük ağların paralel eğitimi, tensör işlemleri |
| Analiz (Kalkülüs) | çok değişkenli türev ve zincir kuralı |
| Programlama | Python, NumPy ve bir derin öğrenme kütüphanesine alışkanlık |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler (1/2)
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Yapay Sinir Ağları dersinin alt alanıdır | çok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları |
| alt alan | Üretken Modeller, bu dersin alt alanıdır | GAN, VAE, difüzyon, büyük dil modelleri |
| temel alır | Bu ders GPU Programlama ve Paralel Hesaplama dersini temel alır | büyük ağların paralel eğitimi, tensör işlemleri |
| uygulama | Gömülü Yapay Zekâ bu dersin yöntemlerini uygular | nicemleme, budama, küçük modeller |
| yöntem paylaşır | Doğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşır | sözcük gömmeleri, dönüştürücü (transformer) mimarisi |
| yöntem paylaşır | Pekiştirmeli Öğrenme ile yöntem paylaşır | derin Q-ağları, derin politika ağları |
| yöntem paylaşır | Bilgisayarlı Görü ile yöntem paylaşır | evrişimli sinir ağları, görüntü dönüştürücüleri |
| yöntem paylaşır | Konuşma Tanıma ve Ses İşleme ile yöntem paylaşır | uçtan uca konuşma tanıma |
Örtüşme
Örtüştüğü Dersler (2/2)
| İlişki | Ders | Ortak konu |
|---|---|---|
| yöntem paylaşır | Zaman Serisi Analizi ve Tahmin ile yöntem paylaşır | yinelemeli ağlar, dikkat temelli tahmin |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Derin Öğrenme | Yapay Sinir Ağları | Makine Öğrenmesi |
|---|---|---|---|
| Temel soru | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir? | Bir program örneklerden nasıl genelleme yapar? |
| Yaklaşım | çok katmanlı temsil öğrenme | ağırlıklı basit birimlerden ağ | istatistiksel öğrenme |
| Girdi | ham veri: görüntü, metin, ses | sayısal öznitelik vektörü | etiketli ya da etiketsiz örnekler |
| Çıktı | öğrenilmiş temsil ve tahmin | sınıf ya da sayı tahmini | tahmin yapan model |
| Başarı ölçütü | doğruluk, kayıp, ölçeklenme | kayıp ve doğruluk | görülmemiş veride hata |
| Matematik yükü | yüksek: türev, matris, olasılık | orta-yüksek: türev, matris | yüksek: doğrusal cebir, olasılık, optimizasyon |
| Veri ihtiyacı | çok; GPU gerekir | orta | orta ve çok |
- Yapay Sinir Ağları: YSA nöron, kayıp ve geri yayılımı küçük ağlarda kurar; bu ders derin mimarileri ve onları eğitmenin pratiğini işler.
- Makine Öğrenmesi: Klasik MÖ elle tasarlanmış özniteliklerle çalışır; derin öğrenme öznitelikleri ham veriden kendisi öğrenir.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Derin Öğrenme | Bilgisayarlı Görü | Üretken Modeller |
|---|---|---|---|
| Temel soru | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? | Bilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar? | Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir? |
| Yaklaşım | çok katmanlı temsil öğrenme | görüntüden anlam çıkarma | veri dağılımını öğrenme |
| Girdi | ham veri: görüntü, metin, ses | görüntü ya da video | çok büyük, çoğu etiketsiz veri |
| Çıktı | öğrenilmiş temsil ve tahmin | etiket, kutu, derinlik, 3B yapı | yeni örnek: görüntü, metin, ses |
| Başarı ölçütü | doğruluk, kayıp, ölçeklenme | doğruluk, mAP, IoU | gerçekçilik ve çeşitlilik (FID vb.) |
| Matematik yükü | yüksek: türev, matris, olasılık | yüksek: geometri, doğrusal cebir | yüksek |
| Veri ihtiyacı | çok; GPU gerekir | çok etiketli görüntü | çok fazla |
- Bilgisayarlı Görü: Bilgisayarlı görü görüntüyü anlama problemidir; derin öğrenme ise görü, dil ve seste ortak kullanılan araç takımıdır.
- Üretken Modeller: Üretken modeller veri dağılımından örnek üretmeyi amaçlar; bu ders çoğunlukla ayırt edici, tahmin yapan ağlara odaklanır.
Uygulama
Uygulama Alanları
Fotoğraftaki nesneyi ya da hastalığı tanımak.
Ses kaydını metne dönüştürmek.
Dönüştürücü tabanlı çeviri sistemleri.
Otonom araçta yaya ve araç bulmak.
Amino asit dizisinden üç boyutlu yapı tahmini.
Derin pekiştirmeli öğrenmeyle Atari ve Go.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Derin öğrenme her problemde en iyisidir. | Küçük tablo verisinde gradyan artırmalı ağaçlar çoğu zaman daha iyi ve daha ucuzdur. |
| Derin ağ kara kutudur, hiç incelenemez. | Gradyan tabanlı belirginlik haritaları, dikkat ağırlıkları gibi araçlar kısmi açıklama verir. |
| Derin öğrenme 2012'de icat edildi. | Fikirler onlarca yıllıktır; 2012'deki sıçramayı büyük veri ve GPU getirdi. |
| Katman sayısı arttıkça başarı artar. | Artık bağlantı ve normalizasyon olmadan çok derin ağlar eğitilemeyebilir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Goodfellow, Bengio ve Courville, Deep Learning, MIT Press, 2016.
- Zhang, Lipton, Li ve Smola, Dive into Deep Learning, Cambridge University Press, 2023.
- Prince, Understanding Deep Learning, MIT Press, 2023.
- Chollet, Deep Learning with Python, 2. baskı, Manning, 2021.
- LeCun, Bengio ve Hinton, "Deep learning", Nature 521, 2015.