Derin Öğrenme

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım I: Çekirdek
Temsil öğrenmeEvrişimli ağlarYinelemeli ağlarDönüştürücülerEğitim teknikleriKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?

Derin öğrenme, çok katmanlı sinir ağlarının ham veriden (piksel, ses, metin) işe yarar ara temsilleri katman katman kendisinin öğrenmesini inceler. Öznitelikleri elle tasarlamak yerine temsil öğrenme esastır; bunu büyük veri, GPU ve iyi mimariler mümkün kılar.

Bir bakışta

Yaklaşım

çok katmanlı temsil öğrenme

Girdi

ham veri: görüntü, metin, ses

Çıktı

öğrenilmiş temsil ve tahmin

Başarı ölçütü

doğruluk, kayıp, ölçeklenme

Matematik yükü

yüksek: türev, matris, olasılık

Veri ihtiyacı

çok; GPU gerekir

Giriş

Kısa Tarihçe

1997

Hochreiter ve Schmidhuber LSTM'yi önerir: uzun dizilerde gradyanın sönmesine çare.

1998

LeCun ve arkadaşlarının LeNet-5 evrişimli ağı el yazısı rakamları tanır.

2006

Hinton ve arkadaşları derin inanç ağlarını katman katman ön eğitimle eğitir; ilgi yeniden canlanır.

2012

AlexNet, GPU'da eğitilen evrişimli ağla ImageNet yarışmasını büyük farkla kazanır.

2015

He ve arkadaşlarının artık ağları (ResNet) 152 katmanla ImageNet yarışmasını kazanır.

2017

Vaswani ve arkadaşları dönüştürücü (transformer) mimarisini tanıtır: yalnız dikkat mekanizması.

Ders

Temel Kavramlar

Temsil öğrenme

Katmanlar kenardan nesneye giderek soyut öznitelikler öğrenir.

Evrişim

Küçük süzgeçler görüntü üzerinde kayar; ağırlıklar paylaşılır.

Havuzlama

Uzamsal boyutu küçültür, küçük kaymalara dayanıklılık sağlar.

Yinelemeli ağ

RNN ve LSTM: diziyi adım adım işler, durum taşır.

Dikkat

Her öğe dizinin hangi öğelerine bakacağını ağırlıkla seçer.

Artık bağlantı

Katmanı atlayan yol; çok derin ağları eğitilebilir kılar.

Normalizasyon

Toplu (batch) ve katman normalizasyonu eğitimi kararlı kılar.

Aktarım öğrenmesi

Büyük veride eğitilmiş modeli yeni göreve uyarlamak.

Ders

Tipik İş Akışı

Ham veripiksel, ses,metinMimariseçCNN, RNN,dönüştürücüGPU'daeğitmini yığın,AdamDüzenledropout,veri artırmaİnce ayaraktarımöğrenmesi
Örnek: Bitki hastalığı tanıyan bir uygulama yaprak fotoğraflarını toplar, ImageNet'te önceden eğitilmiş bir ResNet alır, son katmanını hastalık sınıflarıyla değiştirir ve GPU'da veri artırmayla ince ayar yapar. Hiçbir öznitelik elle tanımlanmaz.

Dene

Süzgeçler Çizgiyi Nasıl Görür?

Bir okul uygulaması çocukların çizdiği işaretleri tanıyacak. Sol ızgaraya tıklayarak çizin; iki evrişim süzgeci resmi tarar, öznitelik haritalarından sınıf puanı çıkar.

Çapraz bir çizgi çizin: iki süzgeç de neredeyse tepki vermez. Ağın başka desenler için başka süzgeçlere ihtiyacı var.
Süzgeçteki dokuz sayı elle yazıldı; derin ağ ise bu sayıları verilerden öğrenir ve katmanları üst üste koyarak kenardan şekle, şekilden nesneye çıkar.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Yapay Sinir Ağlarıçok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları
GPU Programlama ve Paralel Hesaplamabüyük ağların paralel eğitimi, tensör işlemleri
Analiz (Kalkülüs)çok değişkenli türev ve zincir kuralı
ProgramlamaPython, NumPy ve bir derin öğrenme kütüphanesine alışkanlık

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler (1/2)

İlişkiDersOrtak konu
alt alanBu ders, Yapay Sinir Ağları dersinin alt alanıdırçok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları
alt alanÜretken Modeller, bu dersin alt alanıdırGAN, VAE, difüzyon, büyük dil modelleri
temel alırBu ders GPU Programlama ve Paralel Hesaplama dersini temel alırbüyük ağların paralel eğitimi, tensör işlemleri
uygulamaGömülü Yapay Zekâ bu dersin yöntemlerini uygularnicemleme, budama, küçük modeller
yöntem paylaşırDoğal Dil İşleme ve Metin Madenciliği ile yöntem paylaşırsözcük gömmeleri, dönüştürücü (transformer) mimarisi
yöntem paylaşırPekiştirmeli Öğrenme ile yöntem paylaşırderin Q-ağları, derin politika ağları
yöntem paylaşırBilgisayarlı Görü ile yöntem paylaşırevrişimli sinir ağları, görüntü dönüştürücüleri
yöntem paylaşırKonuşma Tanıma ve Ses İşleme ile yöntem paylaşıruçtan uca konuşma tanıma

Örtüşme

Örtüştüğü Dersler (2/2)

İlişkiDersOrtak konu
yöntem paylaşırZaman Serisi Analizi ve Tahmin ile yöntem paylaşıryinelemeli ağlar, dikkat temelli tahmin

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütDerin ÖğrenmeYapay Sinir AğlarıMakine Öğrenmesi
Temel soruÇok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir?Bir program örneklerden nasıl genelleme yapar?
Yaklaşımçok katmanlı temsil öğrenmeağırlıklı basit birimlerden ağistatistiksel öğrenme
Girdiham veri: görüntü, metin, sessayısal öznitelik vektörüetiketli ya da etiketsiz örnekler
Çıktıöğrenilmiş temsil ve tahminsınıf ya da sayı tahminitahmin yapan model
Başarı ölçütüdoğruluk, kayıp, ölçeklenmekayıp ve doğrulukgörülmemiş veride hata
Matematik yüküyüksek: türev, matris, olasılıkorta-yüksek: türev, matrisyüksek: doğrusal cebir, olasılık, optimizasyon
Veri ihtiyacıçok; GPU gerekirortaorta ve çok
  • Yapay Sinir Ağları: YSA nöron, kayıp ve geri yayılımı küçük ağlarda kurar; bu ders derin mimarileri ve onları eğitmenin pratiğini işler.
  • Makine Öğrenmesi: Klasik MÖ elle tasarlanmış özniteliklerle çalışır; derin öğrenme öznitelikleri ham veriden kendisi öğrenir.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütDerin ÖğrenmeBilgisayarlı GörüÜretken Modeller
Temel soruÇok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?Bilgisayar bir görüntüde ya da videoda ne olduğunu nasıl anlar?Bir model gerçek veriye benzeyen yeni örnekleri nasıl üretir?
Yaklaşımçok katmanlı temsil öğrenmegörüntüden anlam çıkarmaveri dağılımını öğrenme
Girdiham veri: görüntü, metin, sesgörüntü ya da videoçok büyük, çoğu etiketsiz veri
Çıktıöğrenilmiş temsil ve tahminetiket, kutu, derinlik, 3B yapıyeni örnek: görüntü, metin, ses
Başarı ölçütüdoğruluk, kayıp, ölçeklenmedoğruluk, mAP, IoUgerçekçilik ve çeşitlilik (FID vb.)
Matematik yüküyüksek: türev, matris, olasılıkyüksek: geometri, doğrusal cebiryüksek
Veri ihtiyacıçok; GPU gerekirçok etiketli görüntüçok fazla
  • Bilgisayarlı Görü: Bilgisayarlı görü görüntüyü anlama problemidir; derin öğrenme ise görü, dil ve seste ortak kullanılan araç takımıdır.
  • Üretken Modeller: Üretken modeller veri dağılımından örnek üretmeyi amaçlar; bu ders çoğunlukla ayırt edici, tahmin yapan ağlara odaklanır.

Uygulama

Uygulama Alanları

Görüntü sınıflandırma

Fotoğraftaki nesneyi ya da hastalığı tanımak.

Konuşma tanıma

Ses kaydını metne dönüştürmek.

Makine çevirisi

Dönüştürücü tabanlı çeviri sistemleri.

Nesne tespiti

Otonom araçta yaya ve araç bulmak.

Protein yapısı

Amino asit dizisinden üç boyutlu yapı tahmini.

Oyun oynama

Derin pekiştirmeli öğrenmeyle Atari ve Go.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

PyTorchTensorFlowKerasJAXHugging FaceCUDATensorBoard

Tanınmış veri setleri

ImageNetCIFAR-10/100MNISTCOCOLibriSpeechWikipedia metinleri

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Derin öğrenme her problemde en iyisidir.Küçük tablo verisinde gradyan artırmalı ağaçlar çoğu zaman daha iyi ve daha ucuzdur.
Derin ağ kara kutudur, hiç incelenemez.Gradyan tabanlı belirginlik haritaları, dikkat ağırlıkları gibi araçlar kısmi açıklama verir.
Derin öğrenme 2012'de icat edildi.Fikirler onlarca yıllıktır; 2012'deki sıçramayı büyük veri ve GPU getirdi.
Katman sayısı arttıkça başarı artar.Artık bağlantı ve normalizasyon olmadan çok derin ağlar eğitilemeyebilir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Derin öğrenme mühendisiBilgisayarlı görü mühendisiAraştırmacıML altyapı mühendisiUygulamalı bilimci
Derin öğrenme bugün haritanın en çok kullanılan aracıdır: bilgisayarlı görü, doğal dil işleme, konuşma tanıma, üretken modeller ve derin pekiştirmeli öğrenme onun üzerine kurulur. Sistem tarafında GPU programlama, gömülü YZ ve MLOps bu modelleri hızlandırmayı ve üretime taşımayı öğretir.

Sonrası

Kaynaklar

  • Goodfellow, Bengio ve Courville, Deep Learning, MIT Press, 2016.
  • Zhang, Lipton, Li ve Smola, Dive into Deep Learning, Cambridge University Press, 2023.
  • Prince, Understanding Deep Learning, MIT Press, 2023.
  • Chollet, Deep Learning with Python, 2. baskı, Manning, 2021.
  • LeCun, Bengio ve Hinton, "Deep learning", Nature 521, 2015.

Son

Bölüm 5: Derin Öğrenme
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.