Yapay Sinir Ağları
Giriş
Ders Hangi Soruyu Sorar?
Yapay sinir ağları, ağırlıklı toplam alıp bir etkinleştirme fonksiyonundan geçiren basit birimlerin katmanlar hâlinde bağlanmasıyla kurulan modelleri inceler. Öğrenme, kayıp fonksiyonunu küçültecek biçimde ağırlıkları ayarlamaktır; bunun temel aracı geri yayılım ve gradyan inişidir.
Bir bakışta
ağırlıklı basit birimlerden ağ
sayısal öznitelik vektörü
sınıf ya da sayı tahmini
kayıp ve doğruluk
orta-yüksek: türev, matris
orta
Giriş
Kısa Tarihçe
McCulloch ve Pitts, eşik değerli mantıksal birimlerle ilk yapay nöron modelini önerir.
Hebb, birlikte etkinleşen nöronların bağının güçlendiğini öne sürer: Hebb öğrenme kuralı.
Rosenblatt algılayıcıyı (perceptron) tanıtır; ağırlıklar örneklerden ayarlanır.
Minsky ve Papert, tek katmanlı algılayıcının XOR gibi problemleri çözemeyeceğini gösterir.
Hopfield, belleği enerji en küçüklemesiyle geri çağıran yinelemeli ağı yayımlar.
Rumelhart, Hinton ve Williams geri yayılımı yaygınlaştırır; çok katmanlı ağlar eğitilebilir olur.
Ders
Temel Kavramlar
Girdilerin ağırlıklı toplamı, eşik (bias) ve çıkış.
Sigmoid, tanh, ReLU: ağa doğrusal olmama katar.
Doğrusal ayrılabilen sınıfları ayıran tek katmanlı ağ.
Gizli katmanlarla doğrusal olmayan sınırlar öğrenilir.
Girdiden çıkışa katman katman tahmin hesaplamak.
Zincir kuralıyla her ağırlığın gradyanını bulmak.
Ağırlıkları kaybın azaldığı yöne küçük adımlarla taşır.
Ağırlık cezası ve erken durdurma ile aşırı uydurmayı önler.
Ders
Tipik İş Akışı
Dene
Mandalina mı, Limon mu?
Ayıklama bandındaki kamera her meyvenin ağırlığını ve renk tonunu ölçüyor. Tek bir yapay nöron (algılayıcı) iki türü ayırmayı öğreniyor: eğitin, ya da bir meyveye tıklayıp etiketini değiştirin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Makine Öğrenmesi | parametrik model, kayıp fonksiyonu, gradyan inişi |
| Doğrusal Cebir | ağırlık matrisleri, vektörleştirilmiş hesap |
| Optimizasyon | gradyan inişi, öğrenme hızı |
| Analiz (Kalkülüs) | türev, kısmi türev ve zincir kuralı: geri yayılımın matematiği |
| Programlama | Python ile diziler, döngüler ve fonksiyonlar |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Makine Öğrenmesi dersinin alt alanıdır | parametrik model, kayıp fonksiyonu, gradyan inişi |
| alt alan | Derin Öğrenme, bu dersin alt alanıdır | çok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları |
| temel alır | Bu ders Doğrusal Cebir dersini temel alır | ağırlık matrisleri, vektörleştirilmiş hesap |
| temel alır | Bu ders Optimizasyon dersini temel alır | gradyan inişi, öğrenme hızı |
| yöntem paylaşır | Evrimsel ve Metasezgisel Optimizasyon ile yöntem paylaşır | nöroevrim, hiperparametre arama |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Yapay Sinir Ağları | Makine Öğrenmesi | Derin Öğrenme |
|---|---|---|---|
| Temel soru | Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir? | Bir program örneklerden nasıl genelleme yapar? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? |
| Yaklaşım | ağırlıklı basit birimlerden ağ | istatistiksel öğrenme | çok katmanlı temsil öğrenme |
| Girdi | sayısal öznitelik vektörü | etiketli ya da etiketsiz örnekler | ham veri: görüntü, metin, ses |
| Çıktı | sınıf ya da sayı tahmini | tahmin yapan model | öğrenilmiş temsil ve tahmin |
| Başarı ölçütü | kayıp ve doğruluk | görülmemiş veride hata | doğruluk, kayıp, ölçeklenme |
| Matematik yükü | orta-yüksek: türev, matris | yüksek: doğrusal cebir, olasılık, optimizasyon | yüksek: türev, matris, olasılık |
| Veri ihtiyacı | orta | orta ve çok | çok; GPU gerekir |
- Makine Öğrenmesi: MÖ karar ağacından SVM'ye birçok model ailesini kapsar; bu ders yalnız nöronlardan kurulan ağlara odaklanır.
- Derin Öğrenme: Derin öğrenme evrişimli, yinelemeli ve dönüştürücü mimarilere geçer; bu ders bunların dayandığı temel ağı ve eğitimini kurar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Yapay Sinir Ağları | Optimizasyon | Evrimsel Optimizasyon |
|---|---|---|---|
| Temel soru | Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir? | Bir amaç fonksiyonunu en iyi yapan değerler nasıl bulunur? | Türev yokken ya da arama uzayı çok büyükken iyi bir çözüm nasıl bulunur? |
| Yaklaşım | ağırlıklı basit birimlerden ağ | amaç ve kısıtların matematiksel modeli | popülasyon ve sezgisel arama |
| Girdi | sayısal öznitelik vektörü | amaç fonksiyonu ve kısıtlar | amaç fonksiyonu ve çözüm gösterimi |
| Çıktı | sınıf ya da sayı tahmini | en iyi ya da ona yakın çözüm | iyi bir çözüm (en iyisi garanti değil) |
| Başarı ölçütü | kayıp ve doğruluk | amaç değeri, yakınsama hızı | çözüm kalitesi, değerlendirme sayısı |
| Matematik yükü | orta-yüksek: türev, matris | kuramın kendisi | düşük-orta |
| Veri ihtiyacı | orta | gerekmez | gerekmez; değerlendirme yeter |
- Optimizasyon: Optimizasyon gradyan yöntemlerini genel olarak inceler; bu ders onları ağırlıkları öğrenmek için kullanır.
- Evrimsel Optimizasyon: Nöroevrim ağırlıkları ya da mimariyi evrimle arar; bu ders ağırlıkları gradyanla, geri yayılımla öğrenir.
Uygulama
Uygulama Alanları
Posta kodu ve çek üzerindeki el yazısı rakamlar.
Kredi riski, müşteri kaybı gibi sınıflandırmalar.
Ölçümlerden doğrusal olmayan ilişki öğrenmek.
Basit robot ve süreç denetleyicileri.
Sensör verisinden arıza ya da hareket tanıma.
Hopfield ağıyla bozuk örüntüyü tamamlamak.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Yapay sinir ağları beyni taklit eder. | Esin kaynağı biyolojidir; ama yapay nöron çok kaba bir modeldir ve öğrenme kuralı beyninkinden farklıdır. |
| Daha çok nöron her zaman daha iyidir. | Büyük ağ eğitim verisini ezberleyebilir; boyut doğrulama kümesiyle seçilir. |
| Geri yayılım ayrı bir öğrenme yöntemidir. | Geri yayılım yalnız gradyanı hesaplar; ağırlıkları güncelleyen gradyan inişidir. |
| Eğitim her seferinde aynı sonucu verir. | Rastgele başlangıç ve karıştırma yüzünden farklı yerel en küçüklere varılabilir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Haykin, Neural Networks and Learning Machines, 3. baskı, Pearson, 2009.
- Bishop, Neural Networks for Pattern Recognition, Oxford University Press, 1995.
- Nielsen, Neural Networks and Deep Learning, Determination Press, 2015 (çevrimiçi kitap).
- Rumelhart, Hinton ve Williams, "Learning representations by back-propagating errors", Nature 323, 1986.