Yapay Sinir Ağları
Giriş
Ders Hangi Soruyu Sorar?
Yapay sinir ağları, ağırlıklı toplam alıp bir etkinleştirme fonksiyonundan geçiren basit birimlerin katmanlar hâlinde bağlanmasıyla kurulan modelleri inceler. Öğrenme, kayıp fonksiyonunu küçültecek biçimde ağırlıkları ayarlamaktır; bunun temel aracı geri yayılım ve gradyan inişidir.
Bir bakışta
ağırlıklı basit birimlerden ağ
sayısal öznitelik vektörü
sınıf ya da sayı tahmini
kayıp ve doğruluk
orta-yüksek: türev, matris
orta
Giriş
Kısa Tarihçe
McCulloch ve Pitts, eşik değerli mantıksal birimlerle ilk yapay nöron modelini önerir.
Hebb, birlikte etkinleşen nöronların bağının güçlendiğini öne sürer: Hebb öğrenme kuralı.
Rosenblatt algılayıcıyı (perceptron) tanıtır; ağırlıklar örneklerden ayarlanır.
Minsky ve Papert, tek katmanlı algılayıcının XOR gibi problemleri çözemeyeceğini gösterir.
Hopfield, belleği enerji en küçüklemesiyle geri çağıran yinelemeli ağı yayımlar.
Rumelhart, Hinton ve Williams geri yayılımı yaygınlaştırır; çok katmanlı ağlar eğitilebilir olur.
Ders
Temel Kavramlar
Girdilerin ağırlıklı toplamı, eşik (bias) ve çıkış.
Sigmoid, tanh, ReLU: ağa doğrusal olmama katar.
Doğrusal ayrılabilen sınıfları ayıran tek katmanlı ağ.
Gizli katmanlarla doğrusal olmayan sınırlar öğrenilir.
Girdiden çıkışa katman katman tahmin hesaplamak.
Zincir kuralıyla her ağırlığın gradyanını bulmak.
Ağırlıkları kaybın azaldığı yöne küçük adımlarla taşır.
Ağırlık cezası ve erken durdurma ile aşırı uydurmayı önler.
Ders
Tipik İş Akışı
Ders
Derste Neler İşlenir?
- Biyolojik ve yapay nöron; McCulloch-Pitts modeli
- Hebb kuralı ve algılayıcı öğrenme algoritması
- Adaline, en küçük kareler ve delta kuralı
- Doğrusal ayrılabilirlik ve XOR problemi
- Çok katmanlı ağ ve etkinleştirme fonksiyonları
- Geri yayılım: hesaplama çizgesi ve zincir kuralı
- Kayıp fonksiyonları: kare hata, çapraz entropi
- Gradyan inişi, öğrenme hızı ve momentum
- Ağırlık başlatma ve gradyanın sönmesi
- Genelleme: düzenlileştirme, erken durdurma
- Radyal tabanlı fonksiyon ağları
- Hopfield ağı ve öz düzenleyen haritalar (SOM)
Kazandırdığı beceriler
Tipik bir dönemin akışıdır; sıra ve kapsam üniversiteden üniversiteye değişir.
Dene
Mandalina mı, Limon mu?
Ayıklama bandındaki kamera her meyvenin ağırlığını ve renk tonunu ölçüyor. Tek bir yapay nöron (algılayıcı) iki türü ayırmayı öğreniyor: eğitin, ya da bir meyveye tıklayıp etiketini değiştirin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Makine Öğrenmesi | parametrik model, kayıp fonksiyonu, gradyan inişi |
| Doğrusal Cebir | ağırlık matrisleri, vektörleştirilmiş hesap |
| Optimizasyon | gradyan inişi, öğrenme hızı |
| Analiz (Kalkülüs) | türev, kısmi türev ve zincir kuralı: geri yayılımın matematiği |
| Programlama | Python ile diziler, döngüler ve fonksiyonlar |
Konum
Bu Ders Sana Göre mi?
Kendine sor; "hayır" dediklerin için sağdaki sütun nereden başlayacağını gösterir.
| Kendine sor | Hayırsa önce |
|---|---|
| Bileşik bir fonksiyonun türevini zincir kuralıyla alabiliyor musun? | Analiz dersindeki türev ve zincir kuralı konuları |
| Bir matrisi bir vektörle çarpıp sonucun boyutunu söyleyebiliyor musun? | Doğrusal Cebir |
| Python'da NumPy dizileriyle döngüsüz toplu işlem yapabiliyor musun? | Programlamaya giriş, ardından NumPy'a kısa bir giriş |
| Eğitim ve test hatası arasındaki farkı açıklayabiliyor musun? | Makine Öğrenmesi |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Makine Öğrenmesi dersinin alt alanıdır | parametrik model, kayıp fonksiyonu, gradyan inişi |
| alt alan | Derin Öğrenme, bu dersin alt alanıdır | çok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları |
| temel alır | Bu ders Doğrusal Cebir dersini temel alır | ağırlık matrisleri, vektörleştirilmiş hesap |
| temel alır | Bu ders Optimizasyon dersini temel alır | gradyan inişi, öğrenme hızı |
| yöntem paylaşır | Evrimsel ve Metasezgisel Optimizasyon ile yöntem paylaşır | nöroevrim, hiperparametre arama |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Yapay Sinir Ağları | Makine Öğrenmesi | Derin Öğrenme |
|---|---|---|---|
| Temel soru | Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir? | Bir program örneklerden nasıl genelleme yapar? | Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir? |
| Yaklaşım | ağırlıklı basit birimlerden ağ | istatistiksel öğrenme | çok katmanlı temsil öğrenme |
| Girdi | sayısal öznitelik vektörü | etiketli ya da etiketsiz örnekler | ham veri: görüntü, metin, ses |
| Çıktı | sınıf ya da sayı tahmini | tahmin yapan model | öğrenilmiş temsil ve tahmin |
| Başarı ölçütü | kayıp ve doğruluk | görülmemiş veride hata | doğruluk, kayıp, ölçeklenme |
| Matematik yükü | orta-yüksek: türev, matris | yüksek: doğrusal cebir, olasılık, optimizasyon | yüksek: türev, matris, olasılık |
| Veri ihtiyacı | orta | orta ve çok | çok; GPU gerekir |
- Makine Öğrenmesi: MÖ karar ağacından SVM'ye birçok model ailesini kapsar; bu ders yalnız nöronlardan kurulan ağlara odaklanır.
- Derin Öğrenme: Derin öğrenme evrişimli, yinelemeli ve dönüştürücü mimarilere geçer; bu ders bunların dayandığı temel ağı ve eğitimini kurar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Yapay Sinir Ağları | Optimizasyon | Evrimsel Optimizasyon |
|---|---|---|---|
| Temel soru | Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir? | Bir amaç fonksiyonunu en iyi yapan değerler nasıl bulunur? | Türev yokken ya da arama uzayı çok büyükken iyi bir çözüm nasıl bulunur? |
| Yaklaşım | ağırlıklı basit birimlerden ağ | amaç ve kısıtların matematiksel modeli | popülasyon ve sezgisel arama |
| Girdi | sayısal öznitelik vektörü | amaç fonksiyonu ve kısıtlar | amaç fonksiyonu ve çözüm gösterimi |
| Çıktı | sınıf ya da sayı tahmini | en iyi ya da ona yakın çözüm | iyi bir çözüm (en iyisi garanti değil) |
| Başarı ölçütü | kayıp ve doğruluk | amaç değeri, yakınsama hızı | çözüm kalitesi, değerlendirme sayısı |
| Matematik yükü | orta-yüksek: türev, matris | kuramın kendisi | düşük-orta |
| Veri ihtiyacı | orta | gerekmez | gerekmez; değerlendirme yeter |
- Optimizasyon: Optimizasyon gradyan yöntemlerini genel olarak inceler; bu ders onları ağırlıkları öğrenmek için kullanır.
- Evrimsel Optimizasyon: Nöroevrim ağırlıkları ya da mimariyi evrimle arar; bu ders ağırlıkları gradyanla, geri yayılımla öğrenir.
Uygulama
Uygulama Alanları
Posta kodu ve çek üzerindeki el yazısı rakamlar.
Kredi riski, müşteri kaybı gibi sınıflandırmalar.
Ölçümlerden doğrusal olmayan ilişki öğrenmek.
Basit robot ve süreç denetleyicileri.
Sensör verisinden arıza ya da hareket tanıma.
Hopfield ağıyla bozuk örüntüyü tamamlamak.
Uygulama
Riskler ve Etik
Küçük veride büyük ağ eğitim hatasını sıfırlar ama yeni örnekte çöker; doğrulama kümesi olmadan bu fark görülmez.
Ağ asıl özniteliği değil, veri toplamanın izini öğrenebilir: fotoğraftaki cetvel, zemin rengi ya da tarayıcı damgası gibi.
Kötü başlatma ya da büyük öğrenme hızı kaybı patlatır; tek bir rastgele tohumla alınan sonuç tekrarlanamayabilir.
Ağırlıklar okunabilir bir kural vermez; kredi ya da tıbbi karar gibi gerekçe istenen yerlerde bu ciddi bir sorundur.
Ayrıntılı tartışma: Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Tanınmış veri setleri
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Yapay sinir ağları beyni taklit eder. | Esin kaynağı biyolojidir; ama yapay nöron çok kaba bir modeldir ve öğrenme kuralı beyninkinden farklıdır. |
| Daha çok nöron her zaman daha iyidir. | Büyük ağ eğitim verisini ezberleyebilir; boyut doğrulama kümesiyle seçilir. |
| Geri yayılım ayrı bir öğrenme yöntemidir. | Geri yayılım yalnız gradyanı hesaplar; ağırlıkları güncelleyen gradyan inişidir. |
| Eğitim her seferinde aynı sonucu verir. | Rastgele başlangıç ve karıştırma yüzünden farklı yerel en küçüklere varılabilir. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Haykin, Neural Networks and Learning Machines, 3. baskı, Pearson, 2009.
- Bishop, Neural Networks for Pattern Recognition, Oxford University Press, 1995.
- Nielsen, Neural Networks and Deep Learning, Determination Press, 2015 (çevrimiçi kitap).
- Rumelhart, Hinton ve Williams, "Learning representations by back-propagating errors", Nature 323, 1986.