Yapay Sinir Ağları

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım I: Çekirdek
Yapay nöronAlgılayıcıÇok katmanlı ağGeri yayılımEğitim ve genellemeKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Basit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir?

Yapay sinir ağları, ağırlıklı toplam alıp bir etkinleştirme fonksiyonundan geçiren basit birimlerin katmanlar hâlinde bağlanmasıyla kurulan modelleri inceler. Öğrenme, kayıp fonksiyonunu küçültecek biçimde ağırlıkları ayarlamaktır; bunun temel aracı geri yayılım ve gradyan inişidir.

Bir bakışta

Yaklaşım

ağırlıklı basit birimlerden ağ

Girdi

sayısal öznitelik vektörü

Çıktı

sınıf ya da sayı tahmini

Başarı ölçütü

kayıp ve doğruluk

Matematik yükü

orta-yüksek: türev, matris

Veri ihtiyacı

orta

Giriş

Kısa Tarihçe

1943

McCulloch ve Pitts, eşik değerli mantıksal birimlerle ilk yapay nöron modelini önerir.

1949

Hebb, birlikte etkinleşen nöronların bağının güçlendiğini öne sürer: Hebb öğrenme kuralı.

1957

Rosenblatt algılayıcıyı (perceptron) tanıtır; ağırlıklar örneklerden ayarlanır.

1969

Minsky ve Papert, tek katmanlı algılayıcının XOR gibi problemleri çözemeyeceğini gösterir.

1982

Hopfield, belleği enerji en küçüklemesiyle geri çağıran yinelemeli ağı yayımlar.

1986

Rumelhart, Hinton ve Williams geri yayılımı yaygınlaştırır; çok katmanlı ağlar eğitilebilir olur.

Ders

Temel Kavramlar

Yapay nöron

Girdilerin ağırlıklı toplamı, eşik (bias) ve çıkış.

Etkinleştirme

Sigmoid, tanh, ReLU: ağa doğrusal olmama katar.

Algılayıcı

Doğrusal ayrılabilen sınıfları ayıran tek katmanlı ağ.

Çok katmanlı ağ

Gizli katmanlarla doğrusal olmayan sınırlar öğrenilir.

İleri yayılım

Girdiden çıkışa katman katman tahmin hesaplamak.

Geri yayılım

Zincir kuralıyla her ağırlığın gradyanını bulmak.

Gradyan inişi

Ağırlıkları kaybın azaldığı yöne küçük adımlarla taşır.

Düzenlileştirme

Ağırlık cezası ve erken durdurma ile aşırı uydurmayı önler.

Ders

Tipik İş Akışı

Ağırlıklarıbaşlatküçük rastgeledeğerlerİleriyayılımtahminhesaplaKaybıölçhata,çapraz entropiGeriyayılımgradyanlarGüncelleöğrenme hızı,dönem dönem
Örnek: El yazısı rakam tanıyan küçük bir ağ, 28×28 piksellik görüntüyü 784 girdi olarak alır, gizli katmandan geçirip 10 sınıfa olasılık verir. Yanlış tahminde kayıp büyür; geri yayılım her ağırlığın payını hesaplar ve gradyan inişi ağırlıkları biraz düzeltir.

Dene

Mandalina mı, Limon mu?

Ayıklama bandındaki kamera her meyvenin ağırlığını ve renk tonunu ölçüyor. Tek bir yapay nöron (algılayıcı) iki türü ayırmayı öğreniyor: eğitin, ya da bir meyveye tıklayıp etiketini değiştirin.

● mandalina   ● limon. Bir limonu turuncuların ortasına taşıyın: hiçbir doğru ayıramaz, hata sıfıra inmez.
Kuralı kimse yazmadı: nöron her hatada ağırlıkları hatanın yönüne biraz kaydırdı. Tek nöron yalnız doğrusal sınır çizebilir; ayrılamayan veride katmanlı ağa ihtiyaç doğar.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Makine Öğrenmesiparametrik model, kayıp fonksiyonu, gradyan inişi
Doğrusal Cebirağırlık matrisleri, vektörleştirilmiş hesap
Optimizasyongradyan inişi, öğrenme hızı
Analiz (Kalkülüs)türev, kısmi türev ve zincir kuralı: geri yayılımın matematiği
ProgramlamaPython ile diziler, döngüler ve fonksiyonlar

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
alt alanBu ders, Makine Öğrenmesi dersinin alt alanıdırparametrik model, kayıp fonksiyonu, gradyan inişi
alt alanDerin Öğrenme, bu dersin alt alanıdırçok katmanlı ağlar, geri yayılım, etkinleştirme fonksiyonları
temel alırBu ders Doğrusal Cebir dersini temel alırağırlık matrisleri, vektörleştirilmiş hesap
temel alırBu ders Optimizasyon dersini temel alırgradyan inişi, öğrenme hızı
yöntem paylaşırEvrimsel ve Metasezgisel Optimizasyon ile yöntem paylaşırnöroevrim, hiperparametre arama

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütYapay Sinir AğlarıMakine ÖğrenmesiDerin Öğrenme
Temel soruBasit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir?Bir program örneklerden nasıl genelleme yapar?Çok katmanlı ağlar ham veriden kullanışlı temsilleri nasıl kendisi öğrenir?
Yaklaşımağırlıklı basit birimlerden ağistatistiksel öğrenmeçok katmanlı temsil öğrenme
Girdisayısal öznitelik vektörüetiketli ya da etiketsiz örneklerham veri: görüntü, metin, ses
Çıktısınıf ya da sayı tahminitahmin yapan modelöğrenilmiş temsil ve tahmin
Başarı ölçütükayıp ve doğrulukgörülmemiş veride hatadoğruluk, kayıp, ölçeklenme
Matematik yüküorta-yüksek: türev, matrisyüksek: doğrusal cebir, olasılık, optimizasyonyüksek: türev, matris, olasılık
Veri ihtiyacıortaorta ve çokçok; GPU gerekir
  • Makine Öğrenmesi: MÖ karar ağacından SVM'ye birçok model ailesini kapsar; bu ders yalnız nöronlardan kurulan ağlara odaklanır.
  • Derin Öğrenme: Derin öğrenme evrişimli, yinelemeli ve dönüştürücü mimarilere geçer; bu ders bunların dayandığı temel ağı ve eğitimini kurar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütYapay Sinir AğlarıOptimizasyonEvrimsel Optimizasyon
Temel soruBasit birimlerden kurulan ağlar ağırlıklarını ayarlayarak nasıl öğrenir?Bir amaç fonksiyonunu en iyi yapan değerler nasıl bulunur?Türev yokken ya da arama uzayı çok büyükken iyi bir çözüm nasıl bulunur?
Yaklaşımağırlıklı basit birimlerden ağamaç ve kısıtların matematiksel modelipopülasyon ve sezgisel arama
Girdisayısal öznitelik vektörüamaç fonksiyonu ve kısıtlaramaç fonksiyonu ve çözüm gösterimi
Çıktısınıf ya da sayı tahminien iyi ya da ona yakın çözümiyi bir çözüm (en iyisi garanti değil)
Başarı ölçütükayıp ve doğrulukamaç değeri, yakınsama hızıçözüm kalitesi, değerlendirme sayısı
Matematik yüküorta-yüksek: türev, matriskuramın kendisidüşük-orta
Veri ihtiyacıortagerekmezgerekmez; değerlendirme yeter
  • Optimizasyon: Optimizasyon gradyan yöntemlerini genel olarak inceler; bu ders onları ağırlıkları öğrenmek için kullanır.
  • Evrimsel Optimizasyon: Nöroevrim ağırlıkları ya da mimariyi evrimle arar; bu ders ağırlıkları gradyanla, geri yayılımla öğrenir.

Uygulama

Uygulama Alanları

Rakam tanıma

Posta kodu ve çek üzerindeki el yazısı rakamlar.

Tablo verisi

Kredi riski, müşteri kaybı gibi sınıflandırmalar.

Fonksiyon yaklaşıklama

Ölçümlerden doğrusal olmayan ilişki öğrenmek.

Denetim

Basit robot ve süreç denetleyicileri.

Sinyal sınıflandırma

Sensör verisinden arıza ya da hareket tanıma.

İlişkisel bellek

Hopfield ağıyla bozuk örüntüyü tamamlamak.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

NumPyPyTorchKerasscikit-learn (MLPClassifier)TensorFlow PlaygroundMATLAB Deep Learning Toolbox

Tanınmış veri setleri

XOR problemiIrisMNISTFashion-MNISTİki sarmal (two spirals)CIFAR-10
Bu derste bir ağı önce NumPy ile elle yazmak, geri yayılımın gerçekten ne yaptığını görmenin en iyi yoludur.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Yapay sinir ağları beyni taklit eder.Esin kaynağı biyolojidir; ama yapay nöron çok kaba bir modeldir ve öğrenme kuralı beyninkinden farklıdır.
Daha çok nöron her zaman daha iyidir.Büyük ağ eğitim verisini ezberleyebilir; boyut doğrulama kümesiyle seçilir.
Geri yayılım ayrı bir öğrenme yöntemidir.Geri yayılım yalnız gradyanı hesaplar; ağırlıkları güncelleyen gradyan inişidir.
Eğitim her seferinde aynı sonucu verir.Rastgele başlangıç ve karıştırma yüzünden farklı yerel en küçüklere varılabilir.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

İlgili meslekler

Makine öğrenmesi mühendisiDerin öğrenme mühendisiAraştırmacıGömülü YZ geliştiricisi
Bu ders derin öğrenmenin kapısıdır: evrişimli ağlar, yinelemeli ağlar ve dönüştürücüler burada kurulan nöron, kayıp ve geri yayılım fikirlerinin üzerine kurulur. Optimizasyon ve doğrusal cebir bilgisini de pekiştirir.

Sonrası

Kaynaklar

  • Haykin, Neural Networks and Learning Machines, 3. baskı, Pearson, 2009.
  • Bishop, Neural Networks for Pattern Recognition, Oxford University Press, 1995.
  • Nielsen, Neural Networks and Deep Learning, Determination Press, 2015 (çevrimiçi kitap).
  • Rumelhart, Hinton ve Williams, "Learning representations by back-propagating errors", Nature 323, 1986.

Son

Bölüm 4: Yapay Sinir Ağları
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.