Pekiştirmeli Öğrenme
Giriş
Ders Hangi Soruyu Sorar?
Pekiştirmeli öğrenme, bir etmenin çevreyle etkileşerek, yalnız aldığı ödül sinyaline bakıp uzun vadede toplam ödülü en büyük yapan davranışı deneme yanılmayla öğrenmesini inceler. Doğru eylem önceden söylenmez; eylemlerin sonucu çoğu zaman gecikmeli gelir.
Bir bakışta
ödülle deneme yanılma
ortamla etkileşim: durum ve ödül
politika: durumdan eyleme kural
toplam beklenen ödül
yüksek: olasılık, dinamik programlama
etkileşimle üretilir
Giriş
Kısa Tarihçe
Bellman, Dynamic Programming kitabıyla Bellman denklemini ve değer fonksiyonu fikrini ortaya koyar.
Sutton zamansal fark (TD) öğrenmesini yayımlar: tahmini bir sonraki tahminle düzeltmek.
Watkins doktora tezinde Q-öğrenmeyi önerir.
Tesauro'nun TD-Gammon programı kendine karşı oynayarak tavlada usta düzeyine yaklaşır.
DeepMind'ın derin Q-ağı (DQN) Atari oyunlarını ham piksellerden öğrenir (Nature).
AlphaGo, Go'da Lee Sedol'ü yener: ağaç araması, derin ağlar ve pekiştirmeli öğrenme birlikte.
Ders
Temel Kavramlar
Etmen eylem yapar; çevre yeni durum ve ödül döndürür.
Durumlar, eylemler, geçiş olasılıkları ve ödüller.
İndirimli (discounted) gelecekteki ödüllerin toplamı.
Her durumda hangi eylemin seçileceğini söyleyen kural.
Bir durumdan ya da eylemden beklenen getiri.
Yeni eylem denemek ile bilineni kullanmak arasındaki denge.
TD, Q-öğrenme, SARSA: modelsiz, adım adım öğrenme.
Politikayı doğrudan, getirinin gradyanıyla iyileştirmek.
Ders
Tipik İş Akışı
Dene
Süpürge Şarjı Kendi Buluyor
Robot süpürgeye harita verilmedi; her adım −1, şarj istasyonu +10, merdivenden düşmek −10 puan. Bölümler boyunca deneyerek öğrensin: eğitin, sonra robotu sol üst köşeden gönderin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Makine Öğrenmesi | etiket yerine ödülle öğrenme |
| Algoritmalar | dinamik programlama ve çizgede en kısa yol |
| Programlama | Python ile simülasyon döngüleri ve diziler |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Makine Öğrenmesi dersinin alt alanıdır | etiket yerine ödülle öğrenme |
| yöntem paylaşır | Derin Öğrenme ile yöntem paylaşır | derin Q-ağları, derin politika ağları |
| yöntem paylaşır | Çok Etmenli Sistemler ile yöntem paylaşır | çok etmenli pekiştirmeli öğrenme, oyun kuramı |
| yöntem paylaşır | Robotik ve Robot Görüsü ile yöntem paylaşır | denetim, hareket öğrenme |
| yöntem paylaşır | Optimizasyon ile yöntem paylaşır | dinamik programlama, politika gradyanı |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Pekiştirmeli Öğrenme | Makine Öğrenmesi | Optimizasyon |
|---|---|---|---|
| Temel soru | Yalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir? | Bir program örneklerden nasıl genelleme yapar? | Bir amaç fonksiyonunu en iyi yapan değerler nasıl bulunur? |
| Yaklaşım | ödülle deneme yanılma | istatistiksel öğrenme | amaç ve kısıtların matematiksel modeli |
| Girdi | ortamla etkileşim: durum ve ödül | etiketli ya da etiketsiz örnekler | amaç fonksiyonu ve kısıtlar |
| Çıktı | politika: durumdan eyleme kural | tahmin yapan model | en iyi ya da ona yakın çözüm |
| Başarı ölçütü | toplam beklenen ödül | görülmemiş veride hata | amaç değeri, yakınsama hızı |
| Matematik yükü | yüksek: olasılık, dinamik programlama | yüksek: doğrusal cebir, olasılık, optimizasyon | kuramın kendisi |
| Veri ihtiyacı | etkileşimle üretilir | orta ve çok | gerekmez |
- Makine Öğrenmesi: Denetimli öğrenmede her örneğin doğru yanıtı verilir; PÖ'de yalnız gecikmeli bir ödül vardır ve veri etmenin kendi eylemleriyle toplanır.
- Optimizasyon: Optimizasyon modeli bilinen bir problemi çözer; PÖ çevrenin modelini bilmeden etkileşerek öğrenir.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Pekiştirmeli Öğrenme | Çok Etmenli Sistemler | Robotik |
|---|---|---|---|
| Temel soru | Yalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir? | Birden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir? | Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder? |
| Yaklaşım | ödülle deneme yanılma | etkileşen özerk etmenler | algıla, planla, eyle döngüsü |
| Girdi | ortamla etkileşim: durum ve ödül | etmenler, hedefleri, iletişim kuralları | algılayıcı ölçümleri |
| Çıktı | politika: durumdan eyleme kural | ortak davranış, denge, anlaşma | motor komutları, yol |
| Başarı ölçütü | toplam beklenen ödül | toplam fayda, kararlılık | görev başarısı, güvenlik |
| Matematik yükü | yüksek: olasılık, dinamik programlama | orta: oyun kuramı | yüksek: dönüşümler, denetim |
| Veri ihtiyacı | etkileşimle üretilir | az; benzetim | fiziksel deney ve benzetim |
- Çok Etmenli Sistemler: Çok etmenli sistemler etmenlerin eşgüdümünü ve çatışmasını inceler; bu ders çoğunlukla tek etmenin öğrenmesine odaklanır.
- Robotik: Robotik algılama, kinematik ve denetimi kapsar; PÖ bunlardan yalnız davranışın deneyimle öğrenilmesine katkı yapar.
Uygulama
Uygulama Alanları
Go, satranç, Atari ve strateji oyunları.
Yürüme, kavrama ve hareket öğrenme.
Veri merkezi soğutma, ağ trafiği yönlendirme.
Uzun vadeli kullanıcı memnuniyetini gözetmek.
Kavşaklarda bekleme süresini azaltmak.
İnsan geri bildirimiyle pekiştirme (RLHF).
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik ortamlar
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| PÖ denetimli öğrenmenin başka bir adıdır. | Doğru eylem hiç söylenmez; etmen yalnız ödülden ve kendi topladığı deneyimden öğrenir. |
| Ödülü yazmak kolaydır. | Kötü tasarlanmış ödülü etmen beklenmedik kestirmelerle sömürür (reward hacking). |
| Simülasyonda öğrenen robot gerçekte de çalışır. | Simülasyon ile gerçek dünya arasındaki fark (sim-to-real) ayrıca ele alınmalıdır. |
| PÖ yalnız oyunlar içindir. | Denetim, kaynak yönetimi ve dil modellerinin insan geri bildirimiyle eğitimi de PÖ kullanır. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Sutton ve Barto, Reinforcement Learning: An Introduction, 2. baskı, MIT Press, 2018.
- Szepesvári, Algorithms for Reinforcement Learning, Morgan & Claypool, 2010.
- Bertsekas, Reinforcement Learning and Optimal Control, Athena Scientific, 2019.
- Mnih ve ark., "Human-level control through deep reinforcement learning", Nature 518, 2015.