Pekiştirmeli Öğrenme

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Etmen ve çevreMarkov karar süreciDeğer fonksiyonuKeşif ve sömürüDerin PÖKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Yalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir?

Pekiştirmeli öğrenme, bir etmenin çevreyle etkileşerek, yalnız aldığı ödül sinyaline bakıp uzun vadede toplam ödülü en büyük yapan davranışı deneme yanılmayla öğrenmesini inceler. Doğru eylem önceden söylenmez; eylemlerin sonucu çoğu zaman gecikmeli gelir.

Bir bakışta

Yaklaşım

ödülle deneme yanılma

Girdi

ortamla etkileşim: durum ve ödül

Çıktı

politika: durumdan eyleme kural

Başarı ölçütü

toplam beklenen ödül

Matematik yükü

yüksek: olasılık, dinamik programlama

Veri ihtiyacı

etkileşimle üretilir

Giriş

Kısa Tarihçe

1957

Bellman, Dynamic Programming kitabıyla Bellman denklemini ve değer fonksiyonu fikrini ortaya koyar.

1988

Sutton zamansal fark (TD) öğrenmesini yayımlar: tahmini bir sonraki tahminle düzeltmek.

1989

Watkins doktora tezinde Q-öğrenmeyi önerir.

1992

Tesauro'nun TD-Gammon programı kendine karşı oynayarak tavlada usta düzeyine yaklaşır.

2015

DeepMind'ın derin Q-ağı (DQN) Atari oyunlarını ham piksellerden öğrenir (Nature).

2016

AlphaGo, Go'da Lee Sedol'ü yener: ağaç araması, derin ağlar ve pekiştirmeli öğrenme birlikte.

Ders

Temel Kavramlar

Etmen ve çevre

Etmen eylem yapar; çevre yeni durum ve ödül döndürür.

Markov karar süreci

Durumlar, eylemler, geçiş olasılıkları ve ödüller.

Getiri

İndirimli (discounted) gelecekteki ödüllerin toplamı.

Politika

Her durumda hangi eylemin seçileceğini söyleyen kural.

Değer fonksiyonu

Bir durumdan ya da eylemden beklenen getiri.

Keşif ve sömürü

Yeni eylem denemek ile bilineni kullanmak arasındaki denge.

Zamansal fark

TD, Q-öğrenme, SARSA: modelsiz, adım adım öğrenme.

Politika gradyanı

Politikayı doğrudan, getirinin gradyanıyla iyileştirmek.

Ders

Tipik İş Akışı

DurumugözleçevredenEylem seçpolitika,ε-açgözlüÖdül alyeni durumDeğerigüncelleTD hatasıPolitikayıiyileştirbinlercebölüm
Örnek: Bir depo robotu ızgara üzerinde konumunu gözler, çoğu zaman en iyi bildiği yönü bazen de rastgele bir yönü seçer, rafa ulaşınca +10, duvara çarpınca −1 ödül alır. Q-öğrenme her adımda eylem değerlerini günceller; binlerce denemeden sonra kısa ve güvenli yol ortaya çıkar.

Dene

Süpürge Şarjı Kendi Buluyor

Robot süpürgeye harita verilmedi; her adım −1, şarj istasyonu +10, merdivenden düşmek −10 puan. Bölümler boyunca deneyerek öğrensin: eğitin, sonra robotu sol üst köşeden gönderin.

Kimse robota yol göstermedi: Q-öğrenme her adımdan sonra o karedeki eylemin değerini ödül + gelecekteki en iyi değer ile günceller. Keşif yoksa yeni yollar bulunmaz, çoksa robot sık düşer.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Makine Öğrenmesietiket yerine ödülle öğrenme
Algoritmalardinamik programlama ve çizgede en kısa yol
ProgramlamaPython ile simülasyon döngüleri ve diziler

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
alt alanBu ders, Makine Öğrenmesi dersinin alt alanıdıretiket yerine ödülle öğrenme
yöntem paylaşırDerin Öğrenme ile yöntem paylaşırderin Q-ağları, derin politika ağları
yöntem paylaşırÇok Etmenli Sistemler ile yöntem paylaşırçok etmenli pekiştirmeli öğrenme, oyun kuramı
yöntem paylaşırRobotik ve Robot Görüsü ile yöntem paylaşırdenetim, hareket öğrenme
yöntem paylaşırOptimizasyon ile yöntem paylaşırdinamik programlama, politika gradyanı

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütPekiştirmeli ÖğrenmeMakine ÖğrenmesiOptimizasyon
Temel soruYalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir?Bir program örneklerden nasıl genelleme yapar?Bir amaç fonksiyonunu en iyi yapan değerler nasıl bulunur?
Yaklaşımödülle deneme yanılmaistatistiksel öğrenmeamaç ve kısıtların matematiksel modeli
Girdiortamla etkileşim: durum ve ödületiketli ya da etiketsiz örnekleramaç fonksiyonu ve kısıtlar
Çıktıpolitika: durumdan eyleme kuraltahmin yapan modelen iyi ya da ona yakın çözüm
Başarı ölçütütoplam beklenen ödülgörülmemiş veride hataamaç değeri, yakınsama hızı
Matematik yüküyüksek: olasılık, dinamik programlamayüksek: doğrusal cebir, olasılık, optimizasyonkuramın kendisi
Veri ihtiyacıetkileşimle üretilirorta ve çokgerekmez
  • Makine Öğrenmesi: Denetimli öğrenmede her örneğin doğru yanıtı verilir; PÖ'de yalnız gecikmeli bir ödül vardır ve veri etmenin kendi eylemleriyle toplanır.
  • Optimizasyon: Optimizasyon modeli bilinen bir problemi çözer; PÖ çevrenin modelini bilmeden etkileşerek öğrenir.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütPekiştirmeli ÖğrenmeÇok Etmenli SistemlerRobotik
Temel soruYalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir?Birden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir?Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder?
Yaklaşımödülle deneme yanılmaetkileşen özerk etmenleralgıla, planla, eyle döngüsü
Girdiortamla etkileşim: durum ve ödületmenler, hedefleri, iletişim kurallarıalgılayıcı ölçümleri
Çıktıpolitika: durumdan eyleme kuralortak davranış, denge, anlaşmamotor komutları, yol
Başarı ölçütütoplam beklenen ödültoplam fayda, kararlılıkgörev başarısı, güvenlik
Matematik yüküyüksek: olasılık, dinamik programlamaorta: oyun kuramıyüksek: dönüşümler, denetim
Veri ihtiyacıetkileşimle üretiliraz; benzetimfiziksel deney ve benzetim
  • Çok Etmenli Sistemler: Çok etmenli sistemler etmenlerin eşgüdümünü ve çatışmasını inceler; bu ders çoğunlukla tek etmenin öğrenmesine odaklanır.
  • Robotik: Robotik algılama, kinematik ve denetimi kapsar; PÖ bunlardan yalnız davranışın deneyimle öğrenilmesine katkı yapar.

Uygulama

Uygulama Alanları

Oyunlar

Go, satranç, Atari ve strateji oyunları.

Robot denetimi

Yürüme, kavrama ve hareket öğrenme.

Kaynak yönetimi

Veri merkezi soğutma, ağ trafiği yönlendirme.

Öneri sistemleri

Uzun vadeli kullanıcı memnuniyetini gözetmek.

Trafik sinyalleri

Kavşaklarda bekleme süresini azaltmak.

Dil modeli ince ayarı

İnsan geri bildirimiyle pekiştirme (RLHF).

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

GymnasiumStable-Baselines3PyTorchRLlibMuJoCoPettingZoo

Klasik ortamlar

Izgara dünyası (gridworld)Çok kollu haydutCartPoleMountainCarAtari oyunları (ALE)MuJoCo denetim görevleri
PÖ'de hazır veri seti yerine ortam verilir: etmen veriyi kendi eylemleriyle üretir, bu yüzden simülasyon dersin laboratuvarıdır.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
PÖ denetimli öğrenmenin başka bir adıdır.Doğru eylem hiç söylenmez; etmen yalnız ödülden ve kendi topladığı deneyimden öğrenir.
Ödülü yazmak kolaydır.Kötü tasarlanmış ödülü etmen beklenmedik kestirmelerle sömürür (reward hacking).
Simülasyonda öğrenen robot gerçekte de çalışır.Simülasyon ile gerçek dünya arasındaki fark (sim-to-real) ayrıca ele alınmalıdır.
PÖ yalnız oyunlar içindir.Denetim, kaynak yönetimi ve dil modellerinin insan geri bildirimiyle eğitimi de PÖ kullanır.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Pekiştirmeli öğrenme mühendisiRobotik yazılım mühendisiOyun YZ geliştiricisiAraştırmacı
Pekiştirmeli öğrenmeden sonra birden çok etmenin birlikte öğrenmesi için çok etmenli sistemlere, fiziksel dünyada öğrenen makineler için robotiğe geçilebilir. Derin öğrenme bilgisi derin PÖ'nün, optimizasyon bilgisi ise politika gradyanı yöntemlerinin anlaşılmasını kolaylaştırır.

Sonrası

Kaynaklar

  • Sutton ve Barto, Reinforcement Learning: An Introduction, 2. baskı, MIT Press, 2018.
  • Szepesvári, Algorithms for Reinforcement Learning, Morgan & Claypool, 2010.
  • Bertsekas, Reinforcement Learning and Optimal Control, Athena Scientific, 2019.
  • Mnih ve ark., "Human-level control through deep reinforcement learning", Nature 518, 2015.

Son

Bölüm 7: Pekiştirmeli Öğrenme
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.