Bölüm 13 · Simülasyon

Çok Kollu Haydut

Birikimli ödül ve en iyi kol beklentisi■ ödül · ■ pişmanlık

Nasıl oynanır

Her kol, 1 ödül verme olasılığı gizli olan bir eylemdir. Bir kolu çekmek için üzerine tıklanır; her çekiş 1 ya da 0 döndürür. Amaç, birikimli pişmanlığı düşük tutarken hangi kolun en iyi olduğunu öğrenmektir. Her yeni deney yeni gizli olasılıklar çeker; bu yüzden önceki kazananı ezberlemek işe yaramaz.

Ödül başarı sayısıdır, Tur bütün çekişleri sayar.
Her kol kartı çekiş sayısını ve gözlenen ortalamayı (çubuk) gösterir. “Gerçek olasılıklar” işaretlenirse kırmızı çizgi gizli değeri gösterir.
Pişmanlık = gerçekte en iyi kolu hep çekmenin beklenen ödülü − elde edilen ödül.
“Algoritma: 50 tur” düğmesi, kıyaslama için seçili algoritmanın aynı deneye devam etmesini sağlar.

Oyun kuramına katkısı

Haydut algoritmaları belirsiz seçeneklerin keşfi ile en iyi bilinen seçeneğin sömürüsü arasında denge kurar. Bu, tekrarlı oyunların, öneri sistemlerinin ve çevrim içi reklamcılığın arkasındaki temel öğrenme sorunudur.

Modlar

Kıyaslama: her kolu sen seçersin; ödülünü ve pişmanlığını algoritma çalıştırmalarıyla karşılaştırırsın. Karar vermeden önce yeterince keşif yapıp yapmadığına bakılır.
Öneriyle: seçili algoritmanın sömüreceği kol “Önerilen” olarak işaretlenir. Öneri izlenebilir ya da reddedilebilir; otomasyon yanlılığını tartışmak için yararlıdır.
Bilgisayar öğrenir: algoritma ilk 50 turu oynar; yakınsamayı izlemek için 50'şerlik turlarla devam edilir.

Seviyeler

1. seviye — 3 kol: durağan; keşif–sömürü ikilemine en iyi giriş.
2. seviye — 4 kol: durağan; fazladan kol keşfi dağıtır ve erken bağlanmayı daha maliyetli kılar.
3. seviye — Değişen ödül: dört kol; 40. turdan sonra gizli olasılıklar değişir. Eski gözlemler yanıltıcı olur; öğrenenin yeniden keşfe başlayıp başlamadığı izlenir.

Algoritmalar

ε-açgözlü: ε = 0.15 olasılıkla rastgele bir kol, aksi hâlde gözlenen ortalaması en yüksek kol çekilir. Basittir, keşfi hiç bırakmaz, bu yüzden değişimi fark edebilir; ama açıkça zayıf kollara çekiş harcar.
UCB1: puanı en yüksek kol çekilir; puan = ortalama + √(2 ln t / çekiş). Az çekilen kollar büyük bonus alır, böylece keşif amaçlı olur. Durağan ortamlarda güçlüdür; ani değişimlerden sonra yavaştır, çünkü eski kanıt ortalamalarda kalır.

Mod × seviye

Mod	1. seviye	2. seviye	3. seviye
Kıyaslama	Temel keşif–sömürü ödünleşimi.	Dikkat dört seçeneğe adilce dağılıyor mu?	Değişimi fark etmek ve eski inançları bırakmak.
Öneri	Sezgi ile kararlı bir öneri.	Kanıt dağıldıkça öneriler değişir.	Eski öneriyi izlemek uyumu geciktirir mi?
Bilgisayar	Hızlı yakınsama temel çizgisi.	Daha çok keşif gerektiğinde algoritmaları karşılaştırma.	Değişimden sonra toparlanma; bayat veri.

Önerilen sıra

Kıyaslama + 1. seviye + ε-açgözlü: en az 20 elle seçim.
Aynısını UCB1 ile tekrarlayıp kolların ne kadar eşit örneklendiğini karşılaştırma.
2. seviye: fazladan bir seçeneğin keşif maliyetini nasıl artırdığını görme.
Öneri modu: bazı önerileri bilerek reddedip sonucu değerlendirme.
Bilgisayar öğrenir + 3. seviye: 40. turdaki değişimden sonra iki algoritmayı karşılaştırma.

Yorum notu: tek bir çalıştırma bir algoritmanın üstün olduğunu söylemeye yetmez. Ödüller rastgeledir; birkaç deney ortalama ödül, pişmanlık ve uyum hızıyla karşılaştırılmalıdır.