Bölüm 13: Öğrenme ve Adaptasyon
Çoktan Seçmeli · Öğrenme Modelleri
Soru 1
Çok kollu haydut probleminde oyuncu her turda neyi gözler?
C doğru. Çok kollu haydutta her turda bir kol çekilir ve yalnızca o kolun ödülü görülür; öteki kolların o turda ne vereceği bilinmez (kısmi geri bildirim). Bu yüzden keşif gerekir: denenmeyen kol hakkında bilgi toplanamaz. B, her eylemin kazancını görmek, Hedge'in tam bilgi ortamıdır. A kurgusal oyunun, D replikatör dinamiğinin baktığı bilgidir.
Çoktan Seçmeli · Öğrenme Modelleri
Soru 2
En iyi tepki dinamiği hangi oyun sınıfında her zaman bir saf Nash dengesinde durur?
A doğru. Potansiyel oyunda her kârlı tek taraflı sapma ortak bir potansiyel fonksiyonunu kesin olarak artırır. Oyun sonlu olduğu için potansiyel sonsuza kadar artamaz; dinamik kimsenin sapmak istemediği bir profilde, yani saf Nash dengesinde durur (Monderer–Shapley, 1996). D yanlış: Yazı-Tura Eşleştirme sonlu bir oyundur ama saf dengesi yoktur, dinamik döner. Yazı-Tura aynı zamanda sıfır toplamlı olduğu için B de yanlıştır; C ise döngünün kendisidir.
Çoktan Seçmeli · En İyi Tepki Dinamiği
Soru 3
Yazı-Tura Eşleştirme'de en iyi tepki dinamiği nasıl davranır?
D doğru. Eşleştiren aynı yüzü, Ayrıştıran farklı yüzü ister. (Y,Y)'de Ayrıştıran T'ye geçer → (Y,T); Eşleştiren T'ye geçer → (T,T); Ayrıştıran Y'ye geçer → (T,Y); Eşleştiren Y'ye geçer → yeniden (Y,Y). Saf denge olmadığı için her profilde bir oyuncu memnun değildir ve dinamik sonsuz döngüye girer; A ve C bu yüzden yanlıştır. B de yanlış: dinamik hep saf profiller arasında atlar; karışık dengeye yaklaşan, kurgusal oyunun frekanslarıdır.
Çoktan Seçmeli · En İyi Tepki Dinamiği
Soru 4
Kurgusal oyunda (fictitious play) bir oyuncu neye en iyi tepki verir?
B doğru. Kurgusal oyunda oyuncu rakibini, geçmiş eylemlerinin frekanslarıyla oynayan bir karışık strateji gibi düşünür ve buna en iyi tepkiyi verir. Örneğin rakip 7 turun 5'inde T oynadıysa onu (2/7, 5/7) oynuyor sayar. A, yalnız son eyleme tepki, en iyi tepki dinamiğidir. C'de oyuncu kendi geçmişine bakar; oysa en iyi tepki rakibin davranışına göre hesaplanır. D'de hiçbir öğrenme yoktur.
Çoktan Seçmeli · Kurgusal Oyun
Soru 5
Kurgusal oyunda frekansların dengeye yakınsaması hangisinde garanti DEĞİLDİR?
D doğru. Kurgusal oyunda frekansların dengeye yakınsaması iki kişilik sıfır toplamlı oyunlarda (Robinson, 1951), 2×2 oyunlarda (Miyasawa, 1961) ve potansiyel oyunlarda (Monderer–Shapley, 1996) kanıtlanmıştır. Shapley (1964) ise 3×3'lük genel toplamlı bir oyun kurdu: eylemler giderek uzayan döngülerle döner ve frekanslar hiçbir dengeye yaklaşmaz. A, B ve C yakınsama garantisi olan sınıflardır.
Çoktan Seçmeli · Hedge ve Denge
Soru 6
Bütün oyuncular Hedge gibi pişmanlıksız algoritma kullanırsa oyunun zaman ortalaması neye yaklaşır?
A doğru. Her oyuncunun dışsal pişmanlığı için RT/T → 0 ise oynanan profillerin zaman ortalaması kaba korelasyonlu dengeye (CCE) yaklaşır: kimse “hep a′ oyna”ya geçerek ortalamada kazanamaz. D (korelasyonlu denge) daha güçlü bir koşul ister: iç (swap) pişmanlığın küçük olması. B yanlış: saf Nash dengesi var olmayabilir (Yazı-Tura). C de yanlış: CCE Pareto optimal olmak zorunda değildir.
Çoktan Seçmeli · Hedge ve UCB
Soru 7
Kazançlar [0, 1]'de ve n eylem varken Hedge'de η = √(ln n / T) seçilirse hangi sınır elde edilir?
C doğru. Hedge'in genel sınırı RT ≤ (ln n)/η + ηT'dir; ilk terim η küçükken, ikincisi η büyükken büyür. η = √(ln n / T) konursa iki terim de √(T ln n) olur ve RT ≤ 2√(T ln n). Örneğin n = 3, T = 10.000 için sınır ≈ 2·√10.986 ≈ 210, yani tur başına yalnız 0,021. A ((ln n)/η) ve D (ηT) sınırın yalnız birer parçasıdır; B (T/2) lideri izlemenin kötü durum pişmanlığıdır.
Çoktan Seçmeli · Haydut ve Q-öğrenme
Soru 8
ε sabit tutulursa ε-açgözlü algoritmanın pişmanlığı T ile nasıl büyür?
A doğru. ε sabitse algoritma her turda ε olasılıkla rastgele bir kol çeker; bu turların bir kısmı kötü kollara gider ve her tur sabit bir beklenen kayıp ekler. T tur boyunca bu kayıp birikir, pişmanlık doğrusal (≈ c·T) büyür. 5000 turluk bir karşılaştırmada %10 keşifli ε-açgözlü doğrusal, UCB1 ise logaritmik (B) büyür (Auer vd., 2002). Logaritmik pişmanlık için ε'un zamanla küçültülmesi gerekir; C ve D sabit ε ile elde edilemez.
Çoktan Seçmeli · Çoklu Ajan ve Evrim
Soru 9
Çoklu ajan ortamında tek ajanlı Q-öğrenme garantileri neden geçerliliğini yitirir?
D doğru. Tek ajanlı Q-öğrenmenin yakınsama kanıtı, geçişlerin ve ödüllerin zamanla değişmediği (durağan) bir ortam varsayar. Çoklu ajan ortamında bir ajanın gördüğü sonuçlar öteki ajanların politikalarına bağlıdır; onlar da öğrendikçe ortam durağan olmaktan çıkar ve dün iyi olan eylem bugün kötü olabilir. A yanlış: ödül sinyali vardır; B yanlış: durum sayısı sonlu olabilir; C (γ < 1) ise yakınsamaya yardım eden standart bir varsayımdır. Kendine karşı oyun (AlphaZero) bu sorunu yönetmenin bir yoludur.
Çoktan Seçmeli · Axelrod Turnuvası
Soru 10
10 turluk maçta Tit-for-Tat, Hep İhanet'e karşı kaç puan toplar (T = 5, R = 3, P = 1, S = 0)?
C doğru. TFT ilk turda işbirliği yapar, Hep İhanet ihanet eder: TFT S = 0, rakip T = 5 alır. Sonraki 9 turda TFT rakibin son hamlesini (ihanet) kopyalar ve karşılıklı ihanet sürer: her turda P = 1, toplam 9·1 = 9. TFT'nin puanı 0 + 9 = 9, Hep İhanet'inki 5 + 9 = 14 (D). B (10) ilk turu da 1 sayar; A, TFT'nin hiç misilleme yapmadığını varsayar.
Hesaplama Sorusu · En İyi Tepki Dinamiği
Soru 11: En İyi Tepki Dinamiği
Oyun aşağıda (satır, sütun kazancı). Başlangıç profili (A, Z); önce satır oyuncusu, sonra sütun oyuncusu sırayla rakibin şu anki eylemine en iyi tepki veriyor. Dinamiği adım adım çalıştırın: nerede durur? Oyunun saf Nash dengeleri hangileridir? (C, X)'ten başlansaydı ne olurdu?
| X | Y | Z | |
|---|---|---|---|
| A | (5, 5) | (0, 1) | (3, 3) |
| B | (3, 1) | (3, 5) | (4, 3) |
| C | (2, 2) | (5, 5) | (1, 0) |
Cevabı göster
- Satır, Z'ye karşı: u1 = 3, 4, 1 → B. Profil (B, Z).
- Sütun, B'ye karşı: u2 = 1, 5, 3 → Y. Profil (B, Y).
- Satır, Y'ye karşı: u1 = 0, 3, 5 → C. Profil (C, Y).
- Sütun, C'ye karşı: u2 = 2, 5, 0 → zaten Y; satır da C'den ayrılmaz → dinamik (C, Y)'de durur.
Saf Nash dengeleri: (A, X) ve (C, Y); ikisinde de her kazanç kendi sütununda/satırında en büyüktür. (C, X)'ten: satır X'e karşı 5, 3, 2 → A; sütun A'ya karşı 5, 1, 3 → X → (A, X)'te durur. Varılan denge başlangıca bağlıdır.
Hesaplama Sorusu · Kurgusal Oyun
Soru 12: Kurgusal Oyun
Yazı-Tura Eşleştirme'de kurgusal oyun: Eşleştiren rakip geçmişindeki çoğunluğu eşler, Ayrıştıran rakip geçmişindeki çoğunluğun tersini oynar; ikisinde de eşitlikte Y. 1. turda Eşleştiren T, Ayrıştıran Y oynuyor. İlk 6 turu tablo hâlinde yazın; 6. tur sonunda iki oyuncunun Y oranı kaçtır?
Cevabı göster
| t | Eşl. gördüğü Ayr. Y/T | Eşleştiren | Ayr. gördüğü Eşl. Y/T | Ayrıştıran | kazanan | Eşl. Y oranı | Ayr. Y oranı |
|---|---|---|---|---|---|---|---|
| 1 | — | T | — | Y | Ayr. | 0 | 1 |
| 2 | 1 / 0 | Y | 0 / 1 | Y | Eşl. | 1/2 | 1 |
| 3 | 2 / 0 | Y | 1 / 1 (eşit) | Y | Eşl. | 2/3 | 1 |
| 4 | 3 / 0 | Y | 2 / 1 | T | Ayr. | 3/4 | 3/4 |
| 5 | 3 / 1 | Y | 3 / 1 | T | Ayr. | 4/5 | 3/5 |
| 6 | 3 / 2 | Y | 4 / 1 | T | Ayr. | 5/6 | 1/2 |
6. turdan sonra Eşleştiren'in Y oranı 5/6 ≈ 0,83, Ayrıştıran'ınki 1/2. 7. turda Ayrıştıran'ın sayaçları 3/3 eşit olduğu için Eşleştiren yine Y oynar; eylemler uzayan döngülerle değişir, frekanslar uzun vadede (½, ½)'ye yaklaşır.
Hesaplama Sorusu · Dışsal Pişmanlık
Soru 13: Lideri İzle ve Pişmanlık
İki eylem A, B; kazançlar tabloda. "Lideri izle" her turda o ana kadarki toplamı büyük olan eylemi seçer (eşitlikte A). Algoritmanın toplam kazancını ve dışsal pişmanlığını bulun. Her turda (½, ½) oynayan rastgele oyuncunun beklenen pişmanlığı kaçtır?
| t | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| g(A) | 0 | 1 | 0 | 1 | 0 |
| g(B) | 0,5 | 0 | 1 | 0 | 1 |
Cevabı göster
| t | önceki A / B | seçim | kazanç |
|---|---|---|---|
| 1 | 0 / 0 | A | 0 |
| 2 | 0 / 0,5 | B | 0 |
| 3 | 1 / 0,5 | A | 0 |
| 4 | 1 / 1,5 | B | 0 |
| 5 | 2 / 1,5 | A | 0 |
Lider her turda tam yanlış eylemdir: algoritma 0 toplar. Sabit eylemler: A = 2, B = 2,5 → R5 = 2,5 − 0 = 2,5 (her turda ½; T ile doğrusal büyür).
Rastgele oyuncu: 0,25 + 0,5 + 0,5 + 0,5 + 0,5 = 2,25 → pişmanlık 2,5 − 2,25 = 0,25. Deterministik kural sömürülür; karışık oynamak (Hedge) bunu önler.
Hesaplama Sorusu · Hedge
Soru 14: Hedge Üç Tur
Üç eylem A, B, C; Hedge, η = ln 2, başlangıç ağırlıkları 1. Kazançlar: tur 1 g = (1, 0, 1), tur 2 g = (0, 1, 1), tur 3 g = (1, 0, 0). Her turun olasılıklarını, beklenen kazancını ve üç tur sonundaki dışsal pişmanlığı hesaplayın.
İpucu: eη·g = 2g, yani kazanç 1 olan eylemin ağırlığı ikiye katlanır.
Cevabı göster
| t | w | p | Σ p·g |
|---|---|---|---|
| 1 | (1, 1, 1) | (1/3, 1/3, 1/3) | 2/3 |
| 2 | (2, 1, 2) | (2/5, 1/5, 2/5) | 3/5 |
| 3 | (2, 2, 4) | (1/4, 1/4, 1/2) | 1/4 |
Algoritmanın toplamı: 2/3 + 3/5 + 1/4 = 91/60 ≈ 1,52. Son ağırlıklar (4, 2, 4).
Sabit eylemlerin toplamı: A = 2, B = 1, C = 2 → en iyisi 2. Dışsal pişmanlık R3 = 2 − 91/60 = 29/60 ≈ 0,48. 3. turda C'ye en yüksek olasılık (1/2) verildi ama kazanan A çıktı: Hedge geçmişe uyar, geleceği bilmez.
Hesaplama Sorusu · Çok Kollu Haydut
Soru 15: UCB1 ve Haydut Pişmanlığı
Üç kol, gerçek ortalamalar μ = (0,3; 0,5; 0,7). İlk 8 turda kollar N = (2, 4, 2) kez çekilmiş, tahminler Q = (0,5; 0,75; 0).
(a) t = 9'da UCB1 (UCB = Q + √(2 ln t / N)) hangi kolu seçer?
(b) İlk 8 turun pişmanlığı R = T·μ* − Σ μat kaçtır?
(c) Aynı Q ile ε = 0,1 olan ε-açgözlü her kolu hangi olasılıkla seçer (keşifte üç koldan biri eşit olasılıkla)?
Cevabı göster
(a) 2 ln 9 ≈ 4,394. Paylar: N = 2 → √2,197 ≈ 1,48; N = 4 → √1,099 ≈ 1,05.
| kol | Q | pay | UCB |
|---|---|---|---|
| 0 | 0,5 | 1,48 | 1,98 |
| 1 | 0,75 | 1,05 | 1,80 |
| 2 | 0 | 1,48 | 1,48 |
UCB1 kol 0'ı seçer: tahmini en yüksek kol 1 değil, az denendiği için belirsizliği büyük olan kol kazanır.
(b) 8·0,7 − (2·0,3 + 4·0,5 + 2·0,7) = 5,6 − 4,0 = 1,6.
(c) Açgözlü kol 1: 0,9 + 0,1/3 = 14/15 ≈ 0,933; kol 0 ve kol 2: 0,1/3 = 1/30 ≈ 0,033.
Hesaplama Sorusu · Q-Öğrenme
Soru 16: Q-Öğrenme Üç Epizot
Zincir s0 → s1 → s2 → s3; s3 hedef ve s2'den s3'e geçişin ödülü r = 10, öteki geçişlerde r = 0. Ajan her epizotta s0'dan başlayıp hep "sağ" gidiyor. α = 0,5, γ = 0,8, tüm Q başlangıçta 0, hedefte max Q = 0. Q(s, a) ← Q + α[r + γ·max Q(s′, ·) − Q] ile üç epizottan sonra Q(s0, sağ), Q(s1, sağ), Q(s2, sağ) kaçtır?
Cevabı göster
| epizot | Q(s0, sağ) | Q(s1, sağ) | Q(s2, sağ) |
|---|---|---|---|
| 1 | 0 + 0,5·(0 + 0,8·0 − 0) = 0 | 0 | 0 + 0,5·(10 − 0) = 5 |
| 2 | 0 + 0,5·(0,8·0 − 0) = 0 | 0 + 0,5·(0,8·5 − 0) = 2 | 5 + 0,5·(10 − 5) = 7,5 |
| 3 | 0 + 0,5·(0,8·2 − 0) = 0,8 | 2 + 0,5·(0,8·7,5 − 2) = 4 | 7,5 + 0,5·(10 − 7,5) = 8,75 |
Bir epizot içinde güncellemeler s0, s1, s2 sırasıyla yapılır; s1 güncellenirken Q(s2) henüz o epizodun eski değerindedir. Ödül her epizotta bir adım geriye yayılır: s0'a ancak 3. epizotta ulaşır. Sonsuz tekrarda değerler 10, 8, 6,4'e (γ'nın kuvvetleri) yakınsar.
Hesaplama Sorusu · Replikatör Dinamiği
Soru 17: Replikatör Dinamiği
Şahin–Güvercin: kaynak V = 6, kavga maliyeti C = 10, taban uygunluk 3. (a) Kazanç tablosunu ve şahin payı x iken fŞ, fG'yi yazın. (b) Dinlenme noktası (ESS) x* kaçtır? (c) x = 0,5'ten kesikli replikatör x′ = x·fŞ/f̄ ile bir nesil sonraki şahin payını hesaplayın.
Cevabı göster
(a) ŞŞ = (V − C)/2 = −2, ŞG = V = 6, GŞ = 0, GG = V/2 = 3. fŞ = 3 − 2x + 6(1 − x) = 9 − 8x; fG = 3 + 3(1 − x) = 6 − 3x.
(b) 9 − 8x = 6 − 3x → x* = 3/5 = 0,6 = V/C. Kontrol: x = 0,6'da fŞ = fG = 4,2.
(c) x = 0,5: fŞ = 5, fG = 4,5, f̄ = 0,5·5 + 0,5·4,5 = 4,75. x′ = 0,5·5/4,75 = 10/19 ≈ 0,526. Şahinler ortalamanın üstünde kazandığı için artar ve x* = 0,6'ya doğru ilerler (sonraki nesil ≈ 0,546).
Hesaplama Sorusu · Tekrarlanan Oyunlar
Soru 18: Tekrarlanan Mahkûmun İkilemi
Puanlar T = 6, R = 4, P = 1, S = 0. (a) Kinci (Grim) stratejisiyle işbirliğinin denge olması için en küçük δ nedir? (b) 7 turluk maçta Tit-for-Tat ile Şüpheci TFT kaç puan toplar? (c) 7 turluk maçta Kinci ile Şüpheci TFT kaç puan toplar?
Cevabı göster
(a) 4/(1 − δ) ≥ 6 + δ·1/(1 − δ) ⇔ 4 ≥ 6(1 − δ) + δ ⇔ 5δ ≥ 2 ⇔ δ ≥ (T − R)/(T − P) = 2/5.
(b) TFT İ ile, ŞTFT H ile açar; sonra ikisi de rakibin son hamlesini kopyalar ve İ/H yer değiştirir:
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | Σ | |
|---|---|---|---|---|---|---|---|---|
| TFT | İ 0 | H 6 | İ 0 | H 6 | İ 0 | H 6 | İ 0 | 18 |
| ŞTFT | H 6 | İ 0 | H 6 | İ 0 | H 6 | İ 0 | H 6 | 24 |
(c) Tur 1: Kinci İ, ŞTFT H → 0–6. Tur 2: Kinci H (affetmez), ŞTFT İ'yi kopyalar → 6–0. Tur 3–7: ikisi de H → her tur 1–1. Toplam 11–11; karşılıklı işbirliği (7·4 = 28) hiç kurulamaz.
Hesaplama Sorusu · Evrimsel Dinamik
Soru 19: ESS Kontrolü
Şahin–Güvercin: kaynak V = 6, kavga maliyeti C = 10. Kazançlar (satır oyuncusu): u(Ş, Ş) = (V − C)/2 = −2, u(Ş, G) = 6, u(G, Ş) = 0, u(G, G) = 3.
Strateji x, mutant y'ye karşı ESS'dir ⇔ u(x, x) > u(y, x) ya da [u(x, x) = u(y, x) ve u(x, y) > u(y, y)].
(a) Saf Güvercin ESS midir? (b) Saf Şahin ESS midir? (c) Karışık x* (şahin olasılığı V/C) mutant Ş ve G'ye karşı ESS koşulunu sağlar mı? (d) V = 10, C = 6 olsaydı?
Cevabı göster
(a) u(G, G) = 3 < u(Ş, G) = 6: şahin mutant istila eder → ESS değil.
(b) u(Ş, Ş) = −2 < u(G, Ş) = 0: güvercin mutant istila eder → ESS değil.
(c) x* = 6/10 = 0,6. Karışık dengede her mutant x*'a karşı aynı kazancı alır: u(Ş, x*) = u(G, x*) = u(x*, x*) = 1,2. İkinci koşul: u(x*, Ş) = 0,6·(−2) = −1,2 > u(Ş, Ş) = −2 ✓; u(x*, G) = 0,6·6 + 0,4·3 = 4,8 > u(G, G) = 3 ✓ → ESS.
(d) V > C: u(Ş, Ş) = 2 > u(G, Ş) = 0 → saf Şahin ESS; kavga kaynaktan ucuzsa herkes şahin olur.
Hesaplama Sorusu · Tekrarlanan Oyunlar
Soru 20: Gürültülü Maç
Mahkûmun İkilemi puanları: İİ (3, 3), İH (0, 5), Hİ (5, 0), HH (1, 1). 8 turluk maçta A oyuncusu 3. turda yanlışlıkla İ yerine H oynar; başka hata yoktur.
(a) İki TFT oynarsa hamle dizileri ve puanlar nedir? (b) İki Kazan-kal, kaybet-değiş (WSLS: 3 ya da 5 aldıysan aynı hamle, 0 ya da 1 aldıysan değiştir; ilk turda İ) oynarsa? (c) Hatasız maçla (24 – 24) karşılaştırın.
Cevabı göster
(a) A: İ İ H İ H İ H İ, B: İ İ İ H İ H İ H. 3. turdan sonra iki TFT birbirini yankılar: 21 – 21.
(b) 3. tur Hİ: A 5 aldı, H'de kalır; B 0 aldı, H'ye geçer. 4. tur HH: ikisi de 1 aldı, İ'ye döner. Sonrası hep İİ. A: İ İ H H İ İ İ İ, B: İ İ İ H İ İ İ İ → 24 – 19.
(c) Toplam: hatasız 48, TFT 42, WSLS 43. TFT'de tek hata maçın sonuna kadar süren bir misilleme döngüsü başlatır; WSLS iki turda işbirliğine döner. Bu yüzden gürültülü ortamda WSLS ve cömert TFT, TFT'den iyi sonuç verebilir.
Çoktan Seçmeli · Çok Kollu Haydut
Soru 21
Thompson örneklemesi ile EXP3 için hangisi doğrudur?
B doğrudur: Thompson örneklemesi her kolun ortalaması için bir önsel (ör. Beta) tutar, her turda sonsaldan örnek çeker ve en büyük örneğin kolunu oynar; belirsiz kol bazen yüksek örnek verdiği için kendiliğinden keşfedilir. EXP3, Hedge'in kısmi geri bildirimli sürümüdür: görülen ödülü seçilme olasılığına bölerek tahmin eder ve ödüller kötü niyetli seçilse bile pişmanlığı O(√(T K ln K)) tutar. A yanlıştır: haydutta yalnız çekilen kolun ödülü görülür. C yanlıştır: Thompson rastgele örnekler. D yanlıştır: EXP3 tam olarak çekişmeli durum için tasarlanmıştır.