Giriş

Oyunla Başlangıç: Çok Kollu Haydut

Giriş

Öğrenme Çıktıları

Giriş

Neden Öğrenme ve Adaptasyon?

Giriş

Öğrenme Modelleri: Genel Bakış

Yukarıdan aşağı: oyuncu rakibi değil kendi ödülünü izlemeye başlar; son satırda bakış bireyden nüfusa kayar.

En İyi Tepki ve Kurgusal Oyun

En İyi Tepki Dinamiği (Adım Adım)

(C, Y)'den başlansaydı (B, Y) dengesine gidilirdi: varılan denge başlangıca bağlı.

En İyi Tepki ve Kurgusal Oyun

En İyi Tepki Dinamiği Ne Zaman Yakınsar?

En İyi Tepki ve Kurgusal Oyun

Kurgusal Oyun: Yazı-Tura Eşleştirme

En İyi Tepki ve Kurgusal Oyun

Kod İzleme: Kurgusal Oyun (Yazı-Tura, 6 tur)

def fictitious(T):
    ne, na = [0, 0], [0, 0]   # Y/T sayaçları
    a, b = 0, 0               # 1. tur: ikisi de Y
    for t in range(1, T + 1):
        ne[a] += 1            # eşleştirenin geçmişi
        na[b] += 1            # ayrıştıranın geçmişi
        # eşleştiren: ayrıştıranın çoğunluğunu eşle
        a = 0 if na[0] >= na[1] else 1
        # ayrıştıran: eşleştirenin çoğunluğundan ayrış
        b = 1 if ne[0] > ne[1] else 0
    return ne, na

En İyi Tepki ve Kurgusal Oyun

Kurgusal Oyun: Frekanslar Dengeye Yakınsar

• Eylemler döngüler hâlinde değişir (döngüler giderek uzar), ama frekanslar karışık dengeye (½, ½) yaklaşır: 400 turda 0,472 ve 0,492.
• Yakınsama garantisi: iki kişilik sıfır toplamlı oyunlar (Robinson 1951), 2×2 oyunlar, potansiyel oyunlar. Shapley (1964): 3×3 bir oyunda frekanslar döner, yakınsamaz.

Pişmanlık ve Hedge

Dışsal Pişmanlık: “Lideri İzle” Neden Başarısız?

Pişmanlık = (geriye bakınca en iyi tek eylemi hep oynasaydın alacağın toplam) − (gerçekte aldığın toplam). Dışsal pişmanlık R_T = max_i Σ_t g_t(i) − Σ_t g_t(a_t): geriye dönük en iyi sabit eylemle fark. R_T/T → 0 ise algoritma pişmanlıksızdır.

Pişmanlık ve Hedge

Çarpımsal Ağırlıklar / Hedge

Pişmanlık ve Hedge

Kod İzleme: Çarpımsal Ağırlıklar

import math
def hedge(G, eta):
    w = [1.0] * len(G[0])
    top = 0.0
    for g in G:                       # her tur
        W = sum(w)
        p = [x / W for x in w]
        top += sum(pi * gi for pi, gi in zip(p, g))
        w = [x*math.exp(eta*gi) for x, gi in zip(w, g)]
    return top

Pişmanlık ve Hedge

Varsayımı Değiştir: Ya Rakip de Öğrenirse?

Pişmanlık ve Hedge

Hedge Kendine Karşı: Yazı-Tura Eşleştirme

• İki oyuncu da Hedge (η = 0,1) kullanıyor. Başlangıç ağırlıkları: eşleştiren (Y, T) = (0,8; 0,2), yani P(Y) = 0,8; ayrıştıran (0,5; 0,5). Kazanan 1, kaybeden 0 alır; her turda iki oyuncu da eylemlerinin beklenen kazancıyla aynı anda günceller.
• Her turdaki olasılık (son yineleme) dengeye oturmaz, etrafında büyük salınımlar yapar; zaman ortalaması minimaks stratejisine (½, ½) yaklaşır (600 turda 0,498). Minimaks teoreminin öğrenme yoluyla ispatı buna dayanır.

Pişmanlık ve Hedge

Pişmanlıksız Öğrenme Hangi Dengeye Gider?

Çok Kollu Haydut

Çok Kollu Haydut (Multi-Armed Bandit)

Uygulamalar: reklam ve haber önerisi, A/B testi, klinik deneyler, fiyat deneme.

Çok Kollu Haydut

Kod İzleme: ε-Açgözlü (ε = 0,2)

def egreedy(mu, T, eps, rng):
    N, Q = [0] * len(mu), [0.0] * len(mu)
    for t in range(1, T + 1):
        if rng.random() < eps:           # keşif
            a = rng.randrange(len(mu))
        else:                            # sömürü
            a = Q.index(max(Q))
        r = 1 if rng.random() < mu[a] else 0
        N[a] += 1
        Q[a] += (r - Q[a]) / N[a]
    return N, Q

Çok Kollu Haydut

Kod İzleme: UCB1 (Üst Güven Sınırı)

def ucb(mu, T, rng):
    K = len(mu)
    N, Q = [0] * K, [0.0] * K
    for t in range(1, T + 1):
        b = [math.inf if n == 0 else
             math.sqrt(2*math.log(t)/n) for n in N]
        a = max(range(K), key=lambda i: Q[i] + b[i])
        r = 1 if rng.random() < mu[a] else 0
        N[a] += 1
        Q[a] += (r - Q[a]) / N[a]
    return N, Q

Çok Kollu Haydut

Karşılaştırma: 5000 Tur, 100 Tekrar

• Kollar μ = (0,3; 0,5; 0,7), tohumlar 0–99. Yalnız sömürü her seferinde kol 0'a takılır: pişmanlık 0,4·T, doğrusal.
• ε-açgözlü hep %10 keşif yaptığı için doğrusal büyür. UCB1'in pişmanlığı yaklaşık 270. ile 2.370. tur arasında ε-açgözlüden yüksektir; sonra daha düşük kalır, çünkü UCB1'in pişmanlığı logaritmik, yani çok yavaş büyür (Auer vd., 2002).
• ε bir ayar parametresidir: kısa izlemede keşif görünsün diye 0,2, uzun karşılaştırmada 0,1, Çok Kollu Haydut oyununda 0,15 seçildi. Küçük ε daha az keşif, daha geç düzeltme demektir.

Çok Kollu Haydut

Oyuna Dönüş: Çok Kollu Haydut

Pekiştirmeli Öğrenme

Hayduttan Pekiştirmeli Öğrenmeye

• Haydut = tek durumlu problem. Pekiştirmeli öğrenmede eylem, ödülün yanında bir sonraki durumu (ajanın bulunduğu konum, ör. tahtadaki dizilim) da belirler.
• Q-öğrenme (Watkins, 1989): durum-eylem değerini gözlenen geçişle günceller

α: öğrenme oranı (yeni bilgiye ne kadar güvenilir); γ: gelecekteki ödülün bugünkü değeri (iskonto).

Pekiştirmeli Öğrenme

Kod İzleme: Q-Öğrenme (α = 0,5, γ = 0,9)

def q_learn(episodes, alpha, gamma):
    Q = [[0.0, 0.0] for s in range(4)]  # [sol, sağ]
    for ep in episodes:
        for s, a, r, s2 in ep:
            best = 0 if s2 == 3 else max(Q[s2])
            hedef = r + gamma * best
            Q[s][a] += alpha * (hedef - Q[s][a])
    return Q

Pekiştirmeli Öğrenme

Q-öğrenmenin Ötesi: Yöntemler ve Kilometre Taşları

Evrimsel Dinamik

Replikatör Dinamiği

Evrimsel Dinamik

Replikatör Dinamiği Adım Adım: Şahin–Güvercin

Evrimsel Dinamik

Her Başlangıçtan ESS'ye: x* = V/C = 2/3

• Dinlenme noktası f_Ş = f_G: 7 − 5x = 5 − 2x ⇒ x* = 2/3 — oyunun simetrik karışık Nash dengesiyle aynı.
• Taş-Kağıt-Makas'ta replikatör dinamiği dengenin etrafında döner; Geyik Avı'nda başlangıca göre iki saf dengeden birine gider.

Tekrarlanan Oyunlar

Tekrarlanan Mahkûmun İkilemi

Tekrarlanan Oyunlar

Kinci Tetik: İşbirliği Hangi δ'da Sürer?

Gelecek ne kadar değerliyse (δ büyükse) kinci tetik tehdidi o kadar caydırıcıdır; cazibe arttıkça işbirliği için gereken δ* eşiği yükselir.

Tekrarlanan Oyunlar

10 Turluk Maçlar: Kim Ne Oynar?

S: sessiz kalmak, yani işbirliği (yeşil), İ: ihanet (kırmızı). TFT: ilk turda işbirliği, sonra rakibin son hamlesini tekrarla.

Tekrarlanan Oyunlar

Kod İzleme: match(tft, stft, 6)

PAY = {"SS": (3, 3), "Sİ": (0, 5),
       "İS": (5, 0), "İİ": (1, 1)}
tft = lambda ben, rakip: rakip[-1] if rakip else "S"
stft = lambda ben, rakip: rakip[-1] if rakip else "İ"
def match(s1, s2, T):
    h1, h2, p1, p2 = [], [], 0, 0
    for t in range(T):
        a, b = s1(h1, h2), s2(h2, h1)
        u, v = PAY[a + b]
        h1.append(a); h2.append(b)
        p1, p2 = p1 + u, p2 + v
    return p1, p2

Tekrarlanan Oyunlar

Mini Axelrod Turnuvası: Adım Adım

Satırdaki stratejinin, sütundaki rakibe karşı 10 turda topladığı puan. Hep-S: Hep İşbirliği, Hep-İ: Hep İhanet, ŞTFT: Şüpheci TFT.

Tekrarlanan Oyunlar

Axelrod Turnuvaları (1980) ve Dersleri

Robert Axelrod iki bilgisayar turnuvası düzenledi (14 ve 62 program). İkisini de Anatol Rapoport'un 4 satırlık Tit-for-Tat'ı kazandı.

• Gürültü (yanlış hamle olasılığı) varsa iki TFT sonsuz misilleme döngüsüne girer; cömert TFT ihaneti bazen affeder ve daha iyi sonuç verir.
• Başarı ortama bağlıdır: rakip havuzu değişirse sıralama değişir — evrimsel turnuvada (replikatör) başarılı stratejiler çoğalır.

Özet

Tartışma: Öğrenme, İnsan ve Etik

Özet

Özet

Özet

Örnek Problemler

1. Hedge'de η = ln 2, iki eylem, ilk iki turda kazançlar (1, 0) ve (1, 0). Üçüncü turda p₁ kaçtır?
2. UCB1, t = 10'da: kol 1 için Q = 0,6, N = 5; kol 2 için Q = 0,2, N = 1. Hangi kol seçilir?
3. Şahin–Güvercin (V = 4, C = 6, taban 3) oyununda x = 0,5 iken bir sonraki nesilde şahin payı artar mı?
4. Cazibe 5, karşılıklı işbirliği 3, karşılıklı ihanet 1 iken Grim ile işbirliğini sürdürmek için gereken en küçük δ nedir? Cazibe 7 olsaydı?
5. Kurgusal oyun ile en iyi tepki dinamiği arasındaki fark nedir? Yazı-Tura'da hangisi dengeye “yaklaşır”?
6. Q-öğrenmede Q(s, a) = 1, r = 0, γ = 0,9, max Q(s′, ·) = 2, α = 0,1. Güncellemeden sonra Q(s, a) kaç olur?

Özet

Etkileşimli Oyunlar ve Laboratuvarlar

Özet

Kaynaklar

• D. Fudenberg, D. Levine, The Theory of Learning in Games, MIT Press, 1998.
• N. Cesa-Bianchi, G. Lugosi, Prediction, Learning, and Games, Cambridge, 2006.
• T. Lattimore, C. Szepesvári, Bandit Algorithms, Cambridge, 2020.
• P. Auer, N. Cesa-Bianchi, P. Fischer, “Finite-time analysis of the multiarmed bandit problem”, Machine Learning 47, 2002.
• C. Watkins, P. Dayan, “Q-learning”, Machine Learning 8, 1992; A. Blum, Y. Mansour, “From external to internal regret”, JMLR 8, 2007.
• R. Axelrod, The Evolution of Cooperation, Basic Books, 1984.
• J. Hofbauer, K. Sigmund, Evolutionary Games and Population Dynamics, Cambridge, 1998.
• T. Roughgarden, Twenty Lectures on Algorithmic Game Theory, 2016 (Ders 16–18); ders sayfası: CS364A (Stanford, 2013).
• N. Nisan, T. Roughgarden, É. Tardos, V. Vazirani (ed.), Algorithmic Game Theory, Cambridge, 2007 (Bölüm 4: öğrenme, pişmanlık ve denge).
• A. R. Karlin, Y. Peres, Game Theory, Alive, AMS, 2017 (Bölüm 7: evrimsel denge; Bölüm 18: uyarlanabilir karar verme); D. Easley, J. Kleinberg, Networks, Crowds, and Markets, 2010 (Bölüm 7: evrimsel oyun kuramı).
• Araç: Nashpy (kurgusal oyun, replikatör dinamiği).

Özet

Kaynaklar (2/2)

• J. Robinson, “An iterative method of solving a game”, Annals of Mathematics 54(2), 1951; K. Miyasawa, “On the convergence of the learning process in a 2×2 non-zero-sum two-person game”, Princeton Research Memo 33, 1961; L. S. Shapley, “Some topics in two-person games”, Advances in Game Theory, 1964.
• D. Monderer, L. S. Shapley, “Potential games”, Games and Economic Behavior 14(1), 1996.
• D. Foster, R. Vohra, “Calibrated learning and correlated equilibrium”, Games and Economic Behavior 21, 1997; S. Hart, A. Mas-Colell, “A simple adaptive procedure leading to correlated equilibrium”, Econometrica 68(5), 2000.
• J. Maynard Smith, G. R. Price, “The logic of animal conflict”, Nature 246, 1973.
• W. R. Thompson, “On the likelihood that one unknown probability exceeds another in view of the evidence of two samples”, Biometrika 25, 1933.
• P. Auer, N. Cesa-Bianchi, Y. Freund, R. E. Schapire, “The nonstochastic multiarmed bandit problem”, SIAM Journal on Computing 32(1), 2002.
• N. D. Daw, J. P. O’Doherty, P. Dayan, B. Seymour, R. J. Dolan, “Cortical substrates for exploratory decisions in humans”, Nature 441, 2006.
• C. Watkins, Learning from Delayed Rewards, doktora tezi, Cambridge Üniversitesi, 1989; V. Mnih vd., “Human-level control through deep reinforcement learning”, Nature 518, 2015.
• M. Zinkevich, M. Johanson, M. Bowling, C. Piccione, “Regret minimization in games with incomplete information”, NeurIPS, 2007.
• M. Nowak, K. Sigmund, “A strategy of win-stay, lose-shift that outperforms tit-for-tat in the Prisoner’s Dilemma game”, Nature 364, 1993.