Çok Etmenli Sistemler
Giriş
Ders Hangi Soruyu Sorar?
Çok etmenli sistemler, her biri kendi hedefi ve bilgisiyle karar veren birden çok özerk etmenin aynı ortamda nasıl birlikte çalıştığını ya da yarıştığını inceler. Tek etmenin en iyi kararı yetmez: öteki etmenlerin ne yapacağı da hesaba katılmalı, ortak davranış iletişim ve kurallarla yönlendirilmelidir.
Bir bakışta
etkileşen özerk etmenler
etmenler, hedefleri, iletişim kuralları
ortak davranış, denge, anlaşma
toplam fayda, kararlılık
orta: oyun kuramı
az; benzetim
Giriş
Kısa Tarihçe
Nash, her oyuncunun ötekilere göre en iyi yanıt verdiği denge kavramını tanımlar.
Smith, görevleri etmenler arasında ihaleyle dağıtan Sözleşme Ağı (Contract Net) protokolünü yayımlar.
Reynolds, üç basit kuralla sürü davranışı üreten boids benzetimini tanıtır.
Rao ve Georgeff, inanç-istek-niyet (BDI) etmen mimarisini biçimsel olarak tanımlar.
Littman, Markov oyunlarını çok etmenli pekiştirmeli öğrenmenin çerçevesi olarak önerir.
İlk RoboCup robot futbol turnuvası Nagoya'da düzenlenir.
Ders
Temel Kavramlar
Dışarıdan yönetilmeden kendi hedefi için karar verir.
İnanç, istek ve niyetle akıl yürüten etmen modeli.
FIPA ACL gibi önerme, istek, bildirim mesajları.
Etmenlerin eylemlerini çakışmadan uyumlu kılmak.
Çıkarları farklı etmenlerin anlaşmaya varması: pazarlık.
Sözleşme Ağı ve açık artırmayla iş bölümü.
Hiçbir etmenin tek başına stratejisini değiştirmek istemediği durum.
Basit yerel kurallardan doğan küresel düzen.
Ders
Tipik İş Akışı
Dene
Teslimat Robotları İhaleye Çıkıyor
Kampüste üç teslimat robotu var, yönetici yok. Her paket ihaleye çıkar; her robot rotasına ekleyeceği yolu teklif eder, en ucuzu kazanır. Adım adım ihale yapın ya da haritaya tıklayıp paket ekleyin.
Konum
Ön Koşullar
Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.
| Ders | Neden gerekir |
|---|---|
| Yapay Zekâ | etmen kavramı, ortak karar |
| Algoritmik Oyun Kuramı | Nash dengesi, mekanizma tasarımı ve açık artırmalar |
| Java ile NYP | nesne ve mesajlaşma: JADE gibi etmen platformlarının dili |
| Algoritmalar | çizge algoritmaları ve dağıtık problemlerin karmaşıklığı |
Konum
Dersin Komşuları
Örtüşme
Örtüştüğü Dersler
| İlişki | Ders | Ortak konu |
|---|---|---|
| alt alan | Bu ders, Yapay Zekâ dersinin alt alanıdır | etmen kavramı, ortak karar |
| yöntem paylaşır | Pekiştirmeli Öğrenme ile yöntem paylaşır | çok etmenli pekiştirmeli öğrenme, oyun kuramı |
| yöntem paylaşır | Robotik ve Robot Görüsü ile yöntem paylaşır | sürü robotlar, eşgüdüm |
Ayrışma
Ayrıştığı Noktalar (1/2)
| Ölçüt | Çok Etmenli Sistemler | Yapay Zekâ | Pekiştirmeli Öğrenme |
|---|---|---|---|
| Temel soru | Birden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir? | Bir makine arayarak, çıkarım yaparak ve plan kurarak nasıl akıllıca davranır? | Yalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir? |
| Yaklaşım | etkileşen özerk etmenler | arama, mantık, olasılık ve öğrenme bir arada | ödülle deneme yanılma |
| Girdi | etmenler, hedefleri, iletişim kuralları | problem tanımı: durumlar, eylemler, hedef | ortamla etkileşim: durum ve ödül |
| Çıktı | ortak davranış, denge, anlaşma | eylem dizisi, plan ya da karar | politika: durumdan eyleme kural |
| Başarı ölçütü | toplam fayda, kararlılık | hedefe ulaşma, maliyet, rasyonellik | toplam beklenen ödül |
| Matematik yükü | orta: oyun kuramı | orta: mantık, olasılık, çizge | yüksek: olasılık, dinamik programlama |
| Veri ihtiyacı | az; benzetim | az; çoğu zaman model ve bilgi yeter | etkileşimle üretilir |
- Yapay Zekâ: YZ tek etmenin çevresine karşı en iyi kararını arar; bu ders öteki etmenlerin de karar verdiği ortamda ortak davranışı inceler.
- Pekiştirmeli Öğrenme: PÖ tek etmenin ödülle öğrenmesini inceler; bu ders öğrenme şart olmadan iletişim, uzlaşma ve eşgüdüm kurallarını da kapsar.
Ayrışma
Ayrıştığı Noktalar (2/2)
| Ölçüt | Çok Etmenli Sistemler | Robotik | Evrimsel Optimizasyon |
|---|---|---|---|
| Temel soru | Birden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir? | Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder? | Türev yokken ya da arama uzayı çok büyükken iyi bir çözüm nasıl bulunur? |
| Yaklaşım | etkileşen özerk etmenler | algıla, planla, eyle döngüsü | popülasyon ve sezgisel arama |
| Girdi | etmenler, hedefleri, iletişim kuralları | algılayıcı ölçümleri | amaç fonksiyonu ve çözüm gösterimi |
| Çıktı | ortak davranış, denge, anlaşma | motor komutları, yol | iyi bir çözüm (en iyisi garanti değil) |
| Başarı ölçütü | toplam fayda, kararlılık | görev başarısı, güvenlik | çözüm kalitesi, değerlendirme sayısı |
| Matematik yükü | orta: oyun kuramı | yüksek: dönüşümler, denetim | düşük-orta |
| Veri ihtiyacı | az; benzetim | fiziksel deney ve benzetim | gerekmez; değerlendirme yeter |
- Robotik: Robotik tek bir makinenin algılama ve hareketini çözer; bu ders birçok robotun ya da yazılım etmeninin iş bölümünü ele alır.
- Evrimsel Optimizasyon: Sürü zekâsı algoritmaları sürüyü bir problemi çözmek için araç olarak kullanır; bu derste etmenlerin kendisi ve etkileşimi konudur.
Uygulama
Uygulama Alanları
Yüzlerce robotun görev ve yol paylaşımı.
Üretici ve tüketicilerin enerji ticareti.
Kavşakların ve araçların eşgüdümü.
Çevrim içi ihale ve reklam açık artırması.
Takım hâlinde oynayan bilgisayar rakipler.
Salgın, pazar ve kalabalık davranışı.
Uygulama
Araçlar ve Örnek Veriler
Araçlar ve kütüphaneler
Klasik örnek problemler
Uygulama
Sık Karıştırılanlar
| Yaygın düşünce | Doğrusu |
|---|---|
| Çok etmenli sistem, çok çekirdekli programdır. | Paralel programda parçalar tek bir hedefe hizmet eder; etmenler özerktir ve hedefleri çatışabilir. |
| Her etmen en iyisini yaparsa toplam da en iyidir. | Mahkûm ikileminde olduğu gibi bireysel olarak akılcı seçimler herkes için kötü bir sonuca varabilir. |
| Eşgüdüm için merkezî bir yönetici gerekir. | Sürüler ve ihale protokolleri yerel kurallar ve mesajlarla merkezsiz eşgüdüm kurar. |
| Etmenler hep işbirliği yapar. | Etmenler rakip de olabilir; ders işbirliğini, rekabeti ve ikisinin karışımını birlikte inceler. |
Sonrası
Bu Dersten Sonra
Bu dersi temel alan ya da genişleten dersler
İlgili meslekler
Sonrası
Kaynaklar
- Wooldridge, An Introduction to MultiAgent Systems, 2. baskı, Wiley, 2009.
- Shoham ve Leyton-Brown, Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, Cambridge University Press, 2009.
- Weiss (ed.), Multiagent Systems, 2. baskı, MIT Press, 2013.
- Albrecht, Christianos ve Schäfer, Multi-Agent Reinforcement Learning: Foundations and Modern Approaches, MIT Press, 2024.