Çok Etmenli Sistemler

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Özerk etmenİletişimEşgüdümUzlaşma ve ihaleOyun kuramıKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Birden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir?

Çok etmenli sistemler, her biri kendi hedefi ve bilgisiyle karar veren birden çok özerk etmenin aynı ortamda nasıl birlikte çalıştığını ya da yarıştığını inceler. Tek etmenin en iyi kararı yetmez: öteki etmenlerin ne yapacağı da hesaba katılmalı, ortak davranış iletişim ve kurallarla yönlendirilmelidir.

Bir bakışta

Yaklaşım

etkileşen özerk etmenler

Girdi

etmenler, hedefleri, iletişim kuralları

Çıktı

ortak davranış, denge, anlaşma

Başarı ölçütü

toplam fayda, kararlılık

Matematik yükü

orta: oyun kuramı

Veri ihtiyacı

az; benzetim

Giriş

Kısa Tarihçe

1950

Nash, her oyuncunun ötekilere göre en iyi yanıt verdiği denge kavramını tanımlar.

1980

Smith, görevleri etmenler arasında ihaleyle dağıtan Sözleşme Ağı (Contract Net) protokolünü yayımlar.

1987

Reynolds, üç basit kuralla sürü davranışı üreten boids benzetimini tanıtır.

1991

Rao ve Georgeff, inanç-istek-niyet (BDI) etmen mimarisini biçimsel olarak tanımlar.

1994

Littman, Markov oyunlarını çok etmenli pekiştirmeli öğrenmenin çerçevesi olarak önerir.

1997

İlk RoboCup robot futbol turnuvası Nagoya'da düzenlenir.

Ders

Temel Kavramlar

Özerk etmen

Dışarıdan yönetilmeden kendi hedefi için karar verir.

BDI mimarisi

İnanç, istek ve niyetle akıl yürüten etmen modeli.

İletişim dili

FIPA ACL gibi önerme, istek, bildirim mesajları.

Eşgüdüm

Etmenlerin eylemlerini çakışmadan uyumlu kılmak.

Uzlaşma

Çıkarları farklı etmenlerin anlaşmaya varması: pazarlık.

İhale ve görev dağıtma

Sözleşme Ağı ve açık artırmayla iş bölümü.

Nash dengesi

Hiçbir etmenin tek başına stratejisini değiştirmek istemediği durum.

Ortaya çıkan davranış

Basit yerel kurallardan doğan küresel düzen.

Ders

Tipik İş Akışı

Algılaortam veöteki etmenlerAkıl yürütinanç,hedefİletişmesaj, teklifEşgüdümleuzlaşma,ihaleEyleortak sonuç
Örnek: Bir depoda yüz robot siparişleri toplar. Yeni bir sipariş gelince her robot konumuna göre teklif verir, en uygun teklif işi alır; robotlar yollarını birbirine bildirerek koridorda çarpışmadan geçer. Merkezde her şeyi bilen bir planlayıcı yoktur.

Dene

Teslimat Robotları İhaleye Çıkıyor

Kampüste üç teslimat robotu var, yönetici yok. Her paket ihaleye çıkar; her robot rotasına ekleyeceği yolu teklif eder, en ucuzu kazanır. Adım adım ihale yapın ya da haritaya tıklayıp paket ekleyin.

Sorun tek bir programla değil, pazarlık eden etmenlerle çözüldü: sözleşme ağında yönetici görevi duyurur, etmenler kendi maliyetine göre teklif verir. Robot eklemek merkezi planı bozmaz.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
Yapay Zekâetmen kavramı, ortak karar
Algoritmik Oyun KuramıNash dengesi, mekanizma tasarımı ve açık artırmalar
Java ile NYPnesne ve mesajlaşma: JADE gibi etmen platformlarının dili
Algoritmalarçizge algoritmaları ve dağıtık problemlerin karmaşıklığı

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
alt alanBu ders, Yapay Zekâ dersinin alt alanıdıretmen kavramı, ortak karar
yöntem paylaşırPekiştirmeli Öğrenme ile yöntem paylaşırçok etmenli pekiştirmeli öğrenme, oyun kuramı
yöntem paylaşırRobotik ve Robot Görüsü ile yöntem paylaşırsürü robotlar, eşgüdüm

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütÇok Etmenli SistemlerYapay ZekâPekiştirmeli Öğrenme
Temel soruBirden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir?Bir makine arayarak, çıkarım yaparak ve plan kurarak nasıl akıllıca davranır?Yalnız ödül sinyaliyle, deneme yanılma yoluyla iyi kararlar nasıl öğrenilir?
Yaklaşımetkileşen özerk etmenlerarama, mantık, olasılık ve öğrenme bir aradaödülle deneme yanılma
Girdietmenler, hedefleri, iletişim kurallarıproblem tanımı: durumlar, eylemler, hedefortamla etkileşim: durum ve ödül
Çıktıortak davranış, denge, anlaşmaeylem dizisi, plan ya da kararpolitika: durumdan eyleme kural
Başarı ölçütütoplam fayda, kararlılıkhedefe ulaşma, maliyet, rasyonelliktoplam beklenen ödül
Matematik yüküorta: oyun kuramıorta: mantık, olasılık, çizgeyüksek: olasılık, dinamik programlama
Veri ihtiyacıaz; benzetimaz; çoğu zaman model ve bilgi yeteretkileşimle üretilir
  • Yapay Zekâ: YZ tek etmenin çevresine karşı en iyi kararını arar; bu ders öteki etmenlerin de karar verdiği ortamda ortak davranışı inceler.
  • Pekiştirmeli Öğrenme: PÖ tek etmenin ödülle öğrenmesini inceler; bu ders öğrenme şart olmadan iletişim, uzlaşma ve eşgüdüm kurallarını da kapsar.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütÇok Etmenli SistemlerRobotikEvrimsel Optimizasyon
Temel soruBirden çok özerk etmen birlikte ya da birbirine karşı nasıl karar verir?Bir makine fiziksel dünyayı nasıl algılar, konumunu nasıl bilir ve nasıl hareket eder?Türev yokken ya da arama uzayı çok büyükken iyi bir çözüm nasıl bulunur?
Yaklaşımetkileşen özerk etmenleralgıla, planla, eyle döngüsüpopülasyon ve sezgisel arama
Girdietmenler, hedefleri, iletişim kurallarıalgılayıcı ölçümleriamaç fonksiyonu ve çözüm gösterimi
Çıktıortak davranış, denge, anlaşmamotor komutları, yoliyi bir çözüm (en iyisi garanti değil)
Başarı ölçütütoplam fayda, kararlılıkgörev başarısı, güvenlikçözüm kalitesi, değerlendirme sayısı
Matematik yüküorta: oyun kuramıyüksek: dönüşümler, denetimdüşük-orta
Veri ihtiyacıaz; benzetimfiziksel deney ve benzetimgerekmez; değerlendirme yeter
  • Robotik: Robotik tek bir makinenin algılama ve hareketini çözer; bu ders birçok robotun ya da yazılım etmeninin iş bölümünü ele alır.
  • Evrimsel Optimizasyon: Sürü zekâsı algoritmaları sürüyü bir problemi çözmek için araç olarak kullanır; bu derste etmenlerin kendisi ve etkileşimi konudur.

Uygulama

Uygulama Alanları

Depo robotları

Yüzlerce robotun görev ve yol paylaşımı.

Akıllı şebeke

Üretici ve tüketicilerin enerji ticareti.

Trafik yönetimi

Kavşakların ve araçların eşgüdümü.

Otomatik pazarlık

Çevrim içi ihale ve reklam açık artırması.

Oyunlar

Takım hâlinde oynayan bilgisayar rakipler.

Toplum benzetimi

Salgın, pazar ve kalabalık davranışı.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

JADENetLogoMesaPettingZooJason (AgentSpeak)RepastMASON

Klasik örnek problemler

Mahkûm ikilemiAvcı-av problemiRoboCup futboluStarCraft Çok Etmenli Meydan Okuması (SMAC)Schelling ayrışma modeliSürü (boids) benzetimi
Bu derste veri çoğunlukla toplanmaz, benzetimle üretilir: etmenlerin kuralları yazılır ve ortak davranış çalıştırılarak gözlenir.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Çok etmenli sistem, çok çekirdekli programdır.Paralel programda parçalar tek bir hedefe hizmet eder; etmenler özerktir ve hedefleri çatışabilir.
Her etmen en iyisini yaparsa toplam da en iyidir.Mahkûm ikileminde olduğu gibi bireysel olarak akılcı seçimler herkes için kötü bir sonuca varabilir.
Eşgüdüm için merkezî bir yönetici gerekir.Sürüler ve ihale protokolleri yerel kurallar ve mesajlarla merkezsiz eşgüdüm kurar.
Etmenler hep işbirliği yapar.Etmenler rakip de olabilir; ders işbirliğini, rekabeti ve ikisinin karışımını birlikte inceler.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Robotik yazılım mühendisiBenzetim ve modelleme uzmanıOyun YZ geliştiricisiLojistik sistemleri mühendisiAraştırmacı
Çok etmenli sistemler YZ'yi toplumsal bir bakışla genişletir. Bu dersten sonra öğrenen etmenler için çok etmenli pekiştirmeli öğrenmeye, fiziksel ekipler için sürü robotiğine, teşvik ve kural tasarımı için algoritmik oyun kuramına geçilebilir.

Sonrası

Kaynaklar

  • Wooldridge, An Introduction to MultiAgent Systems, 2. baskı, Wiley, 2009.
  • Shoham ve Leyton-Brown, Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, Cambridge University Press, 2009.
  • Weiss (ed.), Multiagent Systems, 2. baskı, MIT Press, 2013.
  • Albrecht, Christianos ve Schäfer, Multi-Agent Reinforcement Learning: Foundations and Modern Approaches, MIT Press, 2024.

Son

Bölüm 14: Çok Etmenli Sistemler
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.