Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği

Yapay Zekâ ve Veri Dersleri Rehberi · Kısım II: Yapay Zekânın Dalları
Neden açıklama?Açıklama yöntemleriYanlılık ve adaletSorumlulukDüzenlemelerKomşu dersler
Sercan KÜLCÜ · Giresun Üniversitesi · Bilgisayar Mühendisliği

Giriş

Ders Hangi Soruyu Sorar?

Bir yapay zekâ sisteminin kararına nasıl güvenilir ve sonucundan kim sorumludur?

Bu ders, bir yapay zekâ sisteminin kararını insanların anlayabileceği biçimde açıklamayı ve sistemin adil, güvenilir ve hesap verebilir olmasını inceler. Teknik soru "model neden bu kararı verdi?", etik soru "bu karar kime zarar verebilir ve sorumlusu kim?" sorusudur.

Bir bakışta

Yaklaşım

insan merkezli değerlendirme

Girdi

model, verisi ve kullanım bağlamı

Çıktı

açıklama, denetim raporu, ilke

Başarı ölçütü

anlaşılırlık, adalet, hesap verebilirlik

Matematik yükü

düşük-orta

Veri ihtiyacı

modelin kendi verisi

Giriş

Kısa Tarihçe

2016

ProPublica, COMPAS suç riski puanının siyahi sanıklar aleyhine yanlı olduğunu öne süren analizi yayımlar.

2016

Ribeiro, Singh ve Guestrin LIME yöntemini tanıtır: tek bir tahmini yerel, basit bir modelle açıklamak.

2017

Lundberg ve Lee SHAP yöntemini yayımlar: oyun kuramındaki Shapley değerleriyle öznitelik katkısı.

2018

AB Genel Veri Koruma Tüzüğü (GDPR) yürürlüğe girer; otomatik kararlara itiraz hakkı tanınır.

2018

Gender Shades çalışması, ticari yüz analizi sistemlerinin koyu tenli kadınlarda çok daha sık yanıldığını gösterir.

2024

AB Yapay Zekâ Yasası (AI Act) kabul edilir: sistemler risk düzeyine göre sınıflandırılır.

Ders

Temel Kavramlar

Kara kutu model

İç işleyişi insan tarafından izlenemeyen model.

Yorumlanabilirlik

Doğası gereği okunabilen model: karar ağacı, doğrusal.

Yerel açıklama

Tek bir tahmini açıklamak: LIME, SHAP değerleri.

Genel açıklama

Modelin bütün davranışı: öznitelik önemi, PDP.

Karşı olgusal

"Gelirin şu kadar olsaydı kredi onaylanırdı."

Veri yanlılığı

Eğitim verisindeki dengesizliğin karara taşınması.

Adalet ölçütleri

Demografik eşitlik, eşit fırsat, kalibrasyon.

Hesap verebilirlik

Kararın denetlenmesi, kaydı ve sorumlusu.

Ders

Tipik İş Akışı

Bağlamıbelirlekim etkilenir,risk ne?Veriyidenetletemsil,yanlılıkModeliaçıklaSHAP, LIME,karşı olgusalAdaletiölçgruplar arasıhata oranıBelgele veizlemodel kartı,denetim
Örnek: Bir bankanın kredi modeli başvuru reddeder. SHAP değerleri reddin en çok borç oranından kaynaklandığını gösterir; gruplar arası karşılaştırma bazı semtlerde ret oranının belirgin yüksek olduğunu ortaya çıkarır. Ekip semti dolaylı yoldan temsil eden özniteliği çıkarır ve kararı model kartında belgeler.

Dene

Kredi Modeli İki Gruba Adil mi?

Model her başvuruya 0–100 arası puan veriyor; eşiğin üstü onaylanır. Puanlar B grubunda tarihsel veriden dolayı düşük. Eşikleri kaydırın, iki adalet ölçütünün nasıl değiştiğine bakın.

Aynı eşik iki gruba farklı davranıyor; birini sıfırlayınca öteki fark açılıyor. Ders, bu ölçümleri yapmayı, hangi adalet tanımının seçildiğini açıkça yazmayı ve modeli denetlenebilir kılmayı öğretir.

Konum

Ön Koşullar

Bu dersten önce bilinmesi yararlı olan dersler ve neden gerektikleri.

DersNeden gerekir
ProgramlamaPython ile model eğitme ve sonuçları çözümleme
Algoritmik Oyun KuramıShapley değeri: SHAP açıklamalarının kuramsal kökeni
Felsefe ya da hukuketik kuramlar, kişisel veri hakları ve sorumluluk kavramı

Konum

Dersin Komşuları

alt alantemel alıryöntem paylaşıruygulama

Örtüşme

Örtüştüğü Dersler

İlişkiDersOrtak konu
yöntem paylaşırMakine Öğrenmesi ile yöntem paylaşırmodel açıklama, öznitelik önemi
yöntem paylaşırUzman Sistemler ve Bilgi Temsili ile yöntem paylaşırokunabilir kurallarla açıklanabilir karar
yöntem paylaşırTıbbi Görüntü İşleme ile yöntem paylaşırtanıda açıklanabilirlik ve sorumluluk
yöntem paylaşırVeri Bilimi ile yöntem paylaşırveri yanlılığı, adalet ölçütleri
yöntem paylaşırSiber Güvenlikte Yapay Zekâ ile yöntem paylaşırgüvenilirlik, düşmanca örnekler

Ayrışma

Ayrıştığı Noktalar (1/2)

ÖlçütAçıklanabilir YZ ve EtikMakine ÖğrenmesiVeri Bilimi
Temel soruBir yapay zekâ sisteminin kararına nasıl güvenilir ve sonucundan kim sorumludur?Bir program örneklerden nasıl genelleme yapar?Veriden doğru soruları sorup karara dönüşen sonuçlar nasıl çıkarılır?
Yaklaşıminsan merkezli değerlendirmeistatistiksel öğrenmesoru, veri, analiz, anlatı
Girdimodel, verisi ve kullanım bağlamıetiketli ya da etiketsiz örneklerham, dağınık veri
Çıktıaçıklama, denetim raporu, ilketahmin yapan modelrapor, görselleştirme, model
Başarı ölçütüanlaşılırlık, adalet, hesap verebilirlikgörülmemiş veride hatakararlara katkı, doğruluk
Matematik yüküdüşük-ortayüksek: doğrusal cebir, olasılık, optimizasyonorta: istatistik
Veri ihtiyacımodelin kendi verisiorta ve çokorta ve çok
  • Makine Öğrenmesi: MÖ modelin doğru tahmin etmesine odaklanır; bu ders tahminin nedenini ve kimi nasıl etkilediğini sorgular.
  • Veri Bilimi: Veri bilimi veriden sonuç çıkarır; bu ders o sonucun yanlı, adil ya da açıklanabilir olup olmadığını denetler.

Ayrışma

Ayrıştığı Noktalar (2/2)

ÖlçütAçıklanabilir YZ ve EtikSiber Güvenlikte YZUzman Sistemler
Temel soruBir yapay zekâ sisteminin kararına nasıl güvenilir ve sonucundan kim sorumludur?Yapay zekâ saldırıları nasıl yakalar ve kendisi nasıl saldırıya uğrar?Bir uzmanın bilgisi nasıl yazıya dökülür ve çıkarım için kullanılır?
Yaklaşıminsan merkezli değerlendirmegüvenlik bilgisi ve MÖsembolik mantık ve kurallar
Girdimodel, verisi ve kullanım bağlamıağ trafiği, kayıtlar, dosyalarolgular ve uzman kuralları
Çıktıaçıklama, denetim raporu, ilkeuyarı, sınıf, risk puanısonuç ve gerekçesi
Başarı ölçütüanlaşılırlık, adalet, hesap verebilirliktespit oranı, yanlış alarm oranıuzmanla uyum, açıklanabilirlik
Matematik yüküdüşük-ortaortadüşük: önerme ve yüklem mantığı
Veri ihtiyacımodelin kendi verisidengesiz ve sürekli değişenaz; bilgi tabanı
  • Siber Güvenlikte YZ: Siber güvenlik saldırgana karşı korur; bu ders sistemin saldırı olmadan da insanlara verdiği zararı inceler.
  • Uzman Sistemler: Uzman sistemler kurallarıyla zaten açıktır; bu ders kara kutu modelleri sonradan açıklamanın yollarını arar.

Uygulama

Uygulama Alanları

Kredi kararları

Ret gerekçesini başvurana açıklamak.

Tıbbi tanı

Hekime modelin neye baktığını göstermek.

İşe alım

Özgeçmiş elemede cinsiyet ve yaş yanlılığı.

Yargı ve kamu

Risk puanlarının adil olup olmadığını denetlemek.

Yüz tanıma

Gruplar arası hata farklarını ölçmek.

Mevzuata uyum

AB YZ Yasası ve KVKK için belgeleme.

Uygulama

Araçlar ve Örnek Veriler

Araçlar ve kütüphaneler

SHAPLIMECaptumInterpretMLFairlearnAI Fairness 360What-If Tool

Tanınmış veri setleri

COMPAS (ProPublica)Adult (gelir)German CreditCelebAPilot Parliaments Benchmark
Bu derste veri setleri çoğu zaman bir sorunu göstermek için kullanılır: COMPAS ve Adult, yanlılığın nasıl ölçüldüğünün klasik örnekleridir.

Uygulama

Sık Karıştırılanlar

Yaygın düşünceDoğrusu
Korunan özniteliği (cinsiyet, ırk) çıkarmak yeter.Posta kodu ya da isim gibi vekil öznitelikler aynı bilgiyi taşıyabilir; yanlılık sürer.
Algoritma sayılarla çalıştığı için tarafsızdır.Model, geçmiş kararlardaki yanlılığı veriden öğrenir ve ölçekler.
Açıklama modelin gerçek işleyişini gösterir.LIME ve SHAP gibi yöntemler yaklaşıktır; açıklamanın kendisi de yanıltıcı olabilir.
Bütün adalet ölçütleri birlikte sağlanabilir.Gruplar arasında taban oranlar farklıysa kalibrasyon ve eşit hata oranları çoğu zaman birlikte sağlanamaz.

Sonrası

Bu Dersten Sonra

Bu dersi temel alan ya da genişleten dersler

Bu ders çoğunlukla uç noktadır; öteki dersleri temel alır.

İlgili meslekler

Sorumlu YZ uzmanıModel denetçisiYZ politika ve uyum uzmanıVeri bilimciAraştırmacı
Bu ders bütün uygulama derslerine bir mercek ekler: tıbbi görüntü işlemede tanının açıklanması, siber güvenlikte modelin aldatılması, MLOps'ta modelin izlenmesi aynı sorulara dayanır. Teknik tarafta nedensel çıkarım ve düşmanca dayanıklılık, toplumsal tarafta hukuk ve politika ile devam edilebilir.

Sonrası

Kaynaklar

  • Molnar, Interpretable Machine Learning, 2. baskı, kendi yayını (çevrim içi), 2022.
  • Barocas, Hardt ve Narayanan, Fairness and Machine Learning: Limitations and Opportunities, MIT Press, 2023.
  • O'Neil, Weapons of Math Destruction, Crown, 2016.
  • Ribeiro, Singh ve Guestrin, "Why Should I Trust You?: Explaining the Predictions of Any Classifier", KDD, 2016.
  • Lundberg ve Lee, "A Unified Approach to Interpreting Model Predictions", NeurIPS, 2017.

Son

Bölüm 15: Açıklanabilir Yapay Zekâ ve Yapay Zekâ Etiği
← Önceki bölüm · Alanın haritası · Sonraki bölüm →
1 / 1 Sercan KÜLCÜ, Tüm hakları saklıdır.