Bölüm 11: Algoritmik Adalet ve Etik

11.1Giriş

Mekanizma tasarımı ve oyun kuramı çoğunlukla verimlilikle, yani bir mekanizmanın toplam refahı büyütüp büyütmediğiyle ilgilenir. Bu notun sorusu farklıdır: bir kararın ya da paylaşımın sonuçları kişiler ve gruplar arasında nasıl dağılıyor? Bu soru iki ayrı alanda karşımıza çıkar. Birincisi, makine öğrenmesi modellerinin verdiği evet/hayır kararlarıdır. İkincisi, bir kaynağın (zaman, arazi, miras, ders kontenjanı) kişiler arasında bölüşülmesidir. İki alanda da “adil” sözcüğünün tek bir anlamı yoktur. Bu yüzden önce farklı anlamları ayrı ayrı tanımlamak, sonra aralarındaki ilişkiyi incelemek gerekir.

11.1.1Bir oyunla başlangıç: Adil Bölüşüm Oyunu

Bölümün etkileşimli oyunu olan Adil Bölüşüm Oyunu basit bir kurala dayanır. İki oyuncu, bölünemeyen malları sırayla ve birer birer seçer. Her malın kartında iki oyuncunun o mala verdiği değer yazar. Oyunun sabit örnek turunda dört mal kullanılır; diğer seviyelerde değerler her turda rastgele çekilir.

Şekil 11.1'de görülen değerler iki oyuncunun malları çok farklı değerlendirdiğini gösterir. O1 en çok Pasta'yı (5), O2 en çok Kitap'ı (9) sever. Oyun iki soru sorar:

• Rakip hep kendi en sevdiği malı alıyorsa, O1'in de hep en değerli malı alması en iyisi midir?
• Herkesin kendi payını ötekininkinden değerli bulduğu bir paylaşım her zaman var mıdır?

İlk soru bir oyun kuramı sorusudur: O1'in stratejisi, rakibin davranışına karşı en iyi tepki olmalıdır. İkinci soru bir adalet sorusudur: “kimsenin başkasının payını kıskanmadığı” bir paylaşım her zaman mümkün müdür? İki sorunun cevabı da “hayır”dır. Cevapların gerekçesi bölümün adil bölüşüm kısmında (11.4.8 ve 11.4.9) ayrıntılı olarak hesaplanır. Bu giriş, adaletin tek bir sayıyla anlatılamayacağını ve kurala uyan oyuncuların bile stratejik davranabileceğini baştan göstermek için seçilmiştir.

11.1.2Algoritmik kararlar neden önemli?

Algoritmalar artık yüksek etkili kararları ya doğrudan verir ya da verdikleri önerilerle yönlendirir. Kredi onayı, işe alım, sağlık teşhisi, sosyal medya önerileri ve ceza adaleti bu alanların başlıcalarıdır. Bu kararlarda yapılan bir hata, bir kişinin evinin, işinin ya da özgürlüğünün söz konusu olduğu anlamına gelebilir.

Adalet ve etik ihlallerinin iki tür zararı vardır. Birincisi doğrudan zarardır: haksız yere reddedilen başvuran kredi alamaz, haksız yere “yüksek riskli” sayılan sanık daha uzun tutuklu kalabilir. İkincisi dolaylı zarardır: bu tür olaylar duyuldukça kurumlara ve teknolojiye duyulan toplumsal güven aşınır. Güven kaybolunca yararlı uygulamalar bile kabul görmez.

Oyun kuramı açısından bir karar kuralı bir mekanizmadır. Kural, girdileri (başvuranın verileri) çıktılara (onay ya da ret) dönüştürür. Bu mekanizmanın çevresinde çıkarları çatışan paydaşlar vardır: başvuran kredi almak ister, kurum geri ödenmeyen krediden kaçınmak ister, toplum ise fırsatların gruplar arasında hakkaniyetle dağılmasını ister. Mekanizma tasarımında olduğu gibi burada da hangi amacın gözetileceği bir tasarım kararıdır.

Üç örnek, sorunun gerçek hayatta nasıl ortaya çıktığını gösterir:

• Amazon işe alım aracı (2018). Şirketin geçmiş özgeçmişlerle eğittiği eleme modeli, “kadın” sözcüğü geçen başvuruları (örneğin “kadın satranç kulübü kaptanı”) cezalandırıyordu. Model, geçmişte çoğunlukla erkeklerin işe alındığı veriden bu örüntüyü öğrenmişti. Araç kullanımdan kaldırıldı (Dastin, 2018).
• COMPAS (2016). ABD'de sanıklar için hesaplanan bir yeniden suç işleme risk puanıdır. Gazeteciler, puanın siyah ve beyaz sanıklarda farklı hata oranları ürettiğini gösterdi; şirket ise puanın iki grupta aynı riski anlattığını savundu (Angwin vd., 2016). Bu tartışma, taban oranları farklıyken adalet ölçütlerinin çatıştığını gösteren en bilinen örnektir. 11.3.5'te sayılarıyla ele alınır.
• Kredi skorlama. Burada iki soru öne çıkar. Aynı puan herkes için aynı riski mi gösteriyor? Kimler hiç kredi alamıyor? İlk soru kurumun, ikincisi başvuranın bakış açısını yansıtır. Bölümün sayısal örneği de bir kredi modelidir.

11.1.3Önyargı ve ayrımcılık nereden gelir?

Bir modelin adaletsiz sonuç üretmesi için onu yazan kişinin kötü niyetli olması gerekmez. Önyargı (bias), modelin geliştirildiği ve kullanıldığı sürecin pek çok noktasından içeri sızabilir. Dört kaynak öne çıkar.

Tarihsel veri

Geçmişteki eşitsizlikler veri etiketlerine yansır. Model bu etiketleri “doğru cevap” sayar ve onları yeniden üretmeyi öğrenir. Amazon örneğindeki cinsiyet önyargısı buna örnektir: “geçmişte işe alındı” etiketi, liyakati değil geçmişin işe alım alışkanlıklarını kaydetmiştir.

Temsil eksikliği

Bir grup veride az temsil ediliyorsa model o grupta daha çok hata yapar. Model, eğitimdeki toplam hatayı küçültmeye çalışır; az sayıdaki örneğin hatası bu toplama az katkı yapar. Ticari yüz tanıma sistemlerinde en yüksek hata oranı koyu tenli kadınlarda ölçülmüştür (Buolamwini ve Gebru, 2018; “Gender Shades” çalışması).

Ölçüm ve vekil değişken

Asıl ölçülmek istenen hedef yerine ölçmesi kolay bir vekil değişken (proxy variable) kullanılabilir. Örneğin “sağlık ihtiyacı” yerine “sağlık harcaması” ölçülürse, sağlık hizmetine erişimi az olan grup daha az harcadığı için daha sağlıklı görünür. Model bu grubun ihtiyacını sistematik olarak küçümser.

Tasarım ve geri besleme

Yanlış seçilmiş bir optimizasyon hedefi, korunan özelliğin vekilleri (örneğin posta kodu) ve modelin kararlarının gelecekte toplanacak veriyi değiştirmesi bu gruptadır. Son durum bir geri besleme döngüsüdür; 11.5.6'daki kod izlemesi böyle bir döngüyü adım adım gösterir.

Bu kaynaklardan çıkan önemli bir ders vardır. Korunan özellik (protected attribute), yani cinsiyet ya da etnik köken gibi ayrımcılık yapılması yasak olan bir özellik, modelden çıkarılsa bile sorun çözülmez. Diğer değişkenler onu dolaylı olarak taşır. Bir kentte mahalleler etnik kökene göre ayrışmışsa posta kodu, etnik kökenin iyi bir vekilidir. Model posta kodunu kullanarak aynı grup farkını yeniden üretebilir. Bu nedenle adaleti güvenceye almanın yolu, girdiden bir sütun silmek değil, sonuçları grup bazında ölçmektir. Bir sonraki kısım tam olarak bu ölçümün araçlarını kurar.

11.2Adalet ölçütleri

Bir modelin “adil” olup olmadığını tartışmak için önce neyin ölçüleceği üzerinde anlaşmak gerekir. Bu kısım, ikili (evet/hayır) karar veren bir modelin sonuçlarını özetleyen karışıklık matrisiyle başlar. Ardından aynı matristen türetilen dört ölçütü tek bir sayısal örnek üzerinde adım adım hesaplar. Bütün hesaplarda aynı iki grup ve aynı model kullanılır. Böylece ölçütler arasındaki farklar sayıların değişmesinden değil, sorulan sorunun değişmesinden kaynaklanır.

11.2.1Karışıklık matrisi

Bir kredi modeli düşünelim. Her başvuran için iki şey vardır. Birincisi gerçek sonuçtur: kişi krediyi gerçekte geri öder mi? Bu sonuç Y ile gösterilir; Y = 1 “öder”, Y = 0 “ödemez” demektir. İkincisi modelin kararıdır: model krediyi onaylar mı? Bu karar Ŷ (“Y şapka”) ile gösterilir; Ŷ = 1 “onay”, Ŷ = 0 “ret” demektir. Şapka işareti, bunun gerçek değer değil bir tahmin olduğunu hatırlatır.

İki ikili değişkenin dört birleşimi vardır. Her başvuran bu dört kutudan birine düşer. Kutulardaki kişi sayılarını gösteren tabloya karışıklık matrisi denir.

Adlandırmanın bir mantığı vardır. İkinci harf (P ya da N) modelin ne dediğini söyler: P “pozitif”, yani onay; N “negatif”, yani ret. İlk harf (T ya da F) bu sözün doğru mu yanlış mı olduğunu söyler. FN, “yanlış negatif”tir: model “hayır” dedi ve yanıldı, çünkü kişi aslında ödeyecekti.

Matristen beş oran türetilir. Her oran, matrisin belli bir satırına ya da sütununa bakar ve farklı bir soruya cevap verir.

Bu oranlar koşullu olasılık olarak da yazılabilir. Koşullu olasılık P(A | B), “B olduğu bilindiğinde A'nın olasılığı” demektir ve yalnız B'yi sağlayanlar arasında A'nın payıdır. TPR, ödeyenler arasında onay alanların payıdır: TPR = P(Ŷ = 1 | Y = 1). FPR, ödemeyenler arasında onay alanların payıdır: FPR = P(Ŷ = 1 | Y = 0). PPV ise yönü tersine çevirir; onay alanlar arasında ödeyenlerin payıdır: PPV = P(Y = 1 | Ŷ = 1). TPR ile PPV'yi karıştırmamak için “çizginin sağındaki koşul, hangi kalabalığın içinde saydığımızı söyler” kuralı işe yarar. TPR'de kalabalık ödeyenlerdir, PPV'de onay alanlardır. Bu iki oranın paydaları farklıdır ve genelde farklı sayılar verirler.

TPR'ye tıp ve istatistikte duyarlılık (sensitivity) de denir. PPV'nin öteki adı kesinliktir (precision). Taban oranı (base rate) modelden bağımsızdır: modelin ne karar verdiğine bakmaz, yalnız gerçek sonucun gruptaki sıklığını ölçer. Bu yüzden taban oranı modeli değiştirerek değiştirilemez. Bölümün ana sonuçlarından biri, taban oranları farklı olduğunda ölçütlerin birlikte sağlanamamasıdır (11.3).

Her grup adaleti ölçütü, bu oranlardan birinin gruplar arasında eşit olmasını ister. Hangi oranın eşitleneceği teknik bir ayrıntı değil, bir değer seçimidir: hangi hatanın kimin için daha önemli olduğuna verilen cevaptır.

11.2.2Örnek: iki grup, tek model

Bölüm boyunca kullanılacak örnek şudur. A ve B adlı iki grubun her birinde 100 başvuran vardır. Model her başvurana iki puandan birini verir: 0,8 (“düşük risk”) ya da 0,2 (“yüksek risk”). Model 0,5 eşiğiyle karar verir: puanı 0,5'ten büyük olanlar onaylanır, ötekiler reddedilir. Aşağıdaki tablo, her puan grubunda kaç kişinin gerçekte ödediğini gösterir.

Tablodaki ilk gözlem, iki grubun gerçekte farklı olduğudur. A grubunda ödeyenler 40 + 10 = 50 kişidir; taban oranı p_A = 50/100 = 0,50'dir. B grubunda ödeyenler 16 + 16 = 32 kişidir; taban oranı p_B = 0,32'dir. İkinci gözlem, modelin B grubuna daha seyrek yüksek puan verdiğidir: A'da 50 kişi 0,8 alırken B'de yalnız 20 kişi alır.

Şekil 11.2 iki matrisi yan yana gösterir. Matrisin satırları gerçeğe göre, sütunları karara göre ayrılır. Bu düzen, sonraki ölçütlerin hangi hücrelere baktığını görmeyi kolaylaştırır: satır üzerinden hesaplanan oranlar (TPR, FPR) “gerçek sonuç bilindiğinde model ne yaptı?” sorusunu, sütun üzerinden hesaplananlar (PPV) “karar bilindiğinde gerçek ne çıktı?” sorusunu sorar.

11.2.3Demografik eşitlik

En sade adalet fikri, iki grubun eşit oranda onay almasıdır. Bu fikir modelin ne kadar isabetli olduğuna bakmaz; yalnız sonuçların dağılımına bakar.

ABD istihdam hukukunda bu ölçütün pratik bir sürümü kullanılır. İşe alımda bir grubun seçim oranı en yüksek seçim oranına sahip grubunkinin beşte dördünden (%80) azsa, bu durum disparate impact (dolaylı ayrımcılık etkisi) için ilk kanıt sayılır.

Kural bir orana bakar, bir farka değil. Bu ayrım önemlidir. Seçim oranları 0,50 ve 0,40 ise fark 0,10, oran 0,8'dir; kural sınırda sağlanır. Seçim oranları 0,10 ve 0,02 ise fark yalnız 0,08'dir ama oran 0,2'dir; kural açıkça ihlal edilir. Küçük oranlarda fark yanıltıcı biçimde küçük görünür.

Demografik eşitliğin çekici yanı, gerçek sonuç Y'yi bilmeyi gerektirmemesidir. Etiketlerin kendisi tarihsel önyargı taşıyorsa (11.1.3), etiketlere dayanmayan bir ölçüt avantajlıdır. Zayıf yanı ise yukarıdaki son adımda görülür: taban oranları gerçekten farklıysa bu ölçütü zorlamak ya ödemeyecek kişilere kredi vermek ya da ödeyecek kişileri reddetmek demektir. İkisi de bir tür hatadır ve bu hataların bedeli de bir gruba yüklenir.

11.2.4Eşitlenmiş olasılıklar ve fırsat eşitliği

İkinci fikir, gerçek sonucu hesaba katar. Soru şudur: aynı gerçek duruma sahip iki kişinin onay alma şansı, gruplarına göre değişiyor mu? Ödeyecek iki kişiden biri A'da, öteki B'de ise ikisinin onay şansı eşit olmalıdır. Aynı şey ödemeyecek kişiler için de geçerli olmalıdır.

Fırsat eşitliğinin adı içeriğini anlatır: “hak eden”, yani krediyi ödeyecek olan herkesin onay alma fırsatı grubundan bağımsız olmalıdır. Eşitlenmiş olasılıklar buna ikinci bir koşul ekler: hak etmeyenlerin yanlışlıkla onay alma şansı da gruptan bağımsız olmalıdır.

Şekil 11.4 ölçütün satır bazlı olduğunu gösterir. Bu ölçütün bakış açısı başvuranınkidir. Ödeyebilecek bir başvuran şunu sorar: “Ödeyebilecek biri olarak onay alma şansım grubuma bağlı mı?” A'daki ödeyecek bir başvuranın şansı %80, B'deki ödeyecek bir başvuranınki %50'dir. Bu fark, başvuranın kendi davranışıyla değil, yalnız grubuyla açıklanır.

TPR'nin tümleyeni de sık kullanılır. Yanlış negatif oranı (FNR, false negative rate), ödeyecek olanlar arasında reddedilenlerin payıdır: FNR = FN/(TP + FN) = 1 − TPR. Örnekte A'da FNR = 0,20, B'de 0,50'dir. TPR eşitliği ile FNR eşitliği aynı koşuldur; COMPAS tartışmasında (11.3.5) FNR biçimi kullanılır.

11.2.5Tahmin eşitliği

Üçüncü fikir bakış açısını kurumun tarafına taşır. Kurum, modelin “onay” kararını bir bilgi olarak kullanır. Bu bilginin anlamı iki grupta aynı olmalıdır: onay alan bir A üyesiyle onay alan bir B üyesi, krediyi aynı olasılıkla ödemelidir.

Aynı model, aynı sayılar: eşitlenmiş olasılıklara göre B grubu dezavantajlıdır, tahmin eşitliğine göre model iki gruba aynı davranır. Çelişki yoktur; iki ölçüt matrisin farklı yönlerine bakar. Şekil 11.4 satırları, Şekil 11.5 sütunları karşılaştırır. Hangi yönün önemli olduğu, kimin bakış açısının öncelikli sayıldığına bağlıdır.

11.2.6Kalibrasyon

Şimdiye kadarki ölçütler modelin onay/ret kararına baktı. Oysa model önce bir puan üretir; karar bu puanın eşikle karşılaştırılmasıyla verilir. Puanın kendisi de bir iddiada bulunur: “bu kişinin ödeme olasılığı 0,8'dir.” Kalibrasyon bu iddianın doğru olup olmadığını sorar.

Kalibrasyon, puanın grup ne olursa olsun aynı riski anlatmasıdır. Bir hava durumu uygulaması düşünelim: “%30 yağmur” dediği günlerin gerçekten yaklaşık %30'unda yağmur yağıyorsa uygulama kalibredir. Kalibrasyonun grup içi olması, bu denetimin her grup için ayrı yapılması demektir. Bir model toplamda kalibre olup bir grupta puanları sistematik olarak şişirebilir.

Kalibrasyonla tahmin eşitliği yakından ilişkilidir ama aynı şey değildir. Tahmin eşitliği yalnız “onay” sütununa, yani eşiğin üstündeki herkese birlikte bakar. Kalibrasyon her puan düzeyine ayrı ayrı bakar. Bu örnekte eşiğin üstünde tek bir puan (0,8) olduğu için kalibrasyon PPV eşitliğini doğrudan verir: onaylananların hepsinin puanı 0,8'dir ve kalibre bir modelde bunların %80'i öder. Daha çok puan düzeyi olan bir modelde iki gruptaki onaylananların puan karışımı farklı olabilir; o zaman kalibre bir model bile farklı PPV'ler verebilir.

Kalibre bir modelin ilginç bir özelliği vardır: bir gruptaki ortalama puan, o grubun taban oranına eşittir. A'da ortalama puan (50 · 0,8 + 50 · 0,2)/100 = 0,50 = p_A, B'de (20 · 0,8 + 80 · 0,2)/100 = 0,32 = p_B'dir. Bu yüzden taban oranları farklıysa kalibre bir model iki gruba ortalamada farklı puanlar vermek zorundadır. Bu gözlem 11.3.3'teki Kleinberg teoreminin özüdür.

11.2.7Kod izleme: olcutler()

Dört grup ölçütünün hepsi karışıklık matrisinin dört sayısından hesaplanır. Aşağıdaki kısa Python fonksiyonu bu hesabı yapar ve iki grubun sonuçlarını yan yana yazdırır.

def olcutler(TP, FP, FN, TN):
  n = TP + FP + FN + TN
  secim = (TP + FP) / n   # demografik eşitlik
  tpr = TP / (TP + FN)    # eşitlenmiş olasılıklar
  fpr = FP / (FP + TN)
  ppv = TP / (TP + FP)    # tahmin eşitliği
  return secim, tpr, fpr, ppv

A = olcutler(40, 10, 10, 40)
B = olcutler(16, 4, 16, 64)
ADLAR = ["seçim", "TPR", "FPR", "PPV"]
for i, ad in enumerate(ADLAR):
  print(ad, round(A[i], 3), round(B[i], 3))

Fonksiyon dört argüman alır: TP, FP, FN ve TN. İlk satırda toplam kişi sayısı n hesaplanır. Sonraki dört satır, Tablo 11.1'deki tanımları birebir uygular. Yorumlar her oranın hangi ölçütte kullanıldığını söyler: secim demografik eşitlikte, tpr ve fpr eşitlenmiş olasılıklarda, ppv tahmin eşitliğinde karşılaştırılır. Fonksiyon dört sayıyı bir Python demeti (tuple) olarak döndürür. Demet, virgülle ayrılmış değerlerin değiştirilemeyen sıralı bir listesidir; A[0] ilk değeri, A[3] son değeri verir.

Programın alt kısmı fonksiyonu iki grubun matrisiyle çağırır. for i, ad in enumerate(ADLAR) satırı, listedeki her ad için hem sırasını (i) hem de adın kendisini (ad) verir. Böylece A[i] ve B[i] aynı oranın iki gruptaki değerleridir.

Döngü dört satır yazdırır: seçim 0.5 0.2, TPR 0.8 0.5, FPR 0.2 0.059, PPV 0.8 0.8. Çıktı satır satır okunduğunda ölçütlerin durumu hemen görülür. i = 0'da seçim oranları farklıdır (0,5 ≠ 0,2): demografik eşitlik yok. i = 1'de TPR farklıdır: fırsat eşitliği yok. i = 2'de FPR de farklıdır: eşitlenmiş olasılıklar yok. i = 3'te PPV eşittir: tahmin eşitliği var.

11.2.8Dört ölçüt, tek model: sonuç tablosu

Hesapların hepsi bir tabloda toplanabilir. Tablo, aynı modelin bir ölçüte göre adil, ötekine göre adaletsiz sayılabileceğini açıkça gösterir.

Tablodaki ölçütler iki bakış açısına ayrılır:

• Başvuranın bakışı: “Ödeyebilecek biri olarak onay alma şansım grubuma bağlı mı?” Bu soru gerçek sonucu sabit tutar ve kararın dağılımına bakar ⇒ TPR ve FPR (fırsat eşitliği, eşitlenmiş olasılıklar).
• Kurumun bakışı: “Onay verdiğim kişinin ödeme olasılığı grubuna bağlı mı?” Bu soru kararı ya da puanı sabit tutar ve gerçek sonucun dağılımına bakar ⇒ PPV ve kalibrasyon.

Demografik eşitlik bu iki bakışın dışında kalır; gerçek sonucu hiç kullanmaz ve yalnız fırsatların sayısal dağılımıyla ilgilenir. Örnek model kurumun ölçütlerini sağlar, başvuranınkileri sağlamaz. Bu durumun bir rastlantı olmadığı, taban oranları farklı olduğu sürece kaçınılmaz olduğu 11.3'te gösterilir.

11.2.9Grup adaletinin ötesi: bireysel adalet

Yukarıdaki ölçütlerin hepsi grup adaleti ölçütleridir: grupların ortalama oranlarını karşılaştırırlar. Ortalamalar eşitlenirken bireylere keyfî davranılabilir. Örneğin B grubundan rastgele seçilen 30 kişiyi ek olarak onaylamak, B'nin seçim oranını 0,50'ye çıkarır ve demografik eşitliği sağlar. Ama hangi 30 kişinin onay aldığı tamamen şansa bağlıdır; birbirine çok benzeyen iki B üyesinden biri onay alır, öteki almaz. Dwork ve arkadaşları (2012) bu soruna farklı bir ilkeyle yaklaşır: benzer kişilere benzer davranılmalıdır.

Koşul şunu söyler: iki kişinin puan farkı, aralarındaki farkın L katını aşmamalıdır. d(x, y) küçükse, yani kişiler benzerse, puanları da birbirine yakın olmak zorundadır. “Lipschitz” adı matematikteki bir süreklilik koşulundan gelir: grafiği hiçbir yerde L'den dik olmayan fonksiyonlar bu koşulu sağlar. Ani sıçrama yapan bir fonksiyon, sıçrama noktasının iki yanındaki çok yakın iki noktaya çok farklı değerler verdiği için koşulu ihlal eder.

Bireysel adalet çekici bir ilkedir ama bir zorluğu vardır: uzaklık ölçüsü d'yi kim belirler? “Kimler benzer?” sorusu da bir değer yargısıdır. Borç/gelir oranı aynı olan iki kişi benzer midir, yoksa birinin düzensiz geliri onu farklı mı kılar? Bireysel adalet sorunu ortadan kaldırmaz; onu d'nin seçimine taşır. Ayrıca koşul, puanın kendisini değil yalnız puanlar arasındaki farkı sınırlar. Herkese 0 veren bir model de koşulu sağlar. Bu yüzden bireysel adalet, isabetli bir modelle birlikte düşünülmesi gereken bir kısıttır.

11.2.10Ölçüt hesaplarında sık hatalar

11.3Ölçütlerin uyumsuzluğu

Önceki kısımdaki model tahmin eşitliğini ve kalibrasyonu sağladı ama eşitlenmiş olasılıkları sağlamadı. Akla gelen ilk düşünce, daha iyi bir modelin hepsini birden sağlayabileceğidir. Bu kısım bu düşüncenin genelde yanlış olduğunu gösterir. Ölçütler aynı dört sayıdan türetildiği için birbirine bağlıdır. Taban oranları farklıysa, mükemmel tahmin dışında hiçbir model hepsini birden sağlayamaz. Bu tür sonuçlara uyumsuzluk teoremleri (impossibility theorems) denir.

11.3.1Chouldechova özdeşliği

Chouldechova (2017) ölçütler arasındaki bağı tek bir eşitlikle yazmıştır. Eşitliği türetmek için bir gruptaki karışıklık matrisini taban oranı p, TPR ve FPR cinsinden ifade etmek yeterlidir.

Özdeşlik, dört ölçütten üçünü (FPR, TPR, PPV) ve taban oranını birbirine bağlar. Bunlardan herhangi üçü bilinirse dördüncüsü hesaplanabilir. Özdeşliğin önce örnek modelimizle doğrulanması, sayıların gerçekten bu bağı izlediğini gösterir.

Şimdi asıl soruya gelelim: PPV eşitken TPR ve FPR de eşit olabilir mi? İki grupta PPV ve TPR eşit olsun. O zaman özdeşliğin sağ tarafında yalnız p/(1 − p) çarpanı gruptan gruba değişir. p farklıysa bu çarpan da farklıdır (çünkü p/(1 − p), p büyüdükçe kesin olarak büyür). Dolayısıyla FPR'ler farklı çıkar. TPR'ler de FPR'ler de eşit olacaksa, ancak TPR = 0 ya da PPV = 1 gibi uç durumlarda sağ taraflar eşitlenebilir. PPV = 1, onay alan herkesin ödediği, yani hiç yanlış pozitif olmayan durumdur; TPR = 0 ise kimseye kredi verilmeyen durumdur.

Teoremin söylediği şey bir model hatası değil, bir aritmetik gerçektir. Ne kadar veri toplanırsa toplansın ve ne kadar gelişmiş bir algoritma kullanılırsa kullanılsın, taban oranları farklı ve tahmin kusurlu olduğu sürece bir ölçüt seçmek, ötekinden vazgeçmek demektir.

11.3.2Eşitlenmiş olasılıkları zorlarsak ne olur?

Uyumsuzluğun ne demek olduğunu somut görmek için ters yönden gidelim. B grubu için A ile aynı hata oranlarını veren, varsayımsal ve daha iyi ayırt eden bir model olsun. Bu modelde TPR_B = 0,8 ve FPR_B = 0,2'dir. Bugünkü model, yalnız 0,8 ve 0,2 puanı verdiği için, eşiği değiştirerek ya da rastgele onay vererek bu iki hata oranına birlikte ulaşamaz. Yeni modelin bu oranlara nasıl ulaştığını bilmemize gerek yoktur; karışıklık matrisi yalnız hata oranlarından hesaplanabilir.

Sonuç özdeşlikle de bulunabilir. B için 0,2 = (8/17) · (1 − PPV)/PPV · 0,8 yazılırsa (1 − PPV)/PPV = 0,2 · 17/(8 · 0,8) = 0,53125 ve PPV = 1/1,53125 ≈ 0,653 çıkar. İki yol aynı sonucu verir.

Hangi ölçütün korunması gerektiği sorusuna matematik cevap vermez. Cevap bağlama bağlıdır: hangi zararın daha ağır olduğu (ödeyebilecek birinin reddedilmesi mi, ödeyemeyecek birinin borçlandırılması mı) ve hukukun ne istediği. Ödeyemeyecek birine kredi vermek ona da zarar verebilir; geri ödenmeyen kredi kişinin kredi geçmişini bozar. Bu yüzden “daha çok onay her zaman daha adildir” sonucu da çıkmaz.

11.3.3Kalibrasyon ve sınıf dengesi: Kleinberg teoremi

Chouldechova özdeşliği onay/ret kararları içindir. Kleinberg, Mullainathan ve Raghavan (2017) aynı sorunu puan düzeyinde incelemiştir. Puan düzeyinde eşitlenmiş olasılıkların karşılığı sınıf dengesidir (balance).

Pozitif sınıf dengesinin anlamı, TPR eşitliğinin anlamına benzer: aynı gerçek duruma sahip kişilerin (ödeyenlerin) ortalamada aynı puanı alması. Fark, karar yerine puana bakılmasıdır.

Teoremin ispatı bu notun kapsamı dışındadır, ama ana fikri 11.2.6'daki gözlemle görülebilir. Kalibre bir modelde bir grubun ortalama puanı taban oranına eşittir. Bu ortalama, ödeyenlerin ortalamasıyla ödemeyenlerin ortalamasının ağırlıklı ortalamasıdır: p = p · (ödeyenlerin ortalaması) + (1 − p) · (ödemeyenlerin ortalaması). İki sınıf dengesi sağlanırsa parantez içindeki iki ortalama iki grupta aynı olur; bu iki sayıya x ve y diyelim. O zaman her grup için p = p · x + (1 − p) · y, yani p · (1 − x + y) = y sağlanmalıdır. 1 − x + y sıfır değilse bu eşitlik p'yi tek bir değere bağlar ve iki grubun taban oranı eşit çıkar. Taban oranları farklıysa geriye 1 − x + y = 0 kalır; bu ise y = 0 ve x = 1 ile, yani mükemmel tahminle mümkündür (ortalama puanlar 0 ile 1 arasında olduğundan x − y = 1 ancak böyle olur). Örneğimizde taban oranları farklı (0,5 ve 0,32) ve tahmin mükemmel değildir; ölçütlerin çatışması kaçınılmazdır.

11.3.4Bu model adil mi? Cevap ölçüte bağlı

Hesapların hepsi bir arada düşünüldüğünde “Bu model adil mi?” sorusunun tek bir cevabı olmadığı görülür. Aşağıdaki iki tablo bütün durumu özetler.

Model kurumun ölçütüne göre adildir, başvuranın ölçütlerine göre adil değildir. Taban oranları farklı olduğu için (0,50 ve 0,32) bu ölçütler, tahmin mükemmel olmadıkça, aynı anda sağlanamaz (Chouldechova, 2017; Kleinberg vd., 2017). Hangi ölçütün seçileceği bir değer kararıdır. Bu kararın teknik bir ayrıntı gibi geliştiricilere bırakılması da bir seçimdir. Kararı kimin verdiği ve gerekçesinin yazılı olup olmadığı, 11.5.4'te anlatılan denetimin konusudur.

11.3.5Gerçek bir örnek: COMPAS tartışması

COMPAS, ABD'de bazı mahkemelerde kullanılan bir risk değerlendirme aracıdır. Sanığın iki yıl içinde yeniden suç işleme riskini puanlar. 2016'da ProPublica adlı haber kuruluşu, Florida'daki Broward County'den elde ettiği verilerle aracı inceledi (Angwin vd., 2016).

İki taraf iki farklı ölçüte baktı:

• ProPublica: Yeniden suç işlemeyen siyah sanıkların %44,9'u “yüksek riskli” etiketlenmişti; beyazlarda bu oran %23,5'ti. Yani FPR eşit değildi. Yanlış negatif oranı (FNR) için tablo tersine dönüyordu: yeniden suç işleyen beyaz sanıkların %47,7'sine “düşük risk” denmişti, siyahlarda bu oran %28,0'dı. ProPublica bu bulgularla aracın siyah sanıklara karşı önyargılı olduğunu ileri sürdü.
• Northpointe (aracı geliştiren şirket): Aynı risk puanı iki grupta benzer yeniden suç oranına karşılık geliyordu. Yani araç kalibreydi ve tahmin eşitliğini sağlıyordu. Şirket bu gerekçeyle aracın adil olduğunu savundu.

İki taraf da kendi hesabında haklıydı. İki grubun yeniden suç kayıtlarındaki taban oranları farklı olduğu için iki ölçüt birlikte sağlanamazdı (Teorem 11.1'deki Chouldechova özdeşliği). Tartışma aslında hangi adalet tanımının seçileceğiyle ilgilidir. Chouldechova'nın 2017 makalesi tam olarak bu tartışmaya cevap olarak yazılmıştır. Ders şudur: tek bir doğruluk puanı yerine grup bazlı hata oranları raporlanmalıdır. Ayrıca bir taraf “model adil” dediğinde ilk sorulacak soru “hangi ölçüte göre?” olmalıdır.

Örneğin yapısı bölümün sayısal örneğine çok benzer. COMPAS'ta taban oranı yüksek olan grup (kayıtlarda yeniden suç oranı daha yüksek görünen grup) daha yüksek FPR'ye sahiptir. Bu da özdeşliğin öngördüğü yöndür: PPV eşitken p büyüdükçe FPR büyür. Bölümün örneğinde taban oranı yüksek olan A grubunun FPR'si (0,20) B'ninkinden (0,059) büyüktür.

11.3.6Adalet ve doğruluk ödünleşimi

Model doğruluğu tek başına hataların kimler üzerinde yoğunlaştığını göstermez. Örneğimizde doğruluk iki grupta da %80'dir, ama TPR 0,8'e 0,5'tir. Doğruluk iki tür hatayı (FP ve FN) toplar ve aralarındaki farkı siler.

Bir adalet kısıtı eklemek toplam hatayı artırabilir. Bu bir ödünleşimdir (trade-off): bir şeyi kazanmak için ötekinden vazgeçmek. Ama asıl seçim “ne kadar doğruluk feda edilir?” sorusundan daha incedir. Asıl seçim, hangi hataların kabul edilebilir olduğudur: yanlış ret mi, yanlış onay mı? Aynı toplam hata, farklı gruplara farklı biçimde dağıtılabilir.

Adalet kısıtı modelin geliştirilme sürecinin üç noktasında eklenebilir:

Ön işleme

Model eğitilmeden önce veri değiştirilir. Örneğin az temsil edilen grubun örneklerine daha çok ağırlık verilir ya da o gruptan daha çok veri toplanır. Amaç temsil eksikliğini gidermektir.

Eğitim sırasında

Eğitimde en aza indirilen hata ölçüsüne, yani kayıp fonksiyonuna (loss function), adalet kısıtı ya da ceza terimi eklenir. Model hem az hata yapmaya hem de grup oranlarını yakın tutmaya çalışır; bunun için bir miktar doğruluktan vazgeçer.

Son işleme

Eğitilmiş modelin puanları değiştirilmeden kararı veren eşik gruba göre ayarlanır (Hardt vd., 2016). Bu yöntem basittir, ama kararda grup üyeliğini açıkça kullandığı için bazı hukuk sistemlerinde tartışmalı olabilir.

Hangi yöntemin ve hangi ölçütün seçileceğine kullanım bağlamı, hukuki gereklilikler, düzenlemeler ve etkilenen grupların görüşleri yön vermelidir. Örneğin düşük gelirli başvuranları adil değerlendirmek isteyen bir kredi skorlaması, bu grubun ödeyebilecek üyelerinin reddedilmesini (düşük TPR) en ağır hata sayabilir ve fırsat eşitliğini öne alabilir.

11.3.7Kod izleme: rastgeleleştirme ile fırsat eşitliği

Son işlemenin en basit biçimi şudur: B grubunda yalnız 0,8 puanlıları onaylamak yerine, 0,2 puanlıların bir kısmını da rastgele onaylamak. Onay olasılığı q olsun. Aşağıdaki fonksiyon, q'nun her değeri için B grubunun TPR, FPR ve doğruluğunu hesaplar.

def b_grubu(q):   # 0,2 puanlıyı q ile onayla
  TP = 16 + 16 * q
  FP = 4 + 64 * q
  tpr = TP / 32
  fpr = FP / 68
  dogru = TP + (68 - FP)   # TP + TN
  return tpr, fpr, round(dogru / 100, 3)

for q in [0, 0.2, 0.4, 0.6]:
  tpr, fpr, d = b_grubu(q)
  print(q, round(tpr, 2), round(fpr, 2), d)

Fonksiyonun mantığı Tablo 11.2'den gelir. 0,8 puanlı 20 kişinin hepsi onaylanır; bunlardan 16'sı öder (TP), 4'ü ödemez (FP). 0,2 puanlı 80 kişiden her biri q olasılıkla onaylanır. Bu 80 kişinin 16'sı öder, 64'ü ödemez. Beklenen değer olarak ödeyenlerden 16 · q, ödemeyenlerden 64 · q kişi ek onay alır. Böylece TP = 16 + 16q ve FP = 4 + 64q olur. TPR'nin paydası B'deki bütün ödeyenlerdir (32), FPR'ninki bütün ödemeyenlerdir (68). Doğru kararlar TP ile TN'nin toplamıdır; TN, ödemeyenlerden onay almayanlardır: TN = 68 − FP. Kodda dogru = TP + (68 - FP) satırı bunu yapar. Bu yüzden doğruluk (16 + 16q + 68 − 4 − 64q)/100 = (80 − 48q)/100'dür.

Tablo satır satır şöyle okunur:

1. q = 0: Yalnız 0,8 puanlılar onaylanır (bugünkü model). TP = 16, FP = 4. TPR = 16/32 = 0,5; FPR = 4/68 ≈ 0,06; doğruluk (16 + 64)/100 = 0,80.
2. q = 0,2: 0,2 puanlı 80 kişinin %20'si onaylanır. TP = 16 + 16 · 0,2 = 19,2; FP = 4 + 64 · 0,2 = 16,8. TPR 0,6'ya çıkar ama doğruluk 0,704'e düşer. Neden bu kadar düşer? 0,2 puanlıların yalnız %20'si öder; yeni onaylanan her 5 kişiden 4'ü ödemeyecek olanlardandır.
3. q = 0,4: TP = 22,4; FP = 29,6. TPR 0,7; FPR 0,44'e fırlar; doğruluk 0,608.
4. q = 0,6: TP = 25,6; FP = 42,4. TPR_B = 25,6/32 = 0,8 = TPR_A: fırsat eşitliği sağlandı. Bedeli: doğruluk 0,512'ye, PPV 0,38'e düştü; FPR 0,62'ye çıktı.

Şekil 11.8 bedeli açıkça gösterir. Fırsat eşitliği için 0,2 puanlıların %60'ı rastgele onaylanmıştır. Ödemeyecek 64 kişiden yaklaşık 64 · 0,6 ≈ 38'i kredi alır. B'nin FPR'si (0,62), A'dakinin (0,2) üç katından fazladır; bu yüzden eşitlenmiş olasılıklar yine sağlanmaz. Tahmin eşitliği de bozulmuştur: PPV 0,80'den 0,38'e düşmüştür. Bir ölçütü rastgeleleştirmeyle sağlamak mümkündür ama bu, modelin ayırt etme gücünü artırmaz; yalnız hataları yeniden dağıtır.

11.4Adil bölüşüm

Adaletin ikinci yüzü, ortak bir kaynağın kişiler arasında paylaştırılmasıdır. Miras bölüşümü, ortak bir makinenin işlem süresinin kullanıcılara dağıtılması, bir arazinin parsellenmesi ya da derslerin öğrencilere atanması bu türden sorunlardır. Burada ölçülen şey bir modelin hata oranları değil, her kişinin kendi gözünde ne aldığıdır. Bu kısım önce bölünebilir bir kaynak için (pasta kesme), sonra bölünemeyen mallar için adalet kavramlarını ve bunları sağlayan algoritmaları ele alır.

11.4.1Pasta kesme modeli

Bölünebilir kaynak geleneksel olarak bir pasta ile anlatılır. Pasta, sayı doğrusundaki [0, 1] aralığıdır. Bu aralık zamanı (bir günün saatleri), araziyi (bir kıyı şeridi) ya da işlem süresini temsil edebilir. Pasta n kişi arasında paylaştırılacaktır.

Kişiler pastanın farklı kısımlarına farklı değer verir. Biri çikolatalı kısmı, öteki vanilyalı kısmı sever; biri sabah saatlerini, öteki akşam saatlerini ister. Bu farklılık bir değer fonksiyonuyla anlatılır.

Bir algoritma kişilerin değer fonksiyonlarını tümüyle bilmez; bunu bilmek, sonsuz sayıda bilgi demektir. Bunun yerine kişilere soru sorar. Robertson ve Webb'in önerdiği standart modelde iki tür soru vardır:

• Değer sorgusu: “[a, b] parçasına ne değer verirsin?”
• Kesim sorgusu: “a'dan başlayan ve senin gözünde değeri α olan parça nerede biter?”

Bu modele Robertson–Webb modeli (Robertson–Webb query model) denir. Bir algoritmanın verimliliği, kaç soru sorduğuyla ölçülür. Bu ölçü, bilgisayar biliminde bir algoritmanın kaç karşılaştırma yaptığını saymaya benzer.

Paylaşımın “adil” olduğunu söylemenin iki temel yolu vardır.

İki tanımda da değerlendirme her kişinin kendi değer fonksiyonuyla yapılır. Bu, adaletin dışarıdan bir hakem tarafından değil, kişilerin kendi tercihleriyle tanımlandığı anlamına gelir. Ali ile Ayşe aynı pastadan farklı büyüklükte parçalar alabilir ve paylaşım yine de ikisinin gözünde adil olabilir.

Orantılılık bir “alt sınır” koşuludur: kişi yalnız kendi payına bakar. Kıskançsızlık bir “karşılaştırma” koşuludur: kişi kendi payını herkesinkiyle karşılaştırır. Pasta tamamen paylaşıldığında kıskançsızlık orantılılığı gerektirir. Bunun nedeni basittir: kıskançsız bir kişi kendi parçasını n parçanın her birinden değerli bulur; n parçanın toplam değeri onun gözünde 1 olduğundan, en büyük parçanın değeri en az 1/n'dir. Ters yön ise genelde doğru değildir (11.4.5).

Oyun kuramı açısından kişiler stratejik olabilir: algoritmanın sorularına yalan cevap vererek daha büyük parça almaya çalışabilirler. İyi bir protokol, dürüst davranan herkese bir garanti verir; başkaları ne yaparsa yapsın. Bu garanti, Nash dengesi gibi herkesin rasyonel olduğunu varsayan bir kavramdan daha güçlüdür. Kişi, başkalarının davranışı hakkında hiçbir varsayım yapmadan payını güvenceye alabilir.

11.4.2Kes-ve-seç adım adım

İki kişi için bilinen en eski adil bölüşüm yöntemi, çocukların pasta paylaşırken kullandığı kuraldır: biri keser, öteki seçer.

Örnek pasta iki yarıdan oluşur: sol yarı [0; 0,5] vanilyalı, sağ yarı [0,5; 1] çikolatalıdır. Ali pastanın her yerine eşit değer verir. Ayşe çikolatayı vanilyadan 3 kat daha çok sever: v_Ayşe(vanilya) = 1/4, v_Ayşe(çikolata) = 3/4. Her yarının içinde değer düzgün dağılır; yani bir yarının yarısı, o yarının değerinin yarısı kadar değerlidir.

Roller değişirse sonuç da değişir. Bu kez Ayşe kesip Ali seçsin. Ayşe kendi gözünde iki eşit parça yapmalıdır. Sol yarının tamamı (vanilya) onun için yalnız 1/4 olduğundan kesim çikolatanın içinde olmalıdır. Kesim noktası x > 1/2 ise sol parçanın Ayşe için değeri 1/4 + (3/4) · (x − 1/2)/(1/2) = 1/4 + 1,5 · (x − 1/2)'dir. Bunu 1/2'ye eşitlemek 1,5 · (x − 1/2) = 1/4, yani x − 1/2 = 1/6 ve x = 2/3 verir.

Şekil 11.10'da Ali'nin seçimi kolaydır: sol parça onun için 2/3, sağ parça 1/3'tür. Ali 2/3 alır, Ayşe kendi gözünde tam 1/2 alır. İki duruma birlikte bakınca bir örüntü görülür: Ali seçerken 2/3, keserken 1/2 alır; Ayşe seçerken 3/4, keserken 1/2 alır. Seçen, kesenden avantajlıdır. Kesen yalnız garantisini (1/2) alır; seçen ise iki kişinin değerlendirmeleri arasındaki farkın kazancını toplar.

11.4.3Kod izleme: kesim sorgusu ikiye bölme ile

Ayşe'nin kesim noktasını (2/3) yukarıda formülle bulduk. Bir algoritma ise Ayşe'nin değer fonksiyonunun formülünü bilmez; yalnız Robertson–Webb sorguları sorabilir. Kesim sorgusunun cevabı, yalnız değer sorguları kullanılarak ikiye bölme (bisection) yöntemiyle yaklaşık olarak bulunabilir. Aşağıdaki kod bu fikri uygular.

def v_ayse(x):          # [0, x] parçasının değeri
  if x <= 0.5: return x / 2
  return 0.25 + 1.5 * (x - 0.5)
def kes_noktasi(v, hedef, adim):
  lo, hi = 0.0, 1.0
  for _ in range(adim):
    orta = (lo + hi) / 2
    if v(orta) < hedef: lo = orta
    else: hi = orta
  return (lo + hi) / 2
print(round(kes_noktasi(v_ayse, 0.5, 8), 3))

v_ayse(x), [0, x] parçasının Ayşe için değerini verir. x ≤ 0,5 iken parça tamamen vanilyadır ve değeri x/2'dir (bütün vanilya, yani 0,5 uzunluk, 1/4 değerindedir). x > 0,5 iken bütün vanilya (0,25) ile çikolatanın bir kısmı alınır; çikolatanın her birim uzunluğu (3/4)/(1/2) = 1,5 değerindedir.

kes_noktasi(v, hedef, adim) fonksiyonu aradığı noktanın [lo, hi] aralığında olduğunu bilir. Başta lo = 0, hi = 1'dir. Her adımda aralığın ortasını sorar. Ortadaki değer hedeften küçükse kesim noktası daha sağdadır ve lo ortaya taşınır; değilse kesim noktası ortada ya da solundadır ve hi ortaya taşınır. Her adım aralığı yarıya indirir. Bu yöntemin çalışması için değer fonksiyonunun artan olması yeterlidir: [0, x] parçası büyüdükçe değeri azalmaz.

Sekiz sorgudan sonra aralığın genişliği 1/2⁸ = 1/256'dır. Fonksiyon aralığın ortasını, ≈ 0,666'yı döndürür. Gerçek kesim 2/3 ≈ 0,6667'dir; hata yaklaşık 0,00065'tir. Ayşe kesen olsaydı buradan keserdi.

Hatanın nasıl küçüldüğü genel olarak yazılabilir. k sorgudan sonra aralığın genişliği 2^−k'dir. Gerçek nokta bu aralığın içindedir ve fonksiyon aralığın ortasını döndürür; bu yüzden hata en çok aralığın yarısı, yani 2^−(k+1)'dir. Hatanın her zaman 0,001'in altında kalması için 2^−(k+1) < 0,001 gerekir. 2¹⁰ = 1024 > 1000 olduğundan k + 1 = 10, yani k = 9 sorgu yeterlidir; k = 8'de sınır 2⁻⁹ ≈ 0,00195'tir ve güvence vermez. Bir basamak daha doğruluk için yaklaşık üç ya da dört sorgu daha gerekir.

11.4.4Kes-ve-seç neden adil?

Kes-ve-seçin adil olmasının nedeni, iki rolün garantilerine ayrı ayrı bakınca anlaşılır.

Kesenin garantisi. Kesen hangi parçanın kendisine kalacağını bilmez; seçen hangisini isterse onu alır. Kesen en kötü durumu düşünürse elinde iki parçanın küçüğü kalır. Bu yüzden kesenin garantisi min(v(sol), v(sağ))'dır. Kesim noktası sağa kaydıkça sol parçanın değeri artar, sağınki azalır; iki değerin küçüğü, ikisi eşit olduğunda en büyüktür. Bu nokta tam kesenin gözündeki yarıdır ve garanti 1/2'dir. Dürüst kesmek, yani iki eşit parça yapmak, en kötü durumdaki kazancı en büyük yapan, yani maksimin stratejidir.

Şekil 11.12 bu “çatı” biçimini gösterir. Ali'nin eğrisi düzgündür, çünkü değeri düzgün dağılmıştır. Ayşe'nin eğrisinin sol kolu 1/2'ye kadar yavaş (vanilya az değerli), sonra hızlı yükselir. İki eğrinin tepesi de 0,5'tir: kimin değer fonksiyonu ne olursa olsun, dürüst kesen 1/2 garanti eder.

Seçenin garantisi. Seçen iki parçadan kendi gözünde büyük olanı alır. İki parçanın değerleri toplamı 1 olduğundan büyük olan en az 1/2'dir. Ayrıca seçtiği parça, kalan parçadan değersiz değildir. Bu iki özellik kesim nasıl yapılırsa yapılsın geçerlidir; kesen dürüst davranmasa bile seçen hem orantılı hem kıskançsız bir pay alır.

Bilginin değeri. Kesen, seçenin tercihini bilirse kesimi ona göre kaydırıp 1/2'den fazlasını alabilir; ama garantisi yine 1/2'dir. Aşağıdaki örnek bunu sayılarla gösterir.

Kes-ve-seçin iki kişide hem orantılı hem kıskançsız olması bir rastlantı değildir; iki kişide bu iki kavram aynıdır.

Üç ve daha fazla kişide bu eşdeğerlik bozulur: kıskançsızlık hâlâ orantılılığı gerektirir, ama orantılı bir paylaşım kıskançlık içerebilir. Kıskançsızlık daha güçlü bir koşul hâline gelir.

11.4.5Orantılı ama kıskançlı: üç kişilik örnek

Üç kişi (Ali, Ayşe, Cem) pastanın daha önceden kesilmiş üç parçasını (X, Y, Z) paylaşacak olsun. Aşağıdaki tablo her kişinin her parçaya verdiği değeri gösterir; her satırın toplamı 1'dir.

Bu örnekte basit bir düzeltme vardır: Ayşe ile Cem parçalarını takas etse Ayşe 0,45 alır, Cem 0,30 alır. Ama bu kez Cem 1/3'ün altına düşer ve paylaşım orantılı olmaktan çıkar. Kıskançsız bir paylaşım bulmak, orantılı bir paylaşım bulmaktan genelde çok daha zordur. Bu fark, bilinen algoritmaların karmaşıklığına da yansır:

Son azalan

n kişi için orantılı bir paylaşım bulur (11.4.6).

Selfridge–Conway

3 kişi için kıskançsız bir paylaşım bulur ve en fazla 5 kesim yapar.

Aziz–Mackenzie (2016)

n kişi için kıskançsız bir paylaşım bulan ve sonlu sayıda soruyla biten ilk algoritmadır. Ama soru sayısının üst sınırı devasadır; n'nin üst üste üslerle büyüyen bir fonksiyonudur. Algoritma kuramsal açıdan önemlidir, pratikte kullanılmaz.

11.4.6Son azalan

Kes-ve-seçi ikiden fazla kişiye genişletmenin bir yolu, ilk parçayı herkesin denetiminden geçirmektir. Bu fikir son azalan (last diminisher) yöntemine yol açar.

Yöntemin neden orantılı olduğunu görmek için iki tür kişiye bakmak yeterlidir. Parçayı alan kişi onu son kırpan kişidir; kendi gözünde tam 1/n alır. Parçayı almayanlar için ise parça, onların gözünde en çok 1/n'dir: ya ilk baştan öyleydi ya da kendileri kırparak öyle yaptılar (kendilerinden sonra başkası kırptıysa parça daha da küçüldü). Bu yüzden kalan pasta onların gözünde en az 1 − 1/n = (n − 1)/n değerindedir. Kalan n − 1 kişi bu pastayı orantılı paylaşırsa her biri en az ((n − 1)/n) · (1/(n − 1)) = 1/n alır.

Örnekte üç kişi vardır ve pasta dört eşit çeyreğe ayrılmıştır. Her çeyreğin içinde değer düzgün dağılır. Ali'nin değeri tekdüzedir; Ayşe sağı, Cem solu sever.

Hesaplarda kullanılacak bir araç şudur: bir çeyreğin uzunluğu 1/4 olduğundan, değeri w olan bir çeyrekte birim uzunluğun değeri 4w'dir. Örneğin Cem'in birinci çeyreğinde birim uzunluk 4 · 0,4 = 1,6 değerindedir; [0; 0,1] parçası onun için 0,1 · 1,6 = 0,16 eder.

Şekil 11.15 paylaşımın orantılı olduğunu gösterir. Ama paylaşım kıskançsız değildir. Cem, Ali'nin parçası [5/24, 29/48]'e şu değeri verir: birinci çeyrekten 1/24 uzunluk (birim 1,6) ⇒ 1/15; ikinci çeyreğin tamamı ⇒ 0,3; üçüncü çeyrekten 5/48 uzunluk (birim 0,8) ⇒ 1/12. Toplam 1/15 + 3/10 + 1/12 = 9/20 = 0,45'tir. Cem'in kendi parçası 1/3 ≈ 0,333'tür: Cem Ali'yi kıskanır. Son azalan yalnız orantılılığı güvenceye alır.

Yöntemin soru sayısı da hesaplanabilir. İlk turda n kişinin her birine parça gösterilir; ikinci turda n − 1 kişiye ve böyle sürer. Toplam yaklaşık n + (n − 1) + … + 2 ≈ n²/2 sorgudur; yani O(n²).

11.4.7Hareketli bıçak ve Even–Paz

Son azalan yönteminin sürekli bir sürümü de vardır. Dubins ve Spanier (1961) bunu bir bıçak imgesiyle anlatır.

Yöntemi son azalan örneğindeki değerlerle (çeyrek başına Ali 0,25; Ayşe 0,1–0,4; Cem 0,4–0,1) çalıştıralım. Her kişi için “sol parça ne zaman 1/3 olur?” sorusunun cevabı hesaplanır; en küçük cevabı veren kişi önce “dur” der.

Hareketli bıçak, son azalanın “sürekli zamanda” çalışan hâlidir; bir algoritma olarak çalıştırmak için her kişinin “dur” noktası bir kesim sorgusuyla bulunur. Her turda kalan herkese bir kesim sorgusu sorulur; toplam sorgu sayısı yine O(n²)'dir. Even ve Paz (1984), pastayı her adımda ikiye bölerek orantılı paylaşımı çok daha az soruyla, O(n log n) sorguyla bulur. Fikir şudur: herkes pastayı kendi gözünde ortadan işaretler; işaretlerin ortancasından kesilir; kişilerin yarısı sol parçayı, yarısı sağ parçayı aralarında aynı yöntemle paylaşır. Grup her adımda yarıya indiği için yaklaşık log₂ n düzey vardır ve her düzeyde n sorgu sorulur.

11.4.8Bölünemez mallar: sırayla seçim ve EF1

Pasta istenen yerden kesilebilir; ama bir araba, bir ev ya da bir ders kontenjanı bölünemez. Bölünemez mallar (indivisible goods) söz konusu olduğunda her mal tümüyle bir kişiye verilir. Bir kişinin aldığı mallar kümesine demet (bundle) denir. Değerlerin toplanabilir olduğu varsayılır: bir demetin değeri, içindeki malların değerlerinin toplamıdır.

Bölünemez mallarda kıskançsızlık her zaman mümkün değildir. En basit örnek, tek bir arabanın iki kardeş arasında paylaşılmasıdır. Arabayı alan kardeş ötekini kıskanmaz, ama öteki hiçbir şey almadığı için arabayı alanı kıskanır. Hangi paylaşım seçilirse seçilsin biri kıskanır. Bu yüzden zayıflatılmış bir adalet kavramı gerekir.

EF1, “kıskançlık varsa bile bu kıskançlık tek bir malın şansından kaynaklanır” demektir. Tek araba örneğinde arabayı alan kardeşin demetinden araba çıkarılırsa boş demet kalır; öteki kardeşin kıskançlığı kalkar. Bu paylaşım EF1'dir.

Örnekte iki kişi ve dört mal vardır. Ali başlar.

Sırayla seçimin her zaman EF1 bir paylaşım ürettiği gösterilebilir. İki kişide gerekçe kısadır. Ayşe'nin her seçimi, Ali'nin bir sonraki seçiminden önce gelir ve o anda kalan en değerli malı alır. Bu yüzden Ayşe'nin k. seçimi, onun gözünde Ali'nin (k + 1). seçiminden az değerli değildir. Ali'nin ilk seçimi (m1) çıkarılınca Ali'nin geri kalan malları Ayşe'nin malları ile birebir eşleşir ve her eşte Ayşe'ninki ağır basar. Örnekte Ayşe'nin m2'si (6), Ali'nin m3'ünden (Ayşe için 1) değerlidir. Başlayan kişi (Ali) ise hiç kıskanmaz, çünkü her turda ötekinden önce seçer.

11.4.9Oyuna dönüş: açgözlü seçim en iyi tepki değil

Açılıştaki Adil Bölüşüm Oyunu'na (11.1.1) dönelim. Malların değerleri (O1 / O2): Pasta 5/1, Kitap 4/9, Kulaklık 3/8, Top 1/1. O1 başlar ve O2 her turda kendi gözünde en değerli kalan malı alır. O1'in iki planını karşılaştıralım.

Adalet açısından ne olduğuna da bakalım. İkinci planda O2, O1'in demeti {Kitap, Pasta}'ya 9 + 1 = 10 değer verir; kendi demeti {Kulaklık, Top} 9'dur. O2 kıskanır. Kitap çıkarılırsa 1 ≤ 9: paylaşım yine EF1'dir. Kuramın güvencesi şudur: iki taraf da hep favorisini alırsa sırayla seçim EF1 üretir. Bir taraf stratejik davranınca bu güvence artık kuramdan gelmez; bu örnekte EF1 yine sağlanmıştır ama her durumda sağlanacağının garantisi yoktur.

Bu gözlem gerçek hayatta da görülmüştür. Harvard İşletme Okulu derslerini öğrencilere sırayla seçime (draft) dayalı bir yöntemle dağıtıyordu. Budish ve Cantillon (2012), öğrencilerin tam bu türden stratejik seçimler yaptığını, yani popüler olmayan ama kendileri için değerli dersleri bekletip başkalarının da istediği dersleri öne aldığını, bunun da refah kaybına yol açtığını veriyle göstermiştir. Adil bir protokol bile stratejik oyunculara açıktır: EF1 güvencesi, herkes sırası gelince favorisini alırsa geçerlidir.

11.4.10Üç sosyal refah ölçütü

Birden çok paylaşım arasında seçim yapmak için onları bir sayıyla sıralamak gerekir. Bu sayıya sosyal refah ölçütü denir. Üç ölçüt yaygındır.

Nash sosyal refahı iki ucun arasında durur. Toplamda bir kişinin büyük kazancı ötekinin küçük kaybını kolayca telafi eder; çarpımda ise herhangi bir değerin sıfıra yaklaşması bütün çarpımı sıfıra çeker. Bu yüzden çarpım dengeli paylaşımları ödüllendirir. Nash sosyal refahının bir özelliği daha vardır: ölçek değişikliğinden etkilenmez. Ali'nin bütün değerleri 10 katına çıkarsa her paylaşımın çarpımı 10 katına çıkar; sıralama değişmez ve en iyi paylaşım aynı kalır. Toplamda ise Ali'nin değerleri 10 katına çıkınca bütün mallar Ali'ye gider. Kişilerin değer ölçeklerini karşılaştırmak çoğu zaman anlamsız olduğu için bu özellik önemlidir.

Tablo 11.12'deki değerlerle 16 olası paylaşımdan üçü karşılaştırılabilir.

Örnekte Nash sosyal refahını en büyük yapan paylaşımın aynı zamanda kıskançsız olması bir rastlantı değildir. Caragiannis ve arkadaşları (2016) bunun genel bir sonucunu göstermiştir.

Bu sonuç makalenin adına da yansımıştır: “en büyük Nash refahının akıl almaz adaleti”. Teorem, verimlilik ile adaletin birbirini dışlamak zorunda olmadığını gösterir. Tek bir sayıyı (çarpımı) en büyük yapmak, hem kimsenin durumunu bozmadan iyileştirilemeyen hem de en çok bir mallık kıskançlık içeren bir paylaşım verir.

11.4.11Adaletin bedeli ve Pareto verimliliği

Adalet kısıtının verimlilikten ne kadar götürdüğünü ölçmek için iki kavram gerekir.

Tablo 11.12'nin değerleriyle 16 paylaşımın hepsi taranabilir (dört malın her biri iki kişiden birine gider: 2⁴ = 16). Taramanın sonuçları şunlardır. 16 paylaşımın 11'i Pareto optimaldir; sırayla seçimin (10, 7) paylaşımı da bunlardan biridir. Örneğin Ali'ye 10'dan, Ayşe'ye 7'den az vermeyen ve birini artıran başka bir paylaşım yoktur. Toplamı en büyük yapan ve kıskançsız olan paylaşımlar aşağıdaki tablodadır.

Adaletin bedeli, Anarşinin Bedeli gibi bir orandır. Anarşinin Bedeli'nde kayıp, oyuncuların bencil davranmasından gelir: en iyi sonucun, bencil oyuncuların ulaştığı en kötü dengeye oranıdır. Adaletin bedelinde kayıp bencillikten değil, adalet kısıtından gelir. İki oranın da paydasında “kısıt altında ulaşılabilen” refah, payında ise kısıtsız en iyi refah vardır.

Bu örnekte bedel küçüktür. Ama bedel her zaman küçük değildir. Bölünebilir pastada n kişide orantılılığın bedeli kabaca √n ile orantılı büyür (Caragiannis vd., 2012). Kişi sayısı arttıkça, herkese en az 1/n verme zorunluluğu, pastayı en çok değer verene bırakmaya göre giderek daha pahalı hâle gelir.

11.5Etik ve yönetişim

Ölçütler ve algoritmalar adaletin ölçülebilen yüzünü anlatır. Ama bir modelin hangi ölçüte göre değerlendirileceğine, kimin itiraz edebileceğine ve hata olursa kimin sorumlu olacağına matematik karar vermez. Bu kısım, algoritmik kararların çevresindeki etik ilkeleri ve hukuki çerçeveyi, insanların algoritmaya stratejik tepkisini, denetimi ve kararların kendi verisini nasıl değiştirdiğini ele alır.

11.5.1Etik ilkeler ve standartlar

Algoritmik karar sistemleri için önerilen ilkeler farklı kurumlarda farklı adlarla geçse de dört ilke hemen hepsinde bulunur.

Şeffaflık ve açıklanabilirlik

Şeffaflık (transparency), karar sürecinin, yani hangi verinin hangi amaçla kullanıldığının anlaşılır olmasıdır. Açıklanabilirlik (explainability), tek bir kararın gerekçesinin ilgili kişiye anlatılabilmesidir. Kredisi reddedilen kişi, kararın nedenini (örneğin “borç/gelir oranı yüksek”) öğrenebilmelidir.

Hesap verebilirlik

Hesap verebilirlik (accountability), hatalı bir kararın sorumlusunun belli olmasıdır. “Algoritma öyle karar verdi” bir gerekçe sayılmaz. Kararın etkilediği kişi itiraz edebilmeli ve bir insanın kararı yeniden incelemesini isteyebilmelidir.

Adalet ve eşitlik

Kararların sosyal etkileri ve grup bazlı sonuçları göz önünde tutulmalıdır. Bu bölümde hesaplanan ölçütler bu ilkenin ölçülebilir karşılığıdır.

Mahremiyet

Mahremiyet (privacy), kişisel verinin en az gerekli ölçüde ve yalnız açıklanan amaç için toplanmasıdır. Adalet ölçmek için grup bilgisine ihtiyaç duyulması, mahremiyetle gerilim yaratabilir: korunan özelliği toplamayan bir kurum, kendi modelinin bu özelliğe göre adil olup olmadığını da ölçemez.

Bu ilkeler hukuki düzenlemelere de yansımıştır.

Düzenlemelerin ortak noktası, yüksek etkili kararlarda insanın devreden tümüyle çıkarılmamasıdır. AB Yapay Zekâ Yasası'nın risk tabanlı yaklaşımı ayrıca bir orantılılık ilkesi taşır: bir film öneri sistemiyle bir kredi skorlama sistemine aynı yükümlülükler getirilmez; yükümlülük, olası zararın büyüklüğüyle artar.

11.5.2Stratejik tasarım ve teşvikler

Önceki kısımlarda kişiler, modelin karşısında edilgen bir veri noktası gibi ele alındı. Oysa algoritma bir kural koyduğunda insanlar ona tepki verir. Sınıflandırılan kişiler de oyunculardır. Bu bakış açısına stratejik sınıflandırma (strategic classification) denir. Oyun kuramının dili burada doğrudan kullanılabilir: kurum bir kural seçer (lider), kişiler bu kurala en iyi tepkiyi verir (izleyiciler).

Bu tepkinin genel bir sonucu Goodhart yasası (Goodhart's law) ile özetlenir: bir ölçü hedef hâline gelince iyi bir ölçü olmaktan çıkar. Tıklama sayısı başarı ölçüsü olarak kullanılmaya başlanınca içerik üreticileri tıklama tuzağı başlıklar yazar; tıklama sayısı artar ama ölçtüğü şey, yani içeriğin ilgi çekiciliği, artmaz. Ölçü ile ölçülmek istenen nitelik arasındaki bağ, ölçünün hedeflenmesiyle kopar.

Kullanıcılara doğru teşvikler vermek ve kötü niyetli manipülasyonu (sahte yorumlar, bot hesaplar) önlemek tasarımın bir parçasıdır. Üç durum öne çıkar:

Oyunlanabilir özellik

Kredi puanında “sahip olunan kart sayısı” gibi kolay değiştirilen bir özellik, gerçek riski değiştirmeden puanı değiştirir. Kişinin ödeme gücü aynı kalırken puanı yükselir. Bu tür davranışa oyunlama (gaming) denir.

Öneri sistemleri

Etkileşimi (izlenme süresi, tıklama) ödüllendiren bir hedef, kullanıcının uzun vadeli yararıyla çatışabilir. Daha iyi bir hedef, kullanıcının uzun vadeli yararını ödüllendirendir; ama bu yararı ölçmek çok daha zordur.

Maliyet eşitsizliği

Oyunlamanın maliyeti gruplar arasında farklıysa stratejik davranış yeni bir adaletsizlik doğurur. Kaynağı bol olan grup kurala daha kolay uyum sağlar. 11.5.3'teki örnek bunu adım adım gösterir.

Mekanizma tasarımının temel sorusu burada da geçerlidir: kurala uyan dürüst davranış, bireyin çıkarına olmalıdır. Stratejiye dayanıklı bir mekanizmada dürüst davranmak en iyi stratejidir; iyi tasarlanmış bir sınıflandırıcıda da puanı yükseltmenin en ucuz yolu, gerçekten daha nitelikli olmak olmalıdır.

11.5.3Stratejik sınıflandırma adım adım

Hu, Immorlica ve Vaughan (2019) stratejik davranışın gruplar arası etkisini basit bir modelle incelemiştir. Aşağıdaki örnek bu modelin sayısal bir sürümüdür.

Kurum, puanı eşiğe eşit ya da eşikten büyük olanları kabul eder. Başta eşik 0,6'dır. Gerçek nitelik de bu puanla ölçülür: gerçek puanı 0,6 ve üstü olan kişiler gerçekten niteliklidir. Kişiler puanlarını bir maliyetle (örneğin kart sayısını artırarak) yükseltebilir. A grubunun bütçesi 0,15'tir: A'daki herkes puanını en çok 0,15 artırabilir. B grubunun bütçesi yalnız 0,03'tür. Her grupta 5 niteliksiz ve 5 nitelikli kişi vardır.

Kişinin kararı basittir. Gerçek puanı eşiğin altındaysa ve eşiğe olan uzaklığı bütçesinden küçük ya da ona eşitse, puanını tam eşiğe taşır ve kabul edilir. Uzaklık bütçeden büyükse yükseltme bir işe yaramaz; kişi maliyete katlanmaz.

Şekil 11.16 ve Şekil 11.17 iki aşamayı karşılaştırır. Eşiği yükseltmek, oyunlamanın bedelini herkese yüklemenin kaba bir yoludur. Daha incelikli çözümler de vardır: oyunlanması zor özelliklere ağırlık vermek, ya da oyunlama için gereken kaynağı (örneğin danışmanlık, eğitim) düşük bütçeli gruba da erişilebilir kılmak. Örnekte bir aralık hesabı da yapılabilir: niteliksizlerin hiçbirinin geçmemesi için eşik 0,73'ten büyük olmalıdır; B'nin bütün niteliklilerinin geçmesi için eşik en çok 0,63 + 0,03 = 0,66 olmalıdır. İki koşul çeliştiği için tek bir eşikle iki amaca birlikte ulaşılamaz.

11.5.4Algoritmik denetim

Algoritmik denetim (algorithmic audit), bir karar sisteminin amacına uygun, doğru ve adil çalışıp çalışmadığının sistematik olarak incelenmesidir. Denetim, sistemin yalnız kodunu değil bütün yaşam döngüsünü kapsar.

Ne denetlenir?

Veri kaynağı, hedef değişken, grup bazlı performans ve insan gözetimi birlikte incelenir. Hedef değişkenin bir vekil olup olmadığı (11.1.3'teki sağlık harcaması örneği) çoğu zaman en önemli sorudur.

Belgeleme

Model kartları (model cards) ve veri kümesi kartları, bir modelin ya da veri kümesinin varsayımlarını, kullanım amacını ve bilinen sınırlamalarını görünür kılan kısa belgelerdir. Bir model kartı örneğin şunu yazar: “Bu model 2015–2020 kredi başvurularıyla eğitildi; 25 yaş altı başvuranlarda doğruluğu düşüktür.”

Dağıtım sonrası

Model kullanılmaya başlandıktan sonra da izlenir. Veri kayması (data drift), yani modelin karşılaştığı verinin eğitim verisinden zamanla uzaklaşması, itirazlar ve beklenmeyen zararlar düzenli olarak takip edilir.

Katılım

Etkilenen grupların görüşü alınır. İtiraz hakkı ve açık bir sorumluluk zinciri tanımlanır.

Bu bölümün sayısal kısmı, bir denetimin en somut adımını verir. Bir denetim listesi: taban oranları, seçim oranı, TPR, FPR, PPV ve kalibrasyon her grup için ayrı ayrı raporlanır. Uyumsuzluk teoremleri yüzünden bu ölçütlerin hepsi birden sağlanamayacağı için, hangi ölçütün neden önceliklendirildiği yazılı olarak gerekçelendirilir. Tablo 11.5 böyle bir raporun en küçük hâlidir.

11.5.5Algoritmalar tarafsız olabilir mi?

Algoritmaların “matematik oldukları için tarafsız” olduğu sıkça söylenir. Bölümün bulguları bu iddiayı dört yönden sınırlar:

• Algoritmalar, hedef, veri, ölçüt ve eşik seçimlerini yapan kurumların değerlerinden bağımsız değildir. “Neyi tahmin edeceğiz?” sorusunun cevabı bile bir değer seçimidir.
• Tarihsel eşitsizlikler eğitim verisine ve hedef değişkenlere yansıyabilir.
• Farklı adalet ölçütleri aynı karar için çelişen sonuçlar üretir (uyumsuzluk teoremleri). Bir ölçüt seçmek, ötekinden vazgeçmektir.
• Model, dağıtımdan sonra davranışı değiştirerek yeni geri besleme döngüleri yaratabilir (11.5.6).

Temel zorluklar da açıktır. Adalet kavramı bağlama göre değişir: kredi kararında önemli olan hata türü, tıbbi tarama kararında farklı olabilir. Doğruluk, mahremiyet ve grup adaleti arasında ödünleşimler vardır. Adalet anlayışları kültürden kültüre değişir. Bu zorluklara verilen makul cevap, mutlak tarafsızlık iddiasından vazgeçmektir. Bunun yerine kararın etkileri ölçülür, yapılan tercihler belgelenir ve etkilenen kişiler için bir itiraz mekanizması kurulur.

11.5.6Kod izleme: kendini doğrulayan veri

Geri besleme döngüsünün en bilinen örneği tahmine dayalı polisliktir (predictive policing). Devriye, geçmiş kayıtlarda olayın çok olduğu bölgeye gönderilir. Ama olay yalnız devriyenin bulunduğu yerde kaydedilir. Bu durumda kayıtlar, olayların gerçek dağılımını değil devriyenin nereye gittiğini yansıtmaya başlar (Ensign vd., 2018). Aşağıdaki kod bu döngünün en sade modelidir.

kayit = [6, 5]     # geçmiş kayıtlar (bölge 0, 1)
gercek = [3, 3]    # gerçek günlük olay: eşit!
for gun in range(1, 5):
  hedef = 0 if kayit[0] >= kayit[1] else 1
  kayit[hedef] += gercek[hedef]  # yalnız orada
  pay = kayit[0] / sum(kayit)
  print(gun, hedef, kayit, round(pay, 2))

Kodda iki bölge vardır. kayit listesi her bölgenin geçmiş olay kaydını tutar: bölge 0'da 6, bölge 1'de 5 kayıt vardır. gercek listesi her bölgede her gün gerçekte olan olay sayısıdır: iki bölgede de 3'tür. Yani iki bölge gerçekte eşittir; kayıtlardaki bir fark belki tesadüftür. Her gün devriye kaydı fazla olan bölgeye gider (eşitlikte bölge 0'a). Yalnız devriyenin gittiği bölgede o günün olayları kayda geçer. pay, bölge 0'ın toplam kayıt içindeki payıdır.

Her gün devriye bölge 0'a gider, çünkü bölge 0'ın kaydı hep fazladır. Bölge 0'ın kaydı her gün 3 artar; bölge 1'deki 3 olay ise hiç görülmez ve kaydı 5'te donar. Şekil 11.18 sonucu gösterir: pay 0,55'ten 0,78'e çıkar. Veri, modelin kararıyla toplandığı için modeli “doğrular”. Bir gözlemci kayıtlara bakıp “bölge 0'da suç bölge 1'in üç katından fazla” sonucuna varabilir; oysa gerçekte iki bölge eşittir. Başlangıçtaki tek kayıtlık fark (6 ile 5), belki yalnız tesadüftü, ama kendini büyüterek kalıcı bir “gerçek” hâline geldi.

Döngüyü kırmanın yolları vardır. Devriye zaman zaman rastgele bölgelere gönderilebilir; böylece her bölgeden bir miktar yansız veri toplanır. Ya da kayıtlar, o bölgeye ne kadar devriye gönderildiğine bölünerek düzeltilebilir. Bu iki fikir, öğrenme kuramındaki “keşif ve sömürü” ödünleşimine karşılık gelir: yalnız bilinen en iyi seçeneği sömüren bir sistem, öteki seçenekler hakkında hiç bilgi toplamaz.

11.5.7Gerçek hayat uygulamaları

Bölümün kavramları üç alanda özellikle sık karşımıza çıkar:

Kredi ve bankacılık

Skorlama modelleri. Asıl seçim kalibrasyon ile fırsat eşitliği arasındadır: kurum puanın her grupta aynı riski anlatmasını, başvuranlar ise ödeyebilecek olanların aynı şansı almasını ister.

İşe alım ve insan kaynakları

Özgeçmiş eleme. Tarihsel veri önyargısı (Amazon örneği) ve beşte dört kuralı en sık konulardır.

Sağlık

Teşhis ve tedavi önerisi. Vekil hedef sorunu (harcama ≠ ihtiyaç) burada ağır sonuçlar doğurabilir.

Bu alanlarda uygulanan temel analiz, bir eşiğin değiştirilmesinin ölçütleri nasıl etkilediğini incelemektir. Bölümün örnek modeli yalnız iki puan verdiği için yalnız üç anlamlı karar kuralı vardır: herkesi reddetmek (eşik 0,8'in üstünde), yalnız 0,8 puanlıları onaylamak (eşik 0,2 ile 0,8 arasında) ve herkesi onaylamak (eşik 0,2'nin altında).

11.6Özet

• Önyargı tarihsel veriden, temsil eksikliğinden, vekil değişkenlerden ve tasarım ile geri besleme döngülerinden gelir. Korunan özelliği modelden çıkarmak yetmez; vekiller onu taşır. Bu yüzden sonuçlar grup bazında ölçülür.
• Karışıklık matrisi (TP, FP, FN, TN) bütün grup ölçütlerinin kaynağıdır: seçim oranı (TP + FP)/n, TPR TP/(TP + FN), FPR FP/(FP + TN), PPV TP/(TP + FP), taban oranı (TP + FN)/n.
• Ölçütler: demografik eşitlik (seçim oranı; beşte dört kuralı oranı ≥ 0,8 ister), eşitlenmiş olasılıklar (TPR ve FPR; yalnız TPR ise fırsat eşitliği), tahmin eşitliği (PPV), kalibrasyon (puanı s olanların gerçekleşme oranı her grupta s). İlk ikisi başvuranın, son ikisi kurumun bakışıdır.
• Örneğimiz: kalibre ve PPV'si eşit (0,8) bir model; buna rağmen seçim oranı 0,5/0,2, TPR 0,8/0,5, FPR 0,2/0,059. İki grupta da doğruluk %80'dir; doğruluk hataların kime düştüğünü göstermez.
• Bireysel adalet benzer kişilere benzer puan ister: |f(x) − f(y)| ≤ L · d(x, y). Zorluğu, uzaklık d'nin seçiminin de bir değer yargısı olmasıdır.
• Uyumsuzluk: FPR = p/(1 − p) · (1 − PPV)/PPV · TPR (Chouldechova). Taban oranları farklıysa tahmin eşitliği ile eşitlenmiş olasılıklar, mükemmel tahmin dışında, birlikte sağlanamaz. Kleinberg vd.: kalibrasyon ve iki sınıf dengesi de ancak mükemmel tahminde ya da eşit taban oranında birlikte sağlanır. COMPAS tartışmasında iki taraf da kendi ölçütüne göre haklıydı.
• Ödünleşim: eşitlenmiş olasılıkları zorlamak B'de PPV'yi 0,8'den 0,65'e düşürür; rastgeleleştirmeyle fırsat eşitliği (q = 0,6) doğruluğu 0,8'den 0,512'ye indirir. Adalet kısıtı ön işleme, eğitim ya da son işlemeyle eklenir; hangi ölçütün seçileceği bir değer kararıdır.
• Adil bölüşüm: orantılılık v_i(X_i) ≥ 1/n, kıskançsızlık v_i(X_i) ≥ v_i(X_j). Kes-ve-seç iki kişide orantılı ve kıskançsızdır; dürüst kesmek maksimin stratejisidir ve seçen kesenden avantajlıdır. İki kişide orantılılık ⇔ kıskançsızlık; üç ve daha fazla kişide kıskançsızlık daha güçlüdür.
• Algoritmalar: son azalan ve hareketli bıçak n kişide orantılıdır (O(n²) sorgu), Even–Paz daha az soruyla; Selfridge–Conway 3 kişide, Aziz–Mackenzie n kişide kıskançsızdır. Kesim sorgusu ikiye bölmeyle bulunur; k sorgudan sonra hata en çok 2^−(k+1)'dir.
• Bölünemez mallar: kıskançsızlık her zaman mümkün değildir; sırayla seçim EF1 üretir ama açgözlü seçim en iyi tepki olmayabilir. Nash sosyal refahını maksimize eden paylaşım Pareto optimal ve EF1'dir. Örnekte adaletin bedeli 18/17 ≈ 1,059'dur.
• Etik: şeffaflık, hesap verebilirlik, adalet, mahremiyet; GDPR madde 22, AB Yapay Zekâ Yasası, KVKK. Denetimde her grup için taban oranı, seçim oranı, TPR, FPR, PPV ve kalibrasyon raporlanır ve ölçüt seçimi gerekçelendirilir.
• Teşvikler: algoritmaya tepki veren insanlar Goodhart yasasını işletir. Stratejik sınıflandırmada oyunlama maliyeti farklı gruplar arasında yeni eşitsizlik doğar; geri besleme döngüsünde veri, kararın kendisini doğrular.

11.7Kavram listesi

Terimlerin İngilizce karşılıkları ve öteki bölümlerdeki kullanımları terim sözlüğünde bulunur.

• algoritmik adalet algorithmic fairness
• önyargı bias
• korunan özellik protected attribute
• vekil değişken proxy variable
• karışıklık matrisi confusion matrix
• doğruluk accuracy
• seçim oranı selection rate
• doğru pozitif oranı true positive rate (TPR)
• yanlış pozitif oranı false positive rate (FPR)
• yanlış negatif oranı false negative rate (FNR)
• kesinlik (PPV) positive predictive value, precision
• negatif kestirim değeri (NPV) negative predictive value
• taban oranı base rate
• grup adaleti group fairness
• demografik eşitlik demographic parity
• beşte dört kuralı four-fifths rule
• eşitlenmiş olasılıklar equalized odds
• fırsat eşitliği equal opportunity
• tahmin eşitliği predictive parity
• kalibrasyon calibration within groups
• bireysel adalet individual fairness
• Lipschitz koşulu Lipschitz condition
• uyumsuzluk teoremleri impossibility theorems
• Chouldechova özdeşliği Chouldechova's identity
• sınıf dengesi balance for the positive/negative class
• kayıp fonksiyonu loss function
• ön işleme / son işleme pre-processing / post-processing
• adil bölüşüm fair division
• pasta kesme cake cutting
• değer fonksiyonu valuation function
• Robertson–Webb modeli Robertson–Webb query model
• kesim sorgusu cut query
• ikiye bölme bisection
• orantılılık proportionality
• kıskançsızlık envy-freeness
• kes-ve-seç cut-and-choose
• son azalan last diminisher
• hareketli bıçak moving knife
• bölünemez mallar indivisible goods
• demet bundle
• sırayla seçim round-robin
• bir mala kadar kıskançsız (EF1) envy-free up to one good
• faydacı refah utilitarian welfare
• eşitlikçi refah egalitarian welfare
• Nash sosyal refahı Nash social welfare
• Pareto verimliliği Pareto efficiency
• adaletin bedeli price of fairness
• şeffaflık transparency
• açıklanabilirlik explainability
• hesap verebilirlik accountability
• mahremiyet privacy
• stratejik sınıflandırma strategic classification
• oyunlama gaming
• Goodhart yasası Goodhart's law
• algoritmik denetim algorithmic audit
• model kartı model card
• veri kayması data drift
• geri besleme döngüsü feedback loop

11.8Kendini Dene

1. Bir D grubunun karışıklık matrisi TP = 24, FP = 6, FN = 16, TN = 54'tür. Seçim oranı, TPR, FPR, PPV ve doğruluk nedir? Bölümdeki A grubuyla (seçim 0,5; TPR 0,8; FPR 0,2; PPV 0,8) karşılaştırıldığında hangi ölçüt sağlanır? Beşte dört kuralı ne der?

   Cevap

   n = 100. Seçim (24 + 6)/100 = 0,30; TPR 24/40 = 0,6; FPR 6/60 = 0,1; PPV 24/30 = 0,8; doğruluk (24 + 54)/100 = 0,78. Yalnız tahmin eşitliği sağlanır (0,8 = 0,8). Beşte dört kuralı: 0,30/0,50 = 0,6 < 0,8 ⇒ ihlal. Özdeşlikle denetim: taban oranı p = 40/100 = 0,4; (0,4/0,6) · (0,2/0,8) · 0,6 = 0,1 ✓.

2. Bir grupta taban oranı p = 0,3, PPV = 0,6, TPR = 0,7'dir. FPR kaçtır? Taban oranı 0,5 olan ikinci bir grupta PPV ve TPR aynı tutulursa FPR ne olur? Bu iki grupta eşitlenmiş olasılıklar sağlanabilir mi?

   Cevap

   Birinci grup: (0,3/0,7) · (0,4/0,6) · 0,7 = 0,3 · (2/3) = 0,2. İkinci grup: (0,5/0,5) · (2/3) · 0,7 = 7/15 ≈ 0,467. TPR'ler eşit ama FPR'ler farklıdır (0,2 ≠ 0,467); eşitlenmiş olasılıklar sağlanmaz. PPV eşitken taban oranı farkı, p/(1 − p) çarpanı üzerinden FPR'ye taşınır.

3. Bir model iki puan veriyor: 0,7 ve 0,1. Bir grupta puanı 0,7 olan 30 kişiden 21'i, puanı 0,1 olan 70 kişiden 7'si krediyi öder. Model bu grupta kalibre midir? Taban oranı nedir? Ödeyenlerin ve ödemeyenlerin ortalama puanı kaçtır?

   Cevap

   21/30 = 0,7 ve 7/70 = 0,1: iki puan düzeyinde de gerçekleşme oranı puana eşittir, model kalibredir. Taban oranı (21 + 7)/100 = 0,28; bu, ortalama puana (30 · 0,7 + 70 · 0,1)/100 = 0,28 eşittir. Ödeyenlerin ortalama puanı (21 · 0,7 + 7 · 0,1)/28 = 15,4/28 = 0,55. Ödemeyenler 9 (0,7 puanlı) ve 63 (0,1 puanlı) kişidir; ortalama (9 · 0,7 + 63 · 0,1)/72 = 12,6/72 = 0,175.

4. Pasta [0, 1]; sol yarı vanilya, sağ yarı çikolata. Ali her yere eşit değer verir. Ayşe için vanilyanın tamamı 2/5, çikolatanın tamamı 3/5 değerindedir (her yarıda düzgün). (a) Ali keser, Ayşe seçerse herkes kendi gözünde ne alır? (b) Ayşe keserse nereden keser ve kim ne alır?

   Cevap

   (a) Ali x = 1/2'den keser. Ayşe için sol 2/5, sağ 3/5'tir; sağı seçer. Ali 1/2, Ayşe 3/5 alır. (b) Vanilyanın tamamı Ayşe için 2/5 < 1/2 olduğundan kesim çikolatadadır. Çikolatada birim uzunluk (3/5)/(1/2) = 6/5 değerindedir. 2/5 + (6/5)(x − 1/2) = 1/2 ⇒ x − 1/2 = 1/12 ⇒ x = 7/12. Ali sol parçayı seçer ve 7/12 ≈ 0,583 alır; Ayşe 1/2 alır. Seçen yine avantajlıdır.

5. Bireysel adalet koşulunda L = 3, d(x, y) = 0,1 ve f(x) = 0,25'tir. Puanlar [0, 1] aralığındaysa f(y) hangi aralıkta olabilir?

   Cevap

   |f(y) − 0,25| ≤ 3 · 0,1 = 0,3 ⇒ −0,05 ≤ f(y) ≤ 0,55. Puan 0'ın altına inemediği için aralık [0; 0,55]'tir.

6. İki kişi dört bölünemez malı paylaşıyor. Değerler: Ali (m1 8, m2 4, m3 2, m4 1), Ayşe (m1 5, m2 5, m3 4, m4 1). Ali'nin başladığı sırayla seçimde kim neyi alır; paylaşım kıskançsız mı, EF1 mi? Nash sosyal refahını en büyük yapan paylaşım hangisidir?

   Cevap

   Ali m1 (8), Ayşe m2 (5), Ali m3 (2), Ayşe m4 (1). Ali {m1, m3} = 10, Ayşe {m2, m4} = 6. Ayşe, Ali'nin demetine 5 + 4 = 9 > 6 değer verir: kıskanır. m1 çıkarılınca 4 ≤ 6: EF1. Çarpım 60'tır. 16 paylaşım taranınca en büyük çarpım Ali {m1, m4} = 9, Ayşe {m2, m3} = 9 paylaşımındadır: 81. Bu paylaşım kıskançsızdır (Ali, Ayşe'nin demetine 6, Ayşe Ali'ninkine 6 verir) ve toplamı (18) da en büyüktür; bu örnekte adaletin bedeli 1'dir.

7. Geri besleme kodu kayit = [7, 5] ve gercek = [2, 4] ile çalıştırılıyor; yani bölge 1'de gerçekte daha çok olay oluyor. 4 gün sonra kayıtlar ve bölge 0'ın kayıt payı nedir? Gerçek pay kaçtır?

   Cevap

   Her gün bölge 0'ın kaydı fazladır ve devriye oraya gider: [9, 5], [11, 5], [13, 5], [15, 5]. Paylar 0,64; 0,69; 0,72; 0,75. Gerçek pay 2/(2 + 4) ≈ 0,33'tür. Kayıtlar gerçeği tersine çevirir: olayların çoğu bölge 1'dedir ama kayıtlara göre bölge 0 üç kat “daha tehlikeli” görünür.

11.9İleri okuma

• S. Barocas, M. Hardt ve A. Narayanan, Fairness and Machine Learning: Limitations and Opportunities (2023): grup ölçütlerini, uyumsuzluk sonuçlarını ve nedensellik temelli yaklaşımları ayrıntılı ve örnekli anlatan ders kitabıdır; çevrimiçi sürümü ücretsizdir.
• A. Chouldechova, “Fair prediction with disparate impact” (2017) ve J. Kleinberg, S. Mullainathan, M. Raghavan, “Inherent trade-offs in the fair determination of risk scores” (2017): bu bölümdeki iki uyumsuzluk sonucunun özgün makaleleridir; ikisinin de giriş bölümleri az matematikle okunabilir.
• A. D. Procaccia, “Cake cutting algorithms”, Handbook of Computational Social Choice, Bölüm 13 (2016): Robertson–Webb modeli, son azalan, Even–Paz ve kıskançsız protokollerin karmaşıklığını özetler.
• S. J. Brams ve A. D. Taylor, Fair Division: From Cake-Cutting to Dispute Resolution (1996): adil bölüşüm yöntemlerini gerçek anlaşmazlık örnekleriyle, teknik olmayan bir dille anlatır.

11.10Kaynaklar

1. J. Angwin, J. Larson, S. Mattu, L. Kirchner, “Machine Bias”, ProPublica, 2016.
2. H. Aziz, S. Mackenzie, “A discrete and bounded envy-free cake cutting protocol for any number of agents”, IEEE FOCS, 2016.
3. S. Barocas, M. Hardt, A. Narayanan, Fairness and Machine Learning: Limitations and Opportunities, MIT Press, 2023.
4. S. J. Brams, A. D. Taylor, Fair Division: From Cake-Cutting to Dispute Resolution, Cambridge University Press, 1996.
5. E. Budish, E. Cantillon, “The multi-unit assignment problem: theory and evidence from course allocation at Harvard”, American Economic Review 102(5), 2012.
6. J. Buolamwini, T. Gebru, “Gender Shades: Intersectional accuracy disparities in commercial gender classification”, Proc. FAT*, 2018.
7. I. Caragiannis, C. Kaklamanis, P. Kanellopoulos, M. Kyropoulou, “The efficiency of fair division”, Theory of Computing Systems 50(4), 2012.
8. I. Caragiannis, D. Kurokawa, H. Moulin, A. D. Procaccia, N. Shah, J. Wang, “The unreasonable fairness of maximum Nash welfare”, ACM EC, 2016.
9. A. Chouldechova, “Fair prediction with disparate impact: a study of bias in recidivism prediction instruments”, Big Data 5(2), 2017.
10. J. Dastin, “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, 10 Ekim 2018.
11. L. E. Dubins, E. H. Spanier, “How to cut a cake fairly”, American Mathematical Monthly 68(1), 1961.
12. C. Dwork, M. Hardt, T. Pitassi, O. Reingold, R. Zemel, “Fairness through awareness”, ITCS, 2012.
13. D. Ensign, S. A. Friedler, S. Neville, C. Scheidegger, S. Venkatasubramanian, “Runaway feedback loops in predictive policing”, Proc. FAT*, 2018.
14. S. Even, A. Paz, “A note on cake cutting”, Discrete Applied Mathematics 7(3), 1984.
15. M. Hardt, E. Price, N. Srebro, “Equality of opportunity in supervised learning”, NeurIPS, 2016.
16. L. Hu, N. Immorlica, J. W. Vaughan, “The disparate effects of strategic manipulation”, Proc. FAT*, 2019.
17. A. R. Karlin, Y. Peres, Game Theory, Alive, AMS, 2017 (adil bölüşüm bölümü).
18. J. Kleinberg, S. Mullainathan, M. Raghavan, “Inherent trade-offs in the fair determination of risk scores”, ITCS, 2017.
19. A. D. Procaccia, “Cake cutting algorithms”, F. Brandt vd. (ed.), Handbook of Computational Social Choice içinde, Bölüm 13, Cambridge University Press, 2016.
20. Avrupa Parlamentosu ve Konseyi, Genel Veri Koruma Tüzüğü (GDPR), Tüzük (AB) 2016/679, md. 22 (uygulama 2018).
21. Avrupa Parlamentosu ve Konseyi, Yapay Zekâ Yasası, Tüzük (AB) 2024/1689.
22. 6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK), Resmî Gazete, 7 Nisan 2016.
23. OECD, Recommendation of the Council on Artificial Intelligence (OECD YZ ilkeleri), 2019.

Ders sayfaları: Procaccia CMU 15-896 · Shah CSC304 · © Sercan Külcü. Tüm hakları saklıdır.