Korunan özelliği (cinsiyet, etnik köken) modelden çıkarmak neden adaleti sağlamaya yetmez?

B doğrudur: korunan özellik modelden çıkarılsa bile posta kodu, okul, alışveriş geçmişi gibi değişkenler onunla ilişkili olduğu için bu bilgiyi vekil olarak dolaylı taşır. Model bu değişkenler üzerinden aynı grup farkını yeniden üretebilir; bu yüzden sonuçlar grup bazında ölçülmelidir. A yanlıştır: doğruluk çoğu zaman pek değişmez. C ve D de özelliği çıkarmanın sonucu değildir; taban oranları verideki durumdur, kalibrasyon ise ayrıca ölçülür.

A grubunun seçim oranı 0,50, B grubununki 0,35. Beşte dört kuralına göre sonuç nedir?

D doğrudur. Beşte dört kuralı küçük seçim oranının büyüğe oranına bakar: 0,35/0,50 = 0,70; bu 0,8'in altında olduğundan kural ihlal edilir. A oranı doğru hesaplar ama yanlış yorumlar. B fark ile oranı karıştırır, C ise oranı ters yönde alır (0,50/0,35 ≈ 1,43).

Eşitlenmiş olasılıklar (equalized odds) ölçütü gruplar arasında neyin eşit olmasını ister?

C doğrudur: eşitlenmiş olasılıklar (Hardt vd., 2016), gerçek sonuç koşulu altında hata oranlarının eşit olmasını ister; yani hem TPR hem FPR gruplar arasında eşit olmalıdır. Yalnız TPR eşitliği (D) daha zayıf olan fırsat eşitliğidir. Seçim oranı (A) demografik eşitliğin, PPV (B) tahmin eşitliğinin konusudur.

Bir model kalibre ise ne söylenebilir?

B doğrudur: kalibrasyon, puanın grup ne olursa olsun aynı riski anlatmasıdır; puanı s olanların gerçekleşme oranı her grupta s'dir. Örnek modelde puanı 0,8 olanların A'da 40/50'si, B'de 16/20'si öder; ikisi de 0,8'dir. Buna rağmen seçim oranları (0,5 ve 0,2) ve FPR'ler (0,2 ve 0,059) farklıdır; A ve C kalibrasyondan çıkmaz. D de yanlıştır: kalibre model de hata yapar, yalnız hataları puanla tutarlıdır.

Bireysel adalet: |f(x) − f(y)| ≤ L·d(x, y), L = 2, d(x, y) = 0,05, f(x) = 0,7. f(y) için izin verilen aralık nedir?

A doğrudur. Lipschitz koşulu |f(x) − f(y)| ≤ L·d(x, y) = 2·0,05 = 0,1 verir; yani |f(y) − 0,7| ≤ 0,1 ve f(y) ∈ [0,6; 0,8]. B, L'yi unutup yalnız d = 0,05'i kullanır; C sınırı 0,2 alır, D ise gereğinden dardır.

COMPAS tartışmasında ProPublica FPR farkını, Northpointe kalibrasyonu gösterdi. En doğru yorum hangisidir?

B doğrudur: ProPublica eşit olmayan hata oranlarını (FPR), Northpointe ise kalibrasyonu ve tahmin eşitliğini ölçtü; iki hesap da kendi ölçütüne göre doğruydu. Chouldechova özdeşliği FPR = p/(1 − p)·(1 − PPV)/PPV·TPR, taban oranları farklıyken eşit PPV ile eşit hata oranlarının birlikte sağlanamayacağını gösterir. D yanlıştır: model iyileşse de bu çatışma ancak mükemmel tahminde kalkar. Asıl tartışma hangi adalet tanımının seçileceğidir.

İki kişilik bir paylaşımda orantılılık ile kıskançsızlık arasındaki ilişki nedir?

A doğrudur. İki kişide pasta tamamen paylaşılır ve v(X₁) + v(X₂) = 1'dir. v(X₁) ≥ 1/2 ise v(X₂) = 1 − v(X₁) ≤ 1/2 ≤ v(X₁), yani kişi diğerini kıskanmaz; tersine kıskanmıyorsa v(X₁) ≥ v(X₂) ve toplam 1 olduğundan v(X₁) ≥ 1/2. Bu yüzden iki kişide orantılılık ⇔ kıskançsızlık. Üç ve daha fazla kişide kıskançsızlık orantılılığı gerektirir ama tersi doğru değildir; B bu yüzden yanlıştır.

Değerler: Ali (X 0,5; Y 0,2; Z 0,3), Ayşe (X 0,35; Y 0,34; Z 0,31), Cem (X 0,2; Y 0,3; Z 0,5). Paylaşım Ali→X, Ayşe→Y, Cem→Z. Doğru olan hangisi?

C doğrudur. Herkes kendi gözünde en az 1/3 alır: Ali X'ten 0,5, Ayşe Y'den 0,34 (> 0,333), Cem Z'den 0,5; paylaşım orantılıdır. Ama Ayşe için Ali'nin X'i 0,35, kendi Y'si 0,34'tür: Ayşe Ali'yi kıskanır. B yanlıştır çünkü 0,34 > 1/3; D yanlıştır çünkü Cem için X yalnız 0,2'dir. Orantılı olmak, kıskançsız olmak demek değildir.

Goodhart yasası neyi söyler?

B doğrudur: Goodhart yasası, bir ölçü hedef hâline gelince insanların davranışını ölçülen şeye göre değiştirdiğini ve ölçünün iyi bir ölçü olmaktan çıktığını söyler (tıklama sayısı hedeflenince tıklama tuzağı çoğalır). A Chouldechova ve Kleinberg vd.'nin uyumsuzluk sonucudur, C Dwork vd.'nin bireysel adalet ilkesidir, D ise kes-ve-seç gözlemidir.

Geri besleme kodu: kayit = [4, 6], gercek = [3, 3]; devriye her gün kaydı fazla olan bölgeye gider ve yalnız orada kayıt tutulur. 3 gün sonra bölge 0'ın kayıt payı kaçtır?

D doğrudur. Gün 1: kayıt [4, 6], bölge 1'in kaydı fazla ⇒ devriye bölge 1'e gider, kayıt [4, 9]. Gün 2: [4, 12]; gün 3: [4, 15]. Bölge 0'ın payı 4/(4 + 15) = 4/19 ≈ 0,21. 0,40 başlangıç payıdır (4/10); ≈ 0,27 = 4/15 paydaya yalnız bölge 1'i yazar. Gerçek olaylar eşit (3 ve 3) olduğu hâlde veri kararla toplandığı için başlangıçtaki küçük fark büyür (Ensign vd., 2018).