Materiały do zajęć Prawo a algorytmy w wymiarze sprawiedliwości
sprawa Loomis v. Wisconsin (2016) — system oceny ryzyka recydywy
Dane: 5 278 oskarżonych z hrabstwa Broward (Floryda), zbiór ProPublica.
Znamy ocenę COMPAS oraz to, czy w ciągu 2 lat pojawiło się wobec danej osoby nowe zdarzenie
w systemie karnym. Dane nie dają pełnej prawdy o człowieku — pokazują tylko, co odnotował system.
Krytycy twierdzą, że COMPAS jest stronniczy. Twórcy programu — że jest sprawiedliwy. Zaraz zobaczysz,
że obie strony mogą mieć rację naraz — system bywa „sprawiedliwy” (ang. fair) według jednej miary i krzywdzący
według innej. To nie jest problem techniczny, lecz decyzja ukryta pod pozorem techniki.
Pytanie nie brzmi „czy algorytm jest sprawiedliwy?”, ale: kto wybiera kryterium sprawiedliwości — i czy
oskarżony może ten wybór zakwestionować?
1.Eksplorator COMPAS
COMPAS wystawia każdemu ocenę ryzyka, a sąd traktuje wysoką ocenę jako „wysokie ryzyko”.
Ty decydujesz, jak szeroko zarzucić tę siatkę — od jak surowego progu uznajemy kogoś za „wysokie ryzyko” —
i patrzysz, co dzieje się z dwoma pytaniami dotyczącymi sprawiedliwości (ang. fairness).
2.Dlaczego obie strony mają rację — i dlaczego to wybór, nie technika
To nie jest niczyj błąd ani manipulacja. Problem nie leży w technologii. Jeśli grupy różnią się częstością
powrotów do przestępstwa, nie da się spełnić wszystkich intuicyjnych oczekiwań naraz — algorytm zmusza sąd do wyboru:
czy ważniejsze jest, żeby wynik oznaczał to samo dla różnych grup, czy żeby błędne oznaczenia ryzyka
rozkładały się podobnie między grupami? Trzeba zdecydować, którą wartość (a zarazem - krzywdę) uznajemy za ważniejszą.
Suwak powyżej to pokazuje: nie znajdziesz ustawienia, przy którym obie luki znikają.
❓ Do zastanowienia: skoro nie da się zadowolić obu oczekiwań naraz — kto powinien wybrać, które
kryterium sprawiedliwości jest ważniejsze: inżynier w prywatnej firmie czy sąd? I czy oskarżony może ten
wybór zakwestionować?
3.Zbuduj własny model ryzyka
To dane decydują, jak działa system. Zaznacz, jakich danych o osobie użyć — model
sam się wytrenuje („trenowanie” = komputer dobiera wagi, by suma jak najlepiej pasowała do tego,
u kogo dane odnotowały powrót; uczymy na przypadkach). Obserwuj dwie rzeczy naraz:
jak dobrze model działa i kogo krzywdzi.
To demonstracja dydaktyczna. W prawdziwym systemie należałoby
sprawdzić model na nowych danych, nie tylko na tych, na których został zbudowany.
Zmieniając dane, zmieniasz oba zachowania systemu naraz — i trafność, i to, kogo niepoprawnie sklasyfikowano. System nie jest
neutralny: kształtują go dane, które wybierzesz, i sposób, w jaki je zebrano. Dlatego trwa spór — jedni
widzą w tej luce ślad rasy (przez zmienne-proxy, jak liczba skazań), inni — głównie efekt wieku
i tego, kogo dane w ogóle obejmują (sam wiek, choć przejrzysty i nie-rasowy, też tworzy lukę). Co do jednego
panuje zgoda: bez przejrzystości nie da się tego nawet rozstrzygnąć — a skoro 2–3 zmienne dorównują
modelowi ze 137, złożoność i tajność nie są tu nikomu potrzebne (oczywiście za wyjątkiem dostawcy, ponieważ to jego własność intelektualna).
Zastanów się nad tym, jakie dane trafiają do statystyk policyjnych/sądowych i modelu. Te dane nie mówią o „przestępczości w społeczeństwie”, lecz o tym, co zobaczył system
karny: kogo policja kontrolowała, kogo prokuratura ścigała, kogo sąd skazał. Różnice w danych mogą więc
częściowo wynikać nie z tego, kto popełnia przestępstwa, lecz z tego, jakie sprawy w ogóle trafiają do
systemu i jak intensywnie są ścigane. Model może wyglądać neutralnie, a zarazem utrwalać wcześniejszą
selektywność policji, prokuratury i sądów. Czy sąd może opierać decyzję na danych, które są produktem wcześniejszego działania samego
systemu karnego?
4.Jak wygląda wynik — raport COMPAS
Z odpowiedzi powstaje raport (Pre-Sentence Investigation). Sąd widzi trzy skale ryzyka jako decyle 1–10
— bez wzorów, bez wag, bez kodu. Poniżej format raportu (układ rzeczywisty, wartości przykładowe).
Jak czytać te oceny (decyle)?
To, co widzi sąd, to decyle 1–10 — nie procent ani prawdopodobieństwo, lecz pozycja w rankingu.
„8/10” znaczy „wyżej niż większość osób z populacji odniesienia”, a nie „80% szans na powrót”. Trzy
skale (recydywa, przemoc, faza przedprocesowa) to trzy osobne rankingi tej samej osoby — dlatego
nie sumują się do 100%. Znaczenie liczby zależy od tego, z kim porównano oskarżonego — często
z próbą krajową, niezwalidowaną lokalnie (stąd ostrzeżenie poniżej).
„You're identified, through the COMPAS assessment, as an individual who is at high risk to the community. (…)
the risk assessment tools that have been utilized suggest that you're extremely high risk to re-offend.”
— Sąd Najwyższy Wisconsin, State v. Loomis (2016)
Każdy raport COMPAS powinien zawierać ostrzeżenie: „[COMPAS] compares defendants to a national sample, but no
cross-validation study for a Wisconsin population has yet been completed”, „raised questions about
whether they disproportionately classify minority offenders as having a higher risk of recidivism”.
— Sąd Najwyższy Wisconsin, State v. Loomis (2016)
❓ Do zastanowienia: sąd zobaczył słupek „high risk: 8/10”. Nie zobaczył ani jednego pytania z sekcji 4,
ani ich wag. Czy ostrzeżenie z wyroku wystarcza, żeby sędzia mógł realnie „nie zgodzić się z oceną”?
Połącz to z zarzutem równości broni (niżej).
5.Podsumowanie
Teraz, gdy widziałeś mechanizm, prawnicze pytania brzmią inaczej.
Równość broni
Loomis dostał listę zmiennych, ale nie ich wag. Po tym, co przed chwilą zrobiłeś — czy bez wag i bez
danych mógł realnie zakwestionować ocenę? Co konkretnie musiałby zobaczyć?
Tajemnica vs. informacja publiczna
Sąd USA: kod COMPAS to trade secret. NSA w sprawie SLPS: kod, który zastępuje czynność sędziego,
to informacja publiczna (III OSK 1189/21). Czy ocena ryzyka „zastępuje”, czy „wspomaga” decyzję?
„Sąd może się nie zgodzić”
Sąd ws. Loomis v. Wisconsin uznał to za gwarancję. Ale skoro nie wiemy, jak powstała ocena — na jakiej podstawie
sąd miałby się z nią nie zgodzić? (automation bias / efekt zakotwiczenia)
Co właściwie znaczy „przejrzystość”? Loomis chciał wag. Ale sam wzór to za mało — bo prosty model
może przewidywać złą rzecz albo być uczony na złych danych (sekcja 3). Sensowna przejrzystość to dostęp do:
(1) algorytmu uczącego, (2) gotowego modelu i wag, (3) danych treningowych i ich pochodzenia,
(4) uzasadnienia, co model w ogóle przewiduje, (5) niezależnej walidacji dla danego zastosowania.
I uwaga doktrynalna: ocena ryzyka tylko wspiera w podjęciu decyzji — nie przekłada się 1:1 na wyrok.
To dokładnie test NSA ze sprawy SLPS: zastępuje czy wspomaga? (III OSK 1189/21)
6.Czy COMPAS byłby dopuszczalny w UE — AI Act
Akt o sztucznej inteligencji w art. 5 ust. 1 lit. d wprost zakazuje pewnych systemów przewidywania
przestępczości.
Zakazuje się (…) wykorzystywania systemu AI do (…) oceny lub przewidzenia ryzyka popełnienia przestępstwa przez
osobę fizyczną wyłącznie na podstawie profilowania (…) lub oceny jej cech osobowości i cech charakterystycznych;
zakaz ten nie ma zastosowania do systemów AI wspierających dokonywaną przez człowieka ocenę udziału
danej osoby w działalności przestępczej, która opiera się już na obiektywnych i weryfikowalnych faktach
bezpośrednio związanych z działalnością przestępczą.
— Rozporządzenie (UE) 2024/1689 (AI Act), art. 5 ust. 1 lit. d
Jak to interpretować? „Profilowanie” to zautomatyzowane przetwarzanie danych do oceny m.in. sytuacji ekonomicznej,
zachowania czy lokalizacji. „Cechy osobowości i charakterystyczne” — wg motywu 42 AI Act — to
katalog otwarty, np. narodowość, miejsce zamieszkania, dzietność, zadłużenie, posiadanie samochodu. Słowo
„wyłącznie” należy interpretować dwojako: ocena dokonywana wyłącznie przez system AI (bez realnego, weryfikującego
udziału człowieka — nie samego „przyklepania”) oraz ocena oparta wyłącznie na profilowaniu/cechach
(a nie na szerszym katalogu) — przyjmuje się, że zakaz obejmuje oba te komponenty. Wyjątek działa tylko
łącznie: AI ma wspierać człowieka, ocena ma dotyczyć udziału w konkretnej działalności przestępczej
i opierać się na faktach bezpośrednio z nią związanych (np. wykrywanie nadużyć finansowych z podejrzanych
transakcji).
Czy COMPAS byłby dopuszczalny? Raczej nie — a przynajmniej nie w takim wydaniu jak w sprawie Loomis v. Wisconsin. (1) Przewiduje
ryzyko recydywy, więc mieści się w zakresie przedmiotowym zakazu. (2) Opiera się w dużej mierze na profilowaniu i ocenie
cech osobowości/charakterystycznych (skale osobowości i postaw, sąsiedztwo, status społeczno-ekonomiczny) —
dokładnie na czynnikach z motywu 42. (3) Wyjątek nie ratuje: COMPAS przewiduje przyszłą recydywę
„w ogóle”, a nie udział w konkretnej, już ustalonej działalności przestępczej na faktach z nią związanych.
(4) Udział sędziego trudno uznać za realny czynnik weryfikujący, skoro wynik jest tajemnicą przedsiębiorstwa,
której oskarżony nie może sprawdzić — to bliżej „przyklepania”. Kontrargument: skoro COMPAS używa też historii kryminalnej, można twierdzić, że nie działa
„wyłącznie” na profilowaniu. Nawet gdyby taki system został dopuszczony — to jako system w wymiarze
sprawiedliwości byłby klasyfikowany jako „wysokiego ryzyka” (zał. III).
Zob. więcej: K. Łakomy, W. Rzepiński, komentarz do art. 5 AI Act [w:] "AI Act. Akt w sprawie sztucznej inteligencji. Komentarz. + praktyczne przykłady", Jędrzejczak et al. (red.), Warszawa 2025.
7.Materiały źródłowe
Wszystko do tej sprawy w jednym miejscu — kwestionariusz, wykład wideo i teksty do poczytania.
Wybierz zakładkę z boku.
Oto prawdziwy kwestionariusz COMPAS — 137 pozycji wypełnianych
przed wydaniem oceny. To dokładnie te „zmienne”, których listę dostał Loomis. Żadne pytanie nie dotyczy
rasy — zwróć uwagę, czego dotyczą.
Źródło: kwestionariusz COMPAS-CORE upubliczniony przez ProPublica.
❓ Do analizy: podziel pytania na trzy grupy — (1) co oskarżony zrobił, (2) kim jest /
skąd pochodzi (rodzina, sąsiedztwo, bieda), (3) w co wierzy (postawy). Za którą zgodziłbyś się
wydłużyć komuś wyrok? Czy oskarżony może ją zmienić?
Hany Farid — „The danger of predictive algorithms in criminal
justice” (TEDxAmoskeagMillyard). Przystępny wykład o tym, dlaczego predykcja ryzyka w sądzie jest
problematyczna.
❓ Do zastanowienia: które z zagrożeń wskazanych w wykładzie widać w naszym ćwiczeniu z modelem
(sekcja 3), a które są od niego szersze?
Trzy teksty: samo orzeczenie, naukowy komentarz i słynne śledztwo dziennikarskie.