Alat za zaštitu na bazi podataka zasnovane na Britaniji (MP) koristi Velike Britaniju da algoritamički “predviđa” rizik naroda da počine krivična djela, ali državna prolaza tlaka kaže da će se upotreba povijesno pristranih podataka dodatno unijeti strukturnu diskriminaciju.
Dokumenti dobiveni državnim prolazom (FOI) kampanja otkrivaju da MP već koristi jedan pogrešan algoritam za “predviđanje” rizika ljudi da se ponovim i aktivno razvija još jedan sistem “koji će” predvidjeti “koji će” predvidjeti “koji će izvršiti ubistvo.
Dok vlasti raspoređuju prediktivne policijsko alate kažu da se mogu koristiti za efikasnije izravne resurse, kritičari tvrde da se u praksi koriste za više puta ciljane siromašne i rasnoj zajednice, jer su ove grupe povijesno “i zato su zastupljene u policijskim skupovima podataka.
To tada stvara negativne povratne petlje, gdje su ove “takozvane predviđanja” dovode do daljnjeg preinaka određenih grupa i područja, jačanje i pogoršanje prethodno postojeće diskriminacije prikupljaju se povećavajućim količinama podataka.
Traženje povijesnog širenja prediktivnih policijskih sustava u njihovoj 2018. godini Policija: terenski vodičAutori David Correia i Tyler Wall tvrde da takvi alati pružaju “naizgled objektivni podaci” za organe za provođenje zakona da se nastave baviti diskriminatornim policijskim praksama, “, ali na način koji se čini bez rasnog profiliranja”.
Dodali su ga, dakle, “ne bi trebalo biti iznenađenje da prediktivna policija locira nasilje budućnosti u siromašnima sadašnjosti”.
Kompjuter je sedmično kontaktirao MP o tome kako se bavi sklonošću prediktivnih sustava za policijsku sustavu za daljnje strukturnu diskriminaciju, ali nije dobio nikakav odgovor na ovom trenutku.
Moji sistemi
Poznat kao sustav za procjenu prekršioca (OASYS), prvobitno predviđanje kriminala početno je razvio matični ured preko tri pilot studija prije nego što se izvede preko zatvorskog i probacijskog sistema Engleske i Velsa između 2001. i 2005. godine.
Prema njegovom Veličanstvu zatvorsku i probacijsku službu (HMPPS), OASYS “identificira i klasificira i klasificiraju uvredljive potrebe” i ocjenjuje “rizik od povreda povrede na sebe i druge”, koristeći strojne tehnike učenja tako da sistem “uči” iz unosa podataka za prilagodbu načina.
Konstrukcijski rasizam i drugi oblici sistemske pristranosti mogu se kodirati u OASYS rizične rezultate – i direktno i indirektno Sobanan Narenthiran, proboj društveno preduzeće
Rezultati rizika koji generiraju algoritmima se zatim koriste za postizanje širokog spektra odluka koji mogu ozbiljno utjecati na živote ljudi. To uključuje odluke o njihovoj kauciji i kaznosti, vrstu zatvora na koje će biti poslani, i hoće li moći pristupiti obrazovnim ili rehabilitacijskim programima dok su zatvoreni.
Dokumenti dobiveni državnim redom pokazuju da se alat oasys koristi za profil tisuća zatvorenika u Engleskoj i Walesu svake sedmice. Za samo jednu sedmicu, između 6. i 12. januara 2025., na primjer, alat se koristio za dovršavanje ukupno 9.420 ponovne procjene rizika – stopu više od 1.300 dnevno.
Od januara ove godine, baza podataka sistema ima preko sedam miliona rezultata rizika koji određuju navodni rizik ljudi od ponovnog ponovnog ponavljanja, koji uključuje završene procjene i one u tijeku.
Komentirajući OASS, Sobanan Narenthiran – bivšeg zarobljenika i sada sudjelovanje probojnog društvenog poduzeća, organizacija koja “podržava ljude u riziku ili sa visokom putopisu da se” strukturni rasizam i drugi oblici sistemske pristranosti mogu kodirati u OASYS rizični rezultati – i direktno i indirektno “.
Nadalje je tvrdio da će informacije unesene u OASYS vjerovatno biti “pod utjecajem sistemskih problema poput pristranog policijskog rada i prekomjernog nadzora određenih zajednica”, na primjer, da: “Crni i drugi rasipirani pojedinci mogu se češće zaustaviti, pretražiti, uhapsiti i optužiti zbog strukturnih nejednakosti u provođenju zakona.
“Kao rezultat toga mogu se pojaviti” veći rizik “u sistemu, a ne zbog većeg stvarnog rizika, već zato što podaci odražavaju ove nejednakosti. Ovo je klasičan slučaj” smeća “smeća”. “
Računar je sedmično kontaktirao MP o tome kako Odjel osigurava tačnost u svom odlučivanju, s obzirom na čisti obim algoritamskih procjena koje svakodnevno donosi, ali nije dobio direktan odgovor na ovom trenutku.
Glasnogovornik je rekao da praktičari provjeravaju informacije i slijede detaljne upute za postizanje dosljednosti.
Iako je drugi alat za predviđanje kriminala trenutno u razvoju, namjera je algoritamički identificirati one koji su u najpristojnijim da se počine ubojstvo povlačenjem širokog broja podataka o njima iz različitih izvora, kao što su probacijske službe i posebne policijske snage uključene u projekt.
Državna traka kaže da bi vrste obrađenih informacija mogu uključivati imena, datume rođenja, spol i etničku pripadnost i broj koji identificira ljude na policijskom nacionalnom računaru (PNC).
Izvorno se naziva “Projektom predviđanja ubistava”, inicijativa je preimenovana u “Dijeljenje podataka za poboljšanje procjene rizika”, i moglo bi se koristiti za profiliranje osuđenih i nesudjenih ljudi.
Prema sporazumu o dijeljenju podataka između MP i Velike Manchester policije (GMP) dobivene državnim redom, na primjer, vrste podataka mogu uključivati starost koju je osoba imala svoj prvi kontakt s policijom, a doba u kojoj su bili prvi žrtva zločina, uključujući i za nasilje u porodici.
Navedene pod “posebne kategorije ličnih podataka”, Sporazum takođe predviđa da se deljenje “zdravstvenih markera koji se očekuje da imaju značajnu prediktivnu moć”.
To može uključivati podatke koji se odnose na mentalno zdravlje, ovisnost, samoubistvo, ranjivost, samopovređivanje i invalidnost. Državna traka označena kako će se podaci ljudi koji nisu osuđeni za bilo koji krivično djelo koristiti kao dio projekta.
U oba slučaja, kaže državawatch-a koristeći podatke iz “institucionalno rasističkih” organizacija poput policijskih snaga i MP će raditi samo na “pojačati” strukturno diskriminaciju koja podliježe krivično pravosuđu u Velikoj Britaniji.
Vrijeme i iznova, istraživanje pokazuje da su algoritamski sustavi za “predviđanje” kriminala koji su inherentno pogrešni Sofija Lyall, StateWatch
“Pokušaj Ministarstva pravde da izgradi ovaj sistem za ubojstvo je najnoviji hlađenje i distopijski primjer vlade namere da razviju takozvane sisteme prediknjivanja kriminala”, rekao je Državni prolaznik Sofia Lyall.
“Kao i drugi sustavi, on će kodirati u pristranosti prema rasnoj i niskopristupnim zajednicama. Izgradnja automatiziranog alata za profil ljudi kao nasilni zločinci su duboko pogrešni, a takve osjetljive podatke o mentalnom zdravlju, ovisnosti i invalidnosti vrlo su nametljivi i alarmantni.”
Lyall je dodao: “Vrijeme i iznova, istraživanje pokazuje da su algoritamski sustavi za” predviđanje “kriminala svojstveno mane.”
Državna traka je također primijetila da su crnci posebno značajno prezastupljeni u podacima MP, kao što su ljudi svih nacionalnosti iz više oduzetih područja.
Izazovne netočnosti
Prema službenoj evaluaciji rezultata rizika koje proizvode OASYS iz 2015. godine, sustav ima odstupanja u tačnosti na osnovu rodne, starosti i etničke pripadnosti, a rizični rezultati koji su stvorili nesrazmjerno manje precizne za bijele ljude, a posebno za ljude za crnu i miješane trke.
“Relativna prediktivna valjanost bila je veća za žene od muških prestupnika, za bijele prestupnike od prijestupnika azijske, crne i mješovite etničke pripadnosti, a za starije od mlađih prestupnika”, rekao je. “Nakon kontrole razlika u profilima rizika, niže valjanosti za sve crne, azijske i manjinske etničke grupe (BME) grupe (nenasilno ponašanje) i crno i mješovito prestupnici etničkih pripadnosti bile su najveća briga.”
Brojni zatvorenici koji su pogođeni algoritmom OASYS-a takođe su ispričali državnowtch o utjecajima pristranih ili netačnih podataka. Na primjer, nekoliko etničkih zarobljenika, na primjer, rekao je da su njihovi procjenitelji ušli u diskriminatornu i lažne “bande” naljepnicu u svojim izvještajima o oasys-u, bez dokaza, odluku koju kažu zasnovana na rasističkim pretpostavkama.
Razgovarajući sa istraživačem sa Univerziteta u Birminghamu o utjecaju netačnih podataka u Oasys, drugi čovjek koji poslužuje životnu kaznu to je slici “malim snježnim kuglicama nizbrdo”.
Zatvorenik je rekao: “Svaki preokret, on pokupi sve više i više snijega (netačni unosi) dok vam se na kraju ne ostane sa ovom masivnom snježnoj kuglicom na originalnu malu snijeg. Postao sam konstrukcija njihove mašte. To je krajnji čin dehumanizacije.”
Narenthiran je također opisao kako, uprkos preciznosti sistema sa sustavom, teško je osporiti bilo kakve pogrešne podatke sadržane u izvještajima o OASYS-u: “Da bih to učinio, morao sam da izmijeni informacije zabilježene u procjeni OASYS-a i to je frustrirajuće i često neprozirne proces.
“U mnogim slučajevima pojedinci su ili nesvjesni onoga što je napisano o njima ili im ne budu smislene mogućnosti za preispitivanje i odgovaranje na procjenu prije nego što se dovrši. Čak i kada se zabrinute, često se odbacuju ili zanemaruju, osim ako ne postoji snažno pravno zagovaranje.”
Moj odgovori
Iako je alat za uvjerenje o ubistvima još uvijek u razvoju, kompjuterskom tjedno kontaktirao je MP za dodatne informacije o oba sustava – uključujući kako sredstva za odvlačenje odjela predviđa da su ljudi koji mogu iskoristiti za osporavanje odluka o njima kada su informacije netačne.
Glasnogovornik Odjela naveo je da kontinuirano poboljšavanje, istraživanje i validacija osiguravaju integritet i kvalitet ovih alata, te da se etičke implikacije poput pravednosti i potencijalnih pristranica podataka smatraju kad god se razvijaju novi alati ili istraživački projekti.
Oni su dodali da ni vitlo za predviđanje ubistva ni oasys koriste etničku pripadnost kao direktan prediktor i da ako pojedinci nisu zadovoljni ishodom formalne žalbe HMPS-ova, mogu pisati u zatvorsko-probnicu.
Što se tiče OASYS-a, dodali su da postoji pet alata za prediktoru rizika koji čine sustav, koji su obnavljani za učinkovito predviđanje ponovnog rizika.
Komentirajući alat za predviđanje za ubistvo, MP je rekao: “Ovaj projekt se vodi samo u istraživačke svrhe. Dizajniran je korištenjem postojećih podataka o osuđenim prekršiteljima kako bi se poboljšali rizik od težnog nasilja. Izvještaj će biti objavljen u dogledno vrijeme.”
Dodano je da projekt želi poboljšati procjenu rizika za ozbiljnog kriminala i održavati javni analizu postojećih podataka o kriminalu i riziku, a da se određeni prediktivni alat neće razvijati za operativnu upotrebu, na drugi alati mogu informirati na drugi alatima.
MP je takođe insistirao da se do sada korišteni samo podaci o ljudima s najmanje jednom krivičnom presudom.
Novi digitalni alati
Uprkos ozbiljnim zabrinutostima u sistemu, MP nastavlja da koristi OASYS procjene u zatvorskom i probnim službama. Kao odgovor na državnu prozoru FOI kampanju, MP je potvrdio da “HMPPS procjenjuje rizike, potrebe i snage (ARNS) projekat razvija novi digitalni alat za zamjenu alata za zamenu alata OASYS”.
Rani prototip novog sistema bio je u pilot fazi od 2044. decembra, “s ciljem nacionalnog rolanja 2026. godine”. ARNS je “izgrađen u kući od tima iz [Ministry of] Pravda Digital koji povezuje sa glavom stanovnika, koji trenutno pruža tehničku podršku za Oasys “.
Vlada je također pokrenula “Nezavisnu reviziju kazne” gledajući kako “iskoristiti novu tehnologiju za upravljanje prekršajima izvan zatvora”, uključujući upotrebu “prediktivnih alata za procjenu rizika i profiliranja, kao i elektroničkim oznakama.
Državna traka također je pozvala na zaustavljanje razvoja alata za predviđanje kriminala.
“Umjesto da bacamo novac u razvijanjem i rasističkih ai i algoritama, vlada mora uložiti u iskreno podržavajuće usluge blagostanja. Izrada smanjenja blagostanja dok će ulagati u tehno-solutist” Brzi popravke “, samo će naručiti sigurnost i dobrobit ljudi”, rekao je Lyall.
