Essex policija nije se pravilno smatrala potencijalno diskriminatornim utjecajima svog korištenja žive lica (LFR), prema dokumentima dobivenim od strane Big Brother Watch i dijele se sa računarom.
Iako se sila tvrdi u procjeni utjecaja na ravnopravnost (EIA) da je “Essex policija pažljivo razmotrila pitanja u vezi sa pristranim i algoritamskim nepravdom”, relevand – dobijena u skladu sa slobodom informacija (FOI) nije uspio da ispuni svoju ravnopravnost javnog sektora (PSED) kako bi razmotrila kako njegove politike i prakse mogu biti diskriminatorne.
Kampanjari su istakli kako se sila oslanja na lažne usporedbe drugim algoritmima i “parotiranje zablude potraživanja” od dobavljača o nedostatku pristranosti LFR sistema.
Na primjer, Essex policija saopćila je da će prilikom raspoređivanja LFR-a postaviti prag sustava “na 0,6 ili više, jer je to postignuta utrošanost otudaci lažne pozitivne identifikacije u svim demografiji”.
Međutim, ta se brojka zasniva na testiranju nacionalnog fizičkog laboratorija (NPL) NPL-a NeoFace V4 LFR-a koji je raspoređen policija Metropolitanska i Južna Walesa koja Essex policija ne koristi.
Umjesto toga, Essex policija odlučila je koristiti algoritam koji je razvila izraelska tvrtka tvrtka za biometriju, čiji je glavni službenik za privatnost, Tony Porter bivši bio povjerenik kamere u Velikoj Britaniji do 1521. godine.
Isticanje testiranja algoritma CORSICT_003 provedeno u junu, američki Nacionalni institut za standarde i tehnologiju SAD-a (NIST), EIA također tvrdi da ima “ves diferencijal FMR [False Match Rate] od 0,0006 ukupno, najniži od bilo kojeg testiranog unutar NIST-a u vrijeme pisanja, prema dobavljaču “.
Međutim, gledanje web stranice NIST-a, gdje se svi podaci o testiranju javno dijele, nema informacija za podršku cifri navolje konzervi ili njezina tvrdnja da u suštini ima najmanje pristrasan algoritam.
Odvojeni FOI odgovor na Big Brother Watch potvrdio je da, od 16. januara 2025. godine Essex policija nije sprovela nijednu “formalnu ili detaljnu” testiranje samog sistema ili na drugi način naručila treću stranu da to učini.
Essex policijski pristup ocenjivanju opasnosti kontroverznog i opasnog novog oblika nadzora stavio je prava hiljada u rizik Jake Hurfurt, veliki brat sat
“Gledanje EIA-e Essex policije, zabrinut smo se zbog poštivanja sile pod zakonom za ravnopravnost, jer se oslanjanje na drhtave dokaze ozbiljno narušava tvrdnje sile o tome kako će javnost biti zaštićena od algoritamske pristranosti”, šef istraživanja i istrage na satu Big Brother.
“Essex policijski pristup za procjenu opasnosti kontroverznog i opasnog novog oblika nadzora stavio je prava na hiljade. Ovaj nadzor uzoraka njihovog nametljivog sustava prepoznavanja lica postavlja zabrinjavajući presedan.
“Priznavanje lica je zloglasno za pogrešnu boju žena i ljudi, a Essex policija spremnost za implementaciju bez testiranja i samih postavlja ozbiljna pitanja o poštivanju snage izjednačenih.
Potreba za policijskim snagama Velike Britanije za razmatranje lica da razmotrimo kako bi njihova upotreba tehnologije mogla biti diskriminatorna, istaknuta je pravnim izazovom koji je Cardiff Resident Ed Bridges doveo protiv Policije Južna Walesa.
U avgustu 2020. godine, Velika Britanski sud presudio je da je upotreba LFR-a od strane sile bila nezakonita jer je povreda privatnosti koja je podrazumijevala “nije u skladu” sa zakonski dopuštenim ograničenjima na mostovima “Prava na privatnost; Nije sproveo odgovarajuću procjenu utjecaja na podatke (DPIA); I nije u skladu sa svojim PSED-om da razmotri kako bi njegova politika i prakse mogli biti diskriminatorne.
Presuda je posebno utvrđena da je PSED “dužnost procesa i ne ishod” i zahtijeva da javna tijela poduzimaju razumne korake “kako bi upitali o onome što ne može biti poznato javnom organu o potencijalnom utjecaju na odgovarajuće karakteristike, posebno za trenutne svrhe ukazanim utrkama i seksu”.
Big Brother Watch rekao je da se procjena jednakosti moraju oslanjati na “dovoljne kvalitetne dokaze” da se naprave potraživanja koje se vrše i na kraju zadovolje PSED, ali da su dobijeni dokumenti ne pokazuju da su sile “zbog utjecaja”.
Akademski Karen Yeung, interdisciplinarni profesor u Birmingham pravnom fakultetu i školi računarske nauke, rekao je za kompjuterski tjednik da, u njenom mišljenju, EIA je “jasno neadekvatna”.
Takođe je kritikovala dokument za “nekoherentnu”, ne gleda u sistemske razlike u tehnologiji i oslanjajući se isključivo na testiranje drugih policijskih algoritama: “To ne čini potrebe dužnosti u javnom sektoru.
Essex policija odgovara
Kompjuter je sedmično kontaktirao Essex policiju o svakom aspektu priče.
“Preuzimamo svoju odgovornost da sretnemo našu ravnopravnost javnog sektora, a postoji ugovorni zahtev za naš LFR partner kako bi se osiguralo dovoljno testiranje kako bi se osiguralo da softver ispunjava specifikaciju i performanse izložene u tenderu”, rekao je glasnogovornik.
“Bilo je više od 50 raspoređivanja naših LFR kombija, skeniranjem 1,7 miliona lica, koje su dovele do više od 200 pozitivnih upozorenja, te gotovo 70 hapšenja.
“Do danas je postojao jedan lažni pozitivan, koji je, kada je utvrđen, kao rezultat toga da je kao rezultat niskokvalitetnog fotografija prenesenog na bačmu, a ne rezultat problema sa pristranim.
Glasnogovornik je dodao da se sila posvećena i izvršavanju daljnje procjene softvera i algoritama, s evaluacijom raspoređivanja i rezultati koji su podložni neovisnom akademskom pregledu.
“Kao deo ovoga smo izvršili i nastavimo da radimo, testiranje i evaluacijsku aktivnost u kombinaciji sa Univerzitetom u Cambridgeu. NPL je nedavno dogovorio da će izvršiti daljnje neovisno testiranje. Kompanija je takođe postigla i ISO 42001 certifikat”, rekao je iSO 42001 certifikat “, rekao je iSO 42001 certifikat”, rekao je iSO glasnogovornik. “Takođe se povezujemo sa drugim tehničkim stručnjacima u pogledu daljnjeg testiranja i evaluacije.”
Međutim, sila se nije komentirala zašto se oslanjala na testiranje potpuno različitog algoritma u svojoj procjeni utjecaja na okoliš ili zašto nije proveo ili na drugi način naručio vlastiti testiranje prije nego što operativno rasporedimo tehnologiju na terenu.
Kompjuter je tjedno slijedio Essex policiju za pojašnjenje kada je započelo testiranje sa Cambridgeom, jer se to ne spominje u EIA, već nije primio nikakav odgovor do vremena objavljivanja.
“Zablude” tvrdnje testiranja
Iako Essex policija i korziji zahtijevaju da algoritam prepoznavanja lica ima “BIAS diferencijalni FMR od 0,0006, najniži od bilo kojeg testiranog unutar NIST-a u trenutku pisanja”, ne postoji javno dostupni podaci na web stranici NIST-a za podršku tu tvrdnji.
Bušenje u demografsko razdjelu lažnih pozitivnih stopa pokazuje, na primjer, da postoji faktor 100 lažnih pozitiva u zapadnoafričkim ženama nego za muškarce Istočne Europe.
Iako je ovo poboljšanje prethodnih dva algoritma podnesena za testiranje od strane Korziji, drugi javno dostupni podaci koje drži NISTMING Essex policije u EIA da “algoritam identificira NIST-a kao da ima najnižu varijancu jasa između demografije”.
Gledajući drugu metriku koju drži – FMR Max / Min, koji se odnosi na omjer demografskih grupa koji daju najviše i najmanje lažne pozitivne osobe – u suštini predstavljaju koliko su stope grešaka u različitim godinama, spolovima i nacionalnosti.
U ovom slučaju manje vrijednosti predstavljaju bolje performanse, a omjer je procjena koliko puta se u jednoj grupi može očekivati više lažnih pozitiva.
Prema NIST web stranici za “demografske efekte” u algoritmima prepoznavanja lica, algoritam Korzijstva ima FMR max / min 113(22)što znači da postoji najmanje 21 algoritmi koji prikazuju manje pristranosti. Za usporedbu, najmanje pristrasni algoritam prema rezultatima NIST-a pripada firmi koja se zove idemija, koja ima FMR max / min od 5(1).
Međutim, poput Korziji, najveća lažna utakmica za algoritam idemije bila je za starije zapadnoafričke žene. Kompjuter Weekly razumije da je to uobičajen problem sa mnogim testovima algoritmima lica za prepoznavanje lica, jer ova grupa nije obično dobro zastupljena u osnovnim podacima o treningu većine firmi.
Kompjuter je takođe potvrđen sa NIST-om da FMR metric citira se Korziji odnosi se na jednu na jednu verifikaciju, a ne da bi je policijske snage koje bile mnogi bile koristile.
Ovo je ključna razlika, jer ako je 1.000 ljudi upisano u sustav prepoznavanja lica koji je izgrađen na provjeru jedne na jednu, tada će lažna pozitivna stopa biti 1.000 puta veća od metrike koje drže NIST za FMR testiranje.
“Ako programer implementira 1: n (jedan-do-mnogi) traži se kao n 1: 1 Pored toga, tada će se vjerojatnost lažnog pozitivnog iz pretrage biti proporcionalna algoritma za poređenje za 1: 1”, rekao je u poređenju od 1: 1 “, rekao je u odnosu na 1: 1 usporedbu”, rekao je u poređenju od 1: 1, “rekao je da je u poređenju u odnosu na poredak 1: 1, rekao je u odnosu na usporedbu 1: 1. “Neki programeri ne implementiraju 1: n pretražujući na taj način.”
Komentirajući kontrast između ove metodologije testiranja i praktičnih scenarija, Birmingham Pravni fakultet Yeung rekao je da je jedan na jedan za upotrebu u stabilnom okruženju kako bi se osiguralo ograničenim pristupom, poput aerodromske pasošne kapije, gdje se u pitanju aerodromske pasošne kapije, gdje se povoljno pregledava samo jednosobno biometrijski podaci.
“Jedan od mnogih je u potpunosti drugačiji – to je potpuno drugačiji proces, potpuno drugačiji tehnički izazov, te stoga ne može obično postići ekvivalentne nivoe tačnosti”, rekla je ona.
Kompjuterska sedmica kontaktirala se Korzijstvo o svakom aspektu priče koja se odnosi na njenu algoritamsku testiranje, uključujući tamo gdje se izvlači lik “0.0006” i njegove različite tvrdnje imaju algoritam “najmanje pristrasnog”.
“Činjenice predstavljene u vašem članku su djelomične, manipulirane i zablude”, rekao je portparol kompanije. “Algoritmi” Korziji AI testirani su brojnim entitetima, uključujući i NIST, a dokazane su da su najmanje pristrani u industriji u pogledu spola i etničke pripadnosti. Ovo je glavni faktor za naše komercijalne i vladine klijente. “
Međutim, konzervi su ili nesposobni ili ne žele da odrede koje su činjenice “djelomične, manipulirane ili pogrešne” kao odgovor na zahtjev za bejanjenju računara za pojašnjenje.
Kompjuter je i kompjuter kontaktirao i da li je učinilo daljnje testiranje pokretanjem N sve u jednu usporedbu i da li je promijenilo postavke praga sistema za otkrivanje meča za suzbijanje lažne pozitivne brzine, ali nije primio nikakav odgovor na tim bodovima.
Iako većina programera za priznavanje lica dostavljaju svoje algoritme NIST-a za testiranje na godišnjoj ili dvogodišnjoj osnovi, Korzij je posljednji put podnio algoritam sredinom 2022. godine. Kompjuterska sedmica kontaktirala se Korzijsko čisto o tome zašto je to bio slučaj, s obzirom na to da većina algoritma u testiranju NIST-a pokazuje kontinuirano poboljšavanje sa svakom podnošenju, ali opet nije dobio nikakav odgovor na ovom trenutku.
Ispitivanje domovinske sigurnosti
ESSEX policija EIA takođe naglašava testiranje algoritma Korzijstva koji je 2022. proveden od strane Ministarstva za domovinu (DHS), tvrdeći da je pokazao “Sposobnost Korziste da se ponaša jednako na svim demografijom”.
Međutim, Hurfurt veliki brat naglasio je Hurfurt da je DHS studija fokusirala na pristranost u kontekstu istinskih pozitivnih pozitiva i nije procijenio algoritam za nejednakost u lažnim pozitivnim pozivima.
Ovo je ključna razlika za testiranje LFR sistema, kao lažne negativne negative koji neko ne prepoznaje, vjerovatno neće dovesti do netočnih zaustavljanja ili drugih negativnih efekata, dok sustav zbunjuje da bi se sustav zbunio za pojedinca.
Sam DHS javno je izašao na reprezentaciju testa test, nakon što se firma tvrdila u narednim marketinškim materijalima koji “bez obzira na to”, čisto se navodi u 1. mjestu u tamnoj koži, br. 1 u azijskoj “u azijskoj”.
Razgovarajući sa IVPM-om u avgustu 2023. godine, DHS je rekao: “Ne znamo šta ta tvrdnja, kao” # 1 “odnosi se”. Odjel je dodao da se pravila testiranja zahtijevaju kompanije da se njihova potraživanja obriše kroz DHS kako bi se osiguralo da ne objasne njihove performanse.
U svom rasputu rezultata ispitivanja, IVPM je napomenuo da su sustavi višestrukih drugih proizvođača postigli slične rezultate u Korziji. Kompanija nije odgovorila na zahtjev za komentar o DHS testiranju.
Računar Sedmično kontaktirao je Essex policiju o svim pitanjima koja su postavljena oko testiranja Korziji, ali nisu dobili direktan odgovor na ove tačke iz sile.
Ključni utjecaji jednakosti nisu uzeti u obzir
Dok je Essex policija u svojoj procjenici tvrdila da je “također tražila savjet od vlastitih neovisnih podataka i digitalnih etičkih odbora u odnosu na njihovu upotrebu LFR-a općenito”, zapisnik sastanka dobivenim putem FOI pravila pokazuju da ključni utjecaji nisu uzeti u obzir.
Na primjer, kada je jedan član panela ispitivao kako se razmeštava na LFR mogu utjecati na događaje u zajednici, a kako bi se snaga mogla izbjeći “čije je navodno prisustvo”, a to je prilično dobra poanta “, dodajući da je” napravio bilješku “da bi se” učinio “da bi” napravio bilješku “.
Sama EIA takođe ne spominje događaje ili proteste u zajednici i ne precizira kako bi različite grupe mogle utjecati ovi različiti scenariji implementacije.
Inače u EIA, Essex Policija tvrdi da će sistem vjerovatno imati minimalan utjecaj preko starosti, spola i trke, navodeći se za pragove od 0,6, kao i NIST i DHS testiranje, kao načine postizanja “uvredljivosti” u različitim demografiji. Opet se ova praga postavka odnosi se na potpuno različit sistem koji koristi policija Met i Jug Wales.
Za svaku zaštićenu karakteristiku, EIA ima odjeljak o “olakšavajućim” akcijama koje se mogu poduzeti za smanjenje štetnih utjecaja.
Dok se odjeljak “etnička pripadnost” ističe testiranje nacionalnog fizičkog laboratorija, većina drugih odjeljaka napominje da će se “bilo koja lista praćenja učinjena tako što bliže implementaciji, zato se nadaju da će se osigurati najtačniji i najtačniji i najtačniji i najtačniji i najtačniji slike koje se dodaju dodavanje osoba koje se dodaju prenose”.
Međutim, napomenuo je da EIA ne spominju specifične kriterije za stvaranje praćenja izvan visokih “kategorija slika” koje se mogu uključiti, te tvrdeći utjecaj na taj proces.
Na primjer, ne smatra kako bi ljudi iz određene etničke manjine ili vjerske pozadine mogli biti neproporcionalno utjecali kao rezultat njihovog preglede u policijskim bazama podataka ili izdanje nezakonitog pritvorskog imanja zadržavanja u kojem se u zemlji ilegalno drži milione sastojke ilegalne u nacionalnoj bazi podataka (PND).
Dok zapisnike sastanka etičkog panela nudi veći uvid u to kako Essex policija približava stvaranje liste praćenja, pitanje za zadržavanje skrbništva također se ne spominje.
Odgovarajući na pitanja kompjuterskog tjednika o minutima sastanka i nedostatkom nadzora ključnih pitanja vezanih za UK policiju LFR-a, glasnogovornica Essex-a rekao je: “Naši politici i procesi oko upotrebe prepoznavanja livenog lica pažljivo se pregledaju putem temeljne etičke ploče.”
Proporcionalnost i nužnost: slučaj sautendije ‘inteligencije
Umjesto toga, objasnio je službenik koji je objasnio kako se očaravaju liste i raspoređivanje odlučuju na temelju “slučaja inteligencije”, koji tada mora biti opravdan kao proporcionalan i potreban.
Na “Slučaju” Southenda Intelligence “, rekao je da bi službenik navodi da raspoređivanje u centru grada bude dozvoljeno jer je” tu je najviše stopala, najveća prilika za pronalaženje izvanrednih osumnjičenih “.
Dodali su: “Lista začu [then] mora biti opravdano ključnim elementima, svrha rada policije. Sve mora biti proporcionalno i strogo neophodno da bi moglo biti raspoređivanje … ako je zapovjednik u Southend rekao, “Želim da stavim svima koji su željeli za kupovinu širom Essexa na listi za satoku”, odgovor bi bio ne, jer je to potrebno? Verovatno ne. Da li je proporcionalna? Mislim da nije. Da li bi bilo proporcionalno imati pojedince koji su izvanredni za kupovinu iz područja Southenda? Da, jer je to lokalno. “
Međutim, oficir je također rekao da bi se u većini prilika, sustavi bili raspoređeni kako bi uhvatili “naše najteže prekršitelje”, jer bi to bilo lakše opravdati sa stanovišta javne percepcije. Oni su dodali da bi tokom ljeta bilo lakše opravdati raspoređivanje zbog sezonskog porasta stanovništva u jugu.
“Znamo da postoji opći porast nasilja tokom tih meseci. Dakle, ne trebamo da se spuštamo na korov da posebno gledamo na tužnu tjelesnu povredu [GBH] ili ubojstvo ili silovanje, jer nisu nužno potaknuli šiljkom u smislu sezonalnosti, na primjer, “rekli su.
“Međutim, znamo da se opća populacija značajno povećava, nivo nasilja značajno se povećava, što bi opravdalo da bih mogao teškim zločinima na tu pratu.”
Komentirajući odgovore dane etičkoj ploči, Yeung je rekao da “nije uspeo da mi u potpunosti pruži povjerenje da će njihove predložene raspoređivanje imati potrebne zakonske zaštitne mjere”.
Prema podacima Žalbenog suda protiv Južne Velsene policije u predmetu Bridges, politika priznavanja lica sile sadržavala je “temeljne nedostatke” u odnosu na “tko” i “gde” pitanje LFR-a.
“U odnosu na oba pitanja, prevelika diskrecija trenutno je prepuštena pojedinim policajcima”, rečeno je. “Nije jasno ko se može postaviti na listu praćenja, niti je jasno da postoje kakvi kriteriji za određivanje gde AFR [automated facial recognition] može se rasporediti. “
Yeung je dodao: “Isto se odnosi i na ove odgovore policijskih snaga Essex-a, ne adekvatno odgovoriti na” tko “i” gdje “pitanja koja se tiču njihovih predloženih raspoređivanja priznanja lica.
“Još gore, Sud je izjavio da lokalne politike policije mogu zadovoljiti samo zahtjeve koje su iz privatnosti iz upotrebe LFR-a” propisane zakonom “da li su objavljene.
Yeung je dodao da je u rukama pojedinih policajaca u rukama pojedinačnih policajaca zadivljeno korištenje policije Tehnologije.
Svaka odluka … mora biti navedena unaprijed, dokumentovana i opravdana u skladu s testovima proporcionalnosti i potrebe. Ne vidim ništa od toga Karen Yeung, Birmingham Pravni fakultet
“Svaka odluka – gde ćete rasporediti, čije se lice postavlja na baču lista i zašto, i trajanje implementacije – moraju biti navedene unaprijed, dokumentovano i opravdano u skladu sa ispitivanjima proporcionalnosti i potrebe”, rekla je.
“Ne vidim ništa od toga. Jednostavno postoji nejasno tvrdnje da” pobrinut ćemo se da primjenjujemo pravni test “, ali kako? Oni samo nude netaknute obećanja da će” pridržavati zakona “bez navođenja na koji će oni to učiniti ispunjavanjem posebnih zakonskih zahtjeva”.
Yeung dodatno je dodao da ove dokumente ukazuju na policijske snage ne traže određene ljude koji žele za teške zločine, ali postavljanje dražeh za širok izbor “željenih” pojedinaca, uključujući one koji su željeli za nerege zločina poput kupovine.
“Mnogo je plahtitaca o etičkom, ali nema ništa konkretno što ukazuje kako oni predlažu da ispune pravne testove potrebe i proporcionalnosti”, rekla je ona.
“U liberalnoj demokratskoj društvima, svaka jedina odluka o pojedincu policije napravljena bez njihovog saglasnosti mora biti opravdana u skladu sa zakonom. To znači da policija mora biti u stanju opravdati i braniti razloge zbog kojih se lista za prepoznavanje lica prenosi na pravni test, na osnovu njihovih specifičnih operativnih svrha.”
Yeung je zaključio da, pod pretpostavkom da to mogu učiniti, policija također mora razmotriti utjecaje na jednakost i kako će različite grupe vjerojatno utjecati njihova praktična implementacija: “Ne vidim ništa od toga”.
Kao odgovor na zabrinutosti oko izrade, proporcionalnost i potreba, portparol Essex-a, rekavši: “Glavni spiskovi za svako raspoređivanje stvorene za identifikaciju pojedinih ljudi za određene zločine i da se navode naređenju krivičnih djela koja navode najviše štete našim zajednicama, uključujući naša marljiva preduzeća.
“To uključuje nasilni zločin, drogu, seksualni prekršaji iz trgovina. Kao rezultat naših implementacije, uhapšeni su ljudi koji su želeli u vezi s pokušajem ubojstva, opskrbe o ubojstvu, prekršaj za drogu i pogoršane provale.
