Testiranje sistema za prepoznavanje lica uživo (LFR) u stvarnom svijetu od strane britanske i europske policije uglavnom je neuređeni “Divlji zapad”, gdje se tehnologija testira na lokalnom stanovništvu bez adekvatnih mjera zaštite ili nadzora, kažu univerzitetski istraživači.
Prema komparativnoj studiji LFR ispitivanja od strane agencija za provođenje zakona u Londonu, Walesu, Berlinu i Nici, iako je testiranje “u divljini” važna prilika za prikupljanje informacija o tome kako sistemi zasnovani na umjetnoj inteligenciji (AI) kao što je LFR funkcionišu u realnim okruženjima za implementaciju, ispitivanja koja su do sada provedena nisu uspjela tako jasno generirati uticaj na korištenje ili korištenje tehnologije u obzir dokaz o operativnim koristima.
Rad – koji su objavili Karen Yeung, interdisciplinarna profesorica prava, etike i informatike na Pravnom fakultetu u Birminghamu, i Wenlong Li, profesor istraživanja na Pravnom fakultetu Guanghua, Univerzitet Zhejiang – dodali su da moraju postojati jasne smjernice i okviri upravljanja kako bi se osiguralo da se suđenja vode u „pravno odgovornom čovjeku i epistemi“.
Bez toga, autori su rekli „zabrinuti smo da će takvi testovi biti nešto više od ‘show suđenja’ – javni nastupi koji se koriste da se legitimira upotreba moćnih i invazivnih digitalnih tehnologija kao podrška kontroverznim političkim agendama o kojima nedostaju javna debata i promišljanje, dok se produbljuje vladino oslanjanje na komercijalno razvijene tehnologije koje su daleko ispod zakonskih i ustavnih standarda koji se traže od javnih vlasti”.
Da bi se osiguralo da postoji odgovorno ispitivanje LFR sistema, Yeung i Li su rekli da je “od vitalnog značaja” da se pravilno razmotre “veoma moćna, nametljiva i skalabilna svojstva” LFR-a, posebno s obzirom na njegovu sposobnost zloupotrebe i prekoračenja na načine koji ometaju prava na privatnost, slobodu izražavanja, slobodu okupljanja i obavljanje nečije zakonite aktivnosti u javnosti bez nepravednog miješanja države.
S obzirom na obim miješanja u ljudska prava, autori su rekli da dokazi o efikasnosti tehnologije u stvaranju željenih prednosti „moraju prijeći izuzetno visok prag“ ako policija želi da opravda njenu upotrebu.
Dodali su da bi bez rigoroznog i potpunog obračuna efekata tehnologije – što se trenutno ne dešava ni u Velikoj Britaniji ni u Evropi – to moglo dovesti do “postepenog i podmuklog uklanjanja” uslova koji su u osnovi naših prava i sloboda.
„Ako želimo ozbiljno shvatiti našu osnovnu slobodu da obavljamo svoje zakonito poslovanje na javnim prostorima bez uplitanja države i mogućnost samostvaranja i razvoja koju ta sloboda pruža, onda moramo biti na oprezu“, rekli su.
“Ovo uključuje potrebu da se ove tehnologije testiraju na odgovoran način kako bi se pokazalo da one zapravo stvaraju vrijedne društvene koristi, s obzirom na njihove ekonomske i druge troškove, te da se takva testiranja poduzmu odgovorno.”
Problematična suđenja
Ističući primjer Met-ovih LFR ispitivanja – sprovedenih u 10 raspoređivanja između 2016. i 2020. – Yeung i Li su rekli da je karakterizacija ovih testova kao „suđenja“ „ozbiljno upitna“ s obzirom na njihovu sličnost sa aktivnim policijskim operacijama.
“Iako su opisani kao ‘suđenja’ kako bi se javno naznačilo da njihova upotreba u ovim prilikama nije nužno odražavala odluku o usvajanju i implementaciji FRT-a na trajnoj osnovi, oni su bili definitivno ‘stvarni’ u pravnim i društvenim posljedicama za one čija su lica izazvala upozorenje na utakmicu”, napisali su, dodajući da to znači da su suđenja bila ograničena na sisteme, a ne na procjenu operativnog učinka sistema u odnosu na pokušaj hapšenja (procjenu operativne organizacije u odnosu na pokušaj hapšenja). širi je društveno-tehnički procesi i uticaji.
„Primarna korist za koju se obično pretpostavlja da proizlazi iz upotrebe FRT uživo je poboljšani kapacitet zaidentifikovatiiprivestitražene osobe čije su slike lica pohranjene na listama praćenja FRT-a. Bilo dazapravogenerira ove organizacijske prednosti u stvarnom svijetu ostaje nepoznat i nije sistematski testiran”, rekli su.
Autori su dalje dodali da iako prevođenje automatiziranih LFR upozorenja u zakonita hapšenja zahtijeva uspješnu integraciju više tehničkih, organizacionih, ekoloških i ljudskih komponenti, Meta ovo nije adekvatno shvatio.
Na primjer, primijetili su da s obzirom na mogućnost pogrešnih podudaranja, samo generiranje LFR upozorenja samo po sebi nije dovoljno da predstavlja razumnu sumnju (koju policija Ujedinjenog Kraljevstva mora pokazati kako bi legalno zaustavila i pritvorila ljude).
“Iako policajci u Engleskoj i Walesu imaju pravo zaustavljati pojedince i postavljati im pitanja o tome ko su i šta rade, pojedinci nisu u obavezi da odgovaraju na ova pitanja u nedostatku osnovane sumnje da su umiješani u počinjenje krivičnog djela”, napisali su.
„Prema tome, svaki početni pokušaj policijskih službenika da zaustave i ispitaju osobu čije lice odgovara listi praćenja mora biti poduzeto na osnovu toga da pojedinac nije zakonski obavezan da sarađuje samo iz tog razloga.”
‘Prezumpcija da interveniše’
Međutim, uprkos tome što su zahtijevali razumnu sumnju, Yeung i Li su dodali da su prethodne procjene londonskih suđenja identifikovale uočljivu “prezumpciju da intervenišu” među policajcima, što znači da je standardna praksa da angažuju pojedinca ako im je to rekao algoritam.
S obzirom na nijansiranu dinamiku u radu LFR-a, rad naglašava potrebu za jasnom organizacionom politikom, operativnim protokolima i odgovarajućom obukom oficira.
Yeung i Li su također napomenuli da, iako je otkrivanje traženih pojedinaca bio navedeni cilj londonskih suđenja, te snage i njeni predstavnici zahtijevaju niz sporednih koristi, poput ometanja i odvraćanja od kriminala, koje još nisu dokazane.
„Efekte odvraćanja često je teško potkrijepiti, čak i kada su očigledni, i iako je LFR bio opravdan na osnovu ‘uvjeravanja zajednici pružanjem vidljivog simbola da se bori protiv kriminala’, nisu pruženi dokazi koji bi podržali takve tvrdnje da je LFR imao pozitivan učinak u ublažavanju straha od kriminala”, rekli su.
Yeung i Li su dodali da čak i kada je Nacionalna fizikalna laboratorija (NPL) provela nezavisne procjene, u izvještaju iz 2019. stoji “hrabra izjava da ‘pokusi pokazuju da će LFR pomoći MPS-u da zaustavi opasne ljude i učini London sigurnijim’ bez pružanja bilo kakvih konkretnih dokaza o tome kako se dolazi do ovog zaključka”.
Autori su na sličan način bili kritični prema policiji Južnog Velsa (SWP) – koja je sprovela 69 „operativnih“ ispitivanja između 2017. i 2020. godine – napominjući da istraživači sa Univerziteta u Cardiffu koji su učestvovali u kreiranju nezavisne evaluacije testova „nisu u stanju da kvantifikuju šta je, ako je uopšte imalo, uticaj tehnologije na prevenciju kriminala“.
Oni su dalje istakli nedostatak strogosti u kreiranju SWP-ove liste posmatranja, posebno u pogledu kvaliteta uključenih slika i ukupne veličine lista, koje su se veoma razlikovale.
„Čak su i istraživači iz Cardiffa koji su ocjenjivali suđenja izjavili da nisu bili u mogućnosti da precizno identifikuju kako i zašto su veličina i sastav liste za praćenje važni, iako se „čini da to čini razliku“, a istovremeno su preporučili da se „odluke o veličini i sastavu liste za praćenje“ stave na uvid javnosti“, rekli su, dodajući da je izvještaj zaključen „realističkim pristupom i pozivom na policiju za procjenu L.
Dalje komentarišući „operativni“ probni pristup Meta i SWP-a, autori su dodali da se kao rezultat toga „lažno negativi nisu mogli identifikovati i izmeriti“.
„Drugim riječima, broj pojedinaca čije su slike lica uključene na listu za praćenje FRT-a i koji su prošli ispred kamere bez aktiviranja uzbune (tj. ‘onih koji su pobjegli’) nije mogao biti otkriven i izmjeren”, rekli su.
„Dakle, rezultati dobijeni iz londonskog i velškog ispitivanja su bilinezapravo pokazatelji tačnosti softverskog podudaranja, jer su mogli generirati samo podatke koji se tiču zabilježenih istinitih i lažnih pozitivnih rezultata.”
Dalje komentarišući validnost procjena NPL-a, Yeung i Li su napomenuli da se ne pominje ništa o lažno negativnim rezultatima, „vjerovatno zato što ovi podaci nisu mogli biti prikupljeni s obzirom na to da su testovi dizajnirani da identifikuju i prihvate ‘žive’ mete”.
Potrebne socio-tehničke evaluacije
Za razliku od britanskih LFR ispitivanja, Yeung i Li su istakli kako su suđenja u Nici i Berlinu koristila volontere koji su dali informirani pristanak, a ne slučajne nesuđene članove javnosti, i nastojali su procijeniti njihov funkcionalni učinak u tehničkom, a ne u operativnom smislu.
Međutim, svaki slučaj je imao i svoje probleme. U Nici je, na primjer, bilo uključeno samo osam volontera, dok je kasnije otkriveno da volonteri u Berlinu – koji su također bili pomiješani s prolaznicima koji nisu dali pristanak – nisu bili obaviješteni o “punom spektru ličnih podataka prikupljenih o njima”, uključujući njihovu brzinu i temperaturu koju su bilježili predajnici.
Uprkos skromnijim ciljevima pokusa u Berlinu i Nici da testiraju tehničku funkcionalnost sistema – u poređenju sa pokusima sprovedenim u Londonu i Velsu koji su nastojali da testiraju sisteme u radnim okruženjima uživo – autori su bili jasni da pokusi u Berlinu i Nici na sličan način nisu uzeli u obzir šire društveno-tehničke sisteme u koje je LFR ugrađen.
„Nijedno od ovih ispitivanja nije proizvelo jasne dokaze da je tehnologija zaista pružila koristi u stvarnom svijetu u obliku poboljšanjaoperativnu efikasnost u lociranju, identifikaciji i hapšenju osumnjičenih za krivična djela od strane organa za provođenje zakona, niti koliko”, rekli su.
Yeung i Li su zaključili da, iako upotreba LFR-a od strane policije stvara “mnoštvo značajnih, ali trnovitih pravnih i etičkih opasnosti”, policijske agencije koje ih žele primijeniti još uvijek ih nisu shvatile.
“Barem za tehnologije koje napadaju prava prava, posebno biometrijske sisteme nadzora koji se mogu primijeniti na daljinu, kao što je FRT uživo, moramo insistirati na dokazima o koristima u stvarnom svijetu tako da se njihov negativan utjecaj na osnovna prava i demokratske slobode može opravdati u skladu s pravnim testovima nužnosti i proporcije”, rekli su.
“Drugim riječima, uspostavljanje pouzdanosti FRT-a uživo zahtijeva više od dokaza o mogućnostima softvera uparivanja na terenu. Također zahtijeva testiranje da li se softver može uspješno integrirati u složeni organizacijski, ljudski i društveno-tehnički sistem kako bi se generirale očekivane koristi za organizaciju koja se implementira koja se može vjerodostojno smatrati kao temeljna prava uz poštovanje temeljnih prava.”
Met i SWP odgovaraju
Odgovarajući na papir, glasnogovornik Met Police je rekao: “Vjerujemo da je naša upotreba LFR-a i zakonita i proporcionalna, i igra ključnu ulogu u očuvanju sigurnosti stanovnika Londona. Priznajemo da je rano operativno testiranje LFR-a u periodu od 2016. do 2020. bilo ograničeno.
“Zbog toga smo naručili Nacionalnu fizikalnu laboratoriju da izvrši nezavisna testiranja. To je pomoglo Metu da shvati kako upravljati tehnologijom na pošten i pravičan način.”
Dodali su da kako je sticano više operativnog iskustva, uspjeh raspoređivanja se povećavao. „Krajem 2023. prešli smo na strategiju raspoređivanja LFR-a na žarišta kriminala širom Londona“, rekli su. „Mi veoma blisko sarađujemo sa zainteresovanim stranama i zajednicom y, i vide snažnu podršku razvoju ove tehnologije.”
Snage su dodale da je do sada u 2025. bilo samo 12 lažnih upozorenja, dok je tehnologija skenirala više od 2,5 miliona lica ljudi, a da je od početka 2024. upotreba LFR-a dovela do hapšenja preko 1.300 osoba.
Takođe je naglašeno Ankete o stavovima javnosti koji je naručio Ured gradonačelnika za policiju i kriminal u posljednjem tromjesečju 2024. godine, što je pokazalo da 84% anketiranih podržava korištenje tehnologije za posebno identifikaciju ozbiljnih i nasilnih kriminalaca, lociranje onih koje traže sudovi i lociranje onih koji su u opasnosti za sebe.
Odgovarajući na papir, SWP je rekao da je LFR testiranje nezavisno sprovela NPL.