dudlajzov – stock.adobe.com
Model mašinskog učenja koji koristi švedska agencija za socijalno osiguranje za označavanje prijevare beneficija ukinut je nakon istrage medija i državnog nadzornog tijela za zaštitu podataka
By
- Sebastian Klovig Skelton,Urednik podataka i etike
Objavljeno: 20 nov 2025 14:45
Model “diskriminatorne” umjetne inteligencije (AI) koji je koristila švedska agencija za socijalno osiguranje za označavanje ljudi radi istraga o prijevari s beneficijama suspendovan je nakon intervencije Državnog tijela za zaštitu podataka (IMY).
Počevši od juna 2025. godine, učešće IMY-a potaknuto je nakon što je zajednička istraga koju su sproveli Lighthouse Reports i Svenska Dagbladet (SvB) otkrila u novembru 2024. da je sistem mašinskog učenja (ML) koji koristi Försäkringskassan, Švedska agencija za socijalno osiguranje, bio nesrazmjerno i pogrešno vođen istragom nad određenim grupama.
Ovo je uključivalo žene, pojedince sa „stranim” porijeklom, osobe s niskim primanjima i osobe bez fakultetske diplome. Mediji su takođe otkrili da je isti sistem u velikoj meri neefikasan u identifikaciji muškaraca i bogatih ljudi koji su zaista počinili neku vrstu prevare u socijalnom osiguranju.
Ovi nalazi su podstakli Amnesty International da u novembru 2024. javno pozove na hitno ukidanje sistema, što je u to vrijeme opisao kao „dehumaniziranje“ i „slično lovu na vještice“.
Uveden od strane Försäkringskassan 2013. godine, sistem zasnovan na pranju novca dodeljuje ocene rizika podnosiocima zahteva za socijalno osiguranje, što onda automatski pokreće istragu ako je ocena rizika dovoljno visoka.
Prema blogu koji je IMY objavio 18. novembra 2025., Försäkringskassan je posebno koristila sistem za provođenje ciljanih provjera primatelja privremenih naknada za izdržavanje djece – koje su dizajnirane da nadoknade roditeljima za odsustvo s posla kada moraju brinuti o svojoj bolesnoj djeci – ali je prestala da ga koristi u toku istrage.
“Dok je inspekcija bila u toku, Švedska agencija za socijalno osiguranje izuzela je AI sistem iz upotrebe”, rekao je IMY advokat Måns Lysén. “Budući da se sistem više ne koristi i da su svi rizici sa sistemom prestali, procijenili smo da možemo zatvoriti slučaj. Lični podaci se sve više obrađuju pomoću AI, tako da je dobrodošlo da se ova upotreba prepoznaje i raspravlja. I vlasti i drugi moraju osigurati da je korištenje AI u skladu s GDPR-om [General Data Protection Regulation] a sada i AI regulativa, koja postepeno stupa na snagu.”
IMY je dodao da Försäkringskassan “trenutno ne planira da nastavi sa trenutnim profilom rizika”.
Prema Zakonu o umjetnoj inteligenciji Europske unije, koji je stupio na snagu 1. augusta 2024., korištenje AI sistema od strane javnih tijela za utvrđivanje pristupa osnovnim javnim uslugama i beneficijama mora zadovoljiti stroga tehnička pravila, pravila transparentnosti i upravljanja, uključujući obavezu nositelja da izvrše procjenu rizika za ljudska prava i jamče da postoje mjere za ublažavanje prije nego što ih koriste. Zabranjeni su posebni sistemi koji se smatraju alatima za društveno bodovanje.
Computer Weekly je kontaktirao Försäkringskassan u vezi sa suspenzijom sistema i zašto je odlučio da prekine njegovu upotrebu prije nego što je IMY-ova inspekcija završena.
„Prestali smo da koristimo profil za procenu rizika kako bismo procenili da li je u skladu sa novom evropskom regulativom o veštačkoj inteligenciji“, rekao je portparol. „U ovom trenutku nemamo planove da ga vratimo u upotrebu jer sada dobijamo podatke o odsustvu od poslodavaca, između ostalih podataka, za koje se očekuje da će pružiti relativno dobru tačnost.”
Försäkringskassan je ranije rekla za Computer Weekly u novembru 2024. da “sistem funkcioniše u potpunoj saglasnosti sa švedskim zakonom” i da će ih aplikanti koji imaju pravo na beneficije “dobiti bez obzira na to da li je njihova prijava označena”.
Kao odgovor na tvrdnje Lighthousea i SvB-a da agencija nije bila potpuno transparentna u vezi sa unutrašnjim radom sistema, Försäkringskassan je dodala da bi „otkrivanje specifičnosti načina na koji sistem funkcioniše moglo omogućiti pojedincima da zaobiđu detekciju“.
Slični sistemi
Slični sistemi zasnovani na veštačkoj inteligenciji koje druge zemlje koriste za distribuciju beneficija ili istragu prevara suočili su se sa sličnim problemima.
U novembru 2024., na primjer, Amnesty International je razotkrio kako alati umjetne inteligencije koje koristi danska agencija za socijalnu skrb stvaraju poguban masovni nadzor, rizikujući diskriminaciju osoba s invaliditetom, rasnih grupa, migranata i izbjeglica.
U Ujedinjenom Kraljevstvu, interna procjena Odjeljenja za rad i penzije (DWP) – objavljena u skladu sa pravilima o slobodi informacija za Projekt javnog prava – pokazala je da sistem pranja novca koji se koristio za provjeru hiljada isplata Univerzalnih kredita pokazuje „statistički značajne“ disparitete pri odabiru koga treba istražiti zbog moguće prevare.
Izvršena u februaru 2024. godine, procjena je pokazala da postoji „statistički značajno upućivanje… i disparitet ishoda za sve analizirane zaštićene karakteristike“, što uključuje starost, invaliditet, bračni status i nacionalnost ljudi.
Grupe za građanska prava su kasnije kritizirale DWP u julu 2025. zbog “zabrinjavajućeg nedostatka transparentnosti” oko toga kako ugrađuje AI u sistem socijalnog osiguranja u Velikoj Britaniji, koji se koristi za određivanje podobnosti ljudi za šeme socijalnog osiguranja kao što su univerzalni kredit ili plaćanje lične nezavisnosti.
U odvojenim izvještajima objavljenim otprilike u isto vrijeme, i Amnesty International i Big Brother Watch istakli su jasne rizike pristrasnosti povezane s korištenjem AI u ovom kontekstu, i kako tehnologija može pogoršati već postojeće diskriminatorne rezultate u sistemu beneficija u UK.
Pročitajte više o umjetnoj inteligenciji, automatizaciji i robotici
-
Top 10 evropskih IT priča 2025
Autor: Karl Flinders
-
Amnestija: nadzor umjetne inteligencije riskira ‘nadopunjavanje’ američkih deportacija
Autor: Tiago Ventura
-
Kako poboljšati OSINT istrage koristeći AI
Autor: Nihad Hassan
-
Poređenje vrhunskih certifikata za upravljanje identitetom i pristupom
Autor: Paul Kirvan