AI za dobro: Predsjednik signala upozorava na mana age AI sigurnosti

Predsjednik Sigurne aplikacije za razmjenu poruka upozorio je na sigurnosne implikacije agenta AI, gdje umjetna inteligencija (AI) mogu pristupiti sistemima kako bi pomogli ljudima da postignu određene zadatke.

U “delegiranim odlukama, pojačanoj riziku” na Ujedinjenim narodima AI za dobar samit, Meredith Whittaker govorio je o tome kako bi sigurnost signala i drugih aplikacija kompromitirala age. Ona je rekla da industrija troši milijarde na napredovanje AI i kladio se na razvoj moćnih posrednika.

Kao primjer pristupa koji AI agenti zahtijevaju, rekla je: “Da biste rezervaciji za restoran, morali imati pristup vašem pretraživaču kako bi pretražio restoran, a mora imati pristup vašoj listi kontakata i vašim porukama, tako da mogu poslati vaše prijatelje.

“Imati pristup signalu u konačnici bi narušio našu sposobnost na aplikacijskom sloju da pruži robusnu privatnost i sigurnost.”

Whittaker je napomenuo da AI agenti obavljaju svoj posao autonomno bez interakcije korisnika, oni zahtijevaju rašireni pristup na razini korijena u IT sisteme korisnika. Takav pristup, kao što je Whittaker naglasio, na neki način ide protiv najbolje prakse za Cyber ​​sigurnosti “na način da bilo koji istraživač bezbednosti ili inženjera ovdje zna upravo je vrsta vektora u kojem se može dovesti do znatno osetljive domene pristupa”.

Drugi sigurnosni rizik od agenta AI je da stare biblioteke softvera i sistemske komponente možda nisu baš sigurne. “Kada date agentu AI sustav pristup toliko svog digitalnog života, ovaj prožimajući pristup stvara ozbiljan vektor napada [to target] Sigurnosne ranjivosti “, upozorila je.

Aplikacija za razmjenu signala, poput ostalih aplikacija, radi na aplikacijskom sloju operativnog sistema i posebno je dizajniran da ne koristi “root” pristup da se izbegavaju Cyber ​​Sigurnosni rizici.

“Aplikacija za messenger signal koju koristite izgrađena je za iOS ili Android, ili radno računarski sistem, ali ni u jednom od tih okruženja neće imati korijenski pristup cijelom sistemu. Ne može pristupiti podacima u vašem kalendaru.” – rekao je Whittaker.

Kada dajete agentu AI sustavu u tolikoj veličini vašeg digitalnog života, ovaj rašireni pristup stvara ozbiljan vektor napada [to target] Sigurnosne ranjivosti

“Mjesto na kojem signal može garantovati vrstu sigurnosti i privatnosti koji vlade, militeri, radnici za ljudska prava, radnici UN-a i novinari su u aplikacijskom sloju”, rekla je ona.

Ali AI agenti moraju raditi oko ovih sigurnosnih ograničenja. “Govorimo o integraciji ovih agenata, često na nivou operativnog sistema, gdje se dobijaju dozvola u aplikacijskom sloju”, upozorila je.

Za Whittaker, način na koji se razvijaju agenti bi trebali biti zabrinutost za bilo koga čije aplikacije rade na aplikacijskom sloju u operativnom sistemu, što je slučaj za većinu ne-sistemskih aplikacija.

“Mislim da se ovo tiče, ne samo za signal, već za bilo koga čija tehnologija postoji na aplikacijskom sloju”, rekla je.

Koristila je Spotify kao primjer, rekavši da ne želi pružiti svakom drugom pristupu kompaniji svim svojim podacima. “To su vlasničke informacije, algoritmi koje vam koristi za prodaju oglasa. Ali agent sada dolazi kroz obećanje da će kupatili popis za reprodukciju i pošalji ga svojim prijateljima, a agent sada ima pristup svim tim podacima.”

Whittaker je upozorio i vlade rizika kojima se suočavaju prilikom raspoređivanja AI sistema da pristupe geopolitički osjetljivim informacijama, što koristi aplikacijsko programiranje sučelja (API) od jednog od velikih tehnoloških pružatelja usluga.

“Kako pristupa podacima u vašim sustavima? Kako se objedinjuje taj podaci? Znamo da je bazen podataka sashot i može biti primamljiv resurs”, rekla je.

AI sustavi su vjerojatni i crpe na različitim skupovima podataka o treningu kako bi se riješili uvjerljiv odgovor na korisnički upit.

“AI nije čarobna stvar”, dodao je Whittaker. “To je pregršt statističkih modela, a AI agenti se obično temelje na brojnim različitim vrstama AI modela umotanih u neki softver.”

Pozvala je delegate koji smatraju agentiku AI za procjenu pristupa podacima, ovi sustavi zahtijevaju i razumiju kako postižu svoje rezultate.

Način na koji su modeli AI obučeni za sadržaj preduzeća bio je tema nedavnog računarskog tjedne podcasta sa Gartner Analitijom Nader Heinenom, koji je razgovarao o potrebi za kontrolom pristupa unutar AI motora, tako da može razumjeti koje su podaci korisnik ovlašteno za vidjeti.

Heinen je upozorio da ako takva kontrola pristupa ne bude ugrađena u AI motor, postoji vrlo stvarni rizik da će nehotice otkriti informacije ljudima koji ne bi trebali imati pristup tim informacijama.

Jedan prilaz Heinen vidi kao mogući način da se izbjegne interna curenja podataka je da implementiramo male jezične modele. Ovdje su različiti AI modeli obučeni i raspoređeni, zasnovani na podskupovima podataka preduzeća, koji se usklađuju s politikama pristupa podacima za kategorije korisnika.

Heinen je rekao da takva politika može biti nevjerovatno skupa i nevjerovatno složena, ali dodana: “To može biti i put naprijed za puno slučajeva.”

Glavni ai pružatelji AI takođe prodaju neke od ove tehnologije u odbrambeni sektor. To je nešto što je jedan prezentator na AI-u za dobru konferenciju pozvao delegate da budu oprezni.

Kako se podaci ovi dobavljači prikupljaju svaki put kada se koristi AI API je nešto što svaki poslovni donositelj odluka i stručnjak za cyber sigurnosti u privatnom i javnom sektoru treba uzeti u obzir.

Pročitajte više o IT upravljanju

• Sigurnosni rizici u agentički AI sistemima i kako procijeniti prijetnje

  Napisao: Nihad Hassan

• OKAK: AI usvajanje goriva za upravljanje identitetom

  Napisao: Brian McKenna

• AI agenti i upravljanje podacima Divlje zapad

  Napisao: Brian McKenna

• Rogue Agenti: Kako organizacije mogu upravljati hiljadama novih mikro donosioca odluka?

  Napisao: Brian McKenna