Za AI agente je potrebno bolje upravljanje

Upravljanje rizicima u nastajanju

Pa kako AI agenti mogu predstavljati rizik za vašu organizaciju? Za početak mogu se nenamjerno dati pristup, tokom svog razvoja, na interne podatke koje jednostavno ne bi trebali dijeliti. Umjesto toga, trebali bi imati samo pristup bitnim podacima i podijeliti ga sa onima ovlaštenim da ga vide preko sigurnih komunikacijskih kanala i sa sveobuhvatnim mehanizmima upravljanja podacima na mjestu.

Uz to, agenti se mogu zasnivati ​​na osnovnim modelima AI i mašinskih učenja koji sadrže ranjivosti. Ako su eksploatirali hakeri, to bi mogle dovesti do daljinskog izvršenja i neovlaštenog pristupa podacima.

Drugim riječima, ranjivi agenti mogu se namamiti u interakcije sa hakerima na načine koji vode do dubokih rizika. Na primjer, odgovori agenta koji su dostavili agent mogli su manipulirati zlonamjernim ulazima koji ometaju svoje ponašanje. Brzo ubrizgavanje ove vrste može usmjeriti temeljni jezik jezika za zanemariti prethodna pravila i upute i usvojiti nove, štetne. Slično tome, zlonamjerni unosi mogu koristiti i hakeri za pokretanje napada na temeljne baze podataka i web usluge.

Poruka mojim kolegama i profesionalacima za sigurnost trebala bi biti jasna: rigorozna procjena i praćenje u stvarnom vremenu su najvažnije za Inicijative AI i GENAI, posebno rukovanje agentima koji se bave interakcijama, zaposlenima i partnerima, kao što je to bilo koji drugi oblik korporativnog jezika.

Ne dozvolite da AI agenti postanu vaše slijepo mesto

Predložio bih da najbolje mjesto za početak može biti sa sveobuhvatnom revizijom postojećih AI i geneine imovine, uključujući agente. To bi trebalo osigurati iscrpan popis svakog primjera koji će se naći unutar organizacije, zajedno s popisom izvora podataka za svaku i sučelje za programiranje aplikacija (API-je) i integracije povezane s njom.

Da li agentne sučelje sa HR, računovodstvenim ili inventarskim sistemima, na primjer? Da li su uključeni podaci trećih strana koji su uključeni u osnovni model koji pokreće njihove interakcije ili podatke okidaju s Interneta? Ko komunicira sa agentom? Koje vrste razgovora je agent ovlašten za imati različite vrste korisnika ili oni imaju sa agentom?

Trebalo bi da ne kažem da organi organizacije grade svoje, nove AI aplikacije iz temelja, Cisosa i njihovih timova trebale bi raditi direktno sa AI timom iz najranijih faza, kako bi se osiguralo da se ciljevi privatnosti, sigurnosti i usklađivanja, osiguravaju da se ciljevi privatnosti, sigurnosti i usklađenosti, direktno primjenjuju.

Nakon implementacije, IT sigurnosni tim trebao bi imati tehnologije pretraživanja, opasnosti i sigurnosti za kontinuirano nadgledanje aktivnosti i performansi agenta. Oni bi trebali biti korišteni za spoti anomalije u prometnim tokovima, ponašanju korisnika i vrstama razmjene informacija – i naglo zaustaviti te razmjene gdje postoje osnova za sumnju.

Sveobuhvatna evidencija ne omogućava jednostavno ne omogućavaju sigurnosnim timovima da otkrije zloupotrebe, prevare i kršenja podataka, ali također pronalaze najbrže i najefikasnije sanacije. Bez njega, agenti bi mogli biti uključeni u redovne interakcije s pogrešnim izvršima, što dovodi do dugoročne exfiltracije ili izloženosti podataka.

Nova fronta za sigurnost i upravljanje

Konačno, Ciso i njihovi timovi moraju paziti na takozvanu Shadow Ai. Baš kao što smo vidjeli da zaposleni usvajaju alate za softver-AS-A-A-Service često usmjerene na potrošače, a ne organizacije, a ne da bi dobili posao, mnogi sada uzimaju maverick, neovlašteni pristup za usvajanje alata koji su omogućili bez sankcije ili nadzora organizacijskog IT tima.

Onus je na IT sigurnosnim timovima za otkrivanje i izlaganje sjeni Ai gdje god se pojavi. To znači identificiranje neovlaštenih alata, procjenjujući sigurnosne rizike koje predstavljaju i preuzimaju brzu radnju. Ako rizici jasno nadmašuju prednosti produktivnosti, ti alati trebaju biti blokirani. Ako je to moguće, timovi bi trebali voditi i zaposlenike prema sigurnijim, sankcioniranim alternativama koje ispunjavaju sigurnosne standarde organizacije.

Konačno, važno je oprezno da se samo zato što komunicira sa agenim agentom može osjetiti kao redovan ljudski razgovor, agenti nemaju ljudsku sposobnost da vrše diskrecijsku presudu, oprez ili savjest u tim interakcijama. Zbog toga je jasno upravljanje neophodnim, a korisnici također moraju biti svjesni da bi se bilo što podijeljeno s agentama moglo pohraniti, pojaviti ili izložiti na načine na koje nisu namjeravali.