Kako AI može napasti korporativno odlučivanje

S obzirom da je cilj razvoja generativne umjetne inteligencije (GENAI) modela uzimanja ljudskih uputstava i pružiti korisnu aplikaciju, što se događa ako su te ljudske upute zlonamjerne? To je bilo postavljeno pitanje tokom demonstracije ranjivosti AI predstavljenih u Centru za nastajanje tehnologije i sigurnosti (CETAS) izlog 2025 događaj u Londonu.

“Jezički model dizajniran je za sumiranje velikih količina informacija”, rekao je Matthew Sutton, arhitekta rješenja u Advaju. “Cilj je dati što je moguće što više informacija o testiranju i pustite da se bavi tim podacima.”

Sutton je postavio pitanje šta bi se dogodilo ako bi neko koristio veliki jezik (LLM) zatražio da proizvede dezinformacioni ili štetni sadržaj ili otkrivaju osjetljive informacije. “Šta se događa ako zatražite od modela da proizvede zlonamjerni kod, onda idite i izvršite ga ili pokušajte ukrasti nečije podatke?” Rekao je.

Tokom Demo-a, Sutton je razgovarao o svojstvenom riziku od korištenja preuzimanja proširene generacije (krpe) koji ima pristup korpusu korporativnih podataka. Generalna ideja koja je za korištenje RAG sistema je pružanje konteksta koji se zatim u kombinaciji sa vanjskim zaključkama iz modela AI.

“Ako odete u Chatgpt i zamolite ga da sažete svoje e-poruke, na primjer, nema pojma o čemu govorite”, rekao je. “Rag sistem uzima vanjski kontekst kao podatke, bilo da su to dokumenti, vanjske web stranice ili vaše e-poruke.”

Prema Suttonu, napadač bi mogao upotrijebiti činjenicu da AI sistem čita poruke e-pošte i dokumente pohranjene interno kako bi postavili zlonamjerna uputstva u e-poruci, dokumentu ili web mjestu. Rekao je da se ova uputstva pokupi AI model, što omogućava štetno podučavanje da se izvrši.

“Veliki jezični modeli daju vam ovu sposobnost da komunicirate sa stvarima putem prirodnog jezika”, rekao je Sutton. “Dizajniran je da je što lakše, i tako sa protivničkog stajališta, to znači da je lakše i ima nižu barijeru za ulazak za stvaranje logičkih uputa.”

To, prema Suttonu, znači da bi iko ko želi poremetiti korporativni IT sistem mogao bi pogledati kako bi mogli koristiti indirektni brz napad ubrizgavanja za umetnute upute skrivene u uobičajenu poslovnu prepisku.

Ako zaposleni direktno komunicira s modelom, a štetna uputstva pronašla su svoj put u korporativni AI sustav, a zatim model može predstaviti štetni ili pogrešni sadržaj na tu osobu.

Na primjer, rekao je da bi ljudi koji predaju ponude za novi projektni rad mogli pružiti upute skrivene u njihovoj ponudi, znajući da će se naziva velikim jezičkim modelom za sumirati tekst njihovog podneska, što bi se moglo koristiti za pozitivno utjecati na suparničke ponude ili uložiti da će se uložiti pozitije ili naložiti da će se uložiti pozitivnije od suparničkih ponuda ili naložite LLM-u.

Za Sutton, to znači da postoji prilično širok spektar ljudi koji imaju sredstva za utjecaj na tendersku proces organizacije. “Ne morate biti programer visoke razine da biste takvi stavili”, rekao je.

Iz perspektive IT sigurnosti, Sutton je rekao da indirektni brz ubrizgavanje znači da ljudi moraju biti spoznati u pogledu informacija koje se pružaju sistemu AI, jer ovi podaci nisu uvijek pouzdani.

Općenito, izlaz iz LLM-a je odgovor na upit nakon kojih slijede dodatne kontekstualne informacije koje prikazuju korisnike kako se informacije upućuju na izlaz odgovora. Sutton je istakao da ljudi trebaju ispitivati ​​pouzdanost ovih kontekstualnih informacija, ali napomenute da će to biti nerealno i podrivati ​​korisnost LLM-a ako su ljudi morali provjeriti kontekst svaki put kad je stvorio odgovor.

Pročitajte više o umjetnoj inteligenciji, automatizaciji i robotici

• Fusion i AI: Kako privatni sektor tehnologija napaja napredak u ITER-u

  Napisao: Pat

• Što Maha znači za CMS inovacijski centar, AMMS

  Napisao: Jacqueline Lapoint

• Transparentnost u javnom sektoru AI koristi podloge povjerenja, kaže ministar AI FeerAl Clark

  Napisao: Lis Evenstad

• Šta je AI Red udruživanje?

  Napisao: Olivia Wisbey