Upravljanje generativnim AI koriste se u cijelom ciklusu razvoja softvera može značiti miješanje i podudaranje relevantnih alata, mjernih podataka i pristupa
Od
- Fleur Doidge
Objavljeno: 28. jul 2025
Programeri često usvajaju generativni AI (GENAI) jer im pomaže da šire brže, ali alat ima potencijal za izlaganje organizacijama da bi se izložile za rizike – posebno ako je upotreba neovlaštena ili najbolja praksa.
“Sa Genai, vidimo i neverovatne rezultate i zadivljujuće glupe rezultate za isti dev tim, a koji nam govori da imamo posla na procesu i alatnoj strani”, kaže David Colwell, potpredsednik AI i mašinskog učenja (ML) na dobavljaču automatizacije testa, Tricentis. “Moj lični pogled je da AI može biti Dunning-Kruger Effect Effect.”
Dunning-Kruger efekat prirodna je kognitivna pristranost; Manja vještina ili znanja imate o određenoj temi, veća je vjerovatnoća da ćete precijeniti kompetenciju u tom području.
Neki članovi tima sa prosječnom količinom vještine mogu pregledati komad koda i misle da izgleda dobro. Pravi stručnjaci, s druge strane, mogu pogledati isti kod i vidjeti izgradnju pune sigurnosnih ranjivosti, loših paketa i drugih pitanja, objašnjava Colwell.
Kako se bavite tim i izbjeći rizik od više novih vrsta grešaka koje niste vidjeli prije može biti izazovan. Alat je dostupan, ali prvo vam je potrebna robusna sigurnosna politika, jake i prisilne prakse i procese koji osiguravaju upravljanje. I zato što GENAI može kreirati šifru brže, organizacije se mogu boriti za testiranje dovoljno da bi se nastavili sa brzinom proizvodnje koda.
U istraživanju tricentica, oko 63% od 2.700 lidera – uglavnom rukovoditelji, menadžera i IT profesionalaca – anketirano uvršteno za dostavu neprovjerenog kodeksa, a 90% su naznačili da će odlagati u GENAI-u da bi se upisalo u Gnai.
Odbrana od superfično impresivnih rezultata
Manje članovi znanja mogu moći da postavljaju GENEi alate za izgradnju aplikacije za određeni zadatak. Rezultatni kôd može biti superfično impresivan ako nemate pojma o problemima koje bi moglo sadržavati.
Za jednu stvar, razvoj softvera, AI zasnovan ili ne, mora biti siguran po procesu. Ako počinite kod, on mora proći skeniranje sigurnosti, provjere valjanosti, dinamičnih skeniranja i ostalo. Međutim, ne možete u potpunosti eliminirati greške u kodu – “Kod koji ima glupost u njemu”, Colwell potvrđuje.
Jedan primjer toga može biti ako je korisnik odobravanja ograničene aplikacije ili web stranice ispod 18 godina, ali kôd ne usmjerava pristup po specifičnim ulaznim točkama ili ako korisnik slučajno klikne pogrešan gumb ili na neki drugi način nudi pogrešan odgovor. Te vrste jednostavnih grešaka moraju se provjeriti svaki put jer su česte. Svi kod moraju proći procese pregleda i validacije, međutim, stvorenim. Sve je potreban nadzor.
Naravno, temeljnu dokumentaciju onim što ekipe rade su presudni. I u određenoj mjeri, testiranje AI-Powered, monitoring mreže i upravljački alati za osvetljenje mogu pomoći u otkrivanju problema sa kodom i prioritet promjenama u skladu s rizikom.
Studija McKinsey sugerira da korištenje anketa, postojeći podaci i alat za upravljanje zaostatkom mogu smanjiti oštećenja softvera za prijavljene kupcima za 20-30%. Softver za otkrivanje aplikacija za otkrivanje alata za prevenciju upotrebe i prevencije podataka AI i prevencije podataka (DLP) za utvrđivanje neprimjerenih razmjena informacija također se mogu pokazati vrijednim.
Alati za analizu pokrivanja koda mogu tražiti koji se dijelovi koda izvršavaju tokom funkcionalnih testova. Oni bi mogli identificirati bitove koda koji nisu izvršeni tokom testa, sugerirajući nepotreban ili pogrešan kod koji je AI predstavio. Takođe, relevantan alat može identificirati suvišne ili nebitne uvjete za dokumentovanje zahtjeva. AIS ponekad mogu dodati čudne stvari za kodu napraviti test “prolaz” ili zadovoljiti specifične situacije.
Ali prije svega, Colwell bilježi, brane organizacije protiv rizika uvedenih u kodeks neovlaštenih ili nepravilnih GENAI upotrebe znači ulaganje u obuku i obrazovanje. Organizacije bi se savjetovalo da prime za beleške. Ako znate da se programere educiraju u najboljem praksi i rizicima ako pogrešno shvate, možete imati povjerenja u njihove politike, dokumentaciju i prakse.
“Naučite svoje inženjere i ljude koristeći Genei ograničenja specifičnog alata koju imaju”, kaže Colwell. “Mnogo ljudi će pomisliti na Gena kao više ili više čarobne kutije za razmišljanje, ali ono što zapravo imate je polje za rješavanje problema sa kratkom memorije, tendencija da se brzo odgovori, a ne da pronađete konkretne činjenice, bez pristupa svom vanjskom okruženju i amneziji izvan posljednjeg treninga.”
Zaista, možda nećete moći da ga kupite. Ankur Anand, CIO OF CHEARDED, koji posjeduje Harvey Nash IT regrutovanje, kaže da je nedostatak vještina AI najveći u tehništvu već 15 godina.
AI vještine uključuju razumijevanje kako iskoristiti platforme i CRM, učenje oko zahtjeva i “odgovornost koja dolazi s tim”, uključujući reviziju rezultata prije upotrebe. GENEI vještine su u potražnji za programerima, menadžerima proizvoda i menadžerima projekata kao i kvalitetom podataka, podacima i upravljačkim veštinama podataka.
Ispod toga, Nash kvadrat može izvještavati na primjer, pojačana potražnja za programerima Python-a sa znanjem velikog jezika (LLM). GENAI je postao “lijepo imati” u mnogim drugim opisima poslova.
“Ovo mesto postavljaju zahteve tehničkog tima jer ne radi samo jedno područje”, dodaje Anand.
Facundo Giuliani, inženjer rješenja na CMS dobavljaču Storyblok, široko se slaže: “Kodeks koji generira GENA može biti dobra polazište – nadziran od strane čovjeka koji zna i šta se događa u pozadini.”
Veštine programera ostat će presudna ako ne pređete našu budućnost brže nego što očekujemo. U međuvremenu, ostaje imperativ za kontrolu razvojnih procesa, posebno kada su uključeni više timova.
Dodatni pristupi kvalitetnoj praksi kodiranja AI
Giuliani napominje da je kod koji generira AI modeli obučeni na javnom internetu često se temelje na skupovima podataka koji nisu ništa poput izvora istine. Tragovi da nešto nedostaje ili nije u pravu u kodu, ili jednostavno da je kopiranje i paste implementirano ili prekriveno, može uključivati dugotrajne ili tangencijalna rješenja.
Postoje li više grešaka nego što biste očekivali ili se stvari događaju prebrzo ili sporo? Obratite pažnju na metrike produktivnosti, poput DeVops istraživanja i procjene (DOORA) i prostor / blagostanje, aktivnost, performanse, komunikacija, efikasnost / protok (razmak) Metrike, analiza doprinosa i rezultate doprinosa.
Potrebno je formalno upravljanje AI i upravljanje rizikom AI modela (MRM). Postoje i razvojni okviri i standardi koji će pomoći u proceni rizika AI.
Standard međunarodne organizacije (ISO) 42.001 govori o upravljanju odgovornošću, a američki nacionalni institut za standarde i tehnologiju (NIST) AI Okvir za upravljanje rizikom (i playbook) u razvoju su.
Giuliani kaže da bilo koji obrasci neobičnog zahtijevaju bliže inspekciju za loše prakse kodiranja. “Možda vidite preskočna rješenja za jednostavne probleme. Isto se događa sa kodom koji su stvorili ljudi bez iskustva. Suputnik ili mentor trebaju im pomoći da povišeti njihovo znanje.” On kaže.
Provjera kodeksa adekvatno znači raspoređivanje različitih tehnika ili procesa, uključujući osiguravanje kolege ili supervizora da se ručni kod provjerava prije podnošenja u proizvodno okruženje. To je bez obzira na to kako je Kôd kreiran, Giuliani dodaje.
Jody Bailey, glavni oficir proizvoda i tehnologije (CPTO) na prelijevanju zajednice programera, široko se slaže: “Morate osigurati da je ono što se izvlači i dalje.
Ali izazov za programere nikada nije baš bio o tome koliko brzo upišete i koliko brzo pišete kod. Više o tome imate li prave ideje i razmišljate o problemima logično i efikasno, kaže Bailey. Slaže se da bi valiziranje AI mogao uključivati koristeći AI. Jedan pristup može koristiti antropski u odnosu na Blizanci, na primjer, jer različiti modeli imaju različite snage i slabosti.
“Na raznim vođom, ovo se može promijeniti iz mjeseca u mjesec. Neki su više fokusirani na kodu, drugi općenitije,” kaže on.
Iako nikada ne možete u potpunosti eliminirati upotrebu sjene, općenitije monitoring može pružiti pomoć, uključujući alate za web interakcije i upravljanje krajnjim točkama. Ali ako ljudi nešto uvode sami, a rezultati su dobri, organizacija se može dobro pokrenuti s tim.
“Ne mogu da pomognem, ali netko šutira i trener ide” ne, ne, ne tako! “, A onda cilj ulazi i” yay! ” [instead]”” Kaže Bailey.
Odabrani pristupi ovisit će o okolnostima i potrebama, ali kôd mora imati nadzor i kontrolu kvalitete da li se Genai koristi ili ne. Alternativa, Bailey dodaje, ima vrlo zaključano okruženje u kojem je rizik gubitak okretnosti i inovacija.
Pročitajte više o umjetnoj inteligenciji, automatizaciji i robotici
-
AI i tehnički dug: kompjuterski tjedni zastoj za prevrtanje podcasta
Napisao: Cliff Saran
-
RSAC 2025 za centar Age Age Ai, GENAI u sigurnosti
Napisao: Melinda Marks
-
10 najboljih generativnih AI prednosti za posao
Napisao: John Moore
-
Kako je generativna AI utjecala na cyber-sigurnosnost?
Napisao: Mary Pratt