Većina organizacija nikada neće trenirati sopstvene modele veštačke inteligencije (AI). Umjesto toga, ključni izazov većine kupaca u AI-u leži u njegovoj primjeni na proizvodne aplikacije i zaključivanju, sa finim podešavanjem i kuriranjem podataka kao ključnim zadacima.
Ovdje je ključno korištenje generiranja s proširenim pretraživanjem (RAG) i vektorskih baza podataka, mogućnost ponovnog korištenja AI upita i mogućnosti kopilota koje korisnicima omogućavaju da preispituju korporativne informacije na prirodnom jeziku.
Ovo su stavovi izvršnih direktora Pure Storagea koji su ove sedmice razgovarali za Computer Weekly na događaju kompanije Accelerate u Londonu.
Naravno, identifikovani ključni zadaci dobro se uklapaju u oblasti funkcionalnosti koje su nedavno dodane Pureovoj ponudi hardvera za skladištenje – uključujući nedavno lansirani Key Value Accelerator – kao i sa njegovom sposobnošću da obezbedi kapacitet na zahtev.
Ali oni takođe ilustruju ključne izazove za organizacije koje se bave AI u ovoj fazi njene zrelosti, koja je nazvana „faza nakon obuke“.
U ovom članku razmatramo šta je kupcima potrebno od skladištenja u AI u fazama proizvodnje, uz kontinuirano unos podataka i zaključivanje.
Ne kupujte GPU-ove; prebrzo se menjaju
Većina organizacija neće trenirati vlastite AI modele jer je to trenutno preskupo. To je zato što je hardver grafičke procesorske jedinice (GPU) neverovatno skup za kupovinu, a takođe i zato što se razvija tako brzim tempom da zastarelost dolazi vrlo brzo.
Većina organizacija sada ima tendenciju da kupuje GPU kapacitet u oblaku za faze obuke.
Besmisleno je pokušavati graditi farme za obuku AI unutar kuće kada GPU hardver može zastarjeti za generaciju ili dvije, kaže osnivač i glavni vizionar kompanije Pure Storage John Colgrove.
„Većina organizacija kaže: ‘Oh, želim da kupim ovu opremu, koristiću je pet godina, a amortizovaću je tokom pet ili sedam godina’, rekao je on. “Ali to sada ne možete učiniti sa GPU-ovima.
„Mislim da kada se stvari poprave fantastičnom brzinom, bolje je uzeti lizing umjesto kupovati“, rekao je Colgrove. “To je kao da kupujete auto. Ako ćete ga zadržati šest, sedam, osam godina ili više, kupite ga, ali ako ćete ga zadržati dvije godine i promijeniti u noviji, iznajmite ga.”
Pronađite svoju aplikaciju AI ubojicu
Za većinu organizacija, praktična eksploatacija AI neće se dogoditi u fazi modeliranja. Umjesto toga, doći će tamo gdje će je moći koristiti za izgradnju ubojite aplikacije za svoj posao.
Colgrove daje primjer banke. “Uz banku znamo da će aplikacija ubica biti nešto s čime se klijenti suočavaju”, rekao je. “Ali kako AI trenutno radi? Izvlačim sve svoje podatke iz baze podataka koje imam za interakciju s klijentom. Usisavam ih u neki drugi sistem. Transformišem ga kao stari ETL batch proces, provodim sedmice trenirajući na njemu i onda dobijem rezultat.
“To nikada neće biti ubilačka aplikacija”, rekao je Colgrove. “Aplikacija ubojica će uključivati neku vrstu zaključivanja koju mogu učiniti. Ali to zaključivanje će se morati primijeniti u redovnim sistemima ako se s njim suočavaju korisnici.”
„To znači da kada zaista primijenite AI da biste iz njega izvukli vrijednost, poželjet ćete ga primijeniti na podatke koje već imate, na stvari koje već radite sa svojim klijentima.”
Drugim riječima, za većinu kupaca, izazovi umjetne inteligencije leže u fazi proizvodnje, tačnije u sposobnosti da se brzo kuriraju i dodaju podaci, te izvode zaključke o njima kako bi se fino podesili postojeći AI modeli. I onda da budete u mogućnosti da to sve ponovite kada budete imali sljedeću ideju kako dalje poboljšati stvari.
Terenski tehnološki direktor Pure Storage EMEA Fred Lherault sažeo je to na sljedeći način: „Zaista se radi o tome, ‘Kako da povežem modele sa svojim podacima?’ Što prije svega znači: ‘Da li sam uradio pravi nivo pronalaženja šta su moji podaci, kuriranja svojih podataka, spremanja AI i stavljanja u arhitekturu gdje im može pristupiti model?’”
Ključne tehnološke osnove agilne AI
Faza zaključivanja se pojavila kao ključni fokus za većinu korisnika AI. Ovdje je izazov biti u mogućnosti kurirati i upravljati podacima za izgradnju i ponavljanje na AI modelima tokom njihovog životnog vijeka proizvodnje. To znači da se kupci povezuju sa vlastitim podacima na agilan način.
To znači korištenje tehnologija koje uključuju vektorske baze podataka, RAG cjevovode, sposobnost kopilota i brzo keširanje i ponovnu upotrebu.
Ključni izazovi za skladištenje u odnosu na njih su dvostruki. To znači mogućnost povezivanja na, na primjer, RAG izvore podataka i vektorske baze podataka. To također znači da možete podnijeti velike skokove u kapacitetu skladištenja i smanjiti potrebu za tim. To dvoje je često povezano.
„Zanimljiva stvar se dešava kada svoje podatke stavite u vektorske baze podataka“, rekao je Lherault. “Potrebno je određeno izračunavanje, ali onda se podaci dopunjuju vektorima koji se onda mogu pretraživati. To je cijeli cilj vektorske baze podataka, a to povećanje ponekad može rezultirati 10x povećanjem podataka.”
“Ako imate terabajt izvornih podataka koje želite da koristite sa AI modelom, to znači da će vam trebati baza podataka od 10 TB da biste je pokrenuli,” rekao je on. “Postoji sav taj proces koji je nov za mnoge organizacije kada žele koristiti svoje podatke s AI modelima.”
Pozabavite se zahtjevima za skladišnim kapacitetom
Takvi skokovi kapaciteta mogu se desiti i tokom zadataka kao što je kontrolna tačka, koja može da vidi ogromne količine podataka kreiranih kao tačke nalik snimcima na koje se vraćaju u AI obradi.
Pure ima za cilj da se pozabavi ovim problemima svojim modelom Evergreen-as-a-service, koji omogućava korisnicima da brzo povećaju kapacitet.
Kompanija takođe predlaže načine da sprečite prebrzo povećanje volumena skladištenja, kao i da ubrzate performanse.
Njegov nedavno predstavljen Key Value Accelerator omogućava korisnicima da pohranjuju AI upite kako bi se mogli ponovo koristiti. Obično, veliki jezički model bi pristupio keširanim tokenima koji predstavljaju prethodne odgovore, ali GPU keš je ograničen, tako da se odgovori često moraju ponovo izračunati. Pureov KV Accelerator omogućava da se tokeni drže u svojoj memoriji u formatu datoteke ili objekta.
To može ubrzati odgovore do 20 puta, rekao je Lherault. “Što više počnete imati korisnike da postavljaju različita pitanja, brže vam ponestane keša”, dodao je. “Ako imate dva korisnika koji postavljaju isto pitanje u isto vrijeme i to rade na dva GPU-a, obojica moraju obaviti isto izračunavanje. Nije baš efikasno.
„Dozvoljavamo mu da zapravo pohrani te unaprijed izračunate vrijednosti ključa u našu memoriju, tako da sljedeći put kada neko postavi pitanje koje je već postavljeno ili zahtijeva isti token, ako ga imamo na našoj strani, GPU ne treba da vrši proračun,“ rekao je Lherault.
“To pomaže da se smanji broj GPU-ova koji su vam potrebni, ali i na neka složena pitanja koja generiraju hiljade tokena, ponekad smo vidjeli da odgovor dolazi 20 puta brže.”