Rani dani za male jezične modele i AI na ivici

Manje je više

SLMS takođe postaju snažniji i mogu se rivaliti LLM-ove u nekim slučajevima upotrebe. Ovo omogućava organizacijama da pokrenu SLMS na manje snažnu infrastrukturu – neki modeli mogu čak pokrenuti na ličnim uređajima, uključujući telefone i tablete.

“U malom jezičkom prostoru vidimo da se male postaju manje”, kaže Birgi Tamersoy, član AI strategije tima u Gartneru. “Od perspektive aplikacije, još uvijek vidimo raspon od 10 do 15 milijardi, a tu je kategorija srednje klase.

“Ali istovremeno vidimo puno milijardu modela parametara i podjele manje od milijardu parametara. Možda vam neće trebati sposobnost [of an LLM]a kako smanjujete veličinu modela, imate koristi od specijalizacije zadatka. “

Za referencu, ChatGpt 4.0 procjenjuje se da bi se pokrenuo oko 1,8 biliona parametara.

Tamersoy vidi manje, specijalističke modele koji se pojavljuju za rukovanje namijenjenim jezicima, obrazloženjem ili vizijom i audio obradom. Ali on također vidi aplikacije u zdravstvu i drugim područjima u kojima propisi otežavaju korištenje LLM-a na bazi oblaka, dodajući: “U bolnici, omogućava vam da ga pokrenete na mašini tamo.”

Prednosti SLM-a

Daljnja razlika je da se LLMS obučava o javno dostupnim informacijama. SLMS se može obučiti na privatno, a često osjetljive, podatke. Čak i tamo gdje podaci nisu povjerljivi, koristeći SLM s prilagođenim izvorom podataka izbjegava neke pogreške ili halucinacije koje mogu utjecati na najbolje LLM-ove.

“Za malog jezičnog modela dizajnirani su za apsorbiranje i učenje iz određenog područja znanja”, kaže JITH M, CTO na tehnološkoj konsultantskoj firmi Hexaware.

“Ako netko želi tumačenje pravnih normi u Sjevernoj Americi, mogli bi otići u chatgpt, ali umjesto SAD-a moglo bi vam dati informacije iz Kanade ili Meksika. Ali ako imate temeljnog modela, a vi to učinite vrlo konkretno, odgovorit ćete s pravim skupom podataka jer ne zna ništa drugo.”

Model obučen o ograničenom skupu podataka manje je vjerovatno da će proizvesti neke dvosmislene i povremeno sramotne rezultate koji se pripisuju LLMS-u.

Performanse i efikasnost mogu favorizirati SLM. Microsoft je, na primjer, obučio svoj PHI-1 model zasnovan na transformatoru za pisanje python koda s visokim nivoom tačnosti – po nekim procjenama bilo je 25 puta bolje.

Iako se Microsoft odnosi na svoju PHI seriju kao velike jezične modele, PHI-1 su koristili samo 1,3 milijarde parametara. Microsoft kaže da su njegovi najnoviji PHI-3 modeli nadmašili llms dva puta njihovu veličinu. Kineski LLM Deepseek također je, po nekim mjerama manjim jezičnim modelom. Istraživači vjeruju da ima 70 milijarde parametre, ali Deepseek koristi samo 37 milijardi.

“To je princip pareta, 80% dobitka za 20% rada”, kaže Dominik Tomićevik, suosnivač na Memgrafu. “Ako imate javne podatke, možete pitati velika, široka pitanja na velikom jezičkom modelu u različitim različitim različitim domenima života. To je vrsta ličnog asistenta.

“Ali puno zanimljivih aplikacija unutar preduzeća zaista je ograničeno u pogledu domene, a model ne treba znati sve Shakespeare. Možete napraviti modele mnogo efikasnije ako su prikladni za određenu svrhu.”

Drugi faktor koji vozi zanimanje za male jezične modele su njihovi niži trošak. Većina LLMS-a djeluje na modelu koji se temelji na platu i GO, i korisnicima se naplaćuju po tokenu (niz znakova) poslanim ili primljenim. Dok se povećava upotreba LLM-a, tako i naknade koje organizacija plaća. A ako ta upotreba ne bude vezana u poslovne procese, CIOS može biti teško utvrditi da li je vrijednost za novac.

Uz manje jezične modele, opcija za pokretanje na lokalnom hardveru donosi mjeru kontrole troškova. Prednji troškovi su kapitalni rashodi, razvoj i obuka. Ali nakon izgradnje modela, ne bi trebalo postojati značajna povećanja troškova zbog upotrebe.

“Postoji potreba za evaluacijom troškova. LLMS imaju tendenciju da budu skuplji za pokretanje od SLMS-a”, kaže Gianluca Barletta, stručnjak za podatke i analitiku na PA savjetovanju. Očekuje da će vidjeti mješavinu opcija, a LLMS rade uz manje modele.

“Eksperimentiranje na SLMS-u je stvarno oko računarske moći koja im je potrebna, što je mnogo manje od LLM-a. Dakle, oni se pozajmi na specifičnije, na ivici se može koristiti. [internet of things] Uređaj, TV-a koji podržava AI ili pametni telefon kao što je računalna snaga mnogo manje. “

Raspoređivanje SLMS-a na ivici

Tal Zarfati, glavni arhitekt u JFROG-u, dobavljač lanca napajanja softverom koji koristi AI, slaže se. Ali Zarfati također izvlači razliku između manjih modela koji se izvode u datacentre ili na privatnoj oblačnoj infrastrukturi i onima koji rade na rubnom uređaju. To uključuje i lične uređaje i više specijalističke opreme, poput sigurnosnih uređaja i zaštitnih zidova.

“Moje iskustvo iz rasprave o malim jezičkim modelima sa klijentima preduzeća, razlikuju li se da li mogu interno pokrenuti taj model i dobiti slično iskustvo na hostiranog velikog jezičkog modela”, kaže Zarfati. “Kada govorimo o modelima sa milionima parametara, poput manjih Llamskih modela, vrlo su mali u odnosu na chatgpt4.5, ali još uvijek nisu dovoljno mali da bi se potpuno na rubnim uređajima.”

Mooreov zakon, međutim, gura SLMS na ivicu, a dodaje: “Manji modeli interno mogu biti domaćin organizacija, a najmanji će moći pokrenuti na ivičnim uređajima, ali definicija ‘male’ vjerovatno će postati veća kao vrijeme.”

Dobavljači hardvera ulažu u uređaje “AI-Spremne”, uključujući radne površine i prijenosna računala, uključujući dodavanjem neuronskih obrambenih jedinica (NPU-a) na njihove proizvode. Kako Gartnerov tamer ističe, kompanije poput jabuka imaju patente na brojne specijalističke AI modele, dodajući; “Vidimo neke primjere na mobilnoj strani da možemo pokrenuti neke od ovih algoritama na samom uređaju, a da ne idu u oblak.”

To je pokretano i regulatornim potrebama za zaštite podataka, a potrebu za prenošenjem obrade što je moguće bliže podacima, kako bi se minimizirala pitanja povezanosti i kašnjenja. Ovaj pristup usvojen je SciBite, podjela Engleski se fokusirala na podatke o životnim naukama.

“Vidimo puno fokusiranja na generativni AI u procesu otkrivanja droga. Govorimo o LLMS-u i SLMS-u, kao i mašinsko učenje”, kaže tamersoy.

“U kojem biste scenariju željeli koristiti SLM? Željeli biste znati da postoji poseban problem koji možete definirati. Ako je to širok, složeniji zadatak u kojem se može razumjeti kontekst, odnosno gdje biste se mogli držati u kojem biste se mogli pridržavati.

“Ako imate određeni problem i imate dobre podatke za obuku modela, trebate biti jeftiniji za trčanje, gdje je privatnost važna i potencijalno je efikasnost važnija od tačnosti, tu bi se gledali u točnosti.” Tamersoy vidi manje modele koji se koriste u ranom istraživanju i istraživanju i razvoja, poput predviđanja molekularnog svojstva, pravo do analize regulatornih zahtjeva.

Na PA konsultaciji firma je sarađivala sa mestom prodaje nuklearne obrade SellaField kako bi im pomogla da budu u toku sa propisima.

“Izgradili smo malog jezika koji će im pomoći da smanje administrativno opterećenje”, kaže Barletta. “Postoje stalne regulatorne promjene koje je potrebno uzeti u obzir. Stvorili smo model da bismo to smanjili od sedmica do zapisnika. Model određuje koje su promjene relevantne i koje su inženjerima daju nešto da procijeni.”

Kako uređaji rastu na vlasti, a SLMS postaju efikasniji, trend je guranje snažnih modela ikad bliže krajnjem korisniku.

“To je razvijajući prostor”, kaže da je Hexaware’s M. “Ne bih vjerovao pre dve godine da bih mogao voditi model parametra od 70 milijardi na tragovima koji su bili samo veličina mog dlanova … čipovi će nam ubrzati AI. Bićete u ubrzanju lokalnih modela.