Softver otvorenog koda ima niz prednosti nad komercijalnim proizvodima, ne najmanje bitno činjenica da se može besplatno preuzeti. To znači da svako može analizirati kôd i pod pretpostavkom da imaju desni hardver i softver konfiguriran, mogu početi odmah koristiti kod otvorenog koda.
Sa umjetnom inteligencijom (AI) postoje dva dijela za otvorena. Izvorni kod za sam AI motor može se preuzeti sa spremišta, pregledati i pokrenuti na odgovarajućem hardveru baš kao i drugi otvoreni kodanci. Ali otvoreno se odnosi i na model podataka, što znači da je u potpunosti izvedivo da neko pokrene lokalni AI model koji je već obučen.
Drugim riječima, s pravim hardverom, programer je besplatan za preuzimanje AI modela, odspojite ciljni hardver s interneta i pokrenite ga lokalno bez rizika od prepuštanja upita koji se procuri u AI uslugu u obliku upita.
A budući da je otvoren izvor, AI model može se lokalno instalirati tako da ne postoji troškovi povezani sa AI modelima u oblaku, koji se općenito naplaćuju na temelju količine upita koji se mjere u tokenima koji su mjereni motoru koji se prenose u AI motor.
Kako se otvoren model razlikuje od komercijalnog AI-a?
Sav softver treba licencirati. Komercijalni proizvodi se sve više terete na osnovu pretplate i u slučaju velikih jezičnih modela (LLMS), troškovi su korelira na količinu upotrebe, zasnovane na količini tokena dostavljenih u LLM i hardver koji se troše u pogledu sati Jedinica za obradu grafike (GPU) Vrijeme koje koristi model kada se upita.
Kao i sav softver otvorenog koda, LLM koji je otvoren izvor podložan je odredbama i uvjetima korištenog sheme licenciranja. Neke od tih licenci postavljaju ograničenja na način na koji se softver koristi, ali, generalno, ne postoje naknade za licencu povezane sa lokalnim pokretanjem otvorenog modela.
Međutim, naplaćuje se ako se otvoren model radi na javnoj oblačnoj infrastrukturi ili se pristupa kao oblak u oblaku, koja se obično izračunava na osnovu količine tokena dostavljenih u LLM programski korištenje programskih sučelja za programiranje (API).
Koje su prednosti AI modela otvorenog koda
Iza činjenice da se mogu preuzeti i rasporediti u posebnoj cijeni bez dodatnih troškova, njihova otvorenost pomaže u napretku razvoja modela na sličan način na koji način otvorenog koda može poboljšati projekte.
Baš kao i drugi otvoreni korektni projekti, AI model koji je otvoren izvor može provjeriti bilo tko. Ovo bi trebalo pomoći poboljšanju njegove kvalitete i uklanjanja grešaka i otići na neki način za rješavanje pristranosti, kada izvorni podaci na koji se obučava model nije dovoljno raznovrstan. Sljedeći podcast istražuje AI modele dalje.
Kako započeti s otvorenim modelima
Većina AI modela nude besplatan ili jeftin pristup putem interneta kako bi omogućili ljudima da rade direktno sa AI sistemom. Programski pristup putem API-ja se često naplaćuje na temelju glasnoće tokena koji se dostavlja u model kao ulazne podatke, poput broja riječi na prirodnom upitu jezika. Također mogu biti naknade za izlazne tokene, što je mjerilo podataka koje proizvode model kada reagira na upit.
Budući da je otvoren izvor, otvoreni model može se preuzeti iz svoje repozitorije otvorenog koda (“repo”) na Github. Repozitorij uglavnom sadrži različite grade za ciljne sisteme – poput distribucija Linuxa, Windows i MacOS-a.
Međutim, iako je ovaj pristup kako programeri obično koriste otvoreni kodu, to može biti vrlo uključen proces, a podatkovni naučnik možda žele samo “pokušati” najnovijeg, najvećeg modela, a da ne treba ući u pomalo naporan proces dobijanja model pokrenut i trčanje.
Korak u zagrljajskom licu, AI platformu u kojoj ljudi koji žele eksperimentirati sa AI modelima mogu istražiti ono što je dostupno i testira ih na skupu podataka. Postoji besplatna verzija, ali zagrljaj se takođe pruža pretrpljenje i različite cijene za programere AI modela za hosting i pokretanje njihovih modela.
Druga opcija je Ollama, otvoreni izvor, alat naredbenog retka koji pruža relativno jednostavan način za preuzimanje i pokretanje LLM-a. Za potpuno grafičko korisničko sučelje za interakciju s LLMS-om potrebno je pokrenuti AI platformu kao što su otvoreni WebUI, otvoren projekt otvorenog koda na Github-u.
Kako otvoreni izvor AI modeli podržavaju korporativnu sigurnost IT-a
Cyber sigurnosni lideri su zabrinute zbog lakoće s kojim zaposlenici mogu pristupiti popularnim LLM-u, što predstavlja rizik od curenja podataka. Među široko prijavljenim curenjem je Samsung Electronics-ova upotreba ChatGpt-a za pomoć programerima za uklanjanje pogrešaka. Kodeks – na snazi, Samsung Electronics Intelektualno vlasništvo – preneseno je u javni llm chatgpt i učinkovito je postao izbačen u model.
Tehnički gigant je brzo poduzeo korake za zabranu korištenja chatgpt-a, ali rast takozvanih kopilota i porasta agea AI-a ima potencijal da propuštaju podatke. Pružatelji softvera Istražujući tehnologiju agencija često će tvrditi da su privatni podaci kupca u potpunosti odvojeni, što znači da se takvi podaci ne koriste za obuku AI modela. Ali ako se zaista trenira sa najnovijim razmišljanjem, prečicom, najboljim praksama i greškama, model će brzo postati ustajalan i zastarjeli.
AI model koji je otvoren može se pokrenuti u sigurnom pijeskom, bilo u premisiji ili hostiran u sigurnom javnom oblaku. Ali ovaj model predstavlja snimak AI modela koji je programer objavljen, a sličan AI u Enterprise softveru, brzo će izaći zastarjeti i postati nebitan.
Međutim, sve što se informacije hrane ostaju u okviru granica modela, ako su organizacije spremne uložiti resurse potrebne za prekvalifikaciju modela pomoću ovih podataka. Zapravo, novi sadržaj preduzeća i strukturirani podaci mogu se koristiti za podučavanje modela AI specifičnosti kako poslovanje posluje.
Koji hardver vam treba
Postoje YouTube videozapisi koji pokazuju da LLM kao što je kineski DeepSeek-R1 model može pokrenuti na NVIDIA Jetsonu Nano ugrađenom ivičnom uređaju ili čak i maline PI, koristeći odgovarajući adapter i relativno moderna GPU kartica. Pod pretpostavkom da je GPU podržan, potrebno je i dosta video memorije (VRAM). To je zato što je za najbolje performanse, LLM treba trčati u memoriji na GPU-u.
Zaključak zahtijeva manje sjećanja i manje GPU jezgre, ali više obrade i Vram dostupni, brže je model u stanju da odgovori, kao mjera žetona može se obraditi u sekundi. Za trening LLMS-a, broj GPU jezgra i VRAM zahtjeva značajno se povećava, što se izjednačava sa izuzetno skupim namjenskim serverima. Čak i ako se GPU pokrene u javnom oblaku sa odmjerenom upotrebom, nema izlaska iz visokih troškova potrebnih za kontinuirano pokretanje radnog opterećenja za zaključak.
Ipak, čisti kapacitet izračunatih snaga dostupan od hiperscalera znači da je možda isplativo učitavanje podataka o obuci na otvoreni LLM model koji se nalazi u javnom oblaku.
Kako napraviti otvoreni izvor AI modeli povoljniji za pokretanje
Kao što mu ime sugerira, veliki je jezik model velik. LLMS zahtijevaju ogromne skupove podataka za obuku i ogromne farme moćnih servera za obuku. Čak i ako je AI model otvoren izvor, čisti trošak hardvera znači da su samo one organizacije koje su spremne izvršiti u investiranju u hardver ili rezervni kapacitet GPU-a u javnom oblaku u potpunosti operacionalizirati llms u potpunosti.
Ali nisu svi potrebni LLM i zato postoji toliko interesovanja za modele koji mogu raditi na mnogo jeftiniji hardver. Ovi takozvani mali jezični modeli (SLM) su manje izračunati intenzivne, a neke će se čak pokretati na rubnim uređajima, pametnim telefonima i osobnim računalima (vidi okvir).