Nvidia se bavi grafičkim prerađivačkim jedinicama

Nvidia je izvršio svoj kai planer, kubernetes-izvorna grafička jedinica za obradu grafike (GPU), dostupna kao otvoreni izvor pod licencom Apache 2.0.

Kai Planer, koji je dio Nvidia Run: AI platforma, dizajniran je za upravljanje radom u umjetnoj inteligenciji (AI) na GPU-u i centralnoj procesnoj jedinici (CPU). Prema Nvidiji, Kai je u mogućnosti upravljati fluktuirajućim zahtjevima GPU-a i smanjenim vremenima čekanja za izračunavanje pristupa. Takođe nudi garancije resursa ili GPU raspodjelu.

GitHub Repozitorion za Kai Planer rekao je da podržava cjelokupni AI LifeCicl, od malih, interaktivnih poslova koji zahtijevaju minimalne resurse na veliku obuku i zaključak, sve u istom klasteru. Nvidia je rekao da osigurava optimalnu raspodjelu resursa uz održavanje pravičnosti resursa između različitih aplikacija za koje je potreban pristup GPU-u.

Alat omogućava administratorima Kubernetes klastera da dinamički raspoređuju GPU resurse u radne opterećenja i mogu se pokrenuti zajedno s drugim planovima instaliranim na kubernetes klasteru.

“Možda će vam trebati samo jedan GPU za interaktivni rad (na primjer, za istraživanje podataka), a zatim iznenada zahtijevati nekoliko GPU-a za distribuiranu obuku ili višestruke eksperimente”, napisao je RonEN Dar, potpredsjednik softverskih sustava u NVIDIA, a Ekin Karabulut, na blogu. “Tradicionalni raspored se bore sa takvom varijabilnošću.”

Rekli su da Kai Planer kontinuirano prenosi vrijednosti poštene dijeljenja i prilagođava kvote i ograničenja u realnom vremenu, automatski odgovaraju trenutnim zahtjevima za rad. Prema Dar i Karabulutu, ovaj dinamični pristup pomaže u osiguravanju efikasne GPU raspodjele bez konstantne ručne intervencije od administratora.

Oni su takođe rekli da za mašinske inženjere učenja smanjuje vremena čekanja kombinirajući ono što nazivaju “zakazivanje bande”, GPU deljenje i hijerarhijski sistem čekanja koji omogućava da korisnicima omogućuje da korisnicima omogućuje poštuju serije poslova. Poslovi se pokreću čim su resursi dostupni i usklađivanju s prioritetima i pravednošću, Dar i Karabulut je napisao.

Da bi se optimizirali za fluktuiranje potražnje resursa GPU-a i CPU-a, Dar i Karabulut rekli su da Kai Planer koristi ono što Nvidia poziva pakiranje i konsolidaciju kante za bin. Rekli su da taj maksimizira izračunavanje upotrebe u borbi protiv fragmentacije resursa i to postiže pakiranjem manjih zadataka u djelomično korištenim GPU-om i CPU-om.

Dar i Karabulut rekli su da se bavi i fragmentacijom čvora po preraspornutim zadacima preko čvorova. Druga tehnika koja se koristi u kaikeru Kai širi radno opterećenje preko čvorova ili GPU-a i CPU-a za minimiziranje opterećenja perforata i maksimiziranje dostupnosti resursa po opterećenju resursa po opterećenju resursa.

U daljnjoj praksi, Nvidia je rekao da se kai planeč također rukuje kada su implementirani klasteri. Prema Dar i Karabulutu, neki istraživači osiguravaju više GPU-a nego što je potrebno rano u danu kako bi se osigurala dostupnost tokom cijelog. Ovu praksu, rekli su, mogu dovesti do nedovoljnih resursa, čak i kada i drugi timovi još uvijek imaju neiskorištene kvote.

Nvidia je rekao da se kai planer bavi tim provođenjem garancija resursa. “Ovaj pristup sprečava da se resurs hod i promoviše ukupna efikasnost klastera”, dodali su se Dar i Karabulut.

Kai Planer pruža ono što Nvidia poziva ugrađeni Podgrouper koji automatski otkriva i povezuje se s alatima i okvirima kao što su Kubeflow, Ray, Argo i operator treninga, koji je rekao da smanjuje složenost konfiguracije i pomaže u ubrzavanju razvoja.

Pročitajte više o alatima za razvoj softvera

• Keysyght predstavlja validiranje AI mrežne arhitekture, alat za optimizaciju

  Napisao: Joe O’Halloran

• Šta je nvidia?

  Napisao: Sean Kerner

• Vrijeme isporuke AMD za MI350

  Napisao: Antone Gonsalves

• Kakvu ulogu igra CXL u AI-u? Ovisi o tome koga pitate

  Napisao: Adam Armstrong