Gledamo šta lideri mogu učiniti da pomognu da se odrekne brojnim strukturiranim i nestrukturiranim izvorima podataka koji postoje u moderno preduzeću
Od
Cliff Saran,Upravljanje urednikom
Objavljeno: 10 feb 2025
Podaci su uvijek smatrani krunskim draguljima organizacije, ali zbog eksplozije izvora podataka, što je osjećaj strukturiranih i nestrukturiranih informacija sadržanih u različitim trgovinama podataka preduzeća sve složeniji zadatak. Povlačenje svega zajedno kako bi se pružio homogeni pogled na poslovnu aktivnost može se činiti kao projekt koji se nikada neće završiti, zbog čega se sada zanima za inženjerstvo podataka.
Prema analitičaru Gartneru, inženjeri podataka igraju ključnu ulogu u omogućavanju organizacijama da otključaju vrijednost podataka. To uključuje dizajniranje i izgradnju sistema za prikupljanje, pohranjivanje, transformaciju, operacionalizaciju i isporuku podataka na skali. Analitička firma kaže da inženjering podataka uključuje suradnju između poslovanja i da bi se odgovarajući podaci dostupan i dostupan različitim korisnicima podataka – kao što su naučnici podataka ili analitičari podataka ili analitičarima podataka – u pravo vrijeme.
Gartner’s Bitne vještine za inženjere podataka za uspjeh Izvještaj identificira niz vještina potrebnih u inženjerstvu podataka. Prijavi autori Mayank Talwar, Zain Khan i Shubhankar Nandi opisuju strukturirani jezik upita (SQL) kao prožimajući u širokom rasponu alata i platformi, što ga čini kritičnom i proširivom vještinom. Kao primjer SQL-ove proživotnosti, oni napominju da DBT, alat za transformaciju podataka, omogućava inženjerima podataka da transformišu podatke u svojim skladištima jednostavnim pisanjem SQL izjava.
Druga je osnovna vještina identificirana u izvještaju je obrada podataka, što je opisano kao “temeljna vještina koju svaki inženjer podataka mora posjedovati”. To je zato što podaci u njegovom sirovom formatu obično nisu korisni za analitiku. Obrada podataka pokriva seriju i obradu u stvarnom vremenu; Skladištenje pokriva tehnologije poput jezera podataka, skladišta podataka, baze podataka grafikona i dokumenata i prodavaonice objekata. Zajednički programski jezici koje koriste timovi za inženjerstvo podataka uključuju Python, Java i Scala.
Ostale osnovne vještine koje je navedeo Gartner uključuju pohranu podataka, orkestraciju podataka, programiranje i saradnju. S obzirom na orkestraciju podataka, analitičari napominje da se cjevovodima podataka polako prelaze iz alata koji podržavaju arhitekture vođene zadatkom, poput Apache Airflow i Luigi, prema alatima koji nude pristup, kao što su Dagster, Flyte iz Lyft-a i reflektora.
Gartner preporučuje da li čelnici daje prioritet razvoju glavnih informatičkih vještina, jer su široko usvojeni, jako se koriste i dokazuju da pružaju značajne koristi.
Jednostavni pristup?
Postoji slučaj za procjenu jednostavnijeg pristupa postizanju cilja pružanja pravovremenih podataka preduzeća poslovanju u korisnicima formata mogu se koristiti za planiranje i analizu. Tu se pružaju pružatelji tradicionalnih sistema resursa za resurse preduzeća (ERP) ne vide priliku za izgradnju posla oko potrebe za organizacijama da imaju jednu verziju istine. Iz ERP perspektive, ova pojedina verzija istine živi u sistemima zapisa koji čine ERP sistem.
SAP, na primjer, pruža čitave sustave i hrpu aplikacija kao središnje u oblaku na pretplatu na bazi pretplate, zajedno s rudarnim procesnim rudarstvom i drugim alatima, plus u paketu podrške, održavanje i ostale usluge.
Dale Vile, suosnivač analitičarske firme Dinamics Freeform, napominje da se SAP-ova poslovna tehnološka platforma (BTP) može smatrati sastavnim dijelom ponude u oblaku dobavljača. BTP je u osnovi platforma kao usluga (PAAS) koja omogućava kupcima da proširuju SAP aplikacije i / ili grade prilagođene aplikacije.
“Za neke kupce, ova vrsta sveobuhvatne usluge doista je atraktivna jer to znači da se više ne moraju brinuti što više o radu sistema, nadgledanjem, sigurnošću i tako dalje”, kaže … kaže Vile. “Mnogo stvari koje čini SAP pejzaži tako izazovni da se pokrene i mijenjaju se s vremenom brinu se o jednom kada potpišete ugovor.”
Ugovor učinkovito povezuje organizaciju u SAP. Iako postoji slučaj za izgradnju fleksibilnosti, za neke organizacije je daleko važnije imati jednu verziju istine i imati sve podatke na jednom mjestu. To je slučaj na irskim proizvodnim čvrstim vodama, kao što objašnjava voditelj podataka Liz Cotter.
Možete imati svoju naprednu automatiku za analitiku, ali ako vaši matični podaci nisu tačni, tada su vaši transakcijski podaci bezvrijedni Liz Cotter, Vodeni vodiči
Prije toga, kaže, softver kao uslužni (SaaS) sustavi sjedili zajedno sa SAP-om i “možda su bili integrirani sa SAP-om, ali nisu bili u potpunosti usklađeni”. Drugim riječima, organizacija je odabrala najboljeg pasmina SaaS proizvoda koji podržavaju određene poslovne procese, poput ljudskih resursa ili korisničke službe. COTTER kaže da ovaj znači SAP nije bio sistem zapisa za neke novije skup podataka koje poslovanje koristi.
Ona kaže da SAP Datasphere omogućava poslovanje da pokrene standardnu platformu kao sustav zapisa za transakcijske podatke, koji pruža master kopiju podataka organizacije. “Osjećam da je SAP prešao i nudi više alata da bi se održao za potražnju za obogaćenim podacima”, kaže ona.
COTTER se pridružio vodenim zrakovima u januaru 2024. godine, a remit će staviti u upravljanje podacima i upravljanje podacima. Kaže da kompanija ne daje najbolju upotrebu podataka koje su imali na raspolaganju, što bi se moglo koristiti za dobivanje uvida i pomoći u porastu sa strateškim ključnim pokazateljima performansi (KPIS).
“Kada smo ocijenili našu zrelost podataka, nije bilo upravljanja podacima i sigurnosti podataka. Trebalo nam je alat za brzo ublažavanje rizika “, kaže ona.
Kako COTTER ističe, uspješne IT-pogonjene poslovne inicijative zahtijevaju čvrst podatkovni fondacija. “Možete imati svoju naprednu automatiku za analitiku, ali ako vaši matični podaci nisu tačni, tada su vaši transakcijski podaci bezvrijedni”, kaže ona. Za COTTER, malo je točaka ulaganja u novu tehnologiju, osim ako su podaci što tačniji.
Kompanija je počela sarađivati s Bluestonexom o implementaciji svog alata za upravljanje maextro master-om. To se razvija na SAP BTP-u i pruža upravljanje podacima i upravljanje podacima za vodene perlice.
“U osnovi je aplikacija za upravljanje podacima, tijelima i izvještavanju o podacima”, kaže Cotter.
To izbjegava SAP programerima koji moraju pokrenuti upita direktno na S / 4Hana sistem kompanije. U pogledu zrelosti podataka, COTTER kaže: “Nećemo doći do stručne razine, ali želimo se uskladiti sa našom strategijom 2027. godine, što je vrlo ambiciozno u pogledu prodaje i rasta kupaca.”
Fazni pristup uključivao je izgradnju pružanja podataka o podacima i najboljim praksom podataka prije ulaganja u tehnologiju.
Podrška AI
S obzirom na trend da učini više s umjetnom inteligencijom (AI), Gartner Analitičari pozivaju ga lideri kako bi osigurali da inženjeri podataka prepoznaju potrebu da se sami prepoznaju. Ova pretilacija, prema Gartneru, prema Gartneru, potrebna je ako inženjeri podataka žele sudjelovati u izgradnji slojeva zaklade podataka za kompanije koje su odlučile obučiti jezične modele na svojim podacima o preduzećima.
“Sa Genaiovim [generative artificial intelligence] Apetit za obuku eksponencijalno raste, inženjeri podataka mogu reproducirati ključnu ulogu u kreiranju podataka i cjevovoda koji mogu opskrbiti visokokvalitetne podatke potrebne za trening ovih modela, “Analitičari bilježe u Bitne vještine za inženjere podataka za uspjeh Izveštaj.
Gartner predviđa da će kompanije započeti izgradnju manjih, rafiniranijih i poslovnih jezičnih modela – za razliku od velikih jezičnih modela – za veće kontrole o troškovima, privatnosti, riziku i tačnosti. Gartner vjeruje da će inženjeri podataka trebati naučiti kako raditi sa nestrukturiranim podacima i stvoriti spremišta podataka kako bi se omogućila izgradnju ovih modela.
U idealnom slučaju, vođe bi dobili vrijeme i resurse za izradu prakse inženjerstva podataka, ali to je malo verovatno. COTTER-ovo iskustvo na vodenim ljubimcima pokazuje da je u potpunosti moguće čak i tih organizacija koje su i dalje prilično rano u njihovom upravljanju podacima kako bi se postigla poslovna vrijednost relativno brzo brzo. Jedan upozorenje je da se to može uključivati u određeni skup proizvoda, kao što su ERP sistem.
Pročitajte više o upravljanju glavnim podacima (MDM) i integracijama
