Meni

Kaj je podatkovno jezero | Skladišče podatkov v primerjavi s podatkovnim jezerom

  • Glavni
  • Drugo
  • Kaj je podatkovno jezero | Skladišče podatkov v primerjavi s podatkovnim jezerom

what is data lake data warehouse vs data lake

Preizkusite Naš Instrument Za Odpravo Težav

Ta vadnica pojasnjuje vse o podatkovnem jezeru, vključno z njegovimi potrebami, definicijo, arhitekturo, prednostmi in razlikami med podatkovnim jezerom in skladiščem podatkov:

Izraz 'Data Lake' se v današnjem IT svetu pogosto uporablja. Ste se kdaj vprašali, kaj je to in od kod natančno ta izraz?

V dobi informacijske tehnologije, kjer se podatki množijo dan in noč v številnih oblikah, postaja koncept podatkovnega jezera vsekakor pomemben in uporaben.

Tukaj podrobno raziščimo, kaj je podatkovno jezero in kakšne so njegove koristi, uporaba itd.

uvod

Kaj se boste naučili:

Kaj je podatkovno jezero in kako deluje?

Podatkovno jezero je sistem ali centralizirano skladišče podatkov, ki vam omogoča shranjevanje vseh strukturiranih, polstrukturiranih, nestrukturiranih in binarnih podatkov v naravni / izvorni / surovi obliki.

Strukturirani podatki lahko vključujejo tabele iz RDBMS; polstrukturirani podatki vključujejo datoteke CSV, datoteke XML, dnevnike, JSON itd .; nestrukturirani podatki lahko vključujejo datoteke PDF, besedilne dokumente, besedilne datoteke, e-pošto itd .; in binarni podatki lahko vključujejo avdio, video, slikovne datoteke.

Sledi ravno arhitekturo za shranjevanje podatkov. Na splošno se podatki shranjujejo v obliki objektnih blobs ali datotek.

Ravna arhitektura Data Lake za shranjevanje podatkov

(slika vir )

Z podatkovnim jezerom lahko na enem mestu shranite vse svoje podjetje, kakršno je, brez potrebe po strukturiranju podatkov. Na njem lahko neposredno izvajate različne vrste analitike, vključno s strojnim učenjem, analitiko v realnem času, lokalnim premikanjem podatkov, premikanjem podatkov v realnem času, nadzornimi ploščami in vizualizacijami.

Vse podatke v njem hrani v izvirni obliki in predvideva, da se bo analiza izvedla pozneje, na zahtevo.

Analogija podatkovnega jezera

Analogija Data Lake

(slika vir )

Izraz Data Lake je skoval James Dixon, takratni tehnični direktor v Pentahu. Data mart (podnabor podatkovnega skladišča) opredeli kot podobnega steklenici za vodo, napolnjeno z očiščeno, destilirano vodo, pakirano in strukturirano za neposredno in enostavno uporabo.

Po drugi strani pa je analogna vodnemu telesu v naravni obliki. Podatki se pretakajo iz tokov (različne poslovne funkcije / sistemi virov) do jezera. Uporabniki podatkovnega jezera, tj. Uporabniki imajo dostop do jezera, da lahko analizirajo, pregledajo, zberejo vzorce in se potopijo.

Tako kot voda v jezeru skrbi za različne potrebe ljudi, kot so ribolov, čolnarjenje, oskrba s pitno vodo itd., Podobno tudi arhitektura podatkovnega jezera služi več namenom.

pl sql intervju vprašanje za izkušene

Podatkovni znanstvenik ga lahko uporabi za raziskovanje podatkov in ustvarjanje hipoteze. Ponuja analitikom podatkov priložnost za analizo podatkov in odkrivanje vzorcev. Poslovnim uporabnikom in zainteresiranim stranem ponuja način raziskovanja podatkov.

Ponuja tudi možnost, da analitiki poročevalci oblikujejo poročila in jih predstavijo podjetju. Nasprotno, skladišče podatkov pakira podatke za natančno opredeljene namene, tako kot steklenica bisleri, ki se lahko uporablja samo za pitno vodo.

Trg podatkovnih jezer - rast, trendi in napovedi

Trg podatkovnih jezer je razdeljen na podlagi izdelkov (rešitev ali storitev), uporabe (vnaprej ali v oblaku), panoge strank (trgovina na drobno, bančništvo, gospodarstvo, zavarovalništvo, IT, zdravstvo, telekomunikacije, založništvo, proizvodnja) in geografske regijah.

Kot poroča Mordor Intelligence, spodaj je tržni posnetek za podatkovno jezero:

Tržnica Data Lake

(slika vir )

# 1) Povzetek trga

Povzetek trga

Trg podatkovnih jezer je bil leta 2019 ocenjen na 3,74 milijarde USD in naj bi se do leta 2025 dotaknil 17,60 milijarde USD pri CAGR (sestavljena letna stopnja rasti) v višini 29,9% v obdobju projekcij 2020–2025.

Ti rezervoarji podatkov se vedno bolj izkazujejo kot ekonomična možnost za številne organizacije nad podatkovnimi skladišči. Za razliko od podatkovnih jezer, skladiščenje podatkov zahteva dodatno obdelavo podatkov pred vstopom v skladišče.

Stroški upravljanja podatkovnega jezera so manjši v primerjavi s podatkovnim skladiščem, ker je veliko obdelave in prostora za izdelavo baze podatkov za skladišča potreben.

# 2) Glavni igralci

Predvideva se, da bo trg Data Lake konsolidiran trg, na katerem bo prevladovalo pet ključnih akterjev, kot je razvidno iz spodnje slike.

Glavni igralci

# 3) Ključni trendi

  • Njegova uporaba naj bi se znatno povečala v bančnem sektorju. Banke sprejemajo podatkovna jezera za zagotavljanje analitike na poti. Prav tako pomaga razpustiti številne silose v bančnem sektorju.
  • Ker se digitalno plačevanje / uporaba mobilnih denarnic po vsem svetu močno povečuje, se obseg analitike velikih podatkov in s tem možnosti zanje povečuje.
  • Pričakuje se, da bo Severna Amerika zelo sprejela podatkovna jezera. Študija, ki jo je opravil Capgemini, pravi, da več kot 60% finančnih organizacij v ZDA meni, da analitika velikih podatkov deluje kot diferenciacija za podjetja in jim daje konkurenčno prednost. Več kot 90% organizacij meni, da vlaganje v projekte z velikimi podatki povečuje možnosti za uspeh v prihodnosti.
  • Potrebni so za uporabo aplikacij pametnih števcev, v ZDA pa naj bi bilo leta 2021 nameščenih približno 90 milijonov pametnih števcev. Zato je po njih napovedano veliko povpraševanje.

Zakaj je potrebno podatkovno jezero?

Namen podatkovnega jezera je dati nepredelani vpogled v podatke (podatki v najčistejši obliki).

Primeri

Dandanes številna velika podjetja, vključno z Googlom, Amazonom, Cloudero, Oracleom, Microsoftom in le redkimi, ponujajo ponudbe podatkovnega jezera.

Številne organizacije uporabljajo storitve za shranjevanje v oblaku, kot sta Azure Data Lake ali Amazon S3. Podjetja uporabljajo tudi porazdeljeni datotečni sistem, kot je Apache Hadoop. Razvil se je tudi koncept jezera z osebnimi podatki, ki vam omogoča upravljanje in skupno rabo lastnih velikih podatkov.

Če govorimo o industrijski uporabi, je to zelo primerno za področje zdravstva. Zaradi nestrukturirane oblike veliko podatkov v zdravstvu ( Na primer, Opombe zdravnika, klinični podatki, zgodovina bolezni bolnikov itd.) In zahteva po vpogledih v realnem času je podatkovno jezero odlična možnost za shranjevanje podatkov.

Ponuja prilagodljive rešitve tudi v izobraževalnem sektorju, kjer so podatki zelo obsežni in zelo surovi.

V transportnem sektorju, predvsem pri upravljanju dobavne verige ali logistiki, pomaga pri napovedovanju in uresničevanju koristi za zmanjšanje stroškov.

Tudi letalska in elektroenergetika uporabljajo podatkovna jezera.

Primer njegove izvedbe je GE Predix (razvil General Electric), ki je industrijska podatkovna jezerska platforma, ki ponuja močne pristojnosti upravljanja podatkov za ustvarjanje, uvajanje in upravljanje industrijskih aplikacij, ki se povezujejo z industrijskimi sredstvi, zbirajo in analizirajo podatke ter zagotavljajo v realnem času. vpogled v izboljšanje industrijske infrastrukture in procesov.

Razlika med skladiščem podatkov in podatkovnim jezerom

Pogosto ljudje težko razumejo, kako se jezero razlikuje od podatkovnega skladišča. Trdijo tudi, da je enako kot skladišče podatkov. Toda to ni resničnost.

razlika med levim in zunanjim levim spojem v sql

Edina skupnost med podatkovnim jezerom in podatkovnim skladiščem je, da sta oba repozitorija za shranjevanje podatkov. Počitek, drugačni so. Imajo različne primere in namene uporabe.

Razlike so pojasnjene spodaj:

Podatkovno jezero Podatkovno skladišče
Analitika Podatkovno jezero se lahko uporablja za strojno učenje, profiliranje podatkov za odkrivanje podatkov in napovedno analizo.Podatkovno skladišče se lahko uporablja za poslovno obveščanje, vizualizacije in poročanje o serijah.
Podatki Podatkovno jezero bo v njem hranilo vse surove podatke.

Lahko je strukturiran, nestrukturiran ali polstrukturiran. Mogoče je, da se nekateri podatki v podatkovnem jezeru nikoli ne uporabijo.		Skladišče podatkov vključuje samo tiste podatke, ki so obdelani in izpopolnjeni, tj. Strukturirani podatki, ki so potrebni za poročanje in reševanje določenih poslovnih težav.
Uporabniki Na splošno so uporabniki podatkovnega jezera znanstveniki in razvijalci podatkov.Na splošno so uporabniki podatkovnega skladišča poslovni strokovnjaki, operativni uporabniki in poslovni analitiki.
Dostopnost Podatkovno jezero je zelo dostopno in enostavno in hitro posodobljivo, ker nima nobene strukture.V podatkovnem skladišču je posodobitev podatkov bolj zapletena in draga operacija, ker so podatkovna skladišča oblikovana po zasnovi.
Shema Shema za pisanje. Zasnovan pred izvedbo DW.Shema v branju. Napisano v času analize.
Arhitektura Ploska arhitekturaHierarhična arhitektura
Namen Namen surovih podatkov, shranjenih v podatkovnih jezerih, ni določen ali ni določen.

Podatki se včasih lahko pretakajo v podatkovno jezero z mislijo na določeno prihodnjo uporabo ali samo za to, da so podatki na voljo.

Podatkovno jezero ima manj organizirane in manj filtrirane podatke.		Obdelani podatki, shranjeni v podatkovnem skladišču, imajo točno določen namen.

DW je organiziral in filtriral podatke.

Zato zahteva manj prostora za shranjevanje kot podatkovno jezero.
Skladiščenje Zasnovan za poceni shranjevanje.

Strojna oprema podatkovnega jezera se zelo razlikuje od strojne opreme podatkovnega skladišča.

Uporablja gotove strežnike v kombinaciji s poceni pomnilnikom. Zaradi tega je podatkovno jezero dokaj varčno in zelo prilagodljivo na terabajte in petabajte.

To se naredi, da se vsi podatki hranijo v podatkovnem jezeru, tako da se lahko kadar koli vrnete v čas in opravite analizo.		Drago za velike količine podatkov.

Podatkovno skladišče ima drago diskovno shrambo, da je zelo zmogljivo.

Da bi prihranili prostor, je zato podatkovni model poenostavljen in v podatkovnem skladišču se hranijo samo podatki, ki so res potrebni za poslovno odločanje.
Podpora za podatkovne vrste Podatkovno jezero zelo dobro podpira netradicionalne vrste podatkov, kot so dnevniki strežnikov, podatki senzorjev, dejavnost v družabnih omrežjih, besedilo, slike, večpredstavnost itd.

Vsi podatki se hranijo ne glede na vir in strukturo.		Na splošno je podatkovno skladišče sestavljeno iz podatkov, pridobljenih iz transakcijskih sistemov.

Ne podpira zelo netradicionalnih podatkovnih vrst. Shranjevanje in zajemanje netradicionalnih podatkov je lahko s podatkovnim skladiščem drago in težko.
Varnost Varnost podatkovnih jezer je v fazi 'zorenja', saj gre za razmeroma nov koncept kot za podatkovno skladišče.Varnost podatkovnih skladišč je v fazi 'dozorevanja'.
Okretnost Zelo okreten; po potrebi konfigurirajte in znova konfigurirajte.Manj gibčen; fiksna konfiguracija.

Arhitektura podatkovnega jezera

Diagram arhitekture

Diagram arhitekture podatkovnega jezera Zgoraj je konceptualni diagram arhitekture podatkovnega jezera. Na levem delu lahko vidite, da imamo vire podatkov, ki so lahko strukturirani, polstrukturirani ali nestrukturirani.

Ti viri podatkov so združeni v shrambo surovih podatkov, ki porabi podatke v svoji surovi obliki, tj.podatke brez kakršnih koli sprememb. To je poceni, trajno in razširljivo shranjevanje.

Nato imamo analitične peskovnike, ki jih lahko uporabimo za odkrivanje podatkov, raziskovalno analizo podatkov in napovedno modeliranje. V osnovi to uporabljajo znanstveniki za podatke za raziskovanje podatkov, oblikovanje nove hipoteze in opredelitev primerov uporabe.

Potem je na voljo mehanizem za serijsko obdelavo, ki surove podatke obdela v potrošniški uporabni obliki, to je v strukturirani obliki, ki se lahko uporablja za poročanje končnim uporabnikom.

Nato imamo v realnem času mehanizem za obdelavo, ki se zajema pri pretakanju podatkov in jih transformira.

Ključne značilnosti podatkovnega jezera

Da bi bilo skladišče velikih podatkov razvrščeno kot Data Lake, mora imeti naslednje tri atribute:

# 1) En sam skupni repozitorij podatkov, ki je običajno v razdeljenem datotečnem sistemu (DFS).

Podatki Hadoop ohranjajo podatke v izvorni obliki in zajemajo spremembe podatkov in relativno semantiko v življenjskem ciklu podatkov. Ta pristop je še posebej koristen za preverjanje skladnosti in notranje revizije.

To je izboljšava nad običajnim skladiščem podatkov podjetja, v kateri je pri prehodu podatkov s pretvorbami, združevanjem in modificiranjem težko dati podatke v celoto, podjetja pa si prizadevajo ugotoviti vir / izvor podatkov.

# 2) Vključuje zmožnosti načrtovanja in razporejanja opravil (na primer prek katerega koli orodja za načrtovanje, kot je YARN itd.).

Izvajanje delovne obremenitve je bistvena potreba podjetja Hadoop, YARN pa ponuja upravljanje virov in osrednjo platformo za zagotavljanje stalnih procesov, varnost in orodja za upravljanje podatkov v grozdih Hadoop, ki zagotavljajo, da imajo analitični tokovi dela zahtevano raven dostopa do podatkov in računalniške moči.

# 3) Vsebuje nabor pripomočkov in funkcij, potrebnih za uporabo, obdelavo ali delo s podatki.

Enostavna in hitra dostopnost za uporabnike je ena ključnih lastnosti podatkovnega jezera, ker organizacije shranjujejo podatke v izvorni ali čisti obliki.

V kakršni koli obliki so podatki, torej strukturirani, nestrukturirani ali polstrukturirani, se vstavijo tako kot v podatkovno jezero. Lastnikom podatkov omogoča združevanje podatkov o strankah, dobaviteljih in operacijah, tako da se znebijo tehničnih ali političnih ovir za izmenjavo podatkov.

Prednosti

prednosti podatkovnega jezera

(slika vir )

  • Vsestranski : Dovolj kompetenten za shranjevanje vseh vrst strukturiranih / nestrukturiranih podatkov, od podatkov CRM do dejavnosti v družabnih omrežjih.
  • Več prilagodljivosti sheme : Ne potrebuje načrtovanja ali predhodnega znanja o analizi podatkov. Vse podatke hrani v originalni obliki in predvideva, da se bo analiza izvedla pozneje, na zahtevo. To je zelo koristno za OLAP. Na primer, podatkovno jezero Hadoop vam omogoča, da ste brez shem, pri čemer lahko shemo ločite od podatkov.
  • Analiza odločitev v realnem času : Uživajo v prednosti ogromne količine doslednih podatkov in algoritmov poglobljenega učenja za doseganje analitike odločitev v realnem času. Sposobnost pridobivanja vrednosti iz neomejenih podatkovnih vrst.
  • Prilagodljivo: So veliko bolj razširljiva kot tradicionalna podatkovna skladišča in so tudi cenejša.
  • Napredna analitika / združljivost z SQL in drugimi jeziki: Pri podatkovnih jezerih lahko podatke poizvedujemo na številne načine. V nasprotju s tradicionalnimi podatkovnimi skladišči, ki podpirajo samo SQL za preprosto analitiko, vam ponujajo veliko drugih možnosti in jezikovno podporo za analizo podatkov. Združljivi so tudi z orodji za strojno učenje, kot je Spark MLlib.
  • Demokratiziraj podatke: Demokratiziran dostop do podatkov s pomočjo enotnega, integriranega pogleda podatkov v celotni organizaciji ob uporabi učinkovite platforme za upravljanje podatkov. To zagotavlja vsesplošno razpoložljivost podatkov.
  • Boljša kakovost podatkov: Na splošno dobite boljšo kakovost podatkov s podatkovnimi jezeri s tehnološkimi prednostmi, kot so shranjevanje podatkov v izvorni obliki, razširljivost, vsestranskost, prilagodljivost shem, podpora za SQL in druge jezike ter napredna analitika.

Izzivi in ​​tveganja

Podatkovna jezera ponujajo veliko prednosti. A ja, z njimi je povezanih tudi nekaj izzivov in tveganj, ki jih mora organizacija skrbno obravnavati.

To so:

  • Če niso pravilno oblikovani, se lahko spremenijo v podatkovna močvirja. Včasih organizacije preprosto nenehno odmetavajo podatke v ta jezera, ne da bi imeli v mislih kakršno koli strategijo in namen.
  • Včasih analitiki, ki želijo uporabiti podatke, nimajo znanja o tem, kako to storiti, saj je rudarstvo v podatkovnih jezerih precej zahtevno. Tako po določenem času izgubijo ustreznost in zagon. Organizacije si morajo prizadevati za odstranitev te ovire za analitike.
  • Ker imamo v podatkovnih jezerih veliko neurejenih podatkov, niso dovolj sveži ali trenutni, da bi jih lahko uporabili v proizvodnji. Zato podatki v teh jezerih ostanejo v pilotskem načinu in se nikoli ne dajo v proizvodnjo.
  • Nestrukturirani podatki lahko vodijo do neuporabnih podatkov.
  • Včasih organizacije doživljajo, da to ne vpliva bistveno na poslovanje glede na izvedene naložbe. To zahteva spremembo miselnosti. Da bi se pojavili učinki, morajo podjetja spodbujati vodje in vodje, da sprejemajo odločitve na podlagi analitike, pridobljene iz teh zbirk podatkov.
  • Varnost in nadzor dostopa sta tudi eno od tveganj pri delu z njimi. Nekateri podatki, za katere so morda potrebni zasebnost in predpisi, se brez nadzora nadzirajo v podatkovnih jezerih.

Izvajanje

V podjetju je povsem smiselno, da se izvajanje podatkovnega jezera izvaja na gibčen način.

To pomeni, da najprej implementirajo Data Lake MVP, ki ga uporabniki preizkusijo glede kakovosti, enostavnosti dostopa, shranjevanja in analitičnih zmogljivosti, prejme povratne informacije in nato doda zapletene zahteve in funkcije, da doda jezero vrednost.

Na splošno organizacija prehaja skozi štiri osnovne faze izvajanja:

Izvajanje podatkovnega jezera

(slika vir )

1. stopnja:

Osnovno podatkovno jezero: Na tej stopnji se skupina posveti osnovni arhitekturi, tehnologiji (v oblaku ali zapuščini) ter praksam varnosti in upravljanja za podatkovno jezero. Omogočen je za shranjevanje vseh surovih podatkov, ki prihajajo iz različnih poslovnih virov, in za združevanje notranjih in zunanjih podatkov za obogatitev informacij.

2. stopnja:

Peskovnik: Izboljšanje analitičnih sposobnosti: Na tej stopnji podatkovni znanstveniki dostopajo do podatkovnega rezervoarja in izvajajo predhodne poskuse za uporabo surovih podatkov in oblikujejo analitične modele, ki ustrezajo poslovnim potrebam.

Faza 3:

kakšen je vaš omrežni varnostni ključ

Skladišča podatkov in sodelovanje na jezeru: Na tej stopnji organizacija začne uporabljati podatkovno jezero v sinergiji z obstoječimi podatkovnimi skladišči. Podatki z nizko prioriteto se jim pošljejo, da omejitev shranjevanja podatkovnih skladišč ne bo presežena.

Predstavlja možnost vpogleda v hladne podatke ali poizvedbo, da bi odkrili informacije, ki jih običajne zbirke podatkov ne indeksirajo.

4. stopnja:

Sprejetje podatkovnega jezera od konca do konca: To je zadnja stopnja pridobitve zrelosti, v kateri se spremeni v ključni element podatkovne arhitekture organizacije in učinkovito usmerja iskalno operacijo. Do takrat bi podatkovno jezero nadomestilo EDW in postale edini vir vseh podatkov podjetja.

Preko podatkovnega jezera lahko organizacija stori naslednje:

  • Ustvarite zapletene rešitve za modeliranje podatkov in analitiko za različne poslovne potrebe.
  • Oblikujte interaktivne nadzorne plošče, ki združujejo razumevanja iz podatkovnega jezera ter različne aplikacije in vire podatkov.
  • Uvedite napredne programe za analitiko ali robotiko, saj obravnava računske operacije.

V tem trenutku ima tudi močne varnostne in upravne ukrepe.

Dobavitelji podatkovnega jezera

V industriji obstajajo različni prodajalci, ki ponujajo orodja za podatkovno jezero.

Prodajalci podatkovnih jezer

(slika vir )

Če pogledamo velika podjetja:

  • Računalništvo ponuja inteligentno orodje za podatkovno jezero. BDM (upravljanje velikih podatkov) 10.2.2 je najnovejša različica, ki je na voljo.
  • Pokliče se prodajalec iskalec ki je tudi orodje.
  • Podjetje Talend ki je priljubljeno zaradi njihovih orodij ETL, ponuja tudi orodje Data Lake.
  • Nato imamo odprtokodno orodje z imenom Kylo Iz Teradata podjetje. Ekipa, imenovana „Think Big“, je v podjetju Teradata razvila to orodje.
  • Podjetje Podatki o sodu Inc ponuja tudi te storitve.
  • Od Microsoft , lahko najdeš Azurno podatkovno jezero na voljo v industriji.
  • Hvr-programska oprema ponuja tudi rešitve za konsolidacijo podatkovnega jezera.
  • Podatki o podiju, podjetje Qlik ponuja izdelke za orodja, kot so cevovodi za podatkovno jezero, večzonsko podatkovno jezero.
  • Snežinka ima tudi podatkovni jezerski izdelek.
  • Zaloni je podjetje za podatkovno jezero, ki obdeluje ogromne podatke z uporabo velikih podatkov.

To so vsi priljubljeni ponudniki storitev in prodajalci takšnih orodij.

Če želite vaditi in graditi svoje znanje o podatkovnih jezerih, potem lahko izberete Informatico ali Kylo. Če iščete storitev v oblaku, se lahko odločite za Looker, Informatica in Talend. Ti trije ponudniki zagotavljajo podatkovna jezera v oblaku AWS. Pri Kylu lahko dobite tudi enomesečni brezplačni preskus.

Zaključek

V tej vadnici smo podrobno razpravljali o konceptu podatkovnega jezera. Pregledali smo osnovno idejo podatkovnega jezera, njegovo arhitekturo, ključne značilnosti, prednosti, primere, primere uporabe itd.

Videli smo tudi, kako se podatkovno jezero razlikuje od podatkovnega skladišča. Zajeli smo tudi najboljše prodajalce, ki nudijo sorodne storitve.

Veselo branje !!

Priporočeno branje

^