data warehousing fundamentals
Izvedite vse o osnovah skladiščenja podatkov. Ta poglobljeni vodnik pojasnjuje, kaj je skladiščenje podatkov, skupaj z njegovimi vrstami, značilnostmi, vrednotami in pomanjkljivostmi:
Podatkovno skladišče je najnovejši trend shranjevanja v današnji IT industriji.
Ta vadnica bo razložila Kaj je skladišče podatkov? Zakaj je skladiščenje podatkov ključnega pomena? Vrste aplikacij skladišča podatkov, značilnosti skladišča podatkov, prednosti in slabosti skladiščenja podatkov.
Seznam vadnic za skladiščenje podatkov v tej seriji:
Vadnica št. 1: Osnove skladiščenja podatkov
Vadnica # 2: Kaj je postopek ETL v skladišču podatkov?
Vadnica št. 3: Testiranje skladišča podatkov
Vadnica # 4: Dimenzijski podatkovni model v podatkovnem skladišču
Vadnica št. 5: Vrste shem pri modeliranju skladišča podatkov
Vadnica # 6: Data Mart Vadnica
Vadnica št. 7: Metapodatki v ETL
Pregled vadnic v tej seriji skladiščenja podatkov
| Tutorial_Num | Kaj se boste naučili |
|---|---|
| Vadnica št. 7 | Metapodatki v ETL Ta vadnica razlaga vlogo metapodatkov v ETL, primere in vrste metapodatkov, skladišče metapodatkov in izzive pri upravljanju metapodatkov. |
| Vadnica # 1 | Osnove skladiščenja podatkov V tej vadnici preberite vse o konceptih skladiščenja podatkov. Ta poglobljeni vodnik razlaga, kaj je skladiščenje podatkov, skupaj z njegovimi vrstami, značilnostmi, vrednotami in pomanjkljivostmi. |
| Vadnica # 2 | Kaj je postopek ETL v skladišču podatkov? Ta poglobljena vadnica o postopku ETL pojasnjuje tok procesa in korake, vključene v postopek ETL (ekstrakcija, pretvorba in nalaganje) v skladišču podatkov. |
| Vadnica št. 3 | Testiranje skladišča podatkov Cilji in pomen testiranja skladišča podatkov, odgovornosti za testiranje ETL, napake pri uvajanju DW in ETL v tej vadnici podrobno. |
| Vadnica # 4 | Dimenzijski podatkovni model v podatkovnem skladišču Ta vadnica razlaga prednosti in mite dimenzijskega podatkovnega modela v skladišču podatkov. Spoznali boste tudi dimenzijske tabele in tabele s primeri. |
| Vadnica št. 5 | Vrste shem pri modeliranju skladišča podatkov Ta vadnica razlaga različne tipe shem skladišča podatkov. Preberite, kaj je shema zvezd in shema snežink in kakšna je razlika med shemo zvezd in snežink. |
| Vadnica št. 6 | Data Mart Vadnica Ta vadnica razlaga koncepte Data Mart, vključno z implementacijo Data Mart, vrstami, strukturo, pa tudi razlikami med skladiščem podatkov in Data Martom. |
Kaj se boste naučili:
Osnove skladiščenja podatkov: Popoln vodnik
Ciljna publika
- Razvijalci in preizkuševalci podatkovnega skladišča / ETL.
- Strokovnjaki za baze podatkov z osnovnim znanjem konceptov baz podatkov.
- Skrbniki baz podatkov / strokovnjaki za velike podatke, ki želijo razumeti koncepte skladiščenja podatkov.
- Diplomanti / osvežitelji, ki iščejo zaposlitve v skladišču podatkov.
Kaj je skladiščenje podatkov?
Skladišče podatkov (DW) je skladišče ogromne količine organiziranih podatkov. Ti podatki so združeni iz enega ali več različnih virov podatkov. DW je relacijska baza podatkov, ki je v glavnem zasnovana za analitično poročanje in pravočasno odločanje v organizacijah.
Podatki v ta namen so ločeni in optimizirani iz izvornih podatkov o transakcijah, kar ne bo vplivalo na glavno dejavnost. Če organizacija uvede kakršno koli poslovno spremembo, se DW uporablja za preučitev učinkov te spremembe, zato se DW uporablja tudi za spremljanje postopka odločanja.
vzorec preskusnega načrta za spletno aplikacijo
Skladišče podatkov je večinoma samo za branje, saj so operativni podatki zelo ločeni od DW. To zagotavlja okolje za pridobivanje največje količine podatkov z dobrim pisanjem poizvedb.
Tako bo DW deloval kot zaledni mehanizem za orodja Business Intelligence, ki prikazuje poročila, nadzorne plošče za poslovne uporabnike. DW se pogosto uporablja v bančnem, finančnem, maloprodajnem sektorju itd.
Zakaj je skladiščenje podatkov ključnega pomena?
Spodaj so navedeni nekateri razlogi, zaradi katerih je skladišče podatkov ključnega pomena.
- Podatkovno skladišče zbira vse operativne podatke iz več heterogenih virov 'različnih formatov' in skozi postopek ekstrakcije, pretvorbe in nalaganja (ETL) podatke naloži v DW v 'standardizirani dimenzijski obliki' v celotni organizaciji.
- Podatkovno skladišče hrani „trenutne podatke in pretekle podatke“ za analitično poročanje in sprejemanje odločitev na podlagi dejstev.
- Organizaciji pomaga pri sprejemanju 'pametnejših in hitrejših odločitev' o zmanjšanju stroškov in povečanju prihodkov s primerjavo četrtletnih in letnih poročil za izboljšanje njihove uspešnosti.
Vrste aplikacij za skladišče podatkov
Business Intelligence (BI) je veja skladiščenja podatkov, namenjena odločanju. Ko so podatki v DW naloženi, ima BI glavno vlogo tako, da analizira podatke in jih predstavi poslovnim uporabnikom.
Izraz 'aplikacije za podatkovno skladišče' praktično pomeni, v koliko različnih vrstah je mogoče podatke obdelati in uporabiti.
Kot so omenjene spodaj, imamo tri vrste aplikacij DW.
- Obdelava informacij
- Analitična obdelava
- Podatkovno rudarjenje, ki služi namenu BI
# 1) Obdelava informacij
To je nekakšna aplikacija, pri kateri podatkovno skladišče omogoča neposreden neposreden stik s podatki, shranjenimi v njem.
Ker je podatke mogoče obdelati s pisanjem neposrednih poizvedb na podatke (ali) z osnovno statistično analizo podatkov, bodo končni rezultati poslovnim uporabnikom sporočeni v obliki poročil, tabel, grafikonov ali grafov.
DW podpira naslednja orodja za obdelavo informacij:
(i) Orodja za poizvedbe: Podjetje (ali) analitik izvaja poizvedbe z uporabo poizvedbenih orodij za raziskovanje podatkov in ustvarjanje rezultatov v obliki poročil ali grafik v skladu s poslovnimi zahtevami.
(ii) Orodja za poročanje: Če želi podjetje rezultate videti v kateri koli opredeljeni obliki in po načrtovanem času, tj. Dnevno, tedensko ali mesečno, bodo uporabljena orodja za poročanje. Tovrstna poročila je mogoče kadar koli shraniti in pregledati.
kako popraviti privzeta okna prehoda 10
(iii) Orodja za statistiko: Če želi podjetje opraviti analizo širokega pogleda na podatke, bodo za ustvarjanje takšnih rezultatov uporabljena statistična orodja. Podjetja lahko sklepajo in napovedujejo z razumevanjem teh strateških rezultatov.
# 2) Analitična obdelava
To je nekakšna aplikacija, kjer podatkovno skladišče omogoča analitično obdelavo podatkov, shranjenih v njem. Podatke lahko analiziramo z naslednjimi operacijami, kot so Slice-and-Dice, Drill Down, Roll Up in Pivoting.
(i) Nareži kocke : Podatkovno skladišče omogoča operacije rezanja in kockanja za analizo podatkov, do katerih dostopate z več ravni, s kombinacijo različnih perspektiv. Operacija rezanja in kocke interno uporablja mehanizem vrtanja navzdol. Rezanje deluje na dimenzijske podatke.
Kot del poslovne zahteve, če se osredotočimo na eno samo območje, nato rezanje analizira dimenzije tega območja glede na zahteve in daje rezultate. Kockanje dela na analitičnih operacijah. Kockanje poveča zobe za določen niz atributov v vseh dimenzijah, da se zagotovijo različne perspektive. Dimenzije so upoštevane na eni ali več zaporednih rezinah.
(ii) Drill Down : Če podjetje želi preiti na podrobnejšo raven katere koli številke povzetka, je vrtanje navzdol postopek za pomikanje po povzetku na manj podrobne ravni. To daje odlično predstavo o tem, kaj se dogaja in kam je treba podjetje bolj osredotočiti.
Razvrščajte sledi od ravni hierarhije do manjše ravni podrobnosti za analizo osnovnega vzroka. To je mogoče zlahka razumeti na primeru, saj se lahko zgodi, da se bo prodaja zmanjšala Na ravni države -> Raven regije -> Raven države -> Raven okrožja -> Raven trgovine.
(iii) Zvijte : Zvijanje deluje nasprotno od postopka vrtanja navzdol. Če podjetje želi kakršne koli strnjene podatke, potem se pojavijo zvitki. Podatke na ravni podrobnosti združuje s premikanjem v dimenzijski hierarhiji.
Zbirni prikazi se uporabljajo za analizo razvoja in delovanja sistema.
To lahko razumemo z Primer kot pri prodajnem zvitku, kjer se lahko zberejo skupni zneski Mestna raven -> Na državni ravni -> Raven regije -> Raven države .
(iv) vrtišče : Vrtenje analizira dimenzijske podatke z vrtenjem podatkov na kockah. Na primer, dimenzijo vrstice je mogoče zamenjati z dimenzijo stolpca in obratno.
# 3) Podatkovno rudarjenje
To je nekakšna aplikacija, v kateri podatkovno skladišče omogoča odkrivanje znanja o podatkih, rezultati pa bodo predstavljeni z orodji za vizualizacijo. V zgornjih dveh vrstah aplikacij lahko informacije vodijo uporabniki.
Ker je podatkov v različnih podjetjih ogromno, je težko poiskati in podrobno obdelati podatkovno skladišče, da bi dobili vse možne vpoglede v podatke. Potem pride na vrsto rudarjenje podatkov, da se doseže odkritje znanja.
To vodi v podatke z vsemi preteklimi povezavami, rezultati itd. In napoveduje prihodnost. Zato to temelji na podatkih in ne na uporabniku. Podatke lahko odkrijemo z iskanjem skritih vzorcev, povezav, klasifikacij in napovedi.
Podatkovno rudarjenje s podatki poglobljeno napoveduje prihodnost. Na podlagi napovedi predlaga tudi ukrepe.
Spodaj so navedene različne dejavnosti rudarjenja podatkov:
- Vzorci: Podatkovno rudarjenje odkriva vzorce, ki se pojavijo v bazi podatkov. Uporabniki lahko zagotovijo poslovne vložke, na podlagi katerih se pričakuje nekaj znanja o vzorcih za odločanje.
- Združenja / odnosi: Podatkovno rudarjenje odkriva povezave med predmeti s pogostostjo pravil njihovega povezovanja. To razmerje je lahko med dvema ali več predmeti (ali) lahko odkrije pravila znotraj lastnosti istega predmeta.
- Razvrstitev: Podatkovno rudarjenje organizira podatke v nabor vnaprej določenih razredov. Torej, če kateri koli predmet poberemo iz podatkov, klasifikacija temu predmetu pridruži ustrezno oznako razreda.
- Napoved: Podatkovno rudarjenje primerja niz obstoječih vrednosti, da bi našli najboljše možne prihodnje vrednosti / trende v poslu.
Na podlagi vseh zgornjih rezultatov torej podatkovno rudarstvo predlaga tudi vrsto ukrepov, ki jih je treba izvesti.
Značilnosti skladišča podatkov
Podatkovno skladišče je zgrajeno na podlagi naslednjih značilnosti podatkov kot Predmetno usmerjena, Integrirana, Nehlapna in Časovna različica.
# 1) Predmetno usmerjeno: Skladišče podatkov lahko opredelimo kot predmetno usmerjeno, saj lahko analiziramo podatke glede na določeno predmetno področje in ne z uporabo pametnih podatkov. To prinaša bolj natančne rezultate za lažje odločanje. Glede izobraževalnega sistema so lahko predmetna področja študentje, predmeti, ocene, učitelji itd.
# 2) Integrirano: Podatki v podatkovnem skladišču so integrirani iz različnih virov, kot so druge relacijske zbirke podatkov, ploščate datoteke itd. Tako velika količina podatkov je pridobljena za učinkovito analizo podatkov. Vendar lahko pride do konfliktov podatkov, saj so lahko različni viri podatkov v različnih oblikah. Skladišče podatkov vse te podatke v celotnem sistemu prinaša v dosledni obliki.
# 3) Nehlapne snovi: Ko so podatki naloženi v podatkovno skladišče, jih ni več mogoče spremeniti. Logično je to sprejemljivo, saj pogosta sprememba podatkov ne omogoča analiziranja podatkov. Pogoste spremembe v operativni bazi podatkov lahko redno naložimo v podatkovno skladišče, med tem postopkom se dodajo novi podatki, vendar se prejšnji podatki ne izbrišejo in ostanejo kot zgodovinski podatki.
# 4) Časovna različica: Vsi pretekli podatki skupaj z nedavnimi podatki v podatkovnem skladišču igrajo ključno vlogo za pridobivanje podatkov v katerem koli časovnem obdobju. Če podjetje želi poročila, grafikone itd., Potem so za primerjavo s prejšnjimi leti in analizo trendov potrebni vsi stari podatki, stari 6 mesecev, enoletni ali celo starejši podatki itd.
Prednosti skladišča podatkov
Ko je sistem za shranjevanje podatkov produktiven, ima organizacija z njegovo uporabo naslednje prednosti:
- Izboljšana poslovna inteligenca
- Povečana zmogljivost sistema in poizvedb
- Poslovna inteligenca iz več virov
- Pravočasen dostop do podatkov
- Izboljšana kakovost in doslednost podatkov
- Zgodovinska inteligenca
- Visoka donosnost naložbe
# 1) Izboljšana poslovna inteligenca: V prejšnjih dneh, ko skladiščenja podatkov in poslovne inteligence ni bilo, so poslovni uporabniki in analitiki sprejemali odločitve z omejeno količino podatkov in z lastnimi občutki.
vprašanja in odgovori za intervju z informatiko za 5 let izkušenj
DW & BI sta prinesla spremembo z vpogledom v resnična dejstva in podatke o resnični organizaciji, ki se zbirajo v določenem časovnem obdobju. Poslovni uporabniki lahko neposredno povprašajo katere koli podatke o poslovnih procesih, kot so trženje, finance, prodaja itd., Glede na njihove potrebe po strateškem odločanju in pametnih poslovnih odločitvah.
# 2) Povečana zmogljivost sistema in poizvedb: Skladiščenje podatkov zbira obsežne informacije iz heterogenih sistemov in jih postavlja pod en sistem, tako da lahko en sam poizvedbeni mehanizem uporabimo za hitro iskanje podatkov.
# 3) Poslovna inteligenca iz več virov: Ali veste, kako Business Intelligence na splošno deluje na podatke? Za delo na projektu absorbira podatke iz več sistemov, podsistemov, platform in virov podatkov. Vendar podatkovno skladišče reši to težavo za BI tako, da konsolidira vse projektne podatke brez kakršnih koli dvojnikov.
# 4) Pravočasen dostop do podatkov: Poslovni uporabniki bodo imeli koristi, če bodo za pridobivanje podatkov porabili manj časa. Na voljo imajo nekaj orodij, s katerimi lahko podatke poizvedujejo z minimalnim tehničnim znanjem in ustvarjajo poročila. Tako poslovni uporabniki namesto zbiranja podatkov namenijo dovolj časa analizi podatkov.
# 5) Izboljšana kakovost in doslednost podatkov: Skladiščenje podatkov pretvori podatke z različnimi sistemskimi formati v en sam format. Zato lahko iste poslovne enote, ki podatke pridobivajo v podatkovnem skladišču, lahko ponovno uporabijo odlagališče DW za svoja poslovna poročila in poizvedbe.
Zato bodo po mnenju organizacije vse poslovne enote ostale na strani z doslednimi rezultati / poročili. Tako ti kakovostni in dosledni podatki pomagajo pri uspešnem poslovanju.
# 6) Zgodovinska inteligenca: Podatkovno skladišče hrani vse pretekle podatke, ki jih ne vzdržujejo nobeni transakcijski sistemi. Ta velika količina podatkov se uporablja za analizo podatkov za določeno časovno trajanje in poročanje o njih ter analizo trendov za napovedovanje prihodnosti.
# 7) Visoka donosnost naložbe (ROI): Vsakdo začne posel tako, da pričakuje dobre donose od naložb v smislu večjega dobička in manjših stroškov. Številne študije so v resničnem podatkovnem svetu dokazale, da je uvajanje podatkovnega skladišča in sistemov Business Intelligence ustvarilo visoke prihodke in prihranilo stroške.
Zdaj bi že morali razumeti, kako dobro zasnovan sistem DW doda koristi vašemu poslu.
Slabosti skladiščenja podatkov
Čeprav gre za zelo uspešen sistem, je dobro poznati nekatere pasti v sistemu:
- Ustvarjanje skladišča podatkov je vsekakor dolgotrajen in zapleten postopek.
- Stroški vzdrževanja so visoki, saj sistem potrebuje nenehne nadgradnje. Lahko se tudi poveča, če se ne uporablja pravilno.
- Razvijalce, preizkuševalce in uporabnike je treba ustrezno usposobiti za razumevanje sistema DW in njegovo tehnično izvedbo.
- Morda obstajajo občutljivi podatki, ki jih ni mogoče naložiti v DW za odločanje.
- Prestrukturiranje kakršnih koli poslovnih procesov (ali) izvornih sistemov močno vpliva na DW.
Zaključek
Upamo, da je ta uvodna vadnica predstavljala ozadje osnov skladiščenja podatkov. Poglobljeno smo si ogledali vse temeljne koncepte skladiščenja podatkov.
Definicijo, vrste, značilnosti, prednosti in slabosti skladiščenja podatkov smo spoznali v tej obsežni vadnici.
=> Preberite serijo Izobraževanja za enostavno shranjevanje podatkov.
Priporočeno branje
- Primeri rudarjenja podatkov: najpogostejše uporabe podatkovnega rudarjenja 2021
- Kako deluje preskušanje na podlagi podatkov (primera QTP in selena)
- Podatkovno rudarjenje: postopek, tehnike in glavna vprašanja pri analizi podatkov
- Vadnica za testiranje skladišča podatkov ETL (popoln vodnik)
- Najboljša BREZPLAČNA vadnica za C #: Ultimate C # Guide za začetnike
- Vadnica za računalniško mreženje: Ultimate Guide
- Vadnica QTP # 18 - Podatki in hibridni okviri, pojasnjeni s primeri QTP
- 10+ najboljših orodij za zbiranje podatkov s strategijami zbiranja podatkov