Meni

Vadnica za testiranje skladišča podatkov s primeri | Vodič za preizkušanje ETL

  • Glavni
  • Drugo
  • Vadnica za testiranje skladišča podatkov s primeri | Vodič za preizkušanje ETL

data warehouse testing tutorial with examples etl testing guide

Preizkusite Naš Instrument Za Odpravo Težav

Ta vadnica podrobno zajema cilje in pomen testiranja skladišča podatkov, odgovornosti za testiranje ETL, napake pri uvajanju DW in ETL:

V tem Serija usposabljanj za poglobljeno skladišče podatkov , smo si ogledali Kaj je ET L Proces v podatkovnem skladišču v Ljubljani podrobnosti v naši prejšnji vadnici.

Ta vadnica vam bo dala razumevanje, kako lahko v organizaciji opravite testiranje skladišča podatkov. Spoznali boste tudi cilje testiranja DW, kako in kakšno testiranje je mogoče izvesti na zaledju, kdo vse je vključen v ta postopek, napake DW in uvajanje ETL.

=> Tukaj preverite VSE Vadnice za skladiščenje podatkov.

Preizkušanje ETL skladišča podatkov

Ciljna publika

  • Razvijalci in preizkuševalci podatkovnega skladišča / ETL.
  • Strokovnjaki za baze podatkov z osnovnim znanjem konceptov baz podatkov.
  • Skrbniki baz podatkov / strokovnjaki za velike podatke, ki želijo razumeti koncepte Data Warehouse / ETL.
  • Diplomanti / osvežitelji, ki iščejo zaposlitve v skladišču podatkov.

Kaj se boste naučili:

Preizkušanje podatkovnega skladišča (ETL)

Kakšen je pomen testiranja sistemov Data Warehouse in Business Intelligence?

Testiranje igra ključno vlogo pri uspehu katerega koli od zgornjih dveh sistemov z zagotavljanjem pravilnosti podatkov, ki krepijo vero končnih uporabnikov.

Na splošno napaka, ugotovljena v poznejših fazah življenjskega cikla razvoja programske opreme, stane več, da jo odpravite. Ta položaj v DW se lahko poslabša, ker so bili napačni podatki, najdeni na poznejših stopnjah, že takrat uporabljeni pri pomembnih poslovnih odločitvah.

Tako je popravek v DW dražji v smislu sprememb procesa, ljudi in tehnologije. Testiranje DW lahko začnete že v fazi zbiranja zahtev.

Pripravljena in pregledana je matrika sledljivosti zahtev, ki v glavnem preslika funkcije DW z njihovimi poslovnimi zahtevami. Matrika sledljivosti deluje kot vhod v načrt preskusa DW, ki ga pripravijo preizkuševalci. Načrt preskusov opisuje teste, ki jih je treba izvesti za potrditev sistema DW.

Opisuje tudi vrste preskusov, ki se bodo izvajali v sistemu. Ko bo testni načrt pripravljen, bodo pripravljeni vsi podrobni testni primeri za različne scenarije DW. Nato bodo izvedeni vsi testni primeri in zabeležene napake.

V operativnem svetu obstaja standard, ki vzdržuje različna okolja za razvoj, testiranje in proizvodnjo. V svetu DW bodo razvijalci in preizkuševalci pred začetkom dela poskrbeli, da bodo razvojna in testna okolja na voljo z replikami proizvodnih podatkov.

Ta je kopiran za seznam tabel z omejenimi ali popolnimi podatki, odvisno od potreb projekta, saj so proizvodni podatki res veliki. Razvijalci razvijejo svojo kodo v okolju razvijalca in jo dostavijo preizkuševalcem.

Preizkuševalci bodo preizkusili kodo, dostavljeno v preskusnih okoljih, da se prepričajo, ali vsi sistemi delujejo. Nato bo koda začela delovati v produkcijskih okoljih. Koda DW se vzdržuje tudi v različnih različicah glede na napake, odpravljene v vsaki izdaji. Vzdrževanje več okolij in različic kode pomaga zgraditi sistem dobre kakovosti.

kaj je dobra aplikacija za prenos datotek mp3 za android

Cilji testiranja skladišča podatkov (ETL)

Oglejmo si cilje testiranja skladišča podatkov.

# 1) Popolnost podatkov: Prepričajte se, da so vsi podatki iz različnih virov naloženi v skladišče podatkov. Preskusna skupina preveri, ali so naloženi vsi zapisi DW, glede na izvorno bazo podatkov in ploščate datoteke, tako da upošteva spodnje vzorčne strategije.

  • Skupno število zapisov, naloženih iz izvornega sistema, se mora ujemati s skupnim številom zapisov, naloženih v DW. Če obstaja razlika, lahko pomislite na zavrnjene zapise.
  • Podatke, naložene v vsako polje DW, primerjajte s podatkovnimi polji izvornega sistema. To bo odkrilo morebitne napake v podatkih.

# 2) Preoblikovanje podatkov: Med nalaganjem izvornih podatkov v podatkovno skladišče lahko nekaj polj naložite neposredno z izvornimi podatki, nekaj polj pa bo naloženih s podatki, ki se preoblikujejo v skladu s poslovno logiko. To je zapleten del testiranja DW (ETL).

Spodaj so primeri strategij za preizkus tega:

  • Preizkusite lahko tako, da ustvarite in primerjate podatke v preglednicah. Izvorne transformirane podatke in podatke DW naložite v preglednice in izvedite primerjavo. Neujemanja ne sme biti.
  • Preizkuševalci bi morali zapisati poizvedbe v skladu s logiko preoblikovanja, da primerjajo podatke DW z izvornimi podatki. Izvedba poizvedbe bo zagotovila, da validacija podatkov za katero koli polje ne manjka.

# 3) Kakovost podatkov: Sistem skladišča podatkov (ETL) mora zagotavljati kakovost podatkov, naloženih vanj, z zavrnitvijo (ali) popravljanjem podatkov.

DW lahko zavrni nekaj izvornih sistemskih podatkov, ki temeljijo na logiki poslovnih zahtev. Na primer, zavrne zapis, če ima določeno polje neštevilske podatke. Vsi zavrnjeni zapisi se naložijo v tabelo zavrnitev za referenco.

Zavrnjeni podatki se sporočijo strankam, ker ni možnosti, da bi spoznali te zamujene podatke, saj ne bodo naloženi v sistem DW. DW lahko pravilno podatke z nalaganjem nič na mesto ničelnih vrednosti itd.

# 4) Razširljivost in zmogljivost: Skladišče podatkov mora zagotavljati razširljivost sistema z naraščajočimi obremenitvami. S tem med izvajanjem poizvedb ne bi smelo prihajati do poslabšanja, s pričakovanimi rezultati v določenih časovnih okvirih. Tako testiranje učinkovitosti odkrije kakršne koli težave in jih odpravi pred proizvodnjo.

Spodaj so primeri strategij za testiranje zmogljivosti in razširljivosti:

  • Opravite preskušanje učinkovitosti z nalaganjem obsega podatkov in zagotovite, da časovni okviri niso zamujeni.
  • Preverite veljavnost vsake poizvedbe z množičnimi podatki. Preizkusite zmogljivost z uporabo enostavnih in večkratnih združitev.
  • Naložite dvojno (ali) trojno količino podatkov, ki naj bi približno izračunala zmogljivost sistema.
  • Preizkusite z zagonom opravil za vsa navedena poročila hkrati.

# 5) Preskušanje integracije: Podatkovno skladišče mora izvajati integracijsko preskušanje z drugimi aplikacijami navzgor in navzdol. Če je mogoče, je bolje, da proizvodne podatke prekopirate v preskusno okolje za integracijsko testiranje.

V tej fazi bi morale biti vključene vse sistemske ekipe, da bi premostili vrzeli, hkrati pa razumeli in preizkusili vse sisteme skupaj.

# 6) Testiranje enote: To izvedejo posamezni razvijalci na podlagi svojih rezultatov. Razvijalci bodo pripravili scenarije enotnih testov na podlagi njihovega razumevanja zahtev, izvedli enotne teste in dokumentirali rezultate. To razvijalcem pomaga, da odpravijo morebitne napake, če jih najdejo, preden dostavijo kodo preskusni skupini.

# 7) Testiranje regresije: Preveri, da sistem DW po odpravi napak ne deluje pravilno. To se izvede večkrat z vsako novo spremembo kode.

# 8) Preizkus sprejemljivosti uporabnika: To testiranje izvajajo poslovni uporabniki za preverjanje funkcionalnosti sistema. Okolje UAT se razlikuje od okolja QA. Odjava iz UAT pomeni, da smo kodo pripravljeni premakniti v proizvodnjo.

ustvarjanje dvojno povezanega seznama v javi

Z vidika Data Warehouse in Business Intelligence lahko poslovni uporabniki potrdijo različna poročila prek uporabniškega vmesnika (UI). Lahko potrdijo specifikacije poročila glede na zahteve, potrdijo pravilnost podatkov v poročilih, preverijo, kako hitro sistem vrne rezultate itd.

Diagram toka preskušanja DW:

Diagram poteka preskušanja skladišča podatkov

Odgovornosti za preskušanje skladišča podatkov

Spodaj so navedene različne ekipe, ki sodelujejo pri zagotavljanju uspešnega sistema DW:

  • Poslovni analitiki: Zberite vse poslovne zahteve za sistem in dokumentirajte tiste, ki ustrezajo vsem.
  • Skupina za infrastrukturo: Nastavite različna okolja, kot je potrebno za razvijalce in preizkuševalce.
  • Razvijalci: Razvijte ETL kodo v skladu z zahtevami in izvedite preskuse enot.
  • QA (zagotavljanje kakovosti) / preizkuševalci: Razvijte testni načrt, testne primere itd. Z izvajanjem testnih primerov prepozna napake v sistemu. Opravite različne stopnje testiranja.
  • DBA: DBA skrbijo za pretvorbo logičnih scenarijev baze podatkov ETL v fizične scenarije baze podatkov ETL in vključujejo tudi preizkušanje učinkovitosti.
  • Poslovni uporabniki: Vključite se v testiranje sprejemljivosti uporabnikov, zaženite poizvedbe in poročila v tabelah DW.

Napake v skladišču podatkov

Med pridobivanjem, preoblikovanjem in nalaganjem podatkov (ETL) iz več virov obstaja verjetnost, da boste dobili slabe podatke, ki bi lahko prekinili dolgotrajna opravila.

Spodaj so navedeni glavni vzroki za okvaro sistema DW:

# 1) Kršitve poslovnih pravil (logične napake): Logično napačni podatki kršijo poslovna pravila. S takimi podatki je mogoče večinoma ravnati v fazah preoblikovanja ali nalaganja.

# 2) Kršitve pravil o podatkih (napake v podatkih): Podatkovne napake se pojavljajo znotraj sistema baz podatkov DW, kot so neusklajenosti podatkovnih vrst, napake podatkovne omejitve itd.

Uvajanje ETL

To je faza, v kateri se vsa vaša prizadevanja pokažejo v živo. Pripraviti je treba vse dokumente o proizvodnji.

Dokumentacija bo drugim povedala o zaporedju opravljenih opravil, scenarijih odpravljanja napak, gradivu za usposabljanje podpornih skupin DW za spremljanje sistema po uvedbi in administrativni podporni skupini za izvajanje poročil.

Zaključek

V tej vadnici smo podrobno spoznali cilje testiranja skladišča podatkov, odgovornosti za testiranje ETL, napake pri uvajanju DW in ETL.

Upamo, da imate idejo o tem, kako je mogoče v sistemu skladišča podatkov (ETL) opraviti podrobna testiranja.

=> Obiščite tukaj, če se želite naučiti skladiščenja podatkov iz nič.

Priporočeno branje

^