Meni

Vadnica za testiranje skladišča podatkov ETL (popoln vodnik)

etl testing data warehouse testing tutorial

Preizkusite Naš Instrument Za Odpravo Težav

Testiranje ETL / postopek skladiščenja podatkov in izzivi:

Danes si lahko vzamem trenutek in razložim svoje bratstvo za testiranje o enem izmed najbolj zahtevnih in prihajajočih veščin za moje prijatelje preizkuševalce, tj. O testiranju ETL (Extract, Transform in Load).

Ta vadnica vam bo predstavila popolno predstavo o testiranju ETL in o tem, kaj počnemo za testiranje postopka ETL.

Popolni seznam vaj v tej seriji:

  • Vadnica # 1 : Uvod v vodnik za testiranje skladišča podatkov ETL
  • Vadnica # 2 : Testiranje ETL z orodjem Informatica PowerCenter
  • Vadnica št. 3 : ETL v primerjavi z DB testiranjem
  • Vadnica # 4 : Testiranje poslovne inteligence (BI): Kako preizkusiti poslovne podatke
  • Vadnica št. 5 : 10 najboljših orodij za preizkušanje ETL

Opaženo je bilo, da neodvisno preverjanje in potrjevanje pridobiva velik tržni potencial in številna podjetja to zdaj vidijo kot potencialno poslovno korist.

Testiranje ETL _ Testiranje skladišča podatkov - nasveti, tehnike, postopki in izzivi

Strankam je bila ponujena različna paleta izdelkov glede na ponudbo storitev, ki so razporejene na številnih področjih glede na tehnologijo, postopek in rešitve. ETL ali podatkovno skladišče je ena izmed ponudb, ki se hitro in uspešno razvija.

Postopek ETL

S postopkom ETL se podatki pridobijo iz izvornih sistemov, se preoblikujejo v skladu s poslovnimi pravili in na koncu naložijo v ciljni sistem (podatkovno skladišče). Podatkovno skladišče je trgovina v celotnem podjetju, ki vsebuje integrirane podatke, ki pomagajo v procesu poslovnega odločanja. Je del poslovne inteligence.

Kaj se boste naučili:

Zakaj organizacije potrebujejo skladišče podatkov?

Organizacije z organizirano IT-prakso se veselijo, da bodo ustvarile naslednjo stopnjo tehnološke preobrazbe. Zdaj se poskušajo narediti veliko bolj operativne z enostavnimi podatki.

Če rečemo, da so podatki najpomembnejši del katere koli organizacije, so to lahko vsakdanji ali zgodovinski podatki. Podatki so hrbtenica vsakega poročila, poročila pa so osnova, na kateri se sprejemajo vse ključne odločitve upravljanja.

Večina podjetij naredi korak naprej pri izdelavi svojega podatkovnega skladišča za shranjevanje in spremljanje tako podatkov v realnem času kot tudi zgodovinskih podatkov. Izdelava učinkovitega podatkovnega skladišča ni lahko delo. Številne organizacije imajo razdeljene oddelke z različnimi aplikacijami, ki delujejo na porazdeljeni tehnologiji.

Orodje ETL je uporabljeno za brezhibno integracijo med različnimi viri podatkov iz različnih oddelkov. Orodje ETL bo delovalo kot integrator in pridobivalo podatke iz različnih virov; preoblikovanje v želeno obliko, ki temelji na pravilih za poslovno preoblikovanje, in nalaganje v kohezivni DB, znani so Data Warehouse.

Dobro načrtovan, natančno določen in učinkovit obseg testiranja zagotavlja nemoteno pretvorbo projekta do produkcije. Podjetje dobi resnično vzgon, ko postopke ETL preveri in potrdi neodvisna skupina strokovnjakov, da se prepriča, ali je podatkovno skladišče konkretno in zanesljivo.

Testiranje ETL ali podatkovnega skladišča je razdeljeno na štiri različne dejavnosti ne glede na uporabljeno tehnologijo ali orodja ETL:

  • Preskušanje novega skladišča podatkov - Nova DW je zgrajena in preverjena iz nič. Podatki se vnesejo iz zahtev kupcev in različnih virov podatkov, novo skladišče podatkov pa je zgrajeno in preverjeno s pomočjo orodij ETL.
  • Preskušanje migracij - Pri tej vrsti projekta bodo imeli kupci obstoječa DW in ETL, ki opravljajo naloge, vendar želijo izboljšati učinkovitost novega orodja.
  • Spremeni zahtevo - Pri tej vrsti projekta se obstoječim DW dodajo novi podatki iz različnih virov. Mogoče je tudi pogoj, ko mora stranka spremeniti obstoječe poslovno pravilo ali pa novo pravilo vključiti.
  • Poročilo Testiranje - Poročilo je končni rezultat katerega koli skladišča podatkov in osnovni predlog, za katerega gradi DW. Poročilo je treba preizkusiti s potrditvijo postavitve, podatkov v poročilu in izračuna.

Postopek ETL

( Opomba : Kliknite sliko za povečavo)

Testiranje ETL

Tehnike preizkušanja ETL

1) Testiranje preoblikovanja podatkov : Preverite, ali se podatki pravilno preoblikujejo v skladu z različnimi poslovnimi zahtevami in pravili.

2) Testiranje vira do ciljnega števila : Prepričajte se, da se število zapisov, naloženih v cilj, ujema s pričakovanim štetjem.

3) Testiranje vira do ciljnih podatkov : Prepričajte se, da so vsi predvideni podatki naloženi v podatkovno skladišče brez izgube in okrnitve podatkov.

4) Preskušanje kakovosti podatkov : Prepričajte se, da aplikacija ETL ustrezno zavrne, nadomesti s privzetimi vrednostmi in sporoči neveljavne podatke.

5) Testiranje učinkovitosti : Prepričajte se, da so podatki naloženi v podatkovno skladišče v predpisanih in pričakovanih časovnih okvirih, da potrdite izboljšano zmogljivost in razširljivost.

razlika med testnim primerom in testnim načrtom

6) Preskus validacije proizvodnje: Potrdite podatke v proizvodnem sistemu in jih primerjajte z izvornimi podatki.

7) Testiranje integracije podatkov : Prepričajte se, da so bili podatki iz različnih virov pravilno naloženi v ciljni sistem in da so preverjene vse mejne vrednosti.

8) Testiranje selitve aplikacij : Pri tem testiranju je zagotovljeno, da aplikacija ETL dobro deluje pri selitvi na novo polje ali platformo.

9) Preverjanje podatkov in omejitev : V tem primeru se preizkusijo tip podatkov, dolžina, indeks, omejitve itd.

10) Preverjanje dvojnikov podatkov : Preverite, ali so v ciljnih sistemih prisotni podvojeni podatki. Podvojeni podatki lahko vodijo do napačnih analitičnih poročil.

Poleg zgornjih metod testiranja ETL se izvajajo tudi druge metode testiranja, kot so testiranje sistemske integracije, testiranje sprejemljivosti uporabnikov, postopno testiranje, regresijsko testiranje, ponovno testiranje in testiranje navigacije, da se zagotovi, da je vse gladko in zanesljivo.

ETL / Podatkovno skladišče Preskusni postopek

Podobno kot pri katerem koli drugem testiranju, ki spada pod Neodvisno preverjanje in potrjevanje, tudi ETL prehaja v isto fazo.

  • Razumevanje zahtev
  • Preverjanje veljavnosti
  • Preskusna ocena na podlagi številnih tabel, zapletenosti pravil, obsega podatkov in uspešnosti dela.
  • Načrtovanje preskusov temelji na podatkih iz ocene testa in poslovnih zahtev. Tu moramo ugotoviti, kaj je v obsegu in kaj izven obsega. V tej fazi smo pozorni tudi na odvisnosti, tveganja in načrte za ublažitev.
  • Oblikovanje testnih primerov in preizkusite scenarije iz vseh razpoložljivih vhodov. Prav tako moramo oblikovati preslikavo dokumentov in skripte SQL.
  • Ko so vsi testni primeri pripravljeni in odobreni, preizkusna skupina nadaljuje s preverjanjem pred izvedbo in priprava podatkov o preskusih za testiranje
  • Nazadnje, izvedba se izvaja, dokler niso izpolnjeni izhodni kriteriji. Torej, faza izvedbe vključuje izvajanje opravil ETL, spremljanje izvajanja opravil, izvajanje skripta SQL, beleženje napak, ponovno testiranje napak in testiranje regresije.
  • Po uspešnem zaključku se pripravi zbirno poročilo in zaključi postopek. V tej fazi je podpisan znak za napredovanje delovnega mesta ali kode v naslednjo fazo.

Prvi dve fazi, tj. Razumevanje in validacija zahtev, lahko štejemo za predhodni korak testnega postopka ETL.

Torej, glavni postopek lahko predstavimo kot spodaj:

glavni postopek

Treba je določiti preskusno strategijo, ki bi jo morale zainteresirane strani vzajemno sprejeti pred začetkom dejanskega preskušanja. Dobro opredeljena preskusna strategija bo zagotovila, da je bil upoštevan pravilen pristop, ki je ustrezal preizkusni težnji.

Preizkušanje ETL / Data Warehouse bo morda zahtevalo obsežno pisanje stavkov SQL s strani ekipe za testiranje ali morda prilagajanje SQL-ja, ki ga je zagotovila razvojna skupina. V vsakem primeru se mora preskusna skupina zavedati rezultatov, ki jih skuša pridobiti z uporabo teh stavkov SQL.

Razlika med testiranjem zbirke podatkov in skladišča podatkov

Obstaja splošno nesporazum, da testiranje baze podatkov in podatkovno skladišče je podobno, medtem ko je dejstvo, da imata oba različno smer pri testiranju.

  • Preizkušanje podatkovnih baz se izvaja z manjšim obsegom podatkov, ki je običajno v obliki podatkovnih baz OLTP (spletna obdelava transakcij), medtem ko se preskušanje podatkovnega skladišča izvaja z velikim obsegom s podatki, ki vključujejo baze podatkov OLAP (spletna analitična obdelava).
  • Pri testiranju baz podatkov se podatki običajno dosledno vbrizgavajo iz enotnih virov, medtem ko pri testiranju podatkovnega skladišča večina podatkov prihaja iz različnih vrst podatkovnih virov, ki so zaporedno neskladni.
  • Na splošno izvajamo edino operacijo CRUD (ustvarjanje, branje, posodabljanje in brisanje) pri preskušanju zbirke podatkov, medtem ko pri preskušanju podatkovnega skladišča uporabljamo samo branje (Select).
  • Normalizirane baze podatkov se uporabljajo pri testiranju DB, demoralizirana DB pa pri testiranju podatkovnih skladišč.

Obstajajo številna univerzalna preverjanja, ki jih je treba opraviti za kakršno koli testiranje podatkovnega skladišča.

Spodaj je seznam predmetov, ki so v tem preskušanju obravnavani kot bistveni za preverjanje veljavnosti:

  • Preverite, ali preoblikovanje podatkov iz vira v cilj deluje po pričakovanjih
  • Preverite, ali so pričakovani podatki dodani v ciljni sistem
  • Preverite, ali so vsa polja DB in podatki o njih naloženi brez kakršnega koli okrnjenja
  • Preverite podatkovno vsoto za ujemanje števila zapisov
  • Preverite, ali so za zavrnjene podatke ustvarjeni ustrezni dnevniki napak z vsemi podrobnostmi
  • Preverite NULL polja vrednosti
  • Preverite, ali podvojeni podatki niso naloženi
  • Preverite celovitost podatkov

=> Spoznajte razlika med testiranjem ETL / podatkovnega skladišča in testiranjem zbirke podatkov .

Izzivi preizkušanja ETL

To testiranje se precej razlikuje od običajnega testiranja. Pri preizkušanju podatkovnega skladišča smo se srečali s številnimi izzivi.

Tu je nekaj izzivov, ki sem jih doživel pri svojem projektu:

  • Nezdružljivi in ​​podvojeni podatki
  • Izguba podatkov med postopkom ETL
  • Nerazpoložljivost vključujočega testnega prostora
  • Preizkuševalci nimajo privilegijev, da bi sami opravljali opravila ETL
  • Obseg in zapletenost podatkov sta zelo velika
  • Napaka v poslovnem procesu in postopkih
  • Težave pri pridobivanju in ustvarjanju podatkov o preskusih
  • Nestabilno preskusno okolje
  • Manjkajo informacije o poslovnem toku

Podatki so pomembni za podjetja pri sprejemanju kritičnih poslovnih odločitev. Testiranje ETL ima pomembno vlogo pri preverjanju in zagotavljanju, da so poslovne informacije natančne, dosledne in zanesljive. Prav tako zmanjšuje nevarnost izgube podatkov v proizvodnji.

Upamo, da vam bodo ti nasveti pomagali zagotoviti, da bo vaš postopek ETL natančen in da bo podatkovno skladišče, ki ga zgradite s tem, konkurenčna prednost za vaše podjetje.

Popoln seznam vaj za testiranje ETL:

  • Vadnica # 1 : Uvod v vodnik za testiranje skladišča podatkov ETL
  • Vadnica # 2 : Testiranje ETL z orodjem Informatica PowerCenter
  • Vadnica št. 3 : ETL v primerjavi z DB testiranjem
  • Vadnica # 4 : Testiranje poslovne inteligence (BI): Kako preizkusiti poslovne podatke
  • Vadnica št. 5 : 10 najboljših orodij za preizkušanje ETL

To je gostujoča objava Vishala Chhaperije, ki dela v MNC v vlogi vodje testa. Ima bogate izkušnje z upravljanjem večtehnoloških projektov za zagotavljanje kakovosti, procesov in skupin.

Ste že delali na testiranju ETL? Spodaj delite svoje nasvete in izzive za testiranje ETL / DW.

Priporočeno branje

^