etl vs db testing closer look etl testing need
Testiranje programske opreme ima več področij, ki jih je treba osredotočiti. Glavne sorte so funkcionalna in nefunkcionalna testiranja. Funkcionalno testiranje je postopkovni način za zagotovitev, da razvita funkcionalnost deluje po pričakovanjih. Nefunkcionalno testiranje je pristop, s katerim je mogoče zagotoviti nefunkcionalne vidike, kot sta izboljšana ali zmogljivost na sprejemljivi ravni.
Obstaja še en okus testiranja DB testiranje . Podatki so v zbirki podatkov organizirani v obliki tabel. Za podjetja lahko obstajajo tokovi, kjer podatke iz več tabel je mogoče združiti ali obdelati v eno tabelo in obratno.
Testiranje ETL je še ena vrsta testiranja, ki je najprimernejša v poslovnem primeru, ko stranke zahtevajo vrsto poročanja. Poročilo se išče, da se analizirajo zahteve, potrebe in ponudba, tako da so stranke, podjetja in končni uporabniki zelo dobro oskrbljeni in imajo koristi.
Kaj se boste naučili v tej vadnici?
V tej vadnici boste izvedeli, kaj je testiranje zbirke podatkov, kaj je testiranje ETL, razlika med testiranjem DB in testiranjem ETL ter več podrobnosti o potrebah, postopkih in načrtovanju ETL z resničnimi primeri.
Na spodnji strani smo podrobneje zajeli tudi testiranje ETL. Oglejte si tudi to.
=> Testiranje ETL / Nasveti in tehnike testiranja skladišča podatkov
Kaj se boste naučili:
- DB testiranje v primerjavi z ETL testiranjem
- Primerjalna študija testiranja ETL in DB
- Zakaj bi se podjetje odločilo za ETL?
- Načrtovanje ETL preizkusov
- Kritične potrebe ETL
- Osnovna vprašanja pri testiranju ETL
- Točke, ki si jih je treba zapomniti med načrtovanjem in izvajanjem preizkusov ETL
- Orodja ETL in njihova pomembna uporaba
- Zaključek
- Priporočeno branje
DB testiranje v primerjavi z ETL testiranjem
Večina od nas je nekoliko zmedena glede na to, da sta testiranje baze podatkov in testiranje ETL podobna in enaka. Dejstvo je, da so si podobni, vendar ne enaki.
DB testiranje:
Testiranje DB se običajno pogosto uporablja v poslovnih tokovih, kjer se v aplikaciji pojavlja več podatkovnih tokov iz več virov podatkov v eno tabelo. Vir podatkov je lahko tabela, ploščata datoteka, aplikacija ali kar koli drugega, kar lahko prinese nekatere izhodne podatke.
Dobljene izhodne podatke pa lahko še vedno uporabljamo kot vhodne podatke za zaporedni poslovni tok. Ko izvajamo testiranje DB, je najpomembnejša stvar, ki jo je treba zajeti, način, kako se lahko podatki preoblikujejo iz vira, skupaj s tem, kako se shranijo na ciljni lokaciji.
Sinhronizacija je ena glavnih in bistvenih stvari, ki jih je treba upoštevati pri izvajanju testiranja DB. Zaradi pozicioniranja aplikacije v arhitekturnem toku lahko pride do težav s sinhronizacijo podatkov ali DB. Zato je med izvajanjem testiranja treba poskrbeti za to, saj lahko s tem premagamo potencial neveljavne napake ali napake.
Primer # 1:
Projekt »A« ima integrirano arhitekturo, kjer določena aplikacija uporablja podatke iz več drugih heterogenih podatkovnih virov. Zato je treba opraviti celovitost teh podatkov s ciljno lokacijo in validacijo za naslednje:
- Primarno preverjanje tujega ključa
- Celovitost vrednoti stolpec
- Ničelne vrednosti za poljubne stolpce
Kaj je testiranje ETL?
ETL testiranje je posebna vrsta testiranja, ki jo želi stranka narediti za napovedovanje in analizo svojega poslovanja. To se večinoma uporablja za poročanje. Če morajo stranke na primer poročati o kupcih, ki uporabljajo ali se odločijo za njihov izdelek na podlagi dneva nakupa, morajo uporabiti poročila ETL.
Objavi analiza in poročanje , ti podatki so shranjeni podatki v podatkovno skladišče, kamor je treba premakniti stare pretekle poslovne podatke.
prenesite vse pesmi s seznama predvajanja YouTube
To je večstopenjsko testiranje, saj se podatki iz vira pretvorijo v več okolij, preden dosežejo končno ciljno lokacijo.
2. primer:
Upoštevali bomo skupino 'A', ki posluje s kupci na drobno prek nakupovalnega trga, kjer lahko kupec vse gospodinjske predmete, potrebne za njihovo vsakodnevno preživetje. Tu so vse stranke, ki obiščejo, opremljene z edinstvenim ID-jem članstva, s katerim lahko pridobijo točke vsakič, ko pridejo kupiti stvari s trgovskega trga.
Predpisi, ki jih zagotavlja skupina, pravijo, da točke, ki jih pridobijo, potečejo vsako leto. In glede na njihovo uporabo je članstvo mogoče bodisi nadgraditi v člana višjega razreda bodisi znižati v člana nižjega razreda primerjalno s trenutnim razredom.
Po petih letih ustanavljanja trgovskih trgov vodstvo zdaj želi povečati svoje poslovanje skupaj s prihodki.
Zato so potrebovali malo poslovnih poročil, da bi lahko promovirali svoje stranke.
Pri testiranju zbirke podatkov izvajamo naslednje:
# 1) Preverjanja veljavnosti ciljnih tabel, ki so ustvarjene s stolpci z logičnimi izračuni, kot je opisano v listu logičnega preslikavanja in dokumentu za usmerjanje podatkov.
#two) Manipulacije, kot so vstavljanje, posodabljanje in brisanje podatkov o strankah, je mogoče izvajati v kateri koli POS aplikaciji končnega uporabnika v integriranem sistemu skupaj z zaledno bazo podatkov, tako da se iste spremembe odražajo v končnem sistemu.
# 3) DB testiranje mora zagotoviti, da ni podatkov o strankah, ki so bili napačno interpretirani ali celo okrnjeni. To lahko privede do resnih težav, kot je nepravilno preslikavanje podatkov o strankah z njihovo zvestobo
Pri testiranju ETL preverimo naslednje:
# 1) Ob predpostavki, da je v viru 100 strank, boste preverili, ali so bile vse te stranke skupaj z njihovimi podatki iz 100 vrstic premaknjene iz izvornega sistema v cilj. To je znano kot preverjanje Preverjanje popolnosti podatkov.
#two) Preverjanje, ali so bili podatki o strankah pravilno obdelani in predstavljeni v 100 vrsticah. Temu preprosto rečemo preverjanje Preverjanje natančnosti podatkov .
# 3) Poročila za stranke, ki so v določenem obdobju pridobile točke, večje od vrednosti x.
Primerjalna študija testiranja ETL in DB
Testiranje ETL in DB ima nekaj vidikov, ki se med seboj razlikujejo, zato je bolj pomembno, da jih razumemo pred izvajanjem. To nam pomaga pri razumevanju vrednosti in pomena testiranja ter načina, kako pomaga podjetju.
Sledi tabelarični obrazec, ki opisuje osnovno vedenje obeh preskusnih formatov.
DB testiranje | Testiranje ETL | |
---|---|---|
Narava podatkov | Tu se uporabljajo normalizirani podatki | Tu se uporabljajo denormalizirani podatki |
Primarni cilj | Integracija podatkov | Poročanje o BI |
Veljavno mesto | V funkcionalnem sistemu, kjer pride do poslovnega toka | Zunaj za okolje poslovnega toka. vhodni podatki so pretekli poslovni podatki |
Orodje za avtomatizacijo | QTP, selen | Informatica, QuerySurge, COGNOS |
Poslovni vpliv | Močni učinki lahko vodijo, saj gre za integrirano arhitekturo poslovnih tokov | Potencialni vplivi, kot takrat, ko želi stranka narediti napoved in analizo |
Uporabljeno modeliranje | Entitetno razmerje | Dimenzijski |
Sistem | Obdelava spletnih transakcij | Spletna analitična obdelava |
Zakaj bi se podjetje odločilo za ETL?
Na voljo jim je veliko poslovnih potreb, da razmislijo o testiranju ETL. Vsako podjetje mora imeti svoje edinstveno poslanstvo in poslovno področje. Vsa podjetja imajo svoj življenjski cikel izdelkov, ki ima generično obliko:
Jasno je, da vsak nov izdelek vstopi na trg z izjemno rastjo prodaje in do faze, imenovane zrelost, nato pa prodaja upada. Ta postopna sprememba priča dokončnemu padcu poslovne rasti. Zato je bolj pomembno analizirati potrebe strank za rast podjetja in druge dejavnike, potrebne za donosnejšo organizacijo.
V resnici želijo stranke analizirati pretekle podatke in strateško pripraviti nekaj poročil.
Načrtovanje ETL preizkusov
Eden glavnih korakov pri testiranju ETL je načrtovanje testa, ki ga bomo izvedli. Podobno bo Testni načrt za sistemsko preskušanje ki se običajno izvaja, razen nekaj atributov, kot so zahteve in testni primeri.
Tu zahteve niso nič drugega kot a zemljevid za preslikavo ki bodo nekako preslikali podatke med različnimi bazami podatkov. Ker se zavedamo, da se testiranje ETL izvaja na več ravneh, so za potrditev tega potrebna različna preslikavanja.
Podatki večinoma zajemajo iz izvornih baz podatkov neposredno. Vsi izvorni podatki bodo imeli pogled tabel, od koder se lahko podatki uporabljajo.
Primer: Sledi primer, kako je mogoče zagotoviti preslikave. Dva stolpca VIEW_NAME in TABLE_NAME lahko uporabite za predstavitev pogledov za branje podatkov iz vira oziroma tabele v okolju ETL.
Priporočljivo je ohraniti konvencijo o poimenovanju, ki nam lahko pomaga pri načrtovanju avtomatizacije. Splošni zapis, ki ga je mogoče uporabiti, je samo predpona imena okolja.
Najpomembnejša stvar v ETL je prepoznavanje bistvenih podatkov in tabel iz vira. Naslednji bistveni korak je preslikava tabel iz vira v okolje ETL.
Sledi primer, kako je preslikavo med tabelami iz različnih okolij mogoče povezati z namenom ETL.
Zgornje preslikavanje prevzame podatke iz izvorne tabele v preglednico. In od takrat naprej do tabel v EDW in nato do OLAP ki je končno okolje poročanja. Zato je sinhronizacija podatkov kadar koli v času ETL zelo pomembna.
Kritične potrebe ETL
Kot razumemo, je ETL potreba po napovedovanju, poročanju in analizi poslovanja, da bi lahko zaporedneje zajemali potrebe strank. To bo podjetju omogočilo večje zahteve kot v preteklosti.
ukaz cut v unixu s primeri
Tu je nekaj kritičnih potreb, brez katerih testiranja ETL ni mogoče doseči:
- Identifikacija podatkov in tabel : To je pomembno, saj lahko obstaja veliko drugih nepomembnih in nepotrebnih podatkov, ki so lahko najmanj pomembni pri napovedovanju in analiziranju potreb strank. Zato je treba pred zagonom del ETL izbrati ustrezne podatke in tabele.
- Kartografski list : To je ena kritičnih potreb pri opravljanju del ETL. Preslikava prave tabele od vira do cilja je obvezna in morebitne težave ali napačni podatki na tem listu lahko vplivajo na celoten rezultat ETL.
- Zasnove in podatki tabel, vrsta stolpcev : To je naslednji pomemben korak pri razmisleku o preslikavi izvornih tabel v namenjene tabele. Vrsta stolpca se mora ujemati s tabelami na obeh mestih itd.
- Dostop do zbirke podatkov : Glavna stvar je dostop do baze podatkov, kjer se nadaljuje ETL. Kakršne koli omejitve dostopa bodo imele enak učinek.
Poročanje in testiranje ETL
Poročanje v ETL je bolj pomembno, saj pojasnjuje in usmerja stranke, ki jih stranke potrebujejo. S tem lahko napovejo in analizirajo natančne potrebe strank
3. primer:
Podjetje, ki proizvaja svilene tkanine, je želelo analizirati njihovo letno prodajo. Ob pregledu njihove letne prodaje so ugotovili, da je v mesecu avgustu in septembru prodaja z uporabo poročila, ki so ga ustvarili, močno upadla.
Zato so se odločili, da bodo uvedli promocijsko ponudbo, kot so menjava, popusti itd., Kar je povečalo njihovo prodajo.
Osnovna vprašanja pri testiranju ETL
Med izvajanjem testiranja ETL lahko pride do številnih težav, kot so naslednje:
- Dostop do izvornih tabel ali pogledov ne bo veljaven.
- Ime stolpca in vrsta podatkov od vira do naslednje plasti se morda ne ujemata.
- Številni zapisi od izvorne tabele do namenjene tabele se morda ne ujemajo.
In morda bi bilo še veliko več.
Sledi vzorec lista za preslikavo, kjer so prisotni stolpci, kot so VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE in TRANSFORMATION LOGIC.
Prvi 3 stolpci predstavljajo podrobnosti izvorne baze podatkov, naslednji 3 pa podrobnosti o neposredni predhodni bazi podatkov. Zadnji stolpec je zelo pomemben. Transformacijska logika je način branja in shranjevanja podatkov iz vira v namenski bazi podatkov. To je odvisno od posla in potreb ETL.
Točke, ki si jih je treba zapomniti med načrtovanjem in izvajanjem preizkusov ETL
Najpomembnejše pri testiranju ETL je nalaganje podatkov na podlagi meril za pridobivanje iz izvorne baze podatkov. Če je to merilo neveljavno ali zastarelo, v tabeli ne bo podatkov za testiranje ETL, ki resnično prinese več težav.
Sledi nekaj točk, ki jih je treba paziti med načrtovanjem in izvajanjem preizkusov ETL:
# 1) Podatki se pridobivajo iz heterogenih virov podatkov
#two) Ravnanje s postopki ETL v integriranem okolju, ki se razlikuje:
- DBMS
- TI
- Strojna oprema
- Komunikacijski protokoli
# 3) Potreba po logičnem listu za preslikavo podatkov, preden se fizični podatki lahko transformirajo
# 4) Razumevanje in preučevanje virov podatkov
# 5) Začetna obremenitev in prirastna obremenitev
# 6) Revizijski stolpci
# 7) Nalaganje dejstev in dimenzij
Orodja ETL in njihova pomembna uporaba
Orodja ETL se v osnovi uporabljajo za izdelavo in pretvorbo datoteke transformacijska logika s prevzemom podatkov iz vira v drugega, ki uporablja logiko transformacije. Sheme lahko tudi preslikate od vira do cilja, kar se zgodi na edinstven način, preoblikujete in očistite podatke, preden jih lahko premaknete na cilj, skupaj z učinkovitim nalaganjem na cilj.
To lahko znatno zmanjša ročne napore, saj lahko naredite preslikavo, ki se uporablja za skoraj vse validacije in preverjanja ETL.
- Informatika - PowerCenter - je eno izmed priljubljenih orodij ETL, ki ga je predstavila korporacija Informatica. Ta ima zelo dobro bazo strank, ki pokriva široka območja. Glavni sestavni deli orodja so orodja za odjemalce ter orodja za odlagališča in strežniki. Če želite izvedeti več o orodju, kliknite tukaj
- IBM - Informacijski strežnik Infosphere - IBM, ki je vodilni na področju računalniške tehnologije, je leta 2008 razvil informacijski strežnik Infosphere, ki se uporablja za integracijo in upravljanje informacij. Če želite izvedeti več o orodju, kliknite tukaj
- Oracle - integrator podatkov - Oracle Corporation je razvila svoje orodje ETL v imenu Oracle - Data Integrator. Zaradi vse večje podpore strankam so svoja orodja ETL posodobili v različnih različicah. Če želite izvedeti več o orodju, kliknite tukaj
Več primerov uporabe testiranja ETL:
Glede na nekatere letalske družbe, ki želijo uvesti promocije in ponudbe za strateško privabljanje strank. Najprej bodo poskušali razumeti zahteve in potrebe specifikacij stranke. Da bi to dosegli, bodo potrebovali zgodovinske podatke, po možnosti podatke iz preteklih 2 let. Z uporabo podatkov bodo analizirali in pripravili nekatera poročila, ki bodo v pomoč pri razumevanju potreb strank.
Poročila so lahko naslednje vrste:
- Stranke iz regije A, ki na določene datume odpotujejo v regijo B
- Stranke z določenim starostnim merilom potujejo v mesto XX
In še veliko drugih poročil je.
Analiza teh poročil bo strankam pomagala pri ugotavljanju vrst promocij in ponudb, ki bodo koristile strankam, hkrati pa lahko koristi tudi podjetjem, kjer to lahko postane win-win situacija. To lahko enostavno dosežemo s testiranjem in poročili ETL.
Vzporedno s tem se segment IT sooča z resno težavo z bazo podatkov, ki je ustavila več storitev, kar pa lahko povzroči posledice v poslu. Med preiskavo je bilo ugotovljeno, da so nekateri neveljavni podatki poškodovali nekaj baz podatkov, ki jih je bilo treba popraviti ročno.
V prvem primeru bodo potrebna poročila in testiranja ETL.
kako najti omrežni varnostni ključ na telefonu android
Medtem ko je v zadnjem primeru treba pravilno opraviti testiranje DB, da bi premagali težave z neveljavnimi podatki.
Zaključek
Upam, da je zgornja vadnica ponudila preprost in jasen pregled, kaj je testiranje ETL in zakaj ga je treba opraviti skupaj s poslovnimi vplivi ali koristmi, ki jih prinašajo. Tu se to ne ustavi, lahko pa se razširi na predvidevanje rasti poslovanja.
O avtorju: To vadnico je napisal Nagarajan. Je vodja preskusa in ima več kot 6 let izkušenj s testiranjem programske opreme na različnih funkcionalnih področjih, kot so bančništvo, letalske družbe in telekomunikacije, tako ročno kot avtomatizirano.
V spodnjih komentarjih nam sporočite svoje misli / vprašanja.
Priporočeno branje
- Vprašanja in odgovori za preizkušanje ETL
- Vadnica za testiranje skladišča podatkov ETL (popoln vodnik)
- 10 najboljših orodij za testiranje ETL v letu 2021
- Kako izvesti ETL testiranje z orodjem Informatica PowerCenter
- 31 Najpomembnejših vprašanj in odgovorov za testiranje zbirk podatkov
- 40+ najboljših orodij za testiranje zbirk podatkov - priljubljene rešitve za testiranje podatkov
- Popoln vodnik za testiranje zbirke podatkov (Zakaj, kaj in kako testirati podatke)
- Testiranje baze podatkov o selenu (z uporabo WebDriver in JDBC API)