comprehensive hadoop testing tutorial big data testing guide
Ta vadnica razlaga osnove, vrste testiranja, načrte, zahtevano okolje, postopek testiranja, preverjanje veljavnosti in preverjanja za testiranje Hadoop in BigData:
V tej vadnici bomo videli osnovni uvod v testiranje Hadoop in BigData, na primer, kdaj in kje se bo testiranje pojavilo in kaj moramo preizkusiti kot del testiranja Hadoop.
Podrobno bomo obravnavali tudi naslednje teme:
- Vloge in odgovornosti preizkušanja Hadoop
- Pristop testiranja za testiranje Hadoop / BigData
=> Tukaj si oglejte A-Z vadnic za usposabljanje za BigData.
Kaj se boste naučili:
- Shranjevanje in obdelava podatkov v Hadoopu
- Preskušanje BigData in Hadoop
- Kakšna je strategija ali načrt za testiranje BigData?
- Vrste testiranja za testiranje BigData
- Orodja za preizkušanje BigData Hadoop
- Testiranje okolij in nastavitev
- Vloge in odgovornosti preizkušanja Hadoop
- Pristop testiranja za testiranje Hadoop / testiranje BigData
- Zaključek
- Priporočeno branje
Shranjevanje in obdelava podatkov v Hadoopu
Za izvajanje teh procesov v sistemu Hadoop imamo na voljo delovno silo, ki je razdeljena na štiri odseke.
- Skrbniki Hadoop so odgovorni za nastavitev okolja in imajo skrbniške pravice za dostop do sistemov Hadoop.
- Razvijalci Hadoop razviti programe za vlečenje, shranjevanje in obdelavo podatkov z različnih lokacij na centralizirane lokacije.
- Hadoop preizkuševalci za preverjanje in preverjanje podatkov pred vlečenjem z različnih lokacij in po vlečenju na centralizirani lokaciji ter preverjanje in preverjanje se opravi med nalaganjem podatkov v odjemalsko okolje.
- Hadoop analitiki delujejo, ko se naložijo podatki in ko podatki prispejo v skladišče na lokaciji stranke. Te podatke uporabljajo za ustvarjanje poročil in nadzorne plošče. Analitiki analizirajo podatke za rast in razvoj podjetja.
Vemo, da Hadoop ni en sam sistem; vsebuje več sistemov in strojev. Podatki so razdeljeni in shranjeni na več strojev, če želimo do njih znova dostopati, moramo podatke združiti in povleči v poročila itd.
Razvijalec je odgovoren za pisanje programov v JAVA in Python za pridobivanje podatkov in njihovo shranjevanje.
Druga naloga razvijalca je obdelava podatkov. Obstajata dve plasti Hadoop, ena je za shranjevanje, tj. Hadoop HDFS in druga za obdelavo, tj. Hadoop MapReduce.
Shranjevanje pomeni, da se podatki, ki jih imamo v viru, le shranijo / vstavijo v sistem. Obdelava pomeni, da jo moramo razdeliti na več strojev in jo spet združiti in poslati stranki.
Tako se shranjevanje in obdelava izvaja s programskimi skripti, razvijalec pa je odgovoren za pisanje skriptov.
Druga metoda za shranjevanje in obdelavo podatkov v Hadoopu je uporaba aplikacij za baze podatkov, kot so Hive, Impala, HBase itd. Ta orodja ne potrebujejo programskega znanja.
Preskušanje BigData in Hadoop
Ko razvijalec shrani in obdela obdelavo podatkov, gre za ustvarjanje poročil. Pred tem moramo preveriti točnost obdelanih podatkov in preveriti, ali so podatki natančno naloženi in pravilno obdelani ali ne.
Torej mora program in / ali skripte, ki jih je ustvaril razvijalec, preveriti preizkuševalnik Hadoop ali BigData. Tester mora poznati osnovno programiranje, kot so Mapper, Hive, Pig Scripts itd., Da preveri skripte in izvrši ukaze.
Pred preizkušanjem morajo preizkuševalci vedeti, kateri programi in skripti delujejo, kako napisati kodo in nato razmisliti, kako jih preizkusiti. Testiranje je mogoče ročno ali z uporabo avtomatiziranih orodij.
Hadoop ima različne vrste testiranj, kot so enotno testiranje, regresijsko testiranje, sistemsko testiranje in preizkušanje učinkovitosti itd. To so najpogostejše vrste testiranja, ki jih uporabljamo pri običajnem testiranju, pa tudi pri testiranju Hadoop in BigData.
V Hadoop in BigData Testing imamo iste vrste terminologij testiranja, kot so testna strategija, testni scenariji in testni primeri itd. Le okolje je drugačno in obstajajo različne vrste tehnik, ki jih uporabljamo za preizkušanje sistema BigData in Hadoop, ker moramo tukaj preizkusiti podatke in ne aplikacije.
Kako preizkusiti BigData in kaj vse zahteva testiranje v BigData?
Za testiranje BigData moramo imeti nekaj načrtov in strategij.
Zato moramo upoštevati naslednje točke:
- Kakšna je strategija ali načrt testiranja za BigData?
- Kakšni pristopi testiranja se uporabljajo za BigData?
- Kaj je potrebno okolje?
- Kako preveriti in preveriti BigData?
- Katera orodja se uporabljajo pri testiranju BigData?
Poskusimo dobiti odgovore na vsa zgornja vprašanja.
Kakšna je strategija ali načrt za testiranje BigData?
Preskušanje BigData pomeni preverjanje in preverjanje veljavnosti podatkov med shranjevanjem in obdelavo v skladišče podatkov.
Med preskušanjem BigData moramo preizkusiti obseg in raznolikost podatkov, pridobljenih iz različnih baz podatkov in naloženih ter obdelanih v podatkovnem skladišču ali sistemu Hadoop, to testiranje pa je predmet funkcionalnega testiranja.
Preizkusiti moramo hitrost podatkov, prenesenih iz različnih zbirk podatkov in naloženih v sistem Hadoop, ki je del preizkušanja zmogljivosti.
Kot načrt ali strategija se moramo osredotočiti tako na funkcionalno kot tudi na preizkušanje učinkovitosti preizkušanja BigData.
Pri preizkušanju BigData mora preizkuševalec preveriti obdelavo ogromne količine podatkov s pomočjo blagovne strojne opreme in ustreznih komponent. Zato ima kakovost podatkov pomembno vlogo tudi pri testiranju BigData. Nujno je preveriti in potrditi kakovost podatkov.
Vrste testiranja za testiranje BigData
V prejšnjem poglavju smo videli, da imata funkcijsko testiranje in preizkušanje zmogljivosti ključno vlogo pri preizkušanju BigData, poleg testa preizkuševalca BigData pa moramo opraviti še nekaj vrst preskušanj, kot sta testiranje baz podatkov in arhitekturno testiranje.
Te vrste preskušanja so prav tako pomembne kot preizkušanje funkcij in zmogljivosti.
# 1) Arhitekturno testiranje
S tem preskušanjem se zagotovi, da je obdelava podatkov pravilna in izpolnjuje zahteve. Pravzaprav sistem Hadoop obdeluje ogromno podatkov in je zelo obsežen.
Če je arhitektura neprimerna, lahko poslabša delovanje, zaradi česar lahko obdelava podatkov prekine in pride do izgube podatkov.
# 2) Testiranje zbirke podatkov
Tu se pojavi potrditev postopka in moramo potrditi podatke iz različnih baz podatkov, to je, zagotoviti moramo, da morajo biti podatki, pridobljeni iz izvornih ali lokalnih baz podatkov, pravilni in pravilni.
Prav tako moramo preveriti, ali se podatki, ki so na voljo v izvornih zbirkah podatkov, ujemajo s podatki, vnesenimi v sistem Hadoop.
Podobno moramo preveriti, ali so podatki v sistemu Hadoop pravilni in pravilni po obdelavi ali recimo po preoblikovanju, in jih naložiti v klientovo okolje z ustrezno validacijo in preverjanjem.
Kot del testiranja zbirke podatkov moramo iti skozi KRULO operacije, tj. Ustvari podatke v lokalnih zbirkah podatkov Naloži podatke in jih moramo iskati, na voljo pa naj bo v zbirki podatkov pred in po nalaganju v skladišče podatkov in iz skladišča podatkov v naročnikovo okolje.
Preverjanje katerega koli Posodobljeno Podatki o vsaki stopnji shranjevanja ali nalaganja in obdelave podatkov. Izbris kakršnih koli poškodovanih podatkov ali kakršnih koli podvojenih in ničnih podatkov.
# 3) Testiranje učinkovitosti
Kot del preizkušanja učinkovitosti moramo preveriti hitrost nalaganja in obdelave podatkov, npr. Kot IOPS (vhodni izhod na sekundo).
Treba je preveriti hitrost vnosa podatkov ali podatkov kot vhod iz različnih zbirk podatkov v podatkovno skladišče ali sistem Hadoop in iz sistema Hadoop ali skladišče podatkov v naročnikovo okolje.
Prav tako morate kot izhod preveriti hitrost podatkov, ki prihajajo iz različnih zbirk podatkov in iz skladišča podatkov. Temu pravimo vhodni izhod na sekundo ali IOPS.
Poleg tega je še en vidik preverjanje učinkovitosti absorpcije in distribucije podatkov ter kako hitro podatke shranjuje skladišče podatkov iz različnih baz podatkov in sistem naročnika iz sistema Hadoop.
Tudi kot preizkuševalec moramo preveriti učinkovitost distribucije podatkov, na primer, kako hitro se podatki razdelijo v različne datoteke, ki so na voljo v sistemu Hadoop ali v skladišču podatkov. Podobno se isti postopek zgodi med distribucijo podatkov odjemalskim sistemom.
Sistem Hadoop ali skladišče podatkov je sestavljen iz več komponent, zato mora preizkuševalec preveriti delovanje vseh teh komponent, kot so opravila MapReduce, vstavljanje in poraba podatkov, odzivni čas poizvedb in njihovo delovanje ter uspešnost iskanja operacij. Vse to je vključeno v preizkušanje zmogljivosti.
# 4) Funkcionalno preskušanje
Funkcionalno testiranje vsebuje preizkušanje vseh podkomponent, programov in skriptov, orodij, ki se uporabljajo za izvajanje postopkov shranjevanja ali nalaganja in obdelave itd.
Za preizkuševalca so to štiri pomembne vrste in stopnje, skozi katere je treba podatke filtrirati, da odjemalec dobi popolne podatke brez napak.
Orodja za preizkušanje BigData Hadoop
Za testiranje BigData se uporabljajo različna orodja:
- Distribucijski datotečni sistem HDFS Hadoop za shranjevanje BigData.
- HDFS Map Reduce za obdelavo BigData.
- Za NoSQL ali HQL Cassandra DB, ZooKeeper in HBase itd.
- Strežniška orodja v oblaku, kot je EC2.
Testiranje okolij in nastavitev
Za kakršno koli preskušanje Tester potrebuje ustrezne nastavitve in okolje.
Spodaj je seznam zahtev:
- Vrsta podatkov in aplikacija, ki se bo testirala.
- Shranjevanje in obdelava zahteva veliko prostora za ogromno količino podatkov.
- Pravilna distribucija datotek v vseh DataNodes na splošno v gruči.
- Med obdelavo podatkov mora biti uporaba strojne opreme minimalna.
- Programi in skripti, ki jih je mogoče izvajati, v skladu z zahtevo aplikacije.
Vloge in odgovornosti preizkušanja Hadoop
Kot preizkuševalec Hadoop smo odgovorni za razumevanje zahtev, pripravimo ocene preskusov, načrtovanje testnih primerov, pridobimo nekaj testnih podatkov za testiranje nekaterih testnih primerov, sodelujemo pri ustvarjanju testnih postelj, izvajanju testnih načrtov, poročanju in ponovnem testiranju napak.
Prav tako moramo biti odgovorni za dnevno poročanje o stanju in zaključke testov.
Prva stvar, o kateri bomo razpravljali, je Testna strategija . Ko imamo predlagano rešitev problema, moramo nadaljevati z načrtovanjem ali strategijo načrta testiranja, lahko razpravljamo o strategiji avtomatizacije, ki jo tam uporabimo, o načrtu preskusa, ki je odvisen od datumov dobave, prav tako lahko razpravljali o načrtovanju virov.
Strategija avtomatizacije je nekaj, kar nam bo pomagalo zmanjšati ročna prizadevanja, potrebna za testiranje izdelka. Razpored preizkusov je pomemben, saj bo zagotovil pravočasno dostavo izdelka.
Načrtovanje virov bo ključnega pomena, saj moramo načrtovati, koliko delovnih ur potrebujemo za testiranje in koliko virov Hadoop potrebujemo za izvedbo našega načrtovanja testov.
Ko strategijo testiramo, moramo nadaljevati in ustvariti razvojne načrte testov, ki vključujejo ustvarjanje testnih načrtov, ustvarjanje testnih skriptov, ki nam bodo pomagali avtomatizirati testiranje in identificirati nekatere podatke o testiranju, ki bodo uporabljeni v testnih načrtih. in nam pomaga pri izvajanju teh testnih načrtov.
Ko končamo s testnim razvojem, ki vključuje ustvarjanje testnih načrtov, testnih skriptov in testnih podatkov, nadaljujemo in začnemo izvajati te testne načrte.
Ko izvedemo testne načrte, lahko obstajajo določeni scenariji, pri katerih dejanski izhod ni tak, kot je bilo pričakovano, in se te stvari imenujejo napake. Kadar koli pride do napake, moramo tudi te pomanjkljivosti preizkusiti in za njih moramo ustvariti in vzdrževati matrike.
Vse te stvari spadajo v naslednjo kategorijo, ki je Obvladovanje napak .
Kaj je obvladovanje napak?
Upravljanje napak je sestavljeno iz sledenja napakam, odpravljanja napak in preverjanja napak. Kadar koli se izvede testni načrt za kateri koli izdelek, ki ga imamo, in takoj, ko je določena napaka odkrita ali ugotovljena napaka, je treba to napako prijaviti razvijalcu ali dodeliti razvijalcu.
Tako lahko razvijalec to preuči in začne delati na njem. Kot preizkuševalec moramo spremljati napredek napake in ugotoviti, ali je bila napaka odpravljena. Če je bila napaka odpravljena, kot je bilo prijavljeno, jo moramo ponovno preizkusiti in preveriti, ali je odpravljena.
Ko so vse napake odpravljene, zaprte in preverjene, moramo nadaljevati in dostaviti preizkušen izdelek OKAY. Preden pa dostavimo izdelek, se moramo prepričati, da je UAT (User Acceptance Testing) uspešno zaključen.
Prepričamo se, da sta testiranje namestitve in preverjanje zahtev opravljena pravilno, tj.izdelek, ki je dostavljen odjemalcu ali končnemu uporabniku, ustreza zahtevam, omenjenim v dokumentu z zahtevami za programsko opremo.
Koraki, o katerih smo razpravljali, temeljijo na domišljiji, bodisi kateri koli preskusni scenarij ali kateri koli preskusni pristop, ki ga bomo uporabili za te korake, ali izgovorimo te besedne zveze, da preizkusimo svoj izdelek in dosežemo končni rezultat, kar je OKAY Testiran izdelek.
Pojdimo naprej in o tem podrobno razpravljajmo ter povežemo s preizkusom Hadoop.
Vemo, da je Hadoop nekaj, kar se uporablja za serijsko obdelavo, in tudi vemo, da je ETL eno od področij, kjer se Hadoop pogosto uporablja. ETL pomeni transformacija ekstrakcije in nalaganje . O teh procesih bomo podrobno razpravljali, ko bomo razpravljali o preskusnem načrtu in preskusni strategiji kot vidiku preskušanja Hadoop.
Glede na spodnji diagram, predvidevamo samo, da imamo štiri različne vire podatkov. Operacijski sistem, CRM ( Upravljanje odnosov s strankami ) in ERP ( načrtovanje virov podjetja ) je RDBMS ali recimo sistem relacijskega upravljanja podatkovnih baz, ki ga imamo, in imamo tudi nekaj nizkih datotek, ki morda beležijo datoteke, zapise ali karkoli že glede naših virov podatkov.
Morda uporabljamo Sqoop ali Flume ali kateri koli določen izdelek za pridobivanje podatkov, zapisov ali kar koli drugega kot mojih virov podatkov. Ta orodja lahko uporabimo za pridobivanje podatkov iz virov podatkov v moj vmesni imenik, ki je prva faza našega procesa Pridobivanje.
Ko bodo podatki v odrskem direktoriju, ki je dejansko HDFS (Hadoop Distribution File System), bomo še posebej uporabili skriptni jezik, kot je PIG, Preobrazba teh podatkov. To Preobrazba bo v skladu s podatki, ki jih imamo.
Ko se bodo podatki ustrezno preoblikovali s katero koli tehnologijo skriptiranja, ki jo imamo, bomo nalaganje te podatke v skladišče podatkov. Iz skladišča podatkov bodo ti podatki uporabljeni za analizo OLAP, poročanje in rudarjenje podatkov ali za analitiko.
Pojdimo naprej in se pogovorimo, katere vse faze lahko uporabimo za testiranje Hadoop.
Prva faza bo faza ekstrakcije. Tukaj bomo dobili podatke iz naših izvornih baz podatkov ali iz ploščatih datotek, in v tem primeru lahko preverimo, ali so bili vsi podatki uspešno in pravilno kopirani iz vira v odrsko mapo.
Vključuje lahko preverjanje števila zapisov, vrste zapisov in vrste polj itd.
Ko bodo ti podatki kopirani v Staging Directory, bomo nadaljevali in sprožili drugo fazo, ki je Transformacija. Tu bomo imeli nekaj poslovne logike, ki bo delovala na kopiranih podatkih iz izvornih sistemov in bo podatke dejansko ustvarila ali preoblikovala v zahtevano poslovno logiko.
Preoblikovanje lahko vključuje razvrščanje podatkov, filtriranje podatkov, združevanje podatkov iz dveh različnih virov podatkov in nekatere druge operacije.
Ko bodo podatki transformirani, bomo nadaljevali s pripravljenimi načrti preizkusov in preverili, ali dobimo izhod, kot je bilo pričakovano, in vsi izhodi, ki jih dobimo, izpolnjujejo pričakovani rezultat in vrste podatkov, vrednosti polj in območja itd. so nekaj, kar se postavlja na svoje mesto.
Ko je pravilno, lahko nadaljujemo in nalagamo podatke v skladišče podatkov.
V fazi nalaganja dejansko preverjamo, ali je število zapisov iz odrov in število zapisov v skladišču podatkov sinhronizirano, morda niso podobni, vendar naj bi bili sinhronizirani. Prav tako vidimo, ali je vrsta podatkov, ki so bili preoblikovani, sinhronizirana.
Objavi, da bomo te podatke uporabili za analizo, poročanje in rudarjenje podatkov OLAP, ki je zadnja plast našega izdelka in v tem primeru lahko dobimo naknadne ali lahko rečemo, da so testni načrti na voljo za vse te sloje.
Kadar koli dobimo nekaj podatkov iz vira v cilj, moramo vedno zagotoviti, da imajo pooblaščeni dostop do podatkov samo pooblaščene osebe.
Preverjanje pristnosti
Pooblastilo
Kaj mislimo z obema izrazoma?
Da bi to razumeli, poglejmo stvari v perspektivo iz diagrama ETL.
V skladu z zgornjim diagramom dobimo podatke iz izvornih RDBMS motorjev in iz ploščatih datotek v HDFS, ta faza pa se imenuje ekstrakcija.
Pogovorimo se o preverjanju pristnosti na poseben način, nekatera podjetja imajo podatke, ki so zaradi svoje narave omejeni; ta vrsta podatkov se v skladu s standardi ZDA imenuje PII podatki.
PII pomeni Osebni identifikacijski podatki, vse informacije, kot so datum rojstva, SSN, številka mobilnega telefona, e-poštni naslov in hišni naslov itd., spadajo pod PII. To je omejeno in ga ni mogoče deliti z vsemi.
Podatke je treba deliti samo z osebami, ki so jih najbolj potrebovale, in tistimi, ki jih potrebujejo za dejansko obdelavo. Ta preveritev in prva obrambna črta se imenuje preverjanje pristnosti.
Na primer, uporabljamo prenosni računalnik in tam imamo nameščen sistem Windows, morda imamo v našem operacijskem sistemu Windows ustvarjen uporabniški račun in tam uporabljamo geslo.
Tako se lahko v sistem prijavi samo oseba, ki ima poverilnice za ta uporabniški račun, in tako bomo svoje podatke zaščitili pred krajo ali nepotrebnim dostopom. Druga plast je avtorizacija.
Primer, v našem operacijskem sistemu Windows imamo dva različna uporabniška računa, en uporabniški račun je naš, drugi pa je lahko uporabniški račun gosta. Skrbnik (WE) ima pravico izvajati vse vrste operacij, kot so namestitev in odstranitev programske opreme, ustvarjanje nove datoteke in brisanje obstoječih datotek itd.
Po drugi strani pa gostujoči uporabniki morda nimajo vseh tovrstnih dostopov. Gost ima avtentikacijo za prijavo v sistem, vendar nima pooblastila za brisanje ali ustvarjanje datotek in namestitev ter odstranjevanje katere koli programske opreme v sistemu oziroma sistema.
Vendar ima uporabniški račun gosta zaradi preverjanja pristnosti pravico prebrati ustvarjene datoteke in uporabiti že nameščeno programsko opremo.
Tako se preizkušajo overjanje in avtorizacija, v tem primeru kateri koli podatki, ki so na voljo v HDFS ali katerem koli datotečnem sistemu, ki ga moramo preveriti za avtentifikacijo in avtorizacijo podatkov.
Pristop testiranja za testiranje Hadoop / testiranje BigData
Pristop testiranja je običajen za vse vrste testiranj, ne samo zato, ker gre za BigData ali Hadoop testiranje, ko gremo na Običajno ročno preskušanje ali Preizkušanje avtomatizacije ali Varnostno preskušanje, preizkušanje zmogljivosti, zato vsaka vrsta preizkušanja sledi enakemu pristopu.
Zahteve
Kot del preskusnega pristopa moramo začeti z Zahteve , Zahteva je osnovna stvar, danes smo jo v agilnem procesu imenovali zgodbe in epike. Epic ni nič drugega kot večja zahteva, medtem ko so zgodbe manjše zahteve.
Zahteva v bistvu vsebuje, kateri so vsi podatkovni modeli, cilji, viri, pa tudi kakšne vrste transformacij moramo uporabiti, kakšna orodja moramo uporabiti? Vse te podrobnosti bodo na voljo v Zahtevah.
V bistvu gre za zahteve strank ali zahteve kupcev. Na podlagi te zahteve bomo začeli postopek testiranja.
Ocena
Drugi del pristopa je Ocena , Koliko časa si moramo vzeti, da se celotna aktivnost opravi kot del testiranja. Izvajamo načrtovanje preskusov, pripravljamo testne scenarije, pripravljamo primere preizkusov in izvedbo istih, ugotavljamo pa tudi napake, jih prijavljamo in pripravljamo tudi poročila o preskusih.
Vse te dejavnosti bodo trajale nekaj časa, torej koliko časa potrebujemo za dokončanje vseh teh dejavnosti, kar se v bistvu imenuje ocena. Vodstvu moramo dati grobo oceno.
Načrtovanje preskusov
Načrtovanje preskusov ni nič drugega kot opis procesov, kaj preizkusiti, česa ne preizkusiti, kakšen je obseg testiranja, kakšni so urniki, koliko virov je potrebnih, zahteve glede strojne in programske opreme ter kakšni so časovni okviri in preskusni cikli bodo uporabljene, kakšne ravni testiranja smo zahtevali itd.
Med načrtovanjem preizkusa bodo izvedli določeno dodelitev virov projektu in kakšni so različni modeli, ki jih imamo, koliko virov je potrebnih in kakšni sklopi spretnosti so potrebni itd. Vse te stvari in vidiki bodo vključeni v test Faza načrtovanja.
Večino časa bodo vodilni ali vodstveni delavci opravili načrtovanje preskusov.
Testni scenariji in testni primeri
Ko končamo s testnim načrtovanjem, se moramo pripraviti Testni scenariji in testni primeri , zlasti za preizkušanje velikih podatkov potrebujemo nekaj dokumentov skupaj z zahtevanim dokumentom. Kaj vse potrebujemo skupaj s tem dokumentom?
Potrebujemo Zahtevani dokument ki vsebuje potrebe naročnika, skupaj s tem pa še Vhodni dokument tj. Podatkovni modeli. Podatkovni model v smislu, kaj so sheme podatkovnih baz, kakšne so tabele in kakšna so razmerja, vsi ti podatki bodo na voljo v podatkovnih modelih.
Prav tako imamo Kartiranje dokumentov , Mapiranje dokumentov za Npr. v relacijskih zbirkah podatkov imamo nekaj tabel in po nalaganju podatkov skozi ETL v skladišču podatkov v HDFS, kaj vse moramo preslikati? tj. preslikava podatkovne vrste.
orodje za pretvorbo videoposnetkov v YouTube
Na primer, če imamo mizo kupcev v HDFS, imamo v HDFS tabelo CUSTOMER_TARGET ali pa je tabela lahko tudi v HIVE.
V tej tabeli strank imamo določene stolpce, v tabeli CILJ ZA KUPCE pa nekatere stolpce, kot je prikazano na diagramu. Podatke iz tabele strank smo prenesli v tabelo CILJNI CILJI, tj. Vir na cilj.
Nato moramo preveriti natančno preslikavo, kot so podatki, ki so prisotni v izvorni tabeli, ki je stolpec 1 in vrstica 1 tabele strank in jo šteje za C1R1, iste podatke pa je treba preslikati v C1R1 tabele CILJNI CILJI. To se v bistvu imenuje preslikava.
Kako bomo vedeli, katera so vsa preslikavanja, ki jih moramo preveriti? Torej bodo ta preslikavanja prisotna v dokumentu za preslikavo. V dokumentu za preslikavo bo kupec navedel vse vrste preslikav.
Prav tako smo zahtevali a Projektni dokument , Projektni dokument, potreben tako za razvojno skupino kot tudi za skupino za zagotavljanje kakovosti, saj bo stranka v projektnem dokumentu zagotovila, kakšne vrste Map Reduce Jobs, ki jih bo izvedla, in kakšna vrsta MapReduce Jobs vnese podatke in kakšno vrsto MapReduce Jobs daje rezultate.
Podobno, če imamo HIVE ali PIG, kakšne so vse UDF-je, ki jih je ustvaril kupec, pa tudi kakšen vložek bo sprejel in kakšen izhod bo ustvaril itd.
Za pripravo testnih scenarijev in testnih primerov moramo imeti vse te dokumente na roko:
- Zahtevani dokument
- Podatkovni model
- Kartiranje dokumenta
- Projektni dokument
Te se lahko razlikujejo od ene do druge organizacije in ni obveznega pravila, da moramo imeti vse te dokumente. Včasih imamo vse dokumente, včasih imamo le dva ali tri dokumente, včasih pa se moramo zanesti tudi na en dokument, to je od zahtevnosti projekta, urnikov podjetij in vsega drugega.
Mnenja o testnih scenarijih in testnih primerih
Preizkusiti moramo testne scenarije in testne primere, ker nekako ali v nekaterih primerih pozabimo ali pa nekatere testne primere zamudimo, ker si vsi ne morejo omisliti vseh možnih stvari, ki jih je mogoče narediti z zahtevami, v takšnih pogojih moramo sprejeti pomoč s strani tujih orodij ali koga drugega.
Torej, kadar koli pripravimo nekaj dokumentov ali izvedemo nekaj, potem potrebujemo nekoga, ki bo pregledal stvari iste ekipe, kot so razvijalci in preizkuševalci. Dali bodo ustrezne predloge, da vključijo nekaj več ali pa tudi posodabljanje ali spreminjanje testnih scenarijev in testnih primerov.
Vsebujejo vse pripombe in na podlagi tega bomo posodobili naše testne scenarije in testne primere ter več različic dokumenta, ki jih moramo objaviti v skupini, dokler se dokument v celoti ne posodobi v skladu z zahtevo.
Izvedba testa
Ko bo dokument pripravljen, bomo od zgornje skupine dobili odjavo za začetek postopka izvrševanja, ki se v bistvu imenuje Test Case Execution.
Če želimo med izvajanjem izvajati svoje primere preizkusov, moramo preveriti, ali mora razvijalec poslati podatke, če gre za običajno funkcionalno preskušanje ali kakšno drugo preskušanje ali preizkušanje avtomatizacije, potrebujemo zgradbo. Toda tukaj bo s stališča preizkušanja Hadoop ali BigData razvijalci zagotovili MapReduce Jobs.
Datoteke HDFS - ne glede na datoteke, ki se kopirajo v HDFS, so te informacije potrebne za preverjanje pravic, HIVE Skripti, ki so jih razvili razvijalci za preverjanje podatkov v tabeli HIVE, prav tako pa potrebujemo HIVE UDF, ki so jih razvili razvijalci, PIG Skripte in PIG UDF.
To so vse stvari, ki jih moramo dobiti od razvijalcev. Preden gremo na usmrtitev, bi morali imeti vse te stvari.
Za MapReduce Jobs bodo zagotovili nekaj datotek JAR in kot del HDFS so podatke že naložili v HDFS, datoteke pa morajo biti pripravljene in HIVE Scripts za preverjanje podatkov v tabelah HIVE. Ne glede na UDF, ki so ga izvedli, bo na voljo v UDF HIVE. Isto zahtevamo tudi za PIG Scripts in UDF.
Poročanje o napakah in sledenje
Ko opravimo testne primere, ugotovimo nekaj napak, nekatere pričakovane in nekatere dejanske niso enake pričakovanim rezultatom, zato jih moramo našteti in jih posredovati v reševanje razvojni skupini, kar se v bistvu imenuje poročanje o napakah.
Recimo, da če najdemo nekaj napak v opravilu MapReduce, ga bomo prijavili razvijalcu in ta bo znova ustvaril opravilo MapReduce, naredil bo nekaj sprememb na ravni kode, nato pa bo spet zagotovil najnovejše opravilo MapReduce, ki ga moramo preizkusiti. .
To je stalen postopek. Ko je delo preizkušeno in uspešno opravljeno, ga moramo znova preizkusiti in prijaviti razvijalcu, nato pa dobiti naslednjega za testiranje. Tako se izvaja dejavnost poročanja in sledenja napakam.
Poročila o preskusih
Ko smo končali z vsem postopkom testiranja in so napake odpravljene, moramo ustvariti naša poročila o preskusih. Poročila o preskusih so vse, kar smo storili za dokončanje postopka testiranja do zdaj. Vsa načrtovanja, pisanje in izvrševanje testnih primerov, kakšen izhod imamo itd. Vse skupaj dokumentiramo v obliki testnih poročil.
Ta poročila moramo pošiljati dnevno ali tedensko ali v skladu s potrebami stranke. Dandanes organizacije uporabljajo model AGILE, zato je treba vsako poročilo o stanju posodobiti med dnevnimi pregledi.
Zaključek
V tej vadnici smo se sprehodili po:
- Strategija ali načrt testiranja BigData.
- Zahtevano okolje za testiranje BigData.
- Preverjanje in preverjanje BigData.
- Orodja, uporabljena pri preizkušanju BigData.
Spoznali smo tudi -
- Kako strategija testiranja, razvoj testov, izvedbe testov, obvladovanje napak in dostava delujejo v vlogah in odgovornostih kot del testiranja Hadoop.
- Pristop testiranja za testiranje Hadoop / BigData, ki vključuje zbiranje zahtev, oceno, načrtovanje preskusov, ustvarjanje testnih scenarijev in testnih primerov skupaj s pregledi.
- Spoznali smo tudi izvedbo testov, poročanje o napakah in sledenje ter poročanje o testih.
Upamo, da vam je bila ta vadnica za preizkušanje BigData v pomoč!
=> Tukaj preverite VSE vaje za BigData.
Priporočeno branje
- Vadnica za preskušanje glasnosti: primeri in orodja za preizkušanje glasnosti
- Kako izvesti preskušanje na podlagi podatkov v programu SoapUI Pro - Vadnica SoapUI št. 14
- Vadnica za testiranje skladišča podatkov z primeri | Vodič za preizkušanje ETL
- Prenos eBook knjige za preizkušanje
- Vadnica za testiranje skladišča podatkov ETL (popoln vodnik)
- Kaj je Hadoop? Vadnica Apache Hadoop za začetnike
- Vadnica za destruktivno testiranje in nedestruktivno testiranje
- Funkcionalno testiranje vs nefunkcionalno testiranje