Meni

Vadnica Apache Hadoop YARN za začetnike | Kaj je preja?

  • Glavni
  • Drugo
  • Vadnica Apache Hadoop YARN za začetnike | Kaj je preja?

apache hadoop yarn tutorial

Preizkusite Naš Instrument Za Odpravo Težav

Komponente Hadoop - MapReduce With Hadoop YARN:

V prejšnji vadnici o komponenti Hadoop smo izvedeli več o Hadoop MapReduce in njegovem obdelovalnem mehanizmu, kot so INPUT, SPLITTING, MAPPING, SHUFFLING, REDUCING in KONČNI REZULTAT.

V tej vadnici bomo raziskali:

  • Kako Map Reduce deluje z YARN?
  • Potek dela aplikacije Hadoop YARN.

=> Tu si oglejte vodnik za začetnike BigData.

ZMANJŠANJE ZEMLJEVIDA S HADOOP PREJO

Kaj se boste naučili:

Zemljevid Zmanjšajte s Hadoop PREJO

Razumejmo, kako MapReduce uporablja YARN za izvajanje opravil v gruči Hadoop. Toda preden nadaljujemo, je prvo to vprašanje, ki ga pomislimo kakšna je celotna oblika preje? Ali kaj pomeni YARN?

PREJA pomeni Še en pogajalec o virih.

Ta dodeljuje sredstva za različna opravila, ki jih je treba izvesti v gruči Hadoop. Predstavljen je bil v Hadoop 2.0.

Do Hadoop 1.0 MapReduce je bil edini okvir ali edina procesorska enota, ki jo je mogoče zagnati v gruči Hadoop. Vendar pa je bila v Hadoop 2.0 uvedena YARN in z njo lahko presežemo tudi MapReduce.

Okvir Podpira Hadoop YARN

Kot lahko vidite na diagramu, imamo na dnu vmes HDFS, imamo YARN in z uporabo YARN se veliko okvirov lahko poveže in uporablja HDFS. Torej se celo MapReduce uporablja za povezavo z uporabo YARN za zahtevanje virov in šele nato lahko izvede Job over HDFS, tj. Hadoop Cluster.

Podobno; SPARK, STORM in drugi iskalniki se lahko povežejo s HDFS. HBase, ki ni baza podatkov SQL, jo lahko tudi poveže. Tako so aplikacije HDFS postale ogromne, samo zato, ker je YARN lahko odprl vrata tudi za druge okvire in druga analitična orodja Bigdata.

Kakšna je razlika med MapReduce Version1 (MRv1) in MapReduce Version2 (MRv2)?

MRv1 je bil v bistvu del okvira Hadoop 1 in s Hadoop 2 YARN se je pojavila slika, MapReduce pa je bil nadgrajen na MRv2 z več spremembami v razredih. Razredi so bili posodobljeni, vendar sintaksa pisanja programa MapReduce ostaja enaka.

V tem primeru se MapReduce zdaj poveže z YARN za os HDFS.

Skupaj z YARN sta Resource Manager in Node Manager nova demona, ki sta bila uvedena v gručo Hadoop.

Prej sta bila to Job Tracker in Task Tracker. Vendar so bili odstranjeni iz Hadoop 2.0, Resource Manager in Node Manager pa so bili skupaj z YARN uvedeni v okvir Hadoop.

Hadoop 2.x demoni

Na hitro si oglejmo na novo predstavljene demone v Hadoop 2.0, ki poganjajo komponente, to je shranjevanje in obdelava.

b drevo in b + drevo

V vadnici HDFS smo podrobno razumeli demon, tj. NameNode in DataNode. V tej vadnici bomo razumeli, kako Resource Manager in Node Manager delujeta v gruči Hadoop 2.x, da upravljata obdelavo in opravila, ki jih je treba izvesti v gruči Hadoop.

Sestavni deli Hadoop 2.X

Torej, kaj je Resource Manager? Upravitelj virov je glavni demon, ki deluje na glavni napravi ali NameNode, ki je vrhunska naprava. Upravitelj vozlišč pa je demon, ki deluje na podrejenih strojih ali DataNodes ali skupaj s procesom DataNode.

Hadoop 2.x MapReduce YARN Components

Raziščimo ostale komponente PREJ v nadaljevanju.

  • Naročnik: To je enota, ki predloži vmesnik ukazne vrstice (CLI), podoben opravilu, odjemalec pa je lahko aplikacija JAVA.
  • Upravitelj virov: Je glavni demon, ki mu vsa delovna mesta predloži stranka, in je tisti, ki dodeli vse vire na ravni grozda za izvajanje določenega opravila. Deluje na vrhunskem računalniku, ki ima kakovostno strojno opremo in dobro konfiguracijo, saj je glavni stroj tisti, ki mora upravljati vse v gruči.
  • Upravitelj vozlišč : To je podrejeni demon, ki deluje na podrejenih strojih ali na DataNode, zato ima vsak podrejeni stroj nameščen upravitelj vozlišč. Spremlja vire določenega DataNode, Resource Manager upravlja vire grozda in Node Manager upravlja DataNode vire.
  • Strežnik zgodovine opravil: Enota vodi evidenco vseh opravil, ki so bila izvedena v grozdu ali so bila poslana v grozd. Spremlja tudi stanje in vodi tudi dnevniške datoteke vsake izvedbe, storjene v gruči Hadoop.
  • Glavni mojster : To je komponenta, ki se izvede prek Node Machine, Slave Machine in jo ustvari upravitelj virov za izvajanje in upravljanje opravila. Ta se pogaja o virih iz Upravitelja virov in se na koncu uskladi z Upraviteljem vozlišč za izvedbo naloge.
  • Posoda: Ustvari ga upravitelj vozlišč sam, ki ga dodeli upravitelj virov in vsa opravila se končno izvedejo v vsebniku.

PREJ Delovni tok

PREJ Delovni tok

Kot je prikazano na zgornjem diagramu, obstaja Upravitelj virov za katero so predložena vsa delovna mesta in obstaja grozd, v katerem so podrejeni stroji, na vsakem podrejenem stroju pa Upravitelj vozlišč teče.

Upravitelj virov ima dve komponenti, tj. Načrtovalec in Upravitelj aplikacij.

Kakšna je razlika med aplikacijo Master Master in Application Manager?

Upravitelj aplikacij je sestavni del Upravitelj virov ki zagotavlja, da je vsaka naloga izvršena in Glavni mojster je ustvarjen zanjo. Master Master, po drugi strani pa je nekdo, ki izvrši nalogo in zahteva vse vire, ki jih je treba izvesti.

Recimo, da je delo oddano na Upravitelj virov , takoj ko je delovno mesto oddano, Načrtovalec urnik Job. Ko je Načrtovalec razporeja delo, ki ga je treba izvesti Upravitelj aplikacij bo ustvaril a Zabojnik v enem od DataNodes , in znotraj tega Zabojnik, Glavni mojster se bo začel.

To Glavni mojster se bo nato registriral pri Upravitelj virov in zahteva za a Zabojnik za izvedbo naloge. Takoj ko Zabojnik je dodeljena, Glavni mojster bo zdaj povezan z Upravitelj vozlišč in zahtevo za zagon Zabojnik .

Kot lahko vidimo, Glavni mojster dodeljeno DataNodes D in JE in zdaj to Glavni mojster je zahteval Upravitelj vozlišč za začetek Zabojniki od DataNode D in DataNode E .

Takoj ko Zabojniki so bili uvedeni, Glavni mojster bo izvedel nalogo v Zabojnik in rezultat bo poslan nazaj na Naročnik .

Tok uporabe

Razumimo to nekoliko zaporedno.

V spodnjem diagramu imamo štiri komponente. Prvi je Naročnik, drugi je Upravitelj virov , tretji je Upravitelj vozlišč in četrta vrstica vsebuje Glavni mojster .

Zaporedje izvršitve

Poglejmo torej, kako se med njimi izvajajo ti koraki.

Prvi korak je Naročnik ki odda delo v Upravitelj virov , v drugem koraku Upravitelj virov dodeli a Zabojnik za zagon Glavni mojster na Suženjski stroji ; tretji korak je Glavni mojster registrira pri Upravitelj virov .

Takoj ko se registrira, zahteva Zabojnik za izvedbo naloge, tj.četrti korak. V petem koraku je Glavni mojster obvesti Upravitelj vozlišč na katerem je Zabojnik treba sprožiti.

V šestem koraku, enkrat Upravitelj vozlišč je začela Zabojniki, Glavni mojster bo izvršil kodo znotraj teh Zabojniki .

Končno, v sedmem koraku, Naročnik stiki z Upravitelj virov ali Glavni mojster za spremljanje stanja aplikacije.

Na koncu je Glavni mojster se bo odjavil iz Upravitelj virov in rezultat se vrne v Naročnik . To je torej en preprost zaporedni tok izvajanja programa MapReduce z uporabo okvira YARN.

Zaključek

V tej vadnici smo se torej naučili naslednjih napotkov:

  • PREJA pomeni Še en pogajalec o virih.
  • Preja je bila predstavljena v Hadoop 2.0
  • V okvir Hadoop sta bila skupaj z YARN uvedena Resource Manager in Node Manager.
  • Preje, kot so odjemalec, upravitelj virov, upravitelj vozlišč, strežnik zgodovine opravil, glavni mojster aplikacij in vsebnik.

V prihajajoči vadnici bomo razpravljali o preizkusnih tehnikah BigData in izzivih, s katerimi se sooča BigData Testiranje. Spoznali bomo tudi, kako premagati te izzive in morebitne načine, kako olajšati testiranje BigData.

=> Obiščite tukaj, če se želite naučiti BigData iz nič.

Priporočeno branje

^