Understanding Hadoop Yarn

YARN – Yet Another Resource Negotiator (vielä yksi resurssineuvottelija), on osa Hadoop 2 -versiota, ja se on yksi Apache Hadoopin kahdesta tärkeimmästä komponentista (yhdessä HDFS:n kanssa). Se suunnittelee klusterin resurssien käytön sekä dataan sovellettavat käsittelyt.

Yllä on Yarnin perusarkkitehtuuri, jossa resurssienhallinta on koko arkkitehtuurin ydinkomponentti, joka vastaa resurssien, kuten RAM-muistien, prosessoreiden ja muiden resurssien, hallinnasta koko klusterissa. Application Master vastaa sovelluksen aikataulutuksesta koko elinkaaren ajan, Node Manager vastaa resurssien tarjonnasta ja eristämisestä tässä solmussa.

Resurssienhallinta: se hallitsee klusterin resurssienhallintaa, tekee myös allokointipäätökset. Resurssienhallinnassa on kaksi pääkomponenttia: Scheduler ja Applications Manager.

• Scheduler: on nimeltään YarnScheduler, joka mahdollistaa erilaiset käytännöt rajoitusten, kuten kapasiteetin, oikeudenmukaisuuden ja palvelutasosopimusten, hallintaan.
• Applications Manager: vastaa lähetettyjen sovellusten luettelon ylläpitämisestä. Kun asiakas on lähettänyt hakemuksen, sovellusmanager tarkistaa ensin, voidaanko hakemuksen resurssivaatimus täyttää vai ei.Jos resursseja on riittävästi, se lähettää hakemuksen eteenpäin schedulerille, muutoin hakemus hylätään.

Solmuhallinta (Node Manager): vastaa konttien käynnistämisestä ja hallinnasta solmussa. Kontit suorittavat AppMasterin määrittämiä tehtäviä.

• Kontti: Ilmaisee ApplicationMasterille osoitetut resurssit. ResourceManager vastaa resurssien/kontinereiden myöntämisestä ApplicationMasterille. ja sillä tarkoitetaan resurssien, kuten muistin, suorittimen, levyn ja verkon IO:n, kokoelmaa.
• ApplicationMaster: on kehyskohtaisen kirjaston instanssi, joka neuvottelee resursseja ResourceManagerilta ja työskentelee NodeManagerin kanssa suorittaakseen ja valvoakseen myönnettyjä resursseja (konteiksi niputettuina) tietylle sovellukselle. Sovellus voi olla mapreduce-työ, hive-kehys…

Sovellusten suorittamisen vaiheet YARN:lla:

1. Asiakas lähettää sovelluksen YARN:n resurssienhallintaan.
2. ApplicationsManager (ResourceManagerissa) neuvottelee säiliön ja käynnistää ApplicationMaster-instanssin sovellukselle.
3. ApplicationMaster rekisteröityy ResourceManageriin ja pyytää kontteja (RAM-muistia ja suorittimia).
4. ApplicationMaster kommunikoi NodeManagerien kanssa käynnistääkseen sille myönnetyt kontit.
5. ApplicationMaster hallinnoi sovelluksen suoritusta. Suorituksen aikana sovellus antaa ApplicationMasterille edistymis- ja tilatietoja. Asiakas voi seurata sovelluksen tilaa kyselemällä ResourceManagerilta tai kommunikoimalla suoraan ApplicationMasterin kanssa.
6. ApplicationMaster ilmoittaa sovelluksen valmistumisesta ResourceManagerille.
7. ApplicationMaster purkaa rekisteröinnin ResourceManagerin kanssa, joka sen jälkeen tyhjentää ApplicationMasterin kontin.

Yarn Scheduler :

Schedulerilla on kytkettävä käytäntö, joka vastaa klusterin resurssien jakamisesta eri jonojen, sovellusten jne. kesken.

2. FIFO-ajastin

FIFO-ajastin on yksi varhaisimmista Hadoopissa käytetyistä käyttöönottostrategioista, ja se voidaan yksinkertaisesti tulkita Java-jonoksi. mikä tarkoittaa, että klusterissa voi olla samanaikaisesti vain yksi työ. Kaikki sovellukset suoritetaan lähetysjärjestyksessä, ja edellisen Jobin valmistumisen jälkeinen Job suoritetaan jonon mukaisessa järjestyksessä.

Tämän aikatauluttajan avulla lyhyet sovellukset saadaan valmiiksi kohtuullisessa ajassa, mutta pitkäikäisiä sovelluksia ei näännytetä nälkään.

2. Capacity-ajastin

Kapasiteetti-ajastin on Hadoopille liitettävissä oleva ajastin, jonka avulla useat vuokralaiset voivat jakaa turvallisesti suuren klusterin. Resurssit jaetaan kunkin vuokralaisen sovelluksille siten, että klusteri hyödynnetään täysimääräisesti jaettujen kapasiteettien rajoitusten mukaisesti.

Ylläpitäjät asettavat tyypillisesti jonot, jotka heijastavat jaetun klusterin taloudellisuutta. Reilu ajastus on menetelmä, jolla resursseja jaetaan sovelluksille siten, että kaikki sovellukset saavat keskimäärin yhtä suuren osuuden resursseista ajan mittaan.