Tartalom
- Mi a YARN keretrendszer?
- A Hadoop 1.0 keretrendszer korlátozásai
- Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
- A YARN Framework és annak előnyei
- Következtetés
Forrás: Jim Hughes / Dreamstime.com
Elvitel:
A YARN jelentős javulás a Hadoop 1.0 keretrendszerhez képest. Itt megvizsgálunk néhány előnye az elődjéhez képest.
A nagy adatok fogalmának bevezetése óta az evolúció több szakaszán megy keresztül. A Hadoop 2005-ben került bevezetésre néhány olyan kezdeti funkcióval, mint például a MapReduce feldolgozó motor, amely megengedte a fürtökben elosztott nagyszabású adatfeldolgozási munkaterhelést. Maga a Hadoop sok változást tapasztalt és fejlett kereteket és módszereket fejlesztett ki.
A YARN a Hadoop 2.0 központi eleme. Alapvetően az erőforrásokat egy fürtözött környezetben kezeli. A YARN bróker kölcsönhatásba lép a számítási erőforrásokkal (az alkalmazások nevében), és erőforrásokat rendel hozzá az egyes alkalmazásokhoz különböző szűrési kritériumok alapján.
Ebben a cikkben a YARN legfontosabb előnyeit vizsgáljuk meg a Hadoop 1.0-hoz képest.
Mi a YARN keretrendszer?
Yet Another Resource NAz egotiator a Hadoop 2.0 alapvető alkotóeleme, amely fürtözött környezetben kezeli az erőforrásokat. A Hadoop YARN keretrendszer a Hadoop 1.0 fejlett verziója, amely jobb teljesítményt nyújt, ami előnyös a Hadoop ökoszisztéma és a hozzá kapcsolódó technológiák egész sorának szempontjából. Most, hogy egy kicsit jobban megismertük a YARN-et, vessünk közelebbről a Hadoop 1.0-t és a YARN-ot.
A Hadoop 1.0 keretrendszer korlátozásai
A YARN keretrendszer előnyeinek megértése érdekében nagyon fontos megérteni, hogyan működik a Hadoop 1.0, és hogy milyen korlátok vannak ennek a keretnek.
Itt jön be a JobTracker szerepe. A fürt erőforrásait egyaránt kezeli, és meghatározza a MapReduce job végrehajtását. Dióhéjban a JobTracker ütemezi és fenntartja a feladatréseket, valamint konfigurálja és figyeli az összes futó feladatot. Ha egy feladat kudarcot vall, akkor egy új helyet oszt át a feladat újbóli elindításához. Miután egy feladat befejeződött, a JobTracker elengedi a többi feladat helyét és megtisztítja az ideiglenes erőforrásokat.
A fenti megközelítés fő hátrányai:
- Elérhetőség - A Hadoop 1.0 a JobTracker elérhetőségének egyetlen pontja. Ez azt jelenti, hogy ha a JobTracker sikertelen, akkor az összes feladat alapértelmezés szerint újraindul.
- Korlátozott méretezhetőség - Mivel a JobTracker több feladatot hajt végre, és egyetlen gépen fut, a többi rendelkezésre álló gépet nem használják; ennélfogva korlátozott skálázhatóságot eredményez.
- Erőforrás-felhasználás - A fenti megközelítés során a térképrések és a csökkent rések előre definiáltak. Előfordulhat, hogy az egyik hely megtelt, de a többi gép üres. Mivel az üres résidők fenntartva vannak, üresjáratban ülnek ahelyett, hogy a teljes résidőkre veszélyeztetnék. Ez problémát okozhat az erőforrások felhasználásában.
- Nem MapReduce alkalmazások futtatása - A JobTracker egy olyan alkalmazás, amelyet a MapReduce keretrendszerhez építettek. A probléma akkor merül fel, amikor egy nem MapReduce alkalmazás megpróbálja futtatni ebben a keretben. Az alkalmazásnak meg kell felelnie a MapReduce keretprogramozásnak a sikeres futtatáshoz. Az ebből adódó gyakori kérdések közé tartozik a következőkkel kapcsolatos problémák:
- Ad-hoc lekérdezés
- Valós idejű elemzés
- átmenő megközelítés
- Lépcsőzetes meghibásodás - Ebben a keretben az egyik fő probléma akkor fordul elő, ha a csomópontok száma meghaladja a 4000-t. Ilyen esetben egy lépcsőzetes meghibásodás következik be, ami a teljes klaszter romlását eredményezi.
Ez a legfontosabb korlátozások közül néhány, amelyekkel e kerettel való együttműködés során szembesülnek. Vannak más kisebb korlátozások is, amelyeket nem említenek. Ezeket a korlátozásokat a YARN keretrendszer vezette be.
Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
Nem javíthatja a programozási képességeit, ha senki sem törődik a szoftver minőségével.
A YARN Framework és annak előnyei
A HADoop 2.0-ban bevezetett YARN-keretrendszer célja a MapReduce felelősségeinek megosztása és a fürtkezelési feladatok ellátása. Ez lehetővé teszi a MapReduce számára, hogy csak az adatfeldolgozást hajtsa végre, és így racionalizálja a folyamatot.
A YARN bevezeti a központi erőforrás-kezelés fogalmát. Ez lehetővé teszi több alkalmazás futtatását a Hadoop rendszeren, megosztva egy közös erőforrás-kezelést.
A YARN-keretrendszer néhány fő alkotóeleme a következő:
- ResourceManager - A ResourceManager összetevő a fürtben lévő tárgyaló a fürtben lévő összes erőforrás számára. Ezenkívül ez az összetevő alkalmazáskezelőbe van besorolva, amely a felhasználói feladatok kezeléséért felel. A Hadoop 2.0-tól minden MapReduce feladat alkalmazásnak tekinthető.
- ApplicationMaster - Ez az összetevő az a hely, ahol egy job vagy alkalmazás létezik. Ezenkívül kezeli az összes MapReduce jobot, és a munka feldolgozásának befejezése után fejeződik be.
- NodeManager - A csomópontkezelő összetevő kiszolgálóként szolgál a feladat előzményeihez. Feladata az elvégzett munkákkal kapcsolatos információk biztosítása. Ezenkívül nyomon követi a felhasználók feladatait, valamint egy adott csomópont munkafolyamatait.
Ne feledve, hogy a YARN keretrendszernek különböző összetevői vannak a különböző feladatok kezelésére, lássuk, hogyan számolja be a Hadoop 1.0 korlátozásait.
- Az erőforrások jobb felhasználása - A YARN keretrendszernek nincs rögzített rése a feladatokhoz. Központi erőforrás-kezelőt biztosít, amely lehetővé teszi több alkalmazás megosztását egy közös erőforráson keresztül.
- Nem MapReduce alkalmazások futtatása - A YARN programban az ütemezési és az erőforrás-kezelési képességek elválasztva vannak az adatfeldolgozó összetevőktől. Ez lehetővé teszi a Hadoop számára, hogy különféle típusú alkalmazásokat futtasson, amelyek nem felelnek meg a Hadoop keretrendszerének programozásának. A Hadoop-fürtök most már képesek független interaktív lekérdezések futtatására és jobb valós idejű elemzések végrehajtására.
- Visszamenőleges kompatibilitás - A YARN visszamenőleges kompatibilis keretrendszerként jön létre, ami azt jelenti, hogy a MapReduce bármely meglévő feladata végrehajtható a Hadoop 2.0-ban.
- A JobTracker már nem létezik - A JobTracker két fő szerepe az erőforrás-kezelés és a munka ütemezése volt. A YARN keret bevezetésével ezek most két különálló elemre tagolódnak:
- NodeManager
- Erőforrás menedzser
Következtetés
A YARN keret bevezetése megkönnyítette az alkalmazások létrehozását a Hadoop fejlesztők számára. Most már nem kell az alkalmazásokat harmadik féltől származó eszközökkel megvalósítani. A YARN hatalmas változás, amely lehetővé teszi a felhasználók számára a Hadoop 2.0 fontolóra vételét az alkalmazások létrehozása és az adatok hatékonyabb kezelése érdekében. Az idő múlásával további fejlesztések történnek a Hadoop használhatóságának javítása érdekében. Jelenleg a YARN keretrendszer kulcsfontosságú szerepet játszik a jelenlegi problémák kezelésében és a problémamentes környezet megteremtésében, amely sokkal sokoldalúbb, mint a MapReduce modell korábbi verziója.