JobTracker

Szerző: Roger Morrison
A Teremtés Dátuma: 19 Szeptember 2021
Frissítés Dátuma: 21 Június 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Videó: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Tartalom

Meghatározás - Mit jelent a JobTracker?

A JobTracker egy démon, amely Apache Hadoops MapReduce motoron fut. A JobTracker alapvető szolgáltatás, amely az összes MapReduce feladatot a fürt különböző csomópontjaira továbbítja, ideális azokban a csomópontokban, amelyek már tartalmazzák az adatokat, vagy legalábbis ugyanabban a rackben helyezkednek el, mint az adatokat tartalmazó csomópontok.


Bevezetés a Microsoft Azure és a Microsoft Cloud | A jelen útmutató során megtanulja, mi szól a felhőalapú számítástechnikából, és hogyan segítheti a Microsoft Azure a felhőből történő migrációt és az üzleti vállalkozás futtatását.

A Techopedia magyarázza a JobTracker-t

A JobTracker az a szolgáltatás, amely a Hadoop-n belül felelős az ügyfélkérések fogadásáért. Rendelteti őket a DataNodes TaskTrackerekkel, ahol a szükséges adatok helyben vannak. Ha ez nem lehetséges, a JobTracker megpróbálja a TaskTrackers feladatokat hozzárendelni ugyanabba a rackbe, ahol az adatok helyben vannak. Ha ez valamilyen okból szintén nem sikerül, a JobTracker a feladatot egy TaskTrackerhez rendeli, ahol létezik az adatok másolata. A Hadoop-ban az adatblokkok a DataNodes-on keresztül replikálódnak, hogy biztosítsák a redundanciát, így ha a fürt egyik csomópontja meghiúsul, akkor a feladat nem fog is megbukni.


JobTracker folyamat:

  1. Az ügyfélalkalmazásokból érkező munkakereséseket a JobTracker fogadja,
  2. A JobTracker konzultál a NameNode-tal a szükséges adatok helyének meghatározása érdekében.
  3. A JobTracker megkeresi a TaskTracker csomópontokat, amelyek tartalmazzák az adatokat, vagy legalábbis az adatok közelében vannak.
  4. A feladat elküldésre kerül a kiválasztott TaskTrackerbe.
  5. A TaskTracker a JobTracker szoros figyelemmel kísérése mellett végzi feladatait. Ha a feladat sikertelen, a JobTracker egyszerűen újraküldi a feladatot egy másik TaskTracker számára. Maga a JobTracker azonban egyetlen meghibásodási pont, azaz ha kudarcot vall, az egész rendszer leesik.
  6. A JobTracker frissíti az állapotát, amikor a munka befejeződik.
  7. Az ügyfélkérelmező most információkat kérhet a JobTrackerről.