JobTracker

Autor: Roger Morrison
Data Creației: 19 Septembrie 2021
Data Actualizării: 21 Iunie 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Video: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Conţinut

Definiție - Ce înseamnă JobTracker?

JobTracker este un demon care rulează pe motorul Apache Hadoops MapReduce. JobTracker este un serviciu esențial care combate toate sarcinile MapReduce la diferitele noduri din cluster, în mod ideal la nodurile care conțin deja datele sau, cel puțin, sunt localizate în același rack ca și nodurile care conțin datele.


O introducere în Microsoft Azure și Microsoft Cloud | În acest ghid, veți afla despre ce este vorba despre cloud computing și despre cum Microsoft Azure vă poate ajuta să migrați și să conduceți afacerea din cloud.

Techopedia explică JobTracker

JobTracker este serviciul din cadrul Hadoop care este responsabil de preluarea cererilor clientului. Le atribuie TaskTrackers pe DataNodes unde datele necesare sunt local local. Dacă acest lucru nu este posibil, JobTracker încearcă să atribuie sarcinile TaskTrackers în același rack în care datele sunt local localizate. Dacă din anumite motive acest lucru nu reușește, JobTracker atribuie sarcina unui TaskTracker unde există o replică a datelor. În Hadoop, blocurile de date sunt replicate pe DataNodes pentru a asigura redundanța, astfel încât dacă un nod din cluster nu reușește, jobul nu reușește de asemenea.

Procesul JobTracker:

  1. Cererile de joburi din aplicațiile client sunt primite de JobTracker,
  2. JobTracker consultă NameNode pentru a determina locația datelor necesare.
  3. JobTracker localizează nodurile TaskTracker care conțin datele sau cel puțin sunt aproape de date.
  4. Jobul este trimis la TaskTracker selectat.
  5. TaskTracker își îndeplinește sarcinile în timp ce este monitorizat îndeaproape de JobTracker. Dacă lucrarea nu reușește, JobTracker trimite din nou pur și simplu lucrarea la un alt TaskTracker. Cu toate acestea, JobTracker în sine este un singur punct de eșec, ceea ce înseamnă că, dacă nu reușește, întregul sistem scade.
  6. JobTracker își actualizează starea la finalizarea lucrării.
  7. Solicitantul client poate acum să sondeze informații de la JobTracker.