MapReduce

Conţinut

• Definiție - Ce înseamnă MapReduce?
• O introducere în Microsoft Azure și Microsoft Cloud | În acest ghid, veți afla despre ce este vorba despre cloud computing și despre cum Microsoft Azure vă poate ajuta să migrați și să conduceți afacerea din cloud.
• Techopedia explică MapReduce

Definiție - Ce înseamnă MapReduce?

MapReduce este un model de programare introdus de Google pentru procesarea și generarea unor seturi mari de date pe clustere de calculatoare.

În primul rând, Google a formulat cadrul pentru a servi indexarea paginilor web a Google, iar noul cadru a înlocuit algoritmii de indexare anterioare. Dezvoltatorii începători consideră cadrul MapReduce benefic pentru că rutinele bibliotecii pot fi utilizate pentru a crea programe paralele, fără griji în legătură cu comunicarea în infra-cluster, monitorizarea sarcinilor sau procesele de gestionare a eșecurilor.

MapReduce rulează pe un grup mare de mașini de marfă și este scalabil. Are mai multe forme de implementare furnizate de mai multe limbaje de programare, cum ar fi Java, C # și C ++.

O introducere în Microsoft Azure și Microsoft Cloud | În acest ghid, veți afla despre ce este vorba despre cloud computing și despre cum Microsoft Azure vă poate ajuta să migrați și să conduceți afacerea din cloud.

Techopedia explică MapReduce

Cadrul MapReduce are două părți:

1. O funcție numită „Hartă”, care permite diferitelor puncte ale clusterului distribuit să își distribuie munca
2. O funcție numită „Reduce”, care este concepută pentru a reduce forma finală a rezultatelor clusterelor într-o singură ieșire

Principalul avantaj al cadrului MapReduce este toleranța sa la erori, unde se așteaptă rapoarte periodice de la fiecare nod din cluster la finalizarea lucrărilor.

O sarcină este transferată de la un nod la altul. Dacă nodul principal observă că un nod a tăcut pentru un interval mai lung decât era de așteptat, nodul principal efectuează procesul de reasignare a sarcinii înghețate / întârziate.

Cadrul MapReduce este inspirat din funcțiile „Map” și „Reduce” utilizate în programarea funcțională. Prelucrarea computațională are loc pe datele stocate într-un sistem de fișiere sau într-o bază de date, care ia un set de valori cheie de intrare și produce un set de valori cheie de ieșire.

În fiecare zi, numeroase programe MapReduce și joburi MapReduce sunt executate în grupuri Googles. Programele sunt paralelizate și executate automat pe un grup mare de mașini de marfă. Sistemul de rulare se ocupă cu partiționarea datelor de intrare, programarea execuției programelor pe un set de mașini, manipularea defectelor mașinii și gestionarea comunicării intermachine necesare. Programatorii fără experiență cu sisteme paralele și distribuite pot utiliza cu ușurință resursele unui sistem distribuit mare.

MapReduce este utilizat în distribuirea grep distribuită, sortare distribuită, inversare de link-grafic web, statistici de jurnal de acces Web, clustering de documente, învățare automată și traducere automată statistică.