Cuprins:

Care sunt principalii parametri de configurare pe care utilizatorul trebuie să îi specifice pentru a rula jobul MapReduce?
Care sunt principalii parametri de configurare pe care utilizatorul trebuie să îi specifice pentru a rula jobul MapReduce?

Video: Care sunt principalii parametri de configurare pe care utilizatorul trebuie să îi specifice pentru a rula jobul MapReduce?

Video: Care sunt principalii parametri de configurare pe care utilizatorul trebuie să îi specifice pentru a rula jobul MapReduce?
Video: Map Reduce Execution Framework - Running Jobs and Changing Parameters at runtime 2024, Aprilie
Anonim

Principalii parametri de configurare pe care utilizatorii trebuie să îi specifice în cadrul „MapReduce” sunt:

  • Locuri de munca locații de intrare în sistemul de fișiere distribuit.
  • Locuri de munca locația de ieșire în sistemul de fișiere distribuit.
  • Formatul de intrare al datelor.
  • Formatul de ieșire al datelor.
  • Clasa care contine functia harta.
  • Clasa care conține funcția reduce.

Aici, care sunt principalii parametri de configurare într-un program MapReduce?

Principalii parametri de configurare în cadrul „MapReduce” sunt:

  • Introduceți locația joburilor în sistemul de fișiere distribuit.
  • Locația de ieșire a joburilor în sistemul de fișiere distribuit.
  • Formatul de intrare al datelor.
  • Formatul de ieșire al datelor.
  • Clasa care conține funcția map.
  • Clasa care conține funcția reduce.

Se poate întreba, de asemenea, care sunt parametrii cartografilor și reductorilor? Cei patru parametri pentru cartografi sunt:

  • LongWritable (intrare)
  • text (introducere)
  • text (ieșire intermediară)
  • IntWritable (ieșire intermediară)

De asemenea, întrebarea este, care sunt principalele componente ale jobului MapReduce?

  • Clasa principală de drivere care furnizează parametrii de configurare a jobului.
  • Clasa Mapper care trebuie să extindă org. apache. hadoop. mapreduce. Clasa Mapper și oferă implementare pentru metoda map ().
  • Clasa reductoare care ar trebui să extindă org. apache. hadoop. mapreduce. Clasa reductorului.

Ce este partitioner și cum ajută acesta în procesul de lucru MapReduce?

Partitioner în job MapReduce execuția controlează partiționarea cheilor ieșirilor intermediare ale hărții. Cu Ajutor a funcției hash, cheia (sau un subset al cheii) derivă compartimentare . Înregistrările ca având aceeași valoare cheie intră în aceeași valoare compartimentare (în cadrul fiecărui mapper).

Recomandat: