Cuprins:

Cum îmi pornesc serverul Spark History?
Cum îmi pornesc serverul Spark History?

Video: Cum îmi pornesc serverul Spark History?

Video: Cum îmi pornesc serverul Spark History?
Video: Cum instalezi Windows 10 - TUTORIAL - Cavaleria.ro 2024, Noiembrie
Anonim

Pentru a activa serverul istoric Spark:

  1. Creați un director pentru jurnalele de evenimente în sistemul de fișiere DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Când înregistrarea evenimentelor este activată, comportamentul implicit este ca toate jurnalele să fie salvate, ceea ce face ca stocarea să crească în timp.

Pe lângă aceasta, cum configurez un server Spark History?

Pentru a activa serverul istoric Spark:

  1. Creați un director pentru jurnalele de evenimente în sistemul de fișiere DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Când înregistrarea evenimentelor este activată, comportamentul implicit este ca toate jurnalele să fie salvate, ceea ce face ca stocarea să crească în timp.

În mod similar, cum găsesc adresa URL a serverului meu Spark History? De exemplu, pentru server de istorie , acestea ar fi de obicei accesibile la Server - url >:18080/api/v1, iar pentru o aplicație care rulează, la https://localhost:4040/api/v1. În API, o aplicație este referită prin ID-ul aplicației, [app-id].

De asemenea, ce este serverul Spark History?

The Serverul istoric Spark este un instrument de monitorizare care afișează informații despre finalizat Scânteie aplicatii. Aceasta informatie este extrase din datele pe care aplicațiile le scriu în mod implicit într-un director din sistemul de fișiere distribuit Hadoop (HDFS).

Ce este Sparkui?

Interfața de utilizare Spark Web vă permite să vedeți o listă cu etapele și sarcinile programatorului, informații despre mediu, informații despre executanții care rulează și multe altele. Urmăriți această demonstrație de 30 de minute pentru a afla despre: Componentele și ciclul de viață al unui program Spark. Cum rulează aplicația Spark pe un cluster Hadoop.

Recomandat: