Cuprins:

Unde pot găsi bușteni de scântei?
Unde pot găsi bușteni de scântei?

Video: Unde pot găsi bușteni de scântei?

Video: Unde pot găsi bușteni de scântei?
Video: Cum se face scândură din bușteni de paulownia. 2024, Martie
Anonim

Buturuga directoare

Locația implicită SPARK_WORKER_LOG_DIR este /var/ Buturuga / scânteie /muncitor. Implicit Buturuga directorul pentru pornirea Scânteie Serverul SQL Thrift este $HOME/ scânteie -server de economii. Scânteie Shell și aplicație busteni sunt scoase la consolă. Buturuga fișierele de configurare se află în același director ca scânteie -env.sh.

În ceea ce privește acest lucru, cum obțin jurnalele de scântei?

Scânteie job sau aplicație din pagina Analiză, puteți accesa busteni prin interfața de utilizare a aplicației și Scânteie Interfața de utilizare a aplicației. pagina, puteți accesa busteni prin intermediul Scânteie Interfața de utilizare a aplicației. Puteți, de asemenea, suplimentar busteni pentru a identifica erorile și excepțiile în Scânteie eșecuri la locul de muncă sau la cerere.

În mod similar, cum verificați buștenii de fire? Vizualizarea a Buturuga dosarul The busteni a unei aplicații master poate fi, de asemenea, vizualizată într-un browser în interfața de utilizare a managerului de resurse pe fire .resourcemanager.webapp.address}/cluster (https://localhost:8088 pe un singur nod „cluster”).

În mod similar, cineva se poate întreba, cum obțin jurnalele de executare pe Spark?

Răspuns

  1. Instrucțiuni pentru obținerea jurnalelor de executare Spark:
  2. Pentru Amabari -- 1) Accesați serviciul Spark și fila Configs: 2) Găsiți intrarea „Advanced spark-log4j-properties”.
  3. Pentru Cloudera -- Setați: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Cum găsesc adresa URL a serverului meu Spark History?

De exemplu, pentru server de istorie , acestea ar fi de obicei accesibile la Server - url >:18080/api/v1, iar pentru o aplicație care rulează, la https://localhost:4040/api/v1. În API, o aplicație este referită prin ID-ul aplicației, [app-id].

Recomandat: