Show este o acțiune în scânteie?
Show este o acțiune în scânteie?

Video: Show este o acțiune în scânteie?

Video: Show este o acțiune în scânteie?
Video: Super scânteie în acțiune! 2024, Noiembrie
Anonim

2 Răspunsuri. spectacol este într-adevăr o acțiune , dar este suficient de inteligent pentru a ști când nu trebuie să ruleze totul. Dacă ai avea un orderBy, ar dura foarte mult, dar în acest caz toate operațiunile tale sunt operațiuni pe hărți și, prin urmare, nu este nevoie să calculezi întregul tabel final.

Doar așa, numărarea este o acțiune în scânteie?

numara () la numara numărul de rânduri. Deoarece inițiază execuția DAG și returnează datele driverului, este un acțiune pentru RDD. Cazul 2: Dacă suni numara pe Dataframe, inițiază execuția DAG și returnează datele driverului, acesta este an acțiune pentru Dataframe.

În mod similar, ce este acțiunea și transformarea în scânteie? Scânteie Operațiuni RDD. Două tipuri de Apache Scânteie Operațiunile RDD sunt- Transformări și Acțiuni . A Transformare este o funcție care produce noi RDD din RDD-urile existente, dar când vrem să lucrăm cu setul de date real, în acel moment Acțiune se efectuează.

În mod corespunzător, ce este o acțiune în scânteie?

Acțiuni sunt operațiunile RDD, acea valoare revine înapoi la programele de driver spar, care lansează un job pentru a fi executat pe un cluster. Ieșirea transformării este o intrare a Acțiuni . reduce, colectează, takeSample, take, first, saveAsTextfile, saveAsSequenceFile, countByKey, foreach sunt comune actiuni în Apache scânteie.

Ce face collect () în spark?

colectarea (functie) colectarea returnează elementele setului de date ca o matrice înapoi în programul driver. colectarea este adesea folosit în exemplele furnizate anterior, cum ar fi Scânteie Exemple de transformare pentru a arăta valorile randamentului. REPL, de exemplu, va imprima valorile matricei înapoi pe consolă.

Recomandat: