Ce este nou în Spark?
Ce este nou în Spark?

Video: Ce este nou în Spark?

Video: Ce este nou în Spark?
Video: #FridaySpark 40 - Descoperă cum reduci distanța dintre «cine ești» și «cine vrei să fii» 2024, Mai
Anonim

În afară de remedierea erorilor, există 2 nou caracteristici în Scânteie 2.4: SCÂNTEIE -22239 Funcțiile ferestrei definite de utilizator cu Pandas UDF. SCÂNTEIE -22274 Funcții de agregare definite de utilizator cu panda udf. Noi le credem nou Caracteristicile vor îmbunătăți și mai mult adoptarea Pandas UDF și vom continua să îmbunătățim Pandas UDF în versiunile următoare.

De asemenea, care este cea mai recentă versiune de Spark?

Istorie

Versiune Data originală de lansare Ultima versiune
2.2 2017-07-11 2.2.3
2.3 2018-02-28 2.3.3
2.4 2018-11-02 2.4.4
Legendă: Versiune veche Versiune mai veche, încă păstrată Cea mai recentă versiune Cea mai recentă versiune de previzualizare

Alături de mai sus, este compatibil Spark SQL ANSI? Începând cu Scânteie 2.0, Scânteie este ANSI SQL :2003 conformă , care înseamnă Spark SQL suporturi SQL operațiuni care nu sunt disponibile în alte dialecte.

Aici, spark acceptă Java 11?

Scala si Java utilizatorii pot include Scânteie în proiectele lor folosind coordonatele Maven și utilizatorii Python le pot instala Scânteie de la PyPI. Scânteie merge mai departe Java 8/ 11 , Scala 2.12, Python 2.7+/3.4+ și R 3.1+.

Spark SQL acceptă actualizarea?

2 Răspunsuri. Spark SQL nu suport UPDATE declarații încă. Stupul a început susține UPDATE din versiunea hive 0.14. Dar chiar și cu Hive, asta acceptă actualizări /deletes numai pe acele tabele care a sustine tranzactii, se mentioneaza in documentatia stupului.

Recomandat: