Databricks Runtime 11.0 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.0, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione nel giugno 2022.

Miglioramenti e nuove funzionalità

• Nuova versione di Apache Spark
• I notebook Python ora usano il kernel IPython
• Supporto per ipywidgets
• Il connettore Synapse ora scrive dati Parquet in modalità non legacy
• Lo schema HTTPS ora applicato quando il client ABFS usa il token di firma di accesso condiviso
• SQL: DESC è ora un alias per DESCRIBE
• SQL: Nuovi current_version dettagli della versione dell'output della funzione
• L'eliminazione di un vincolo di tabella Delta mancante genera ora un errore
• SQL: la nuova EXCEPT clausola nell'istruzione SELECT esclude le colonne dalla selezione
• Supporto per l'eliminazione di colonne nelle tabelle Delta (anteprima pubblica)
• COPY INTO Miglioramenti
• CONVERT TO DELTA è ora supportato negli ambienti abilitati per Unity Catalog (anteprima pubblica)

Nuova versione di Apache Spark

Databricks Runtime 11.0 e Databricks Runtime 11.0 Photon includono Apache Spark 3.3.0. Per informazioni dettagliate, vedere Apache Spark.

I notebook Python ora usano il kernel IPython

In Databricks Runtime 11.0 e versioni successive, i notebook Python usano il kernel IPython per eseguire il codice Python. Vedere Kernel IPython.

Supporto per ipywidgets

È ora possibile usare ipywidgets per rendere interattivi i notebook Python di Databricks. Vedere ipywidgets.

Il connettore Synapse ora scrive dati Parquet in modalità non legacy

Il connettore Azure Synapse scrive ora dati Parquet in modalità non legacy. Mantiene il INT96 formato timestamp quando si usano PolyBase e COPY i comandi per i carichi di lavoro batch e di streaming.

Lo schema HTTPS ora applicato quando il client ABFS usa il token di firma di accesso condiviso

Quando il client ABFS (Blob File System) di Azure usa un token sas (Shared Access Signature), viene applicato lo schema HTTPS.

SQL: DESC è ora un alias per DESCRIBE

È ora possibile usare DESC come alias per DESCRIBE quando si descrivono percorsi esterni o credenziali di archiviazione. Ad esempio:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nuovi current_version dettagli della versione dell'output della funzione

La nuova current_version funzione restituisce la versione corrente di Databricks Runtime, se disponibile, la versione sql di Databricks corrente, se disponibile, e altri dettagli della versione correlati. Usare questa nuova funzione per eseguire query sulle informazioni relative alla versione. Vedere current_version funzione.

L'eliminazione di un vincolo di tabella Delta mancante genera ora un errore

Se si tenta ora di eliminare un vincolo di tabella Delta in base al nome e tale vincolo non esiste, verrà visualizzato un errore. Per ottenere il comportamento precedente, che non genera un errore se il vincolo non esiste, è ora necessario usare l'istruzione IF EXISTS . Vedere ALTER TABLE.

SQL: la nuova EXCEPT clausola nell'istruzione SELECT esclude le colonne dalla selezione

SELECT Le istruzioni supportano ora la EXCEPT clausola per escludere colonne dalla selezione. Ad esempio, restituisce SELECT * EXCEPT (x) FROM table tutte le colonne di , ad eccezione xdi table. Sono consentite anche colonne annidate. Ad esempio, restituisce SELECT * EXCEPT (x.a) FROM table tutte le tablecolonne di , ma omette il campo a dallo struct x.

Supporto per l'eliminazione di colonne nelle tabelle Delta (anteprima pubblica)

È possibile usare ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> o ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) per eliminare una colonna o un elenco di colonne, rispettivamente, da una tabella Delta come operazione di sola metadati. Le colonne vengono effettivamente eliminate in modo leggero, perché sono ancora nei file Parquet sottostanti, ma non sono più visibili alla tabella Delta.

È possibile usare REORG TABLE <table-name> APPLY (PURGE) per attivare una riscrittura di file nei file che contengono dati eliminati soft, ad esempio colonne eliminate.

È possibile usare VACUUM per rimuovere i file eliminati dall'archiviazione fisica, inclusi i file precedenti che contengono colonne eliminate e sono stati riscritti da REORG TABLE.

Miglioramenti di COPY INTO

È ora possibile creare tabelle Delta segnaposto vuote in modo che lo schema venga dedotto successivamente durante un COPY INTO comando:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

L'istruzione SQL precedente è idempotente e può essere pianificata per l'esecuzione per inserire i dati esattamente una volta in una tabella Delta.

Se i dati inseriti non possono essere letti a causa di un problema di danneggiamento, è possibile ignorare i file danneggiati impostando ignoreCorruptFiles su true in FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Il COPY INTO comando restituisce il numero di file ignorati a causa del danneggiamento nella num_skipped_corrupt_files colonna. Questa metrica viene visualizzata anche nella operationMetrics colonna numSkippedCorruptFiles sotto dopo l'esecuzione DESCRIBE HISTORY nella tabella Delta.

I file danneggiati non vengono rilevati da COPY INTO, quindi possono essere ricaricati in un'esecuzione successiva se il danneggiamento è corretto. È possibile vedere quali file sono danneggiati eseguendo COPY INTO in VALIDATE modalità .

CONVERT TO DELTA è ora supportato negli ambienti abilitati per Unity Catalog (anteprima pubblica)

Negli ambienti abilitati per Unity-Catalog è CONVERT TO DELTA ora possibile:

• Convertire i file Parquet in percorsi esterni in Delta Lake.
• Convertire tabelle esterne Parquet in tabelle Delta.

Modifiche del comportamento

• SQL: lpad e rpad le funzioni supportano ora sequenze di byte
• Formato stringa in format_string e printf non più consentito %0$
• I valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita
• La proprietà external table è ora riservata
• Log4j viene aggiornato da Log4j 1 a Log4j 2
• Le librerie installate da Maven vengono ora risolte nel piano di calcolo per impostazione predefinita

SQL: lpad e rpad le funzioni supportano ora sequenze di byte

Le funzioni lpad e rpad sono state aggiornate per aggiungere il supporto per le sequenze di byte oltre alle stringhe.

Formato stringa in format_string e printf non più consentito %0$

Se si specifica il formato %0$ nelle format_string funzioni e printf , per impostazione predefinita, viene generato un errore. Questa modifica consiste nel mantenere il comportamento previsto con le versioni precedenti di Databricks Runtime e i database di terze parti comuni. Il primo argomento deve sempre fare riferimento %1$ quando si utilizza un indice di argomento per indicare la posizione dell'argomento nell'elenco di argomenti.

I valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita

I valori Null nei file CSV sono stati scritti in precedenza come stringhe vuote tra virgolette. Con questa versione, i valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita. Per tornare al comportamento precedente, impostare l'opzione nullValue su "" per le operazioni di scrittura.

La proprietà external table è ora riservata

La proprietà external è ora una proprietà di tabella riservata per impostazione predefinita. Le eccezioni vengono ora generate quando si usa la external proprietà con le CREATE TABLE ... TBLPROPERTIES clausole e ALTER TABLE ... SET TBLPROPERTIES .

Log4j viene aggiornato da Log4j 1 a Log4j 2

Log4j 1 viene aggiornato a Log4j 2. Le dipendenze di Log4j 1 legacy vengono rimosse.

Se si dipende dalle classi Log4j 1 precedentemente incluse in Databricks Runtime, tali classi non esistono più. È consigliabile aggiornare le dipendenze a Log4j 2.

Se sono presenti plug-in personalizzati o file di configurazione che dipendono da Log4j 2, potrebbero non funzionare più con la versione di Log4j 2 in questa versione. Per assistenza, contattare il team dell'account di Azure Databricks.

Le librerie installate da Maven vengono ora risolte nel piano di calcolo per impostazione predefinita

Le librerie Maven ora vengono risolte nel piano di calcolo per impostazione predefinita quando si installano librerie in un cluster. È necessario che il cluster abbia accesso a Maven Central. In alternativa, è possibile ripristinare il comportamento precedente impostando la proprietà di configurazione spark:

spark.databricks.libraries.enableMavenResolution false

Correzioni di bug

• La compatibilità binaria per LeafNode, UnaryNodee BinaryNode tra Apache Spark e Databricks Runtime è stata corretta e le classi sono ora compatibili con Apache Spark 3.3.0 e versioni successive. Se si verifica il messaggio seguente o simile quando si usa un pacchetto di terze parti con Databricks Runtime, ricompilare il pacchetto con Apache Spark 3.3.0 o versione successiva: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • platformdirs dalla versione 2.5.1 alla versione 2.5.2
  • protobuf da 3.20.0 a 3.20.1
• Librerie R aggiornate:
  • BLOB da 1.2.2 a 1.2.3
  • scopa da 0.7.12 a 0.8.0
  • cursore da 6.0-91 a 6.0-92
  • cli da 3.2.0 a 3.3.0
  • dplyr da 1.0.8 a 1.0.9
  • futuro da 1.24.0 a 1.25.0
  • future.apply dalla versione 1.8.1 alla versione 1.9.0
  • gert da 1.5.0 a 1.6.0
  • ggplot2 da 3.3.5 a 3.3.6
  • glmnet da 4.1-3 a 4.1-4
  • haven from 2.4.3 to 2.5.0
  • httr da 1.4.2 a 1.4.3
  • magliar da 1,38 a 1,39
  • magrittr da 2.0.2 a 2.0.3
  • parallelamente da 1.30.0 a 1.31.1
  • ps da 1.6.0 a 1.7.0
  • RColorBrewer da 1.1-2 a 1.1-3
  • RcppEigen da 0.3.3.9.1 a 0.3.3.9.2
  • readxl da 1.3.1 a 1.4.0
  • rmarkdown da 2.13 a 2.14
  • rprojroot da 2.0.2 a 2.0.3
  • RSQLite da 2.2.11 a 2.2.13
  • scala da 1.1.1 a 1.2.0
  • testat da 3.1.2 a 3.1.4
  • tibble da 3.1.6 a 3.1.7
  • tinytex da 0,37 a 0,38
  • tzdb da 0.2.0 a 0.3.0
  • uuid da 1.0-4 a 1.1-0
  • vctrs da 0.3.8 a 0.4.1
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-core da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-databind da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.0 a 2.13.3
  • com.google.crypto.tink.tink da 1.6.0 a 1.6.1
  • com.ning.compress-lzf da 1.0.3 a 1.1
  • dev.developer.netlib.arpack da 2.2.0 a 2.2.1
  • dev.sdk.netlib.blas da 2.2.0 a 2.2.1
  • dev.developer.netlib.lapack da 2.2.0 a 2.2.1
  • io.netty.netty-all dalla versione 4.1.73.Final alla versione 4.1.74.Final
  • io.netty.netty-buffer da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-codec da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-common da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-handler dalla versione 4.1.73.Final alla versione 4.1.74.Final
  • io.netty.netty-resolver da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-tcnative-classes da 2.0.46.Final a 2.0.48.Final
  • trasporto io.netty.netty da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-epoll da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-unix-common da 4.1.73.Final a 4.1.74.Final
  • joda-time.joda-time da 2.10.12 a 2.10.13
  • org.apache.commons.commons-math3 da 3.4.1 a 3.6.1
  • org.apache.httpcomponents.httpcore da 4.4.12 a 4.4.14
  • org.apache.orc.orc-core da 1.7.3 a 1.7.4
  • org.apache.orc.orc-mapreduce da 1.7.3 a 1.7.4
  • org.apache.orc.orc-shims da 1.7.3 a 1.7.4
  • org.eclipse.jetty.jetty-client da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client da 2.2.5 a 2.7.4
  • org.postgresql.postgresql da 42.2.19 a 42.3.3
  • org.roaringbitmap.RoaringBitmap da 0.9.23 a 0.9.25
  • org.roaringbitmap.shims da 0.9.23 a 0.9.25
  • org.rocksdb.rocksdbjni da 6.20.3 a 6.24.2
  • org.slf4j.jcl-over-slf4j da 1.7.32 a 1.7.36
  • org.slf4j.jul-to-slf4j da 1.7.32 a 1.7.36
  • org.slf4j.slf4j-api da 1.7.30 a 1.7.36

Apache Spark

Databricks Runtime 11.0 include Apache Spark 3.3.0.

Contenuto della sezione:

• Spark SQL e Core
• Structured Streaming
• PySpark
• MLLIB
• SparkR
• INTERFACCIA UTENTE
• Build

Spark SQL e Core

Modalità ANSI

• Nuove regole di sintassi cast esplicite in modalità ANSI (SPARK-33354)
• Elt() deve restituire null se index è Null in modalità ANSI (SPARK-38304)
• Facoltativamente, restituisce un risultato Null se l'elemento non esiste in array/map (SPARK-37750)
• Consenti cast tra tipo numerico e tipo timestamp (SPARK-37714)
• Disabilitare le parole chiave riservate ANSI per impostazione predefinita (SPARK-37724)
• Usare le regole di assegnazione dell'archivio per la risoluzione della chiamata di funzione (SPARK-37438)
• Aggiungere una configurazione per consentire il cast tra Datetime e Numeric (SPARK-37179)
• Aggiungere una configurazione per applicare facoltativamente parole chiave riservate ANSI (SPARK-37133)
• Non consentire operazioni binarie tra intervallo e valore letterale stringa (SPARK-36508)

Miglioramenti delle funzionalità

• Supportare i tipi ANSI SQL INTERVAL (SPARK-27790)
• Miglioramenti dei messaggi di errore (SPARK-38781)
• Supporto dei metadati dei file nascosti per Spark SQL (SPARK-37273)
• Supporto di valori letterali stringa non elaborati (SPARK-36371)
• Classe helper per batch Dataset.observe() (SPARK-34806)
• Supporto specificare il numero di partizione iniziale per il ribilanciamento (SPARK-38410)
• Supporto della modalità a catena per dropNamespace l'API (SPARK-37929)
• Consenti l'assegnazione dell'archivio e il cast implicito tra i tipi datetime (SPARK-37707)
• Collect, first e last devono essere funzioni di aggregazione deterministiche (SPARK-32940)
• Aggiungere ExpressionBuilder per le funzioni con overload complessi (SPARK-37164)
• Aggiungere il supporto della matrice all'unione in base al nome (SPARK-36546)
• Aggiungere df.withMetadata: uno zucchero di sintassi per aggiornare i metadati di un dataframe (SPARK-36642)
• Supporto di valori letterali stringa non elaborati (SPARK-36371)
• Usare CAST nell'analisi di date/timestamp con il modello predefinito (SPARK-36418)
• Classe valore di supporto nello schema annidato per Dataset (SPARK-20384)
• Aggiunta del supporto della sintassi AS OF (SPARK-37219)
• Aggiungere REPEATABLE in TABLESAMPLE per specificare il valore di inizializzazione (SPARK-37165)
• Aggiungere una sintassi set catalog xxx ansi per modificare il catalogo corrente (SPARK-36841)
• Supporto ILIKE (ALL | ANY | SOME) - LIKE senza distinzione tra maiuscole e minuscole (SPARK-36674, SPARK-36736, SPARK-36778)
• La fase di query di supporto mostra le statistiche di runtime in modalità di spiegazione formattata (SPARK-38322)
• Aggiungere le metriche delle dimensioni della spill per l'unione di ordinamento (SPARK-37726)
• Aggiornare la sintassi SQL di SHOW FUNCTIONS (SPARK-37777)
• Supporto della sintassi DROP COLUMN [IF EXISTS] (SPARK-38939)
• Nuove funzioni predefinite e le relative estensioni (SPARK-38783)
  • Datetime
    • Aggiungere la funzione TIMESTAMPADD() (SPARK-38195)
    • Aggiungere la funzione TIMESTAMPDIFF() (SPARK-38284)
    • Aggiungere l'alias DATEDIFF() per TIMESTAMPDIFF() (SPARK-38389)
    • Aggiungere l'alias DATEADD() per TIMESTAMPADD() (SPARK-38332)
    • Aggiungere la convert\_timezone() funzione (SPARK-37552, SPARK-37568)
    • Esporre make_date espressione in functions.scala (SPARK-36554)
  • Funzioni AES (SPARK-12567)
    • Aggiungere funzioni predefinite aes_encrypt e aes_decrypt (SPARK-12567)
    • Supportare la modalità GCM di aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Impostare GCM come modalità predefinita in aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Aggiungere gli mode argomenti e padding a aes\_encrypt()aes\_decrypt()/(SPARK-37586)
  • Funzione di aggregazione ANSI (SPARK-37671)
    • Supporto della funzione di aggregazione ANSI: regr_count (SPARK-37613)
    • Supporto della funzione di aggregazione ANSI: regr_avgx e regr_avgy (SPARK-37614)
    • Supporto della funzione di aggregazione ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Supporto della funzione di aggregazione ANSI: percentile_disc (SPARK-37691)
    • Supporto della funzione di aggregazione ANSI: regr_count (SPARK-37613)
    • Supporto della funzione di aggregazione ANSI: array_agg (SPARK-27974)
    • Supporto della funzione di aggregazione ANSI: regr_r2 (SPARK-37641)
    • Nuova funzione SQL: try_avg (SPARK-38589)
  • Collezioni
    • Introduzione alla funzione SQL ARRAY_SIZE (SPARK-38345)
    • Nuova funzione SQL: map_contains_key (SPARK-37584)
    • Nuova funzione SQL: try_element_at (SPARK-37533)
    • Nuova funzione SQL: try_sum (SPARK-38548)
  • Formato
    • Aggiungere una nuova funzione SQL to_binary (SPARK-37507, SPARK-38796)
    • Nuova funzione SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Funzioni di formattazione dei tipi di dati: to\_number (SPARK-28137)
  • Stringa/binaria
    • Aggiungere la funzione stringa CONTAINS() (SPARK-37508)
    • Aggiungere le startswith() funzioni stringa e endswith() (SPARK-37520)
    • Aggiungere funzioni lpad e rpad per stringhe binarie (SPARK-37047)
    • Funzione support split_part (SPARK-38063)
  • Aggiungere un parametro di scala alle funzioni floor e ceil (SPARK-37475)
  • Nuove funzioni SQL: try_subtract e try_multiply (SPARK-38164)
  • Implementa histogram_numeric funzione di aggregazione che supporta l'aggregazione parziale (SPARK-16280)
  • Aggiungere max_by/min_by a sql.functions (SPARK-36963)
  • Aggiungere nuove funzioni SQL predefinite: SEC e CSC (SPARK-36683)
  • array_intersect handle duplicati Double.NaN e Float.NaN (SPARK-36754)
  • Aggiungere cot come funzioni Scala e Python (SPARK-36660)

Miglioramenti delle prestazioni

• Generazione di codice a fasi intere
  • Aggiungere code-gen per l'aggregazione di ordinamento senza raggruppamento di chiavi (SPARK-37564)
  • Aggiungere code-gen per l'unione completa di ordinamento esterno (SPARK-35352)
  • Aggiungere code-gen per l'hash join casuale completo (SPARK-32567)
  • Aggiungere code-gen per l'esistenza di merge di ordinamento (SPARK-37316)
• Eseguire il push verso il basso (filtri)
  • Eseguire il push dei filtri tramite RebalancePartitions (SPARK-37828)
  • Push down boolean column filter (SPARK-36644)
  • Push down limit 1 for right side of left semi/anti join if join condition is empty (SPARK-37917)
  • Tradurre funzioni di aggregazione più standard per il pushdown (SPARK-37527)
  • Supporto della propagazione di una relazione vuota tramite aggregazione/unione (SPARK-35442)
  • Filtro runtime a livello di riga (SPARK-32268)
  • Supporto del semi join sinistro nei filtri di runtime a livello di riga (SPARK-38565)
  • Supporto del pushdown del predicato e dell'eliminazione delle colonne per le CTE deduped (SPARK-37670)
• Vettorizzazione
  • Implementare un oggetto ConstantColumnVector e migliorare le prestazioni dei metadati dei file nascosti (SPARK-37896)
  • Abilitare la lettura vettorializzata per VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Combinare/rimuovere/sostituire nodi
  • Combinare unioni se è presente un progetto tra di essi (SPARK-37915)
  • Combinare un cast se è possibile eseguire il cast in modo sicuro di due cast (SPARK-37922)
  • Rimuovere l'ordinamento se è figlio di RepartitionByExpression (SPARK-36703)
  • Rimuove il outer join se ha solo DISTINCT sul lato trasmesso con alias (SPARK-37292)
  • Sostituire l'hash con l'aggregazione di ordinamento se figlio è già ordinato (SPARK-37455)
  • Comprimere i progetti solo se non si duplicano espressioni costose (SPARK-36718)
  • Rimuovere gli alias ridondanti dopo RewritePredicateSubquery (SPARK-36280)
  • Unire sottoquery scalari non correlate (SPARK-34079)
• Partizionamento
  • Non aggiungere l'eliminazione dinamica della partizione se esiste l'eliminazione di partizioni statiche (SPARK-38148)
  • Migliorare il ribilanciamentoPartitions nelle regole di Optimizer (SPARK-37904)
  • Aggiungere un fattore di partizione di piccole dimensioni per partizioni di ribilanciamento (SPARK-37357)
• Unire
  • Ottimizzare la logica per abbassare di livello il hash join broadcast in DynamicJoinSelection (SPARK-37753)
  • Ignorare le chiavi di join duplicate durante la compilazione di relazioni per il join hash casuale SEMI/ANTI (SPARK-36794)
  • Supportare un join asimmetrico ottimizzato anche se introduce un'ulteriore sequenza casuale (SPARK-33832)
• AQE
  • Supporto elimina i limiti in AQE Optimizer (SPARK-36424)
  • Ottimizzare un piano di riga in modalità normale e AQE Optimizer (SPARK-38162)
• Aggregate.groupOnly supporta espressioni piegabili (SPARK-38489)
• Matrice ByteArrayMethodsEquals dovrebbe ignorare rapidamente il controllo dell'allineamento con la piattaforma non idonea (SPARK-37796)
• Aggiungere l'eliminazione del modello di albero alla regola CTESubstitution (SPARK-37379)
• Aggiungere altre semplificazioni degli operatori Not (SPARK-36665)
• Supporto di BooleanType in UnwrapCastInBinaryComparison (SPARK-36607)
• Coalesce elimina tutte le espressioni dopo la prima espressione non nullable (SPARK-36359)
• Aggiungere un visitatore di piano logico per propagare gli attributi distinti (SPARK-36194)

Miglioramenti dei connettori predefiniti

• Generale
  • Serializzazione leniente di datetime dall'origine dati (SPARK-38437)
  • Considerare la posizione della tabella come assoluta quando la prima lettera del percorso è barra in create/alter table (SPARK-38236)
  • Rimuovere gli zeri iniziali dalla partizione del tipo di numero statico vuoto (SPARK-35561)
  • Supporto ignoreCorruptFiles e ignoreMissingFiles nelle opzioni origine dati (SPARK-38767)
  • SHOW CATALOGS Comando Add (SPARK-35973)
• Parquet
  • Abilitare i nomi delle colonne dello schema corrispondenti in base agli ID campo (SPARK-38094)
  • Rimuovere il nome del campo di controllo durante la lettura/scrittura di dati in parquet (SPARK-27442)
  • Supportare i valori booleani di lettura vettorializzati usano la codifica RLE con Parquet DataPage V2 (SPARK-37864)
  • Supportare la codifica della pagina dati Parquet v2 (DELTA_BINARY_PACKED) per il percorso vettorializzato (SPARK-36879)
  • Rebase timestamp nel fuso orario della sessione salvato nei metadati Parquet/Avro (SPARK-37705)
  • Eseguire il push del gruppo per colonna di partizione per aggregazione (SPARK-36646)
  • Push down di Aggregazione (Min/Max/Count) per Parquet (SPARK-36645)
  • Parquet: abilitare le colonne dello schema corrispondenti in base all'ID campo (SPARK-38094)
  • Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati G1GC e ON_HEAP (SPARK-37593)
  • Implementare codifiche di DELTA_BYTE_ARRAY vettorializzate e DELTA_LENGTH_BYTE_ARRAY per il supporto parquet V2 (SPARK-37974)
  • Supportare tipi complessi per il lettore vettorializzatore Parquet (SPARK-34863)
• ORCO
  • Rimuovere il nome del campo di controllo durante la lettura/scrittura di dati esistenti in Orc (SPARK-37965)
  • Push di aggregazione verso il basso per ORC (SPARK-34960)
  • Supportare la lettura e la scrittura di intervalli ANSI da/a origini dati ORC (SPARK-36931)
  • Supportare i nomi delle colonne solo numeri nelle origini dati ORC (SPARK-36663)
• JSON
  • Rispettare allowNonNumericNumbers durante l'analisi dei valori NaN e Infinity tra virgolette nel lettore JSON (SPARK-38060)
  • Usare CAST per datetime in CSV/JSON per impostazione predefinita (SPARK-36536)
  • Allineare il messaggio di errore per i tipi di chiave non supportati in MapType nel lettore Json (SPARK-35320)
• CSV
  • Correzione del riferimento alla colonna di record danneggiata da CSV (SPARK-38534)
  • I valori null devono essere salvati come nulla anziché le stringhe vuote "" tra virgolette per impostazione predefinita (SPARK-37575)
• JDBC
  • Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2 (SPARK-30062)
• Alveare
  • Supporto per la scrittura di tabelle in bucket Hive (formati di file Hive con hash Hive) (SPARK-32712)
  • Usare espressioni per filtrare le partizioni Hive sul lato client (SPARK-35437)
  • Supportare l'eliminazione delle partizioni dinamiche per HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir deve usare l'origine dati se è convertibile (SPARK-38215)
  • Supporto per la scrittura di tabelle in bucket Hive (formato Parquet/ORC con hash Hive) (SPARK-32709)

Rimozione delle autorizzazioni dei nodi

• FallbackStorage non deve tentare di risolvere il nome host arbitrario "remoto" (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved deve gestire ExecutorDecommission come completato (SPARK-38023)

Altre modifiche rilevanti

• Aggiungere un blocco con granularità fine a BlockInfoManager (SPARK-37356)
• Supporto del mapping dei tipi di risorse spark gpu/fpga al tipo di risorsa YARN personalizzato (SPARK-37208)
• Segnala dimensioni accurate del blocco casuale se la sua asimmetria (SPARK-36967)
• Supporto della registrazione netty a livello di rete (SPARK-36719)

Structured Streaming

Funzionalità principali

• Introduzione a Trigger.AvailableNow per l'esecuzione di query di streaming come Trigger.Once in più batch (SPARK-36533)

Altre modifiche rilevanti

• Usare StatefulOpClusteredDistribution per gli operatori con stato rispettando la compatibilità con le versioni precedenti (SPARK-38204)
• Correzione del timeout flatMapGroupsWithState in batch con i dati per la chiave (SPARK-38320)
• Correzione del problema di correttezza nell'outer join del flusso di flusso con il provider dell'archivio stati RocksDB (SPARK-38684)
• Supporto di Trigger.AvailableNow nell'origine dati Kafka (SPARK-36649)
• Ottimizzare il percorso di scrittura nel provider dell'archivio stati RocksDB (SPARK-37224)
• Introdurre una nuova origine dati per fornire un set coerente di righe per microbatch (SPARK-37062)
• Usare HashClusteredDistribution per gli operatori con stato rispettando la compatibilità con le versioni precedenti (SPARK-38204)

PySpark

API Pandas in Spark

Miglioramenti principali

• Ottimizzazione dell'indice 'distributed-sequence' con l'impostazione predefinita (SPARK-36559, SPARK-36338)
  • Supporto per specificare il tipo di indice e il nome nell'API pandas in Spark (SPARK-36709)
  • Visualizzare il tipo di indice predefinito nei piani SQL per l'API Pandas in Spark (SPARK-38654)

Funzionalità principali

• Implementare l'ps.merge_asof nativo sparkSQL (SPARK-36813)
• Supporto di TimedeltaIndex nell'API pandas in Spark (SPARK-37525)
• Supportare timedelta di Python (SPARK-37275, SPARK-37510)
• Implementare funzioni in CategoricalAccessor/CategoricalIndex (SPARK-36185)
• Usa il formattatore di stringhe standard di Python per l'API SQL nell'API Pandas in Spark (SPARK-37436)
• Supportare le operazioni di base della serie/indice timedelta (SPARK-37510)
• Supporto ps. MultiIndex.dtypes (SPARK-36930)
• Implementare Index.map (SPARK-36469)
• Implementare serie.xor e serie.rxor (SPARK-36653)
• Implementare l'operatore invert unario di integrali ps. Serie/indice (SPARK-36003)
• Implementare DataFrame.cov (SPARK-36396)
• Supporto di str e timestamp per (serie|DataFrame).describe() (SPARK-37657)
• Supporto del parametro lambda column di DataFrame.rename(SPARK-38763)

Altre modifiche rilevanti

Modifiche di rilievo

• Eliminare i riferimenti al supporto di Python 3.6 in docs e python/docs (SPARK-36977)
• Rimuovere namedtuple hack sostituendo la selezione predefinita in cloudpickle (SPARK-32079)
• Passare dalla versione minima pandas alla versione 1.0.5 (SPARK-37465)
• Miglioramenti principali
  • Fornire un profiler per le funzioni definite dall'utente Python/Pandas (SPARK-37443)
  • Usa il formattatore di stringhe standard di Python per l'API SQL in PySpark (SPARK-37516)
  • Esporre lo stato SQL e la classe di errore nelle eccezioni PySpark (SPARK-36953)
  • Provare a acquisire faulthanlder quando un ruolo di lavoro Python si arresta in modo anomalo (SPARK-36062)

Funzionalità principali

• Implementare DataFrame.mapInArrow in Python (SPARK-37228)
• Usa il formattatore di stringhe standard di Python per l'API SQL in PySpark (SPARK-37516)
• Aggiungere l'API pyspark df.withMetadata (SPARK-36642)
• Supporto della timedelta di Python (SPARK-37275)
• Esporre tableExists in pyspark.sql.catalog (SPARK-36176)
• Esporre databaseExists in pyspark.sql.catalog (SPARK-36207)
• Esposizione di functionExists nel catalogo sql pyspark (SPARK-36258)
• Aggiungere Dataframe.observation a PySpark (SPARK-36263)
• Aggiungere api max_by/min_by a PySpark (SPARK-36972)
• Supporto per dedurre la dict annidata come struct durante la creazione di un dataframe (SPARK-35929)
• Aggiungere API bit/octet_length a Scala, Python e R (SPARK-36751)
• Supporto dell'API ILIKE in Python (SPARK-36882)
• Aggiungere il metodo isEmpty per l'API DataFrame Python (SPARK-37207)
• Aggiungere più colonne aggiungendo il supporto (SPARK-35173)
• Aggiungere SparkContext.addArchive in PySpark (SPARK-38278)
• Rendere i repository di tipi sql eval-able (SPARK-18621)
• Hint di tipo inline per fpm.py in python/pyspark/mllib (SPARK-37396)
• Implementare dropna il parametro di SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Funzionalità principali

• Aggiungere distanceMeasure param to trainKMeansModel (SPARK-37118)
• Esporre LogisticRegression.setInitialModel, ad esempio KMeans et al do (SPARK-36481)
• Supporto di CrossValidatorModel ottenere la deviazione standard delle metriche per ogni paramMap (SPARK-36425)

Miglioramenti principali

• Ottimizzare alcuni treeAggregate in MLlib ritardando le allocazioni (SPARK-35848)
• Riscrivere _shared_params_code_gen.py in hint di tipo inline per ml/param/shared.py (SPARK-37419)

Altre modifiche rilevanti

• Aggiornamento alla versione 1.2 (SPARK-35310)

SparkR

• Eseguire la migrazione della documentazione di SparkR a pkgdown (SPARK-37474)
• Esporre make_date'espressione in R (SPARK-37108)
• Aggiungere api max_by/min_by a SparkR (SPARK-36976)
• Supporto dell'API ILIKE in R (SPARK-36899)
• Aggiungere sec e csc come funzioni R (SPARK-36824)
• Aggiungere API bit/octet_length a Scala, Python e R (SPARK-36751)
• Aggiungere cot come funzione R (SPARK-36688)

INTERFACCIA UTENTE

• Riepilogo delle metriche di speculazione a livello di fase (SPARK-36038)
• Tempo di attesa per il recupero casuale del blocco di lettura casuale in StagePage (SPARK-37469)
• Aggiungere configurazioni modificate per l'esecuzione di SQL nell'interfaccia utente (SPARK-34735)
• Make ThriftServer recognize spark.sql.redaction.string.regex (SPARK-36400)
• Collegare e avviare il gestore dopo l'avvio dell'applicazione nell'interfaccia utente (SPARK-36237)
• Aggiungere la durata del commit al nodo del grafo della scheda SQL (SPARK-34399)
• Supporto del back-end RocksDB nel server cronologia Spark (SPARK-37680)
• Mostra le opzioni per l'API Pandas in Spark nell'interfaccia utente (SPARK-38656)
• Rinominare 'SQL' in 'SQL/DataFrame' nella pagina dell'interfaccia utente SQL (SPARK-38657)

Build

• Migrazione da log4j 1 a log4j 2 (SPARK-37814)
• Aggiornare log4j2 a 2.17.2 (SPARK-38544)
• Eseguire l'aggiornamento a Py4J 0.10.9.5 (SPARK-38563)
• Aggiornare ORC alla versione 1.7.4 (SPARK-38866)
• Aggiornare le tabelle dati alla versione 1.10.25 (SPARK-38924)

Aggiornamenti di manutenzione

Vedere Databricks Runtime 11.0 (EoS).

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-05-06.

Librerie Java e Scala installate (versione del cluster Scala 2.12)