Databricks Runtime 10.1 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.1 e Databricks Runtime 10.1 Photon, con tecnologia Apache Spark 3.2.0. Databricks ha rilasciato questa versione a novembre 2021. Photon è disponibile in anteprima pubblica.

Miglioramenti e nuove funzionalità

• Nuove impostazioni della tabella Delta per la compattazione di file di piccole dimensioni
• Nuove metriche dei gruppi di righe per le analisi di query Parquet
• Trigger.AvailableNow per query di streaming di origine Delta
• Trigger.AvailableNow per il caricatore automatico
• Supporto differenziale per le configurazioni del file system Hadoop passate tramite le opzioni del dataframe
• Il checkpoint dello stato asincrono è ora supportato nei processi di streaming con stato (anteprima pubblica)
• Sparklyr con pass-through delle credenziali
• I dati di Databricks Utilities riepilogano il controllo precisione (anteprima pubblica)
• I notebook di Azure Databricks possono ora essere usati con il kernel IPython
• Nuove funzioni in Spark SQL

Nuove impostazioni della tabella Delta per la compattazione di file di piccole dimensioni

La proprietà delta.autoOptimize.autoCompact Tabella Delta accetta ora i nuovi valori di auto e legacy oltre ai valori esistenti di true e false. Se impostata su auto (scelta consigliata), la compattazione automatica usa impostazioni predefinite migliori, ad esempio l'impostazione di 32 MB come dimensione del file di destinazione (anche se i comportamenti predefiniti sono soggetti a modifiche in futuro). Se impostato su legacy o true, la compattazione automatica usa 128 MB come dimensione del file di destinazione.

Anziché impostare questa proprietà per una singola tabella, è possibile impostare la spark.databricks.delta.autoCompact.enabled configurazione su auto, legacyo true per abilitare la compattazione automatica per tutte le tabelle Delta. Questa configurazione ha la precedenza sulla proprietà della tabella correlata durante la sessione corrente.

Le dimensioni del file di destinazione per la compattazione automatica possono essere controllate con la spark.databricks.delta.autoCompact.maxFileSize configurazione.

Per altre informazioni sulla compattazione automatica, vedere Compattazione automatica per Delta Lake in Azure Databricks.

Nuove metriche dei gruppi di righe per le analisi di query Parquet

Le query con analisi Parquet ora eseguono metriche del gruppo di righe nell'interfaccia utente di Spark. Queste metriche del gruppo di righe sono:

• numero totale di gruppi di righe parquet
• numero di gruppi di righe parquet letti

Trigger.AvailableNow per query di streaming di origine Delta

Questa modifica supporta un nuovo tipo di trigger per le query di streaming di origine Delta in Scala: Trigger.AvailableNow. È come Trigger.Once, che elabora tutti i dati disponibili e quindi arresta la query. Tuttavia, Trigger.AvailableNow offre una migliore scalabilità, perché i dati possono essere elaborati in più batch anziché in uno. Questa modifica non introduce una nuova interfaccia; implementa un'API Spark esistente. Questo trigger supporta anche tutte le opzioni di limitazione della frequenza già supportate da Delta come origine.

Esempio:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Vedere copertura di Trigger.AvailableNow in Che cos'è il caricatore automatico?.

Trigger.AvailableNow per il caricatore automatico

Trigger.AvailableNow è una nuova modalità trigger di streaming simile a Trigger.Once. Trigger.Once elabora tutti i dati disponibili e quindi arresta la query. Trigger.AvailableNow offre una maggiore scalabilità, perché i dati possono essere elaborati in più batch anziché in uno. Il caricatore automatico supporta Trigger.AvailableNow ora sia l'elenco delle directory che le modalità di notifica dei file per Scala. Vedere copertura di Trigger.AvailableNow in Che cos'è il caricatore automatico?.

Supporto differenziale per le configurazioni del file system Hadoop passate tramite le opzioni del dataframe

Analogamente a Parquet, Delta supporta ora la lettura delle configurazioni del file system Hadoop da DataFrameReader e DataFrameWriter quando la tabella viene letta o scritta usando DataFrameReader.load(path) o DataFrameWriter.save(path). Vedere Configurare le credenziali di archiviazione Delta.

Il checkpoint dello stato asincrono è ora supportato nei processi di streaming con stato (anteprima pubblica)

Il checkpoint dello stato asincrono è una nuova funzionalità che riduce potenzialmente la latenza di microbatch end-to-end nei processi di streaming con stato con aggiornamenti di stato di grandi dimensioni. Vedere Checkpoint dello stato asincrono per le query con stato.

Sparklyr con pass-through delle credenziali

È ora possibile usare le API sparklyr per leggere e scrivere dati da e verso l'archiviazione cloud usando il pass-through delle credenziali. Questa funzionalità è limitata ai cluster standard con accesso utente singolo. Vedere Access Azure Data Lake Storage using Microsoft Entra ID credential passthrough (legacy) (Accedere ad Azure Data Lake Storage usando il pass-through delle credenziali di Microsoft Entra ID (legacy).

I dati di Databricks Utilities riepilogano il controllo precisione (anteprima pubblica)

precise Nuovo parametro per dbutils.data.summarize controllare la precisione dei risultati di riepilogo. Se precise è impostato su false (impostazione predefinita), il riepilogo restituisce risultati approssimativi per conteggi distinti, percentile e conteggi frequenti degli elementi. Se precise è impostato su true, i riepiloghi vengono ora calcolati con conteggio esatto dei valori distinti e conteggi frequenti degli elementi, con stime percentili più precise. Vedere il comando summarize (dbutils.data.summarize)..

I notebook di Azure Databricks possono ora essere usati con il kernel IPython

È ora possibile configurare un cluster Azure Databricks per usare il kernel IPython per eseguire il codice Python. L'uso del kernel IPython in Azure Databricks aggiunge il supporto per gli strumenti di visualizzazione e output di IPython. Inoltre, il kernel IPython acquisisce gli output stdout e stderr dei processi figlio creati da un notebook, consentendo l'inserimento dell'output nei risultati dei comandi del notebook.

Per altre informazioni, vedere Kernel IPython.

Nuove funzioni in Spark SQL

Sono stati aggiunti gli oggetti e i comandi seguenti per l'uso dei dati in Unity Catalog (anteprima):The following objects and commands have been added for working with data in Unity Catalog (Preview):

• Percorsi esterni
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• CREATE LOCATION
• CREATE RECIPIENT
• DESCRIVERE IL CATALOGO
• DESCRIVERE LE CREDENZIALI
• DESCRIVERE LA POSIZIONE
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• LISTA
• SHOW CATALOGS
• MOSTRA CREDENZIALI
• MOSTRA POSIZIONI
• USE CATALOG

Sono stati aggiunti i comandi seguenti per la condivisione Delta (anteprima), che consente di condividere dati di sola lettura con destinatari esterni all'organizzazione:

• Condivisione
• ALTER SHARE
• CREATE SHARE
• DESCRIVERE IL DESTINATARIO
• DESCRIVERE LA CONDIVISIONE
• DROP RECIPIENT
• DROP SHARE
• GRANT SHARE
• REVOKE SHARE
• MOSTRA TUTTO IN CONDIVISIONE
• MOSTRA DESTINATARI
• MOSTRA CONDIVISIONI
• SHOW GRANT ON SHARE
• SHOW GRANT TO RECIPIENT

Correzioni di bug

• Correzione di una race condition che potrebbe causare un errore di query con un IOException tipo No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration non rendere effettive le query.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • filelock da 3.0.12 a 3.3.1
  • koala da 1.8.1 a 1.8.2
  • tracciato da 5.1.0 a 5.3.0
• Librerie R aggiornate:
  • bslib da 0.3.0 a 0.3.1
  • cursore da 6.0-88 a 6.0-90
  • cpp11 da 0.3.1 a 0.4.0
  • data.table da 1.14.0 a 1.14.2
  • desc da 1.3.0 a 1.4.0
  • diffobj da 0.3.4 a 0.3.5
  • digest da 0.6.27 a 0.6.28
  • generics da 0.1.0 a 0.1.1
  • hms da 1.1.0 a 1.1.1
  • magliar da 1.34 a 1.36
  • reticolo da 0,20-44 a 0,20-45
  • ciclo di vita da 1.0.0 a 1.0.1
  • lubridate da 1.7.10 a 1.8.0
  • mgcv da 1,8-37 a 1,8-38
  • mime da 0.11 a 0.12
  • pkgload da 1.2.2 a 1.2.3
  • progressr da 0.8.0 a 0.9.0
  • rcmdcheck dalla versione 1.3.3 alla versione 1.4.0
  • readr dalla versione 2.0.1 alla versione 2.0.2
  • ricette da 0.1.16 a 0.1.17
  • remote da 2.4.0 a 2.4.1
  • rlang da 0.4.11 a 0.4.12
  • rvest da 1.0.1 a 1.0.2
  • brillante da 1.6.0 a 1.7.1
  • stringi da 1.7.4 a 1.7.5
  • testat da 3.0.4 a 3.1.0
  • tidyr da 1.1.3 a 1.1.4
  • tinytex da 0,33 a 0,34
  • usethis da 2.0.1 a 2.1.2
  • xfun da 0.26 a 0.27
• Librerie Java aggiornate:
  • com.zaxxer.HikariCP da 3.1.0 a 4.0.3

Apache Spark

Databricks Runtime 10.1 include Apache Spark 3.2.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-37037] [SQL] Migliorare l'ordinamento delle matrici di byte unify CompareTo funzione UTF8String e ByteArray
• [SPARK-37091] [R] SystemRequirements per includere Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: supporto SECURE-Socket-Layer (SSL) per HMS
• [SPARK-37098] [SQL] Modificare le proprietà della tabella deve invalidare la cache
• [SPARK-36992] [SQL] Migliorare l'ordinamento delle matrici di byte perf unify funzione getPrefix di UTF8String e ByteArray
• [SPARK-37047] [SQL] Aggiungere funzioni lpad e rpad per stringhe binarie
• [SPARK-37076] [SQL] Implementare StructType.toString in modo esplicito per Scala 2.13
• [SPARK-37075] [SQL] Spostare la compilazione dell'espressione UDAF da sql/catalyst a sql/core
• [SPARK-37084] [SQL] Impostare spark.sql.files.openCostInBytes su bytesConf
• [SPARK-37088] [PYSPARK] [SQL] Il thread writer non deve accedere all'input dopo la restituzione del listener di completamento attività
• [SPARK-37069] [SQL] Fallback corretto quando Hive.getWithoutRegisterFns non è disponibile
• [SPARK-37050] [PYTHON] Aggiornare le istruzioni di installazione di Conda
• [SPARK-37067] [SQL] Usare ZoneId.of() per gestire la stringa del fuso orario in DatetimeUtils
• [SPARK-35925] [SQL] Supporto di DayTimeIntervalType nella funzione width-bucket
• [SPARK-35926] [SQL] Aggiungere il supporto di YearMonthIntervalType per width_bucket
• [SPARK-35973] [SQL] Aggiungi comando SHOW CATALOGS
• [SPARK-36922] [SQL] Le funzioni SIGN/SIGNUM devono supportare intervalli ANSI
• [SPARK-37078] [CORE] Supportare i costruttori sink di 3 parametri precedenti
• [SPARK-37061] [SQL] Correzione di CustomMetrics quando si usano classi interne
• [SPARK-35918] [AVRO] Unificare la gestione della mancata corrispondenza dello schema per la lettura/scrittura e migliorare i messaggi di errore
• [SPARK-36871] [SQL] Eseguire la migrazione del comando CreateViewStatement alla versione 2
• [SPARK-36898] [SQL] Rendere configurabile il fattore di hash join casuale
• [SPARK-36921] [SQL] Supportare gli intervalli ANSI per DIV
• [SPARK-36794] [SQL] Ignorare le chiavi di join duplicate durante la compilazione di relazioni per il join hash casuale SEMI/ANTI
• [SPARK-36867] [SQL] Correzione del messaggio di errore con l'alias GROUP BY
• [SPARK-36914] [SQL] Implementare dropIndex e listIndexes in JDBC (dialetto MySQL)
• [SPARK-35531] [SQL] Passare direttamente la tabella hive a HiveClient quando si chiama getPartitions per evitare la conversione non necessaria da HiveTable -> CatalogTable -> HiveTable
• [SPARK-36718] [SQL] Comprimere i progetti solo se non si duplicano espressioni costose
• [SPARK-37046] [SQL]: La visualizzazione modifica non mantiene le maiuscole/minuscole delle colonne
• [SPARK-36978] [SQL] La regola InferConstraints deve creare vincoli IsNotNull sul campo annidato a cui si accede anziché sul tipo annidato radice
• [SPARK-37052] [CORE] Spark deve passare solo l'argomento –verbose alla classe main quando è la shell sql
• [SPARK-37017] [SQL] Ridurre l'ambito della sincronizzazione per evitare potenziali deadlock
• [SPARK-37032] [SQL] Correzione del collegamento alla sintassi SQL interrotta nella pagina di riferimento SQL
• [SPARK-36905] [SQL] Correzione della lettura delle viste Hive senza nomi di colonna espliciti
• [SPARK-36678] Eseguire la migrazione di SHOW TABLES per usare il comando V2 per impostazione predefinita
• [SPARK-36943] [SQL] Migliorare la leggibilità del messaggio di errore di colonna mancante
• [SPARK-36980] [SQL] Inserire una query di supporto con CTE
• [SPARK-37001] [SQL] Disabilitare due livelli di mapping per l'aggregazione hash finale per impostazione predefinita
• [SPARK-36970] [SQL] Formato di funzione disabilitato B date_format manuale per rendere Java 17 compatibile con Java 8
• [SPARK-36546] [SQL] Aggiungere il supporto della matrice all'unione in base al nome
• [SPARK-36979] [SQL] Aggiungere la regola RewriteLateralSubquery in nonExcludableRules
• [SPARK-36949] [SQL] Non consentire tabelle del provider Hive con intervalli ANSI
• [SPARK-36849] [SQL] Eseguire la migrazione di UseStatement al framework dei comandi v2
• [SPARK-36868] [SQL] Eseguire la migrazione di CreateFunctionStatement al framework dei comandi v2
• [SPARK-36841] [SQL] Aggiungere una sintassi set catalog xxx ansi per modificare il catalogo corrente
• [SPARK-36821] [SQL] Rendere la classe ColumnarBatch estendibile - addendum
• [SPARK-36963] [SQL] Aggiungere max_by/min_by a sql.functions
• [SPARK-36913] [SQL] Implementare createIndex e IndexExists in DS V2 JDBC (dialetto MySQL)
• [SPARK-36848] [SQL] Eseguire la migrazione di ShowCurrentNamespaceStatement al framework dei comandi v2
• [SPARK-36526] [SQL] Supporto dell'indice DSV2: Aggiunta dell'interfaccia supportsIndex
• [SPARK-36960] [SQL] Filtri pushdown con valori di intervallo ANSI in ORC
• [SPARK-36929] [SQL] Remove Unused Method EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Supportare la lettura e la scrittura di intervalli ANSI da/a origini dati ORC
• [SPARK-34980] [SQL] Supportare la partizione coalesce tramite unione in AQE
• [SPARK-36809] [SQL] Rimuovere la trasmissione per InSubqueryExec usata in DPP
• [SPARK-36813] [SQL] [PYTHON] Proporre un'infrastruttura di partecipazione e di imlementazione ps.merge_asof
• [SPARK-36918] [SQL] Ignorare i tipi durante il confronto degli struct per unionByName
• [SPARK-36891] [SQL] Eseguire il refactoring di SpecificParquetRecordReaderBase e aggiungere ulteriore copertura sulla decodifica Parquet vettorializzata
• [SPARK-36920] [SQL] Supportare gli intervalli ANSI per ABS()
• [SPARK-36888] [SQL] Aggiungere test case per la funzione sha2
• [SPARK-36889] [SQL] Rispettare spark.sql.parquet.filterPushdown il generatore di analisi parquet v2
• [SPARK-36830] [SQL] Supportare la lettura e la scrittura di intervalli ANSI da/a origini dati JSON
• [SPARK-36870] [SQL] Introdurre INTERNAL_ERROR classe di errore
• [SPARK-36831] [SQL] Supportare la lettura e la scrittura di intervalli ANSI da/a origini dati CSV.
• [SPARK-36550] [SQL] Causa della propagazione quando la reflection UDF ha esito negativo
• [SPARK-36866] [SQL] Filtri push-down con valori di intervallo ANSI in parquet
• [SPARK-33832] [SQL] Forzare la semplificazione e il miglioramento del codice join asimmetria
• [SPARK-36642] [SQL] Aggiungere l'API pyspark df.withMetadata
• [SPARK-35765] [SQL] Gli agg distinti non sono sensibili duplicati
• [SPARK-36825] [SQL] Dataframe di lettura/scrittura con intervalli ANSI da/a file parquet
• [SPARK-36829] [SQL] Eseguire il refactoring del controllo NULL per collectionOperators
• [SPARK-32712] [SQL] Supporto per la scrittura di tabelle in bucket Hive (formati di file Hive con hash Hive)
• [SPARK-36797] [SQL] Union deve risolvere le colonne annidate come colonne di primo livello
• [SPARK-36838] [SQL] Migliorare le prestazioni del codice generato da InSet
• [SPARK-36683] [SQL] Aggiungere nuove funzioni SQL predefinite: SEC e CSC
• [SPARK-36721] [SQL] Semplificare le equalità booleane se un lato è letterale
• [SPARK-36760] [SQL] Aggiungere l'interfaccia SupportsPushDownV2Filters
• [SPARK-36652] [SQL] La selezione di join dinamico di AQE non deve essere applicata al join non equi
• [SPARK-36745] [SQL] ExtractEquiJoinKeys deve restituire i predicati originali nelle chiavi di join
• [SPARK-36107] [SQL] Effettuare il refactoring del primo set di 20 errori di esecuzione delle query per usare le classi di errore
• [SPARK-32709] [SQL] Supporto per la scrittura di tabella in bucket Hive (formato Parquet/ORC con hash Hive)
• [SPARK-36735] [SQL] Regolare il sovraccarico della relazione memorizzata nella cache per DPP
• [SPARK-33832] [SQL] Supportare un join asimmetrico ottimizzato anche se introduce un'ulteriore sequenza casuale
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usare tutte le condizioni anziché una condizione non equi
• [SPARK-35221] [SQL] Aggiungere il controllo degli hint di join supportati
• [SPARK-36814] [SQL] Rendere la classe ColumnarBatch estendibile
• [SPARK-36663] [SQL] Supportare i nomi delle colonne solo numeri nelle origini dati ORC
• [SPARK-36751] [SQL] [PYTHON] [R] Aggiungere API bit/octet_length a Scala, Python e R
• [SPARK-36733] [SQL] Correzione di un problema di prestazioni in SchemaPruning quando uno struct include molti campi
• [SPARK-36724] [SQL] Supporto timestamp_ntz come tipo di colonna temporale per SessionWindow
• [SPARK-36556] [SQL] Aggiungere filtri DSV2
• [SPARK-36687] [SQL] [CORE] Rinominare le classi di errore con _ERROR suffisso
• [SPARK-35803] [SQL] Supporto di DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Aggiungere df.withMetadata: una sintassi di base per aggiornare i metadati di un dataframe

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-10-26.

Librerie Java e Scala installate (versione del cluster Scala 2.12)