Databricks Runtime 14.3 LTS

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.3 LTS, con tecnologia Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a febbraio 2024.

Miglioramenti e nuove funzionalità

• Supporto del file system dell'area di lavoro in Funzioni definite dall'utente pySpark nei cluster condivisi
• Supporto per le ottimizzazioni dei vettori MERGE di eliminazione senza Photon
• Api del catalogo Spark ora completamente supportate in modalità di accesso condiviso
• Delta UniForm è ora disponibile a livello generale
• Nuova funzione SQL EXECUTE IMMEDIATE
• Ricompilare le statistiche di ignorare i dati per le tabelle Delta
• Informazioni sullo stato delle query sullo stato per le query di streaming con stato
• Usare l'ID Microsoft Entra per l'autenticazione Kafka nei cluster condivisi
• Aggiunta del supporto per l'eliminazione di file e partizioni per migliorare le prestazioni delle query
• Dichiarare variabili temporanee in una sessione SQL
• Aggiornamenti thriftserver per rimuovere le funzionalità inutilizzate
• Usare i file truststore e keystore nei volumi del catalogo Unity
• Supporto del formato di file XML nativo (anteprima pubblica)
• Supporto per l'archiviazione Cloudflare R2 (anteprima pubblica)
• L'accesso a Spark e dbutils ai file dell'area di lavoro supporta i cluster del catalogo Unity con accesso condiviso
• Script Init e supporto della libreria di cluster nei cluster del catalogo Unity con accesso condiviso

Supporto del file system dell'area di lavoro in Funzioni definite dall'utente pySpark nei cluster condivisi

Le funzioni definite dall'utente pySpark nei cluster condivisi possono ora importare moduli Python da cartelle Git, file dell'area di lavoro o volumi UC.

Per altre informazioni sull'uso dei moduli nelle cartelle Git o nei file dell'area di lavoro, vedere Usare i moduli Python e R.

Supporto per le ottimizzazioni dei vettori MERGE di eliminazione senza Photon

Photon non è più necessario per le operazioni per MERGE sfruttare le ottimizzazioni dei vettori di eliminazione. Si veda Che cosa sono i vettori di eliminazione?.

Api del catalogo Spark ora completamente supportate in modalità di accesso condiviso

È ora possibile usare tutte le funzioni nell'API spark.catalog sia in Python che in Scala nel calcolo configurato con la modalità di accesso condiviso.

Delta UniForm è ora disponibile a livello generale

UniForm è ora disponibile a livello generale e usa la IcebergCompatV2 funzionalità tabella. È ora possibile abilitare o aggiornare UniForm nelle tabelle esistenti. Vedere Usare UniForm per leggere le tabelle Delta con i client Iceberg.

Nuova funzione SQL EXECUTE IMMEDIATE

È ora possibile usare la sintassi EXECUTE IMMEDIATE per supportare query con parametri in SQL. Vedere EXECUTE IMMEDIATE.

Ricompilare le statistiche di ignorare i dati per le tabelle Delta

È ora possibile ricompilare le statistiche archiviate nel log Delta dopo aver modificato le colonne usate per ignorare i dati. Vedere Specificare le colonne delle statistiche Delta.

Informazioni sullo stato delle query sullo stato per le query di streaming con stato

È ora possibile eseguire query sui dati e sui metadati dello stato structured streaming. Vedere Leggere le informazioni sullo stato di Structured Streaming.

Usare l'ID Microsoft Entra per l'autenticazione Kafka nei cluster condivisi

È ora possibile autenticare i servizi di Hub eventi tramite OAuth con Microsoft Entra ID nel calcolo configurato con la modalità di accesso condiviso. Vedere Autenticazione entità servizio con Microsoft Entra ID e Azure Event Hub.

Aggiunta del supporto per l'eliminazione di file e partizioni per migliorare le prestazioni delle query

Per velocizzare alcune query che si basano sull'uguaglianza a tolleranza Null nelle condizioni JOIN, è ora supportato DynamicFilePruning e DynamicPartitionPruning per l'operatore EqualNullSafe in JOINs.

Dichiarare variabili temporanee in una sessione SQL

Questa versione introduce la possibilità di dichiarare variabili temporanee in una sessione che è possibile impostare e a cui si può quindi fare riferimento nelle query. Vedere Variabili.

Aggiornamenti thriftserver per rimuovere le funzionalità inutilizzate

Il codice Thriftserver è stato aggiornato per rimuovere il codice per le funzionalità obsolete. A causa di queste modifiche, le configurazioni seguenti non sono più supportate:

• I file JAR ausiliari Hive, configurati usando la hive.aux.jars.path proprietà , non sono più supportati per hive-thriftserver le connessioni.
• Il file init globale Hive (.hiverc), il cui percorso è configurato usando la proprietà o la hive.server2.global.init.file.location HIVE_CONF_DIR variabile di ambiente, non è più supportato per hive-thriftserver le connessioni.

Usare i file truststore e archivio chiavi nei volumi di Unity Catalog

È ora possibile usare i file truststore e keystore nei volumi del catalogo Unity per eseguire l'autenticazione in un Registro schemi Confluent per i dati del buffer di protocollo o avro. Vedere la documentazione per buffer avro o protocol.

Supporto del formato di file XML nativo (anteprima pubblica)

Supporto del formato di file XML nativo adesso disponibile in anteprima pubblica. Il supporto del formato di file XML consente l'inserimento, l'esecuzione di query e l'analisi dei dati XML per l'elaborazione batch o lo streaming. Può dedurre ed evolvere automaticamente schemi e tipi di dati, supporta espressioni SQL come from_xml e può generare documenti XML. Non richiede file JAR esterni e funziona perfettamente con il caricatore automatico, read_files, COPY INTO e le tabelle live Delta. Vedere Leggere e scrivere file XML.

Supporto per l'archiviazione Cloudflare R2 (anteprima pubblica)

È ora possibile usare Cloudflare R2 come memorizzazione cloud per i dati registrati nel catalogo Unity. Cloudflare R2 è destinato principalmente ai casi d'uso di Delta Sharing in cui si vogliono evitare le tariffe di uscita dei dati addebitate dai provider di servizi cloud quando i dati attraversano le aree. L’archiviazione R2 supporta tutti gli asset di dati e intelligenza artificiale di Databricks supportati in AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. Consultare Usare repliche Cloudflare R2 o eseguire la migrazione dell’archiviazione a R2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.

L'accesso a Spark e dbutils ai file dell'area di lavoro supporta i cluster del catalogo Unity con accesso condiviso

Spark, dbutils l'accesso in lettura e scrittura ai file dell'area di lavoro è ora supportato nei cluster del catalogo Unity in modalità di accesso condiviso. Vedere Usare i file dell'area di lavoro.

Script Init e supporto della libreria di cluster nei cluster del catalogo Unity con accesso condiviso

L'installazione di script init con ambito cluster e librerie Python e JAR nei cluster del catalogo Unity in modalità di accesso condiviso, inclusa l'installazione con i criteri del cluster, è ora disponibile a livello generale. Databricks consiglia di installare script e librerie init dai volumi di Unity Catalog.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • fastjsonschema da 2.19.0 a 2.19.1
  • filelock da 3.12.4 a 3.13.1
  • googleapis-common-protos da 1.61.0 a 1.62.0
  • imballaggio da 22.0 a 23.2
• Librerie R aggiornate:
  • estero da 0,8-82 a 0,8-85
  • nlme da 3.1-162 a 3.1-163
  • rpart dalla versione 4.1.19 alla versione 4.1.21
• Librerie Java aggiornate:
  • com.databricks.databricks-sdk-java da 0.7.0 a 0.13.0
  • org.apache.orc.orc-core da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims da 1.9.1 a 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 da 2.9.0 a 2.11.0

Apache Spark

Databricks Runtime 14.3 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-46541] [SC-153546][SQL][CONNECT] Correggere il riferimento di colonna ambiguo in self join
• [SPARK-45433] Ripristinare "[SC-145163][SQL] Correzione dell'inferenza dello schema CSV/JSON...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Rendere addArtifact riprovabile
• [SPARK-46660] [SC-153391][CONNECT] ReattachExecute richiede aggiornamenti dell'integrità del sessionholder
• [SPARK-46670] [SC-153273][PYTHON][SQL] Rendere DataSourceManager auto clone-able separando origini dati Python statiche e di runtime
• [SPARK-46720] [SC-153410][SQL][PYTHON] Effettuare il refactoring dell'origine dati Python per allinearsi ad altre origini dati predefinite DSv2
• [SPARK-46684] [SC-153275][PYTHON][CONNECT] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: genera un errore in più origini dati XML
• [SPARK-46382] [SC-151881][SQL]XML: valore predefinito ignoreSurroundingSpaces su true
• [SPARK-46382] [SC-153178][SQL] XML: documentazione di aggiornamento per ignoreSurroundingSpaces
• [SPARK-45292] Ripristinare "[SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader"
• [SPARK-45292] [SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader
• [SPARK-46311] [SC-150137][CORE] Registrare lo stato finale dei driver durante Master.removeDriver
• [SPARK-46413] [SC-151052][PYTHON] Convalidare returnType della funzione definita dall'utente python arrow
• [SPARK-46633] [WARMFIX][SC-153092][SQL] Correzione del lettore Avro per gestire blocchi di lunghezza zero
• [SPARK-46537] [SC-151286][SQL] Convertire NPE e asserzioni da comandi a errori interni
• [SPARK-46179] [SC-151678][SQL] Aggiungere CrossDbmsQueryTestSuites, che esegue altri DBMS su file golden con altri DBMS, a partire da Postgres
• [SPARK-44001] [SC-151413][PROTOBUF] Aggiungere l'opzione per consentire il wrapping di tipi wrapper noti protobuf
• [SPARK-40876] [SC-151786][SQL] Innalzamento di livello dei tipi per i decimali con scalabilità maggiore nei lettori Parquet
• [SPARK-46605] [SC-151769][CONNECT] Supporto della lit/typedLit funzione in connect module s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][SQL] La convalida dei valori letterali non deve eseguire il drill-down in campi Null
• [SPARK-37039] [SC-153094][PS] Correzione Series.astype per il corretto funzionamento con il valore mancante
• [SPARK-46312] [SC-150163][CORE] Usare lower_camel_case in store_types.proto
• [SPARK-46630] [SC-153084][SQL] XML: Convalidare il nome dell'elemento XML in scrittura
• [SPARK-46627] [SC-152981][SS][interfaccia utente] Correzione del contenuto della descrizione comando della sequenza temporale nell'interfaccia utente di streaming
• [SPARK-46248] [SC-151774][SQL] XML: supporto per le opzioni ignoreCorruptFiles e ignoreMissingFiles
• [SPARK-46386] [SC-150766][PYTHON] Migliorare le asserzioni di osservazione (pyspark.sql.osservazione)
• [SPARK-46581] [SC-151789][CORE] Aggiornare il commento su isZero in AnalyzerV2
• [SPARK-46601] [SC-151785] [CORE] Correzione dell'errore di log in handleStatusMessage
• [SPARK-46568] [SC-151685][PYTHON] Rendere le opzioni dell'origine dati Python un dizionario senza distinzione tra maiuscole e minuscole
• [SPARK-46611] [SC-151783][CORE] Rimuovere ThreadLocal sostituendo SimpleDateFormat con DateTimeFormatter
• [SPARK-46604] [SC-151768][SQL] Supporto Literal.applys.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][SQL][PYTHON] Correggere il nome di output di pyspark.sql.functions.user e session_user
• [SPARK-46621] [SC-151794][PYTHON] Indirizzo Null da Exception.getMessage nell'eccezione acquisita py4J
• [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader deve rispettare la modalità di memoria durante la creazione di vettori di colonna per la colonna mancante
• [SPARK-46613] [SC-151778][SQL][PYTHON] Eccezione completa del log quando non è stato possibile cercare origini dati Python
• [SPARK-46559] [SC-151364][MLLIB] Eseguire il wrapping di export nel nome del pacchetto con i backtick
• [SPARK-46522] [SC-151784][PYTHON] Bloccare la registrazione dell'origine dati Python con conflitti di nomi
• [SPARK-45580] [SC-149956][SQL] Gestire il caso in cui una sottoquery nidificata diventa un join di esistenza
• [SPARK-46609] [SC-151714][SQL] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][SQL] Correzione del server dei criteri di rete quando viene descritta una colonna estesa senza statistiche delle regole di confronto
• [SPARK-46599] [SC-147661][SC-151770][SQL] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità
• [SPARK-40876] [SC-151129][SQL] Promozioni di tipi più ampliate nei lettori Parquet
• [SPARK-46179] [SC-151069][SQL] Estrarre il codice in funzioni riutilizzabili in SQLQueryTestSuite
• [SPARK-46586] [SC-151679][SQL] Supporto s.c.immutable.ArraySeq come customCollectionCls in MapObjects
• [SPARK-46585] [SC-151622][CORE] Costruito metricPeaks direttamente come invece immutable.ArraySeq di usare mutable.ArraySeq.toSeq in Executor
• [SPARK-46488] [SC-151173][SQL] Ignorare trimAll call durante l'analisi del timestamp
• [SPARK-46231] [SC-149724][PYTHON] Eseguire la migrazione di tutti gli altri NotImplementedError e TypeError nel framework di errore pySpark
• [SPARK-46348] [SC-150281][CORE] Appoggiare spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Durata del ripristino del log Spark HA
• [SPARK-46358] [SC-150307][CONNECT] Semplificare il controllo della condizione in ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][SQL]Sostituire l'ora/data corrente prima della valutazione delle espressioni di tabella inline.
• [SPARK-46563] [SC-151441][SQL] Visualizzare simpleString non seguire conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(tutti i campi di uno struct) genera un errore di asserzione
• [SPARK-46565] [SC-151414][PYTHON] Perfezionare le classi di errore e i messaggi di errore per le origini dati Python
• [SPARK-46576] [SC-151614][SQL] Migliorare i messaggi di errore per la modalità di salvataggio dell'origine dati non supportata
• [SPARK-46540] [SC-151355][PYTHON] Rispettare i nomi delle colonne quando l'origine dati Python legge gli output delle funzioni denominate Oggetti Row
• [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite perde SessionState di Hive
• [SPARK-44556] [SC-151562][SQL] Riutilizzare OrcTail quando si abilita vectorizedReader
• [SPARK-46587] [SC-151618][SQL] XML: Correzione della conversione di numeri interi grandi XSD
• [SPARK-46382] [SC-151297][SQL] XML: acquisisci valori intersperti tra gli elementi
• [SPARK-46567] [SC-151447][CORE] Rimuovere ThreadLocal per ReadAheadInputStream
• [SPARK-45917] [SC-151269][PYTHON][SQL] Registrazione automatica dell'origine dati Python all'avvio
• [SPARK-28386] [SC-151014][SQL] Impossibile risolvere le colonne ORDER BY con GROUP BY e HAVING
• [SPARK-46524] [SC-151446][SQL] Migliorare i messaggi di errore per la modalità di salvataggio non valida
• [SPARK-46294] [SC-150672][SQL] Pulire la semantica di init rispetto al valore zero
• [SPARK-46301] [SC-150100][CORE] Appoggiare spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] Rimuovere il controllo c>=0 da perché ExternalCatalogUtils#needsEscaping è sempre true
• [SPARK-46553] [SC-151360][PS] FutureWarning per interpolate con dtype oggetto
• [SPARK-45914] [SC-151312][PYTHON] Supporto del commit e dell'API di interruzione per la scrittura dell'origine dati Python
• [SPARK-46543] [SC-151350][PYTHON][CONNECT] Creare json_tuple un'eccezione PySparkValueError per i campi vuoti
• [SPARK-46520] [SC-151227][PYTHON] Supporto della modalità di sovrascrittura per la scrittura dell'origine dati Python
• [SPARK-46502] [SC-151235][SQL] Supportare i tipi di timestamp in UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][CONNECT] Passare i parametri del messaggio nei metadati di ErrorInfo
• [SPARK-46397] Ripristinare "[SC-151311][PYTHON][CONNECT] La funzione sha2 deve generare PySparkValueError per " non valido numBits
• [SPARK-46170] [SC-149472][SQL] Supporto dell'inserimento delle regole di strategia post planner query adattive in SparkSessionExtensions
• [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable non deve caricare la tabella
• [SPARK-46397] [SC-151311][PYTHON][CONNECT] La funzione sha2 deve generare PySparkValueError per un errore non valido numBits
• [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata
• [SPARK-46272] [SC-151012][SQL] Supportare CTAS usando origini DSv2
• [SPARK-46480] [SC-151127][CORE][SQL] Correzione del server dei criteri di rete durante il tentativo di attività della cache delle tabelle
• [SPARK-46100] [SC-149051][CORE][PYTHON] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
• [SPARK-45795] [SC-150764][SQL] DS V2 supporta la modalità push down
• [SPARK-46485] [SC-151133][SQL] V1Write non deve aggiungere l'ordinamento quando non è necessario
• [SPARK-46468] [SC-151121] [SQL] Gestire il bug COUNT per le sottoquery EXISTS con Aggregazione senza raggruppare le chiavi
• [SPARK-46246] [SC-150927][SQL] Supporto DI EXECUTE IMMEDIATE SQL
• [SPARK-46498] [SC-151199][CORE] Rimuovi shuffleServiceEnabled da o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][SQL] Impostare le configurazioni di rebase sulla CORRECTED modalità per impostazione predefinita
• [SPARK-45525] [SC-151120][SQL][PYTHON] Supporto per la scrittura dell'origine dati Python con DSv2
• [SPARK-46505] [SC-151187][CONNECT] Rendere configurabile la soglia byte in ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Rimuovere le configurazioni SQL di ribasaggio datetime legacy
• [SPARK-46443] [SC-151123][SQL] La precisione decimale e la scala devono essere decise dal dialetto H2.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][interfaccia utente] Correzione del grafico dello stack di durata dell'operazione nella pagina Structured Streaming
• [SPARK-46207] [SC-151068][SQL] Supporto di MergeInto in DataFrameWriterV2
• [SPARK-46452] [SC-151018][SQL] Aggiungere una nuova API in DataWriter per scrivere un iteratore di record
• [SPARK-46273] [SC-150313][SQL] Supporto di INSERT INTO/OVERWRITE con origini DSv2
• [SPARK-46344] [SC-150267][CORE] Avvisa correttamente quando un driver esiste correttamente, ma il master è disconnesso
• [SPARK-46284] [SC-149944][PYTHON][CONNECT] Aggiungere session_user una funzione a Python
• [SPARK-46043] [SC-149786][SQL] Supporto per la creazione di una tabella con origini DSv2
• [SPARK-46323] [SC-150191][PYTHON] Correggere il nome di output di pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][PYTHON][CONNECT] Aggiungere Column.isNaN in PySpark
• [SPARK-46456] [SC-151050][CORE] Aggiungere spark.ui.jettyStopTimeout per impostare il timeout di arresto del server Jetty per sbloccare l'arresto di SparkContext
• [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: allow upcasting unsigned integer types
• [SPARK-46399] [SC-151013][14.x][Core] Aggiungere lo stato di uscita all'evento Application End per l'uso del listener Spark
• [SPARK-46423] [SC-150752][PYTHON][SQL] Impostare l'istanza dell'origine dati Python in DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][PYTHON][SQL] Supportare le metriche Python nell'origine dati Python
• [SPARK-46330] [SC-151015] Caricamento dei blocchi dell'interfaccia utente spark per molto tempo quando è abilitato HybridStore
• [SPARK-46378] [SC-150397][SQL] Rimuovere comunque l'ordinamento dopo la conversione dell'aggregazione in progetto
• [SPARK-45506] [SC-146959][CONNECT] Aggiungere il supporto dell'URI ivy a SparkConnect addArtifact
• [SPARK-45814] [SC-147871][CONNECT][SQL]Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria
• [SPARK-46427] [SC-150759][PYTHON][SQL] Modificare la descrizione dell'origine dati Python in modo che sia abbastanza in spiegare
• [SPARK-45597] [SC-150730][PYTHON][SQL] Supporto per la creazione di una tabella usando un'origine dati Python in SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][PYTHON] Aggiungere getMessageParameters e il supporto getQueryContext
• [SPARK-46453] [SC-150897][CONNECT] Generare un'eccezione da internalError() in SessionHolder
• [SPARK-45758] [SC-147454][SQL] Introdurre un mapper per i codec di compressione hadoop
• [SPARK-46213] [PYTHON] Introduzione PySparkImportError al framework degli errori
• [SPARK-46230] [SC-149960][PYTHON] Eseguire la migrazione RetriesExceeded in PySpark - errore
• [SPARK-45035] [SC-145887][SQL] Correzione ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON su più righe segnala un errore
• [SPARK-46289] [SC-150846][SQL] Supporto dell'ordinamento dei tipi definiti dall'utente in modalità interpretata
• [SPARK-46229] [SC-150798][PYTHON][CONNECT] Aggiungere applyInArrow a groupBy e cogroup in Spark Connect
• [SPARK-46420] [SC-150847][SQL] Rimuovere il trasporto inutilizzato in SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Eseguire la migrazione di tutti i file rimanenti RuntimeError nel framework degli errori pySpark
• [SPARK-45796] [SC-150613][SQL] SUPPORT MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][PYTHON][14.X] Aggiungere applyInArrow a groupBy e cogroup
• [SPARK-46069] [SC-149672][SQL] Supporto del tipo di timestamp di annullamento del wrapping nel tipo date
• [SPARK-46406] [SC-150770][SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][SS] Converti IllegalStateException in internalError negli iteratori di sessione
• [SPARK-45807] [SC-150751][SQL] Migliorare l'API ViewCatalog
• [SPARK-46009] [SC-149771][SQL][CONNECT] Unire la regola di analisi di PercentileCont e PercentileDisc in functionCall
• [SPARK-46403] [SC-150756][SQL] Decodificare il file binario parquet con il metodo getBytesUnsafe
• [SPARK-46389] [SC-150779][CORE] Chiudere manualmente l'istanza quando checkVersion si genera un'eccezione RocksDB/LevelDB
• [SPARK-46360] [SC-150376][PYTHON] Migliorare il debug dei messaggi di errore con la nuova getMessage API
• [SPARK-46233] [SC-149766][PYTHON] Eseguire la migrazione di tutti i file rimanenti AttributeError nel framework degli errori pySpark
• [SPARK-46394] [SC-150599][SQL] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali se spark.sql.legacy.keepCommandOutputSchema impostato su true
• [SPARK-45964] [SC-148484][SQL] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst
• [SPARK-45856] [SC-148691] Spostare ArtifactManager da Spark Connect in SparkSession (sql/core)
• [SPARK-46409] [SC-150714][CONNECT] Correggere lo script di avvio spark-connect-scala-client
• [SPARK-46416] [SC-150699][CORE] Aggiungi @tailrec a HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][SQL] Limitare i set di caratteri in encode()
• [SPARK-46253] [SC-150416][PYTHON] Pianificare la lettura dell'origine dati Python con MapInArrow
• [SPARK-46339] [SC-150266][SS] La directory con nome numero batch non deve essere considerata come log dei metadati
• [SPARK-46353] [SC-150396][CORE] Effettuare il refactoring per migliorare la RegisterWorker copertura degli unit test
• [SPARK-45826] [SC-149061][SQL] Aggiungere una configurazione SQL per le tracce dello stack nel contesto di query del dataframe
• [SPARK-45649] [SC-150300][SQL] Unificare il framework di preparazione per OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][CORE] Correzione master per aggiornare un ruolo di lavoro da UNKNOWN a ALIVE in RegisterWorker msg
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis manca la protezione del modello di query.resolved
• [SPARK-46401] [SC-150609][CORE] Usare !isEmpty() invece RoaringBitmap di getCardinality() > 0 in RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][SQL] Classificare le eccezioni nel catalogo tabelle JDBC
• [SPARK-45798] [SC-150513][CONNECT] Completamento: aggiungere serverSessionId a SessionHolderInfo
• [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Aggiunta del supporto timestampNTZType
• [SPARK-46075] [SC-150393][CONNECT] Miglioramenti a SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Sostituire l'uso errato della documentazione di setConf con conf.set
• [SPARK-46202] [SC-150420][CONNECT] Esporre nuove API ArtifactManager per supportare directory di destinazione personalizzate
• [SPARK-45824] [SC-147648][SQL] Applicare la classe di errore in ParseException
• [SPARK-45845] [SC-148163][SS][interfaccia utente] Aggiungere il numero di righe di stato rimosse all'interfaccia utente di streaming
• [SPARK-46316] [SC-150181][CORE] Abilitare buf-lint-action il core modulo
• [SPARK-45816] [SC-147656][SQL] Restituisce NULL durante l'overflow durante il cast dal timestamp ai numeri interi
• [SPARK-46333] [SC-150263][SQL] Sostituire IllegalStateException con SparkException.internalError in catalizzatore
• [SPARK-45762] [SC-148486][CORE] Supportare i gestori casuali definiti nei file JAR utente modificando l'ordine di avvio
• [SPARK-46239] [SC-149752][CORE] Nascondi Jetty informazioni
• [SPARK-45886] [SC-148089][SQL] Traccia dello stack completo di output nel callSite contesto del dataframe
• [SPARK-46290] [SC-150059][PYTHON] Modificare saveMode in un flag booleano per DataSourceWriter
• [SPARK-45899] [SC-148097][CONNECT] Impostare errorClass in errorInfoToThrowable
• [SPARK-45841] [SC-147657][SQL] Esporre l'analisi dello stack tramite DataFrameQueryContext
• [SPARK-45843] [SC-147721][CORE] Supporto killall nell'API di invio REST
• [SPARK-46234] [SC-149711][PYTHON] Introduzione PySparkKeyError al framework degli errori PySpark
• [SPARK-45606] [SC-147655][SQL] Restrizioni di rilascio per il filtro di runtime multi-layer
• [SPARK-45725] [SC-147006][SQL] Rimuovere il filtro di runtime IN non predefinito nella sottoquery
• [SPARK-45694] [SC-147314][SPARK-45695][SQL] Pulire l'utilizzo dell'API View.force deprecato e ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][SQL] Rendere withOrigin più generico
• [SPARK-46292] [SC-150086][CORE][interfaccia utente] Visualizzare un riepilogo dei ruoli di lavoro in MasterPage
• [SPARK-45685] [SC-146881][CORE][SQL] Usare LazyList invece di Stream
• [SPARK-45888] [SC-149945][SS] Applicare il framework della classe di errore all'origine dati State (Metadata)
• [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][interfaccia utente] Eseguire la pulizia SeqOps.view e ArrayOps.view le conversioni
• [SPARK-46029] [SC-149255][SQL] Escape della virgoletta _ singola e % per il pushdown di DS V2
• [SPARK-46275] [SC-150189] Protobuf: restituisce Null in modalità permissiva quando la deserializzazione non riesce.
• [SPARK-46320] [SC-150187][CORE] Appoggiare spark.master.rest.host
• [SPARK-46092] [SC-149658][SQL] Non eseguire il push dei filtri dei gruppi di righe Parquet che superano l'overflow
• [SPARK-46300] [SC-150097][PYTHON][CONNECT] Corrispondenza dei comportamenti secondari nella colonna con copertura completa dei test
• [SPARK-46298] [SC-150092][PYTHON][CONNECT] Trova la corrispondenza dell'avviso di deprecazione, del test case e dell'errore di Catalog.createExternalTable
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Pulire l'utilizzo deprecato dell'API correlato all'uso e del StringContext/StringOps/RightProjection/LeftProjection/Either tipo di BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][SQL] Supporto di SHOW TABLE EXTENDED nella versione 2
• [SPARK-45737] [SC-147011][SQL] Rimuovere elementi non necessari .toArray[InternalRow] in SparkPlan#executeTake
• [SPARK-46249] [SC-149797][SS] Richiedere il blocco dell'istanza per l'acquisizione delle metriche rocksDB per impedire la corsa con le operazioni in background
• [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed deve rispettare l'ordine dict
• [SPARK-46274] [SC-150043] [SQL] Correzione dell'operatore Range computeStats() per verificare la validità prolungata prima della conversione
• [SPARK-46040] [SC-149767][SQL][Python] Aggiornare l'API UDTF per il partizionamento o l'ordinamento delle colonne per supportare le espressioni generali
• [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty deve funzionare con tutti i tipi di dati
• [SPARK-45678] [SC-146825][CORE] Cover BufferReleasingInputStream.available/reset in tryOrFetchFailedException
• [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Pulire l'utilizzo deprecato dell'API correlato a IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][SQL] Introduzione della select * except sintassi
• [SPARK-46269] [SC-149816][PS] Abilitare altri test delle funzioni di compatibilità NumPy
• [SPARK-45807] [SC-149851][SQL] Aggiungere createOrReplaceView(..) / replaceView(..) a ViewCatalog
• [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introdurre una funzione implicita per Scala Array per eseguire il wrapping in immutable.ArraySeq.
• [SPARK-46205] [SC-149655][CORE] Migliorare le PersistenceEngine prestazioni con KryoSerializer
• [SPARK-45746] [SC-149359][Python] Restituisce messaggi di errore specifici se il metodo UDTF 'analyze' o 'eval' accetta o restituisce valori errati
• [SPARK-46186] [SC-149707][CONNECT] Correzione della transizione di stato non valida quando ExecuteThreadRunner è stato interrotto prima dell'avvio
• [SPARK-46262] [SC-149803][PS] Abilitare il test per l'oggetto np.left_shift Pandas-on-Spark.
• [SPARK-45093] [SC-149679][CONNECT][PYTHON] Supporta correttamente la gestione e la conversione degli errori per AddArtifactHandler
• [SPARK-46188] [SC-149571][Doc][3.5] Correggere il css delle tabelle generate dal documento Spark
• [SPARK-45940] [SC-149549][PYTHON] Aggiungere InputPartition all'interfaccia DataSourceReader
• [SPARK-43393] [SC-148301][SQL] Bug di overflow dell'espressione della sequenza di indirizzi.
• [SPARK-46144] [SC-149466][SQL] Errore INSERT INTO ... Istruzione REPLACE se la condizione contiene sottoquery
• [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Usare SparkSession.sessionState.conf anziché SQLContext.conf e contrassegnare SQLContext.conf come deprecato
• [SPARK-45760] [SC-147550][SQL] Aggiungi con espressione per evitare la duplicazione di espressioni
• [SPARK-43228] [SC-149670][SQL] Le chiavi di join corrispondono anche a PartitioningCollection in CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][PS] Testare SparkPandasNotImplementedError con la pulizia del codice inutilizzato
• [SPARK-46119] [SC-149205][SQL] Eseguire l'override toString del metodo per UnresolvedAlias
• [SPARK-46206] [SC-149674][PS] Usare un'eccezione di ambito più ristretto per il processore SQL
• [SPARK-46191] [SC-149565][CORE] Migliorare il FileSystemPersistenceEngine.persist messaggio di errore nel caso del file esistente
• [SPARK-46036] [SC-149356][SQL] Rimozione della classe di errore dalla funzione raise_error
• [SPARK-46055] [SC-149254][SQL] Riscrivere l'implementazione delle API di database del catalogo
• [SPARK-46152] [SC-149454][SQL] XML: Aggiunta del supporto DecimalType nell'inferenza di XML Schema
• [SPARK-45943] [SC-149452][SQL] Spostare DetermineTableStats in regole di risoluzione
• [SPARK-45887] [SC-148994][SQL] Allineare l'implementazione codegen e non codegen di Encode
• [SPARK-45022] [SC-147158][SQL] Fornire il contesto per gli errori dell'API del set di dati
• [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Sostituire toIterator con iterator per IterableOnce
• [SPARK-46141] [SC-149357][SQL] Modificare il valore predefinito per spark.sql.legacy.ctePrecedencePolicy su CORRETTO
• [SPARK-45663] [SC-146617][CORE][MLLIB] Sostituire IterableOnceOps#aggregate con IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] Riutilizzare gli oggetti Literal nella regola ComputeCurrentTime
• [SPARK-45803] [SC-147489][CORE] Rimuovere l'oggetto non più usato RpcAbortException
• [SPARK-46148] [SC-149350][PS] Correzione pyspark.pandas.mlflow.load_model test (Python 3.12)
• [SPARK-46110] [SC-149090][PYTHON] Usare classi di errore in catalog, conf, connect, osservazione, moduli pandas
• [SPARK-45827] [SC-149203][SQL] Correzioni varianti con codicegeno e lettore vettorializzato disabilitato
• [SPARK-46080] Ripristinare "[SC-149012][PYTHON] Aggiornare Cloudpickle a 3.0.0"
• [SPARK-45460] [SC-144852][SQL] Sostituisci scala.collection.convert.ImplicitConversions in scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][SQL] Rimuovere la risoluzione speciale di UnresolvedNamespace per determinati comandi
• [SPARK-45600] [SC-148976][PYTHON] Rendere il livello di sessione di registrazione dell'origine dati Python
• [SPARK-46074] [SC-149063][CONNECT][SCALA] Dettagli insufficienti nel messaggio di errore in caso di errore della funzione definita dall'utente
• [SPARK-46114] [SC-149076][PYTHON] Aggiungere PySparkIndexError per il framework degli errori
• [SPARK-46120] [SC-149083][CONNECT][PYTHON] Rimuovere la funzione helper DataFrame.withPlan
• [SPARK-45927] [SC-148660][PYTHON] Gestione del percorso di aggiornamento per l'origine dati Python
• [SPARK-46062] [14.x][SC-148991][SQL] Sincronizzare il flag isStreaming tra la definizione CTE e il riferimento
• [SPARK-45698] [SC-146736][CORE][SQL][SS] Pulire l'utilizzo deprecato dell'API correlato a Buffer
• [SPARK-46064] [SC-148984][SQL][SS] Spostare EliminaEventTimeWatermark nell'analizzatore e modificare in modo da rendere effettivo solo l'elemento figlio risolto
• [SPARK-45922] [SC-149038][CONNECT][CLIENT] Tentativi secondari di refactoring (completamento di più criteri)
• [SPARK-45851] [SC-148419][CONNECT][SCALA] Supportare più criteri nel client scala
• [SPARK-45974] [SC-149062][SQL] Aggiungere un giudizio non vuoto scan.filterAttributes per RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets nel client Scala Spark Connect
• [SPARK-45136] [SC-146607][CONNECT] Migliorare ClosingCleaner con il supporto di Ammonite
• [SPARK-46084] [SC-149020][PS] Eseguire il refactoring dell'operazione di cast dei tipi di dati per il tipo categorico.
• [SPARK-46083] [SC-149018][PYTHON] Impostare SparkNoSuchElementException come API di errore canonica
• [SPARK-46048] [SC-148982][PYTHON][CONNECT] Supporto di DataFrame.groupingSets in Python Spark Connect
• [SPARK-46080] [SC-149012][PYTHON] Aggiornare Cloudpickle alla versione 3.0.0
• [SPARK-46082] [SC-149015][PYTHON][CONNECT] Correzione della rappresentazione di stringa protobuf per l'API funzioni Pandas con Spark Connect
• [SPARK-46065] [SC-148985][PS] Effettuare il refactoring (DataFrame|Series).factorize() per usare create_map.
• [SPARK-46070] [SC-148993][SQL] Compilare il modello regex in SparkDateTimeUtils.getZoneId all'esterno del ciclo critico
• [SPARK-46063] [SC-148981][PYTHON][CONNECT] Migliorare i messaggi di errore correlati ai tipi di argomenti in cute, rollup, groupby e pivot
• [SPARK-44442] [SC-144120][MESOS] Rimuovere il supporto mesos
• [SPARK-45555] [SC-147620][PYTHON] Include un oggetto di cui è possibile eseguire il debug per un'asserzione non riuscita
• [SPARK-46048] [SC-148871][PYTHON][SQL] Supporto di DataFrame.groupingSets in PySpark
• [SPARK-45768] [SC-147304][SQL][PYTHON] Rendere faulthandler una configurazione di runtime per l'esecuzione di Python in SQL
• [SPARK-45996] [SC-148586][PYTHON][CONNECT] Visualizzare i messaggi appropriati dei requisiti di dipendenza per Spark Connect
• [SPARK-45681] [SC-146893][interfaccia utente] Clonare una versione js di UIUtils.errorMessageCell per il rendering coerente degli errori nell'interfaccia utente
• [SPARK-45767] [SC-147225][CORE] Eliminare TimeStampedHashMap e il relativo UT
• [SPARK-45696] [SC-148864][CORE] Correzione del metodo tryCompleteWith nel tratto Promise è deprecato
• [SPARK-45503] [SC-146338][SS] Aggiungere Conf per impostare la compressione rocksDB
• [SPARK-45338] [SC-143934][CORE][SQL] Sostituisci scala.collection.JavaConverters in scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][SQL] Correzione ArrayIndexOutOfBoundsException in conv()
• [SPARK-45912] [SC-144982][SC-148467][SQL] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud
• [SPARK-45819] [SC-147570][CORE] Supporto clear nell'API di invio REST
• [SPARK-45552] [14.x][SC-146874][PS] Introdurre parametri flessibili a assertDataFrameEqual
• [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Fornire un'interfaccia per altre origini di streaming per aggiungere _metadata colonne
• [SPARK-45929] [SC-148692][SQL] Supporto dell'operazione groupingSets nell'API del dataframe
• [SPARK-46012] [SC-148693][CORE] EventLogFileReader non deve leggere i log in sequenza se manca il file di stato dell'app
• [SPARK-45965] [SC-148575][SQL] Spostare espressioni di partizionamento DSv2 in functions.partitioning
• [SPARK-45971] [SC-148541][CORE][SQL] Correggere il nome del pacchetto da SparkCollectionUtils a org.apache.spark.util
• [SPARK-45688] [SC-147356][SPARK-45693][CORE] Pulire l'utilizzo deprecato dell'API correlato a MapOps & Correzione method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][SC-148497][SQL] Rimuovere treatEmptyValuesAsNulls e usare nullValue l'opzione invece in XML
• [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Correzione dei typehints per gestire list GenericAlias in Python 3.11+
• [SPARK-45999] [SC-148595][PS] Usare dedicato PandasProduct in cumprod
• [SPARK-45986] [SC-148583][ML][PYTHON] Correzione pyspark.ml.torch.tests.test_distributor in Python 3.11
• [SPARK-45994] [SC-148581][PYTHON] Cambia description-file in description_file
• [SPARK-45575] [SC-146713][SQL] Opzioni di spostamento del tempo di supporto per l'API di lettura di df
• [SPARK-45747] [SC-148404][SS] Usare le informazioni sulla chiave di prefisso nei metadati dello stato per gestire lo stato di lettura per l'aggregazione della finestra di sessione
• [SPARK-45898] [SC-148213][SQL] Riscrivere le API della tabella del catalogo per usare un piano logico non risolto
• [SPARK-45828] [SC-147663][SQL] Rimuovere il metodo deprecato in dsl
• [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Eseguire l'aggiornamento protobuf alla versione 4.25.1 per supportare Python 3.11
• [SPARK-45911] [SC-148226][CORE] Impostare TLS1.3 come predefinito per RPC SSL
• [SPARK-45955] [SC-148429][interfaccia utente] Comprimere il supporto per i dettagli di flamegraph e thread dump
• [SPARK-45936] [SC-148392][PS] Ottimizzare Index.symmetric_difference
• [SPARK-45389] [SC-144834][SQL][3.5] Correggere la regola di corrispondenza MetaException per ottenere i metadati della partizione
• [SPARK-45655] [SC-148085][SQL][SS] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics
• [SPARK-45946] [SC-148448][SS] Correzione dell'uso di fileutils deprecati per passare il set di caratteri predefinito in RocksDBSuite
• [SPARK-45511] [SC-148285][SS] Origine dati stato - Lettore
• [SPARK-45918] [SC-148293][PS] Ottimizzare MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][CONNECT][PYTHON] Restituire le metriche osservate dai comandi
• [SPARK-45867] [SC-147916][CORE] Appoggiare spark.worker.idPattern
• [SPARK-45945] [SC-148418][CONNECT] Aggiungere una funzione helper per parser
• [SPARK-45930] [SC-148399][SQL] Supportare funzioni definite dall'utente non deterministiche in MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][Python] Creare l'API UDTF python per interrompere l'utilizzo di righe dalla tabella di input
• [SPARK-45731] [SC-147929][SQL] Aggiornare anche le statistiche delle partizioni con ANALYZE TABLE il comando
• [SPARK-45868] [SC-148355][CONNECT] Assicurarsi di spark.table usare lo stesso parser con spark vanilla
• [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec propaga il partizionamento deve rispettare CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][SQL] Assegnare nomi agli errori _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][SQL] Considera decimal(x, 0) uguale a IntegralType in PromoteStrings
• [SPARK-45786] [SC-147552][SQL] Correzione di risultati di moltiplicazione decimale e divisione non accurati
• [SPARK-45871] [SC-148084][CONNECT] Conversioni di raccolte di ottimizzazioni correlate ai .toBuffer connect moduli
• [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager potrebbe cercare un sparkcontext arrestato
• [SPARK-45913] [SC-148289][PYTHON] Rendere privati gli attributi interni dagli errori PySpark.
• [SPARK-45827] [SC-148201][SQL] Aggiungere il tipo di dati Variant in Spark.
• [SPARK-44886] [SC-147876][SQL] Introdurre la clausola CLUSTER BY per CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][CORE] Appoggiare spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][CONNECT] Assert server-side session ID
• [SPARK-45896] [SC-148091][SQL] Costrutto ValidateExternalType con il tipo previsto corretto
• [SPARK-45902] [SC-148123][SQL] Rimuovere la funzione resolvePartitionColumns inutilizzata da DataSource
• [SPARK-45909] [SC-148137][SQL] Rimuovere NumericType il cast se può eseguire il cast in modo sicuro IsNotNull
• [SPARK-42821] [SC-147715][SQL] Rimuovere i parametri inutilizzati nei metodi splitFiles
• [SPARK-45875] [SC-148088][CORE] Rimuovi MissingStageTableRowData dal core modulo
• [SPARK-45783] [SC-148120][PYTHON][CONNECT] Migliorare i messaggi di errore quando la modalità Spark Connect è abilitata ma l'URL remoto non è impostato
• [SPARK-45804] [SC-147529][interfaccia utente] Aggiungere spark.ui.threadDump.flamegraphEnabled config per attivare/disattivare il grafico di fiamma
• [SPARK-45664] [SC-146878][SQL] Introdurre un mapper per i codec di compressione orc
• [SPARK-45481] [SC-146715][SQL] Introdurre un mapper per i codec di compressione Parquet
• [SPARK-45752] [SC-148005][SQL] Semplificare il codice per controllare le relazioni CTE senza riferimenti
• [SPARK-44752] [SC-146262][SQL] XML: Aggiornare la documentazione spark
• [SPARK-45752] [SC-147869][SQL] Il CTE senza riferimenti deve essere controllato da CheckAnalysis0
• [SPARK-45842] [SC-147853][SQL] Refactoring delle API della funzione del catalogo per l'uso dell'analizzatore
• [SPARK-45639] [SC-147676][SQL][PYTHON] Supporto del caricamento di origini dati Python in DataFrameReader
• [SPARK-45592] [SC-146977][SQL] Problema di correttezza in AQE con InMemoryTableScanExec
• [SPARK-45794] [SC-147646][SS] Introdurre l'origine dei metadati di stato per eseguire query sulle informazioni sui metadati dello stato di streaming
• [SPARK-45739] [SC-147059][PYTHON] Catch IOException invece di EOFException da solo per faulthandler
• [SPARK-45677] [SC-146700] Migliore registrazione degli errori per l'API Di osservazione
• [SPARK-45544] [SC-146873][CORE] Integrare il supporto SSL in TransportContext
• [SPARK-45654] [SC-147152][PYTHON] Aggiungere l'API di scrittura dell'origine dati Python
• [SPARK-45771] [SC-147270][CORE] Abilita spark.eventLog.rolling.enabled per impostazione predefinita
• [SPARK-45713] [SC-146986][PYTHON] Supporto per la registrazione di origini dati Python
• [SPARK-45656] [SC-146488][SQL] Correggere l'osservazione quando le osservazioni denominate con lo stesso nome in set di dati diversi
• [SPARK-45808] [SC-147571][CONNECT][PYTHON] Migliore gestione degli errori per le eccezioni SQL
• [SPARK-45774] [SC-147353][CORE][interfaccia utente] Supporto spark.master.ui.historyServerUrl in ApplicationPage
• [SPARK-45776] [SC-147327][CORE] Rimuovere il controllo null difensivo per MapOutputTrackerMaster#unregisterShuffle l'aggiunta in SPARK-39553
• [SPARK-45780] [SC-147410][CONNECT] Propagare tutti i thread del client Spark Connect in InheritableThread
• [SPARK-45785] [SC-147419][CORE] Supporto spark.deploy.appNumberModulo per ruotare il numero dell'app
• [SPARK-45793] [SC-147456][CORE] Migliorare i codec di compressione predefiniti
• [SPARK-45757] [SC-147282][ML] Evitare il nuovo calcolo di NNZ in Binarizer
• [SPARK-45209] [SC-146490][CORE][interfaccia utente] Supporto di Flame Graph per la pagina di dump del thread executor
• [SPARK-45777] [SC-147319][CORE] Supporto spark.test.appId in LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PYTHON] Effettuare il refactoring del controllo null per avere collegamenti
• [SPARK-45711] [SC-146854][SQL] Introdurre un mapper per i codec di compressione avro
• [SPARK-45523] [SC-146077][Python] Restituisce un messaggio di errore utile se UDTF restituisce Nessuno per qualsiasi colonna non nullable
• [SPARK-45614] [SC-146729][SQL] Assegnare nomi all'errore _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][SQL] Migliorare Dataset.isEmpty() applicando il limite globale 1
• [SPARK-45569] [SC-145915][SQL] Assegnare il nome al _LEGACY_ERROR_TEMP_2153 di errore
• [SPARK-45749] [SC-147153][CORE][WEBUI] Correzione Spark History Server per ordinare Duration correttamente la colonna
• [SPARK-45754] [SC-147169][CORE] Appoggiare spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][SQL] Semplificare DataFrameStatFunctions.countMinSketch con CountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Appoggiare spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][CORE][interfaccia utente] Miglioramento MasterPage per visualizzare Resource la colonna solo quando esiste
• [SPARK-45112] [SC-143259][SQL] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 14.3.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-02-10.

Librerie Java e Scala installate (versione cluster Scala 2.12)