Databricks Runtime 14.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 14.2, unterstützt von Apache Spark 3.5.0.

Diese Version wurde von Databricks im November 2023 veröffentlicht.

Neue Features und Verbesserungen

• CACHE SELECT wird jetzt ignoriert.
• Verbessertes Zwischenspeicherungsverhalten
• Behandlung beschädigter Dateien in DML-Befehlen korrigiert
• Unterstützung der Schemaregistrierung für protobuf- und Avro-bezogene Funktionen in freigegebenen Clustern
• foreachBatch- und StreamingListener-Unterstützung
• Parallelität auf Zeilenebene ist allgemein verfügbar und standardmäßig aktiviert
• Delta Sharing: Empfänger können Batch-, CDF- und Streamingabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)
• Flacher Klon für externe Unity Catalog-Tabellen (Public Preview)
• Neuer Zuweisungsalgorithmus für die Datenträgerzwischenspeicherung
• from_avro mit Schemaregistrierungsconnector bietet Unterstützung für die Schemaentwicklung
• Schnellere Multithread-Statistiksammlung
• Pushdownfilter in DeltaSource für Delta-Dateien
• Unterstützung für skalare benutzerdefinierte Scala-Funktionen in freigegebenen Clustern (Public Preview)

CACHE SELECT wird jetzt ignoriert.

Der SQL-Befehl CACHE SELECT wird nun zugunsten eines verbesserten Cachealgorithmus ignoriert. Siehe Optimieren der Leistung mit Caching in Azure Databricks.

Verbessertes Zwischenspeicherungsverhalten

Die DiskCache-Platzierung durch den Spark Scheduler verfügt jetzt über eine schnellere Partitionszuweisung, einen besseren Ausgleich während der automatischen Cluster-Skalierung und eine konsistentere Abfrageausführung.

Behandlung beschädigter Dateien in DML-Befehlen korrigiert

Die DML-Befehle DELETE, UPDATE und MERGE INTO berücksichtigen nicht mehr die Leseoptionen ignoreCorruptFiles und ignoreMissingFiles. Bei einer nicht lesbaren Datei in einer Tabelle schlagen diese Befehle jetzt fehl, auch wenn diese Optionen angegeben sind.

Unterstützung der Schemaregistrierung für protobuf- und Avro-bezogene Funktionen in freigegebenen Clustern

Sie können jetzt die Python-Funktionen from_avro, to_avro, from_protobuf und to_protobuf mit Schema Registry in freigegebenen Clustern verwenden.

foreachBatch- und StreamingListener-Unterstützung

Sie können jetzt die foreachBatch()- und StreamingListener-APIs mit strukturiertem Streaming in freigegebenen Clustern verwenden. Weitere Informationen finden Sie unter Verwenden von foreachBatch zum Schreiben in beliebige Datensenken und Überwachen von strukturierten Streamingabfragen in Azure Databricks.

Parallelität auf Zeilenebene ist allgemein verfügbar und standardmäßig aktiviert

Parallelität auf Zeilenebene reduziert Konflikte zwischen gleichzeitigen Schreibvorgängen, indem Änderungen auf Zeilenebene erkannt werden. Parallelität auf Zeilenebene wird nur für Tabellen ohne Partitionierung unterstützt, darunter Tabellen mit Liquid Clustering. Die Parallelität auf Zeilenebene ist in Delta-Tabellen mit aktivierten Löschvektoren standardmäßig aktiviert. Weitere Informationen finden Sie unter Schreibkonflikte mit Parallelität auf Zeilenebene.

Delta Sharing: Empfänger können Batch-, CDF- und Streamingabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)

Delta Sharing-Empfänger können jetzt Batch-, CDF- und Streamingabfragen für freigegebene Tabellen ausführen, die Löschvektoren verwenden. Auf Databricks Runtime 14.1 können sie nur Batchabfragen ausführen. Weitere Informationen finden Sie unter Hinzufügen von Tabellen mit Löschvektoren oder Spaltenzuordnungen zu einer Freigabe, Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen und Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen.

Flacher Klon für externe Unity Catalog-Tabellen (Public Preview)

Sie können jetzt einen flachen Klon mit externen Unity Catalog-Tabellen verwenden. Weitere Informationen finden Sie unter Flacher Klon für Unity Catalog-Tabellen.

Neuer Zuweisungsalgorithmus für die Datenträgerzwischenspeicherung

Der Spark-Scheduler verwendet jetzt einen neuen Datenträgerzwischenspeicherungsalgorithmus. Der Algorithmus verbessert die Datenträgernutzung und Partitionszuweisung über Knoten hinweg, wobei die Zuweisung sowohl anfänglich als auch nach Clusterskalierungsereignissen schneller erfolgt. Die Stickiercachezuordnung verbessert die Konsistenz bei der Ausführung und reduziert die während der Rebalancing-Operationen verschobenen Daten.

from_avro mit Schemaregistrierungsconnector bietet Unterstützung für die Schemaentwicklung

Sie können ihre Pipelines jetzt so aktivieren, dass sie neu gestartet werden, wenn weiterentwickelte Datensätze erkannt werden. Wenn die Schemaentwicklung zuvor mit dem from_avro-Connector erfolgt ist, gaben die neuen Spalten null zurück. Siehe Lesen und Schreiben von Avro-Streamingdaten.

Schnellere Multithread-Statistiksammlung

Die Statistiksammlung ist auf kleinen Clustern bis zu 10 Mal schneller, wenn CONVERT TO DELTA oder Klonen von Iceberg- und Parquet-Tabellen ausgeführt wird. Siehe Konvertieren in Delta Lake und Klonen von Parquet- und Iceberg-Tabellen.

Pushdownfilter in DeltaSource für Delta-Dateien

Für eine bessere Auslastung werden Partitionsfilter für Streamingabfragen von Delta-Tabellen jetzt vor dem Einschränken der Rate nach Delta verschoben.

Unterstützung für skalare benutzerdefinierte Scala-Funktionen in freigegebenen Clustern (Public Preview)

Sie können jetzt skalare benutzerdefinierte Funktionen auf Unity Katalog-fähigen Clustern verwenden, die mit dem Modus für gemeinsam genutzten Zugriff konfiguriert sind. Siehe Benutzerdefinierte Skalarfunktionen: Scala.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • fastjsonschema von 2.18.0 bis 2.19.0
  • filelock von 3.12.3 auf 3.12.4
  • googleapis-common-protos von 1.60.0 auf 1.61.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:

Apache Spark

Databricks Runtime 14.2 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 14.1 enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

• [SPARK-45592] [DBRRM-624] Wiederherstellen von „[SC-146977][SQL] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec“
• [SPARK-45524] [DBRRM-625] Wiederherstellen von „[SC-146319][PYTHON][SQL] Anfängliche Unterstützung für...
• [SPARK-45433] [DBRRM-621] Wiederherstellen von „[SC-145163][SQL] Fix des CSV- bzw. JSON-Schemarückschließens...
• [SPARK-45592] [SC-146977][SQL] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec
• [SPARK-45354] Wiederherstellen von „[SC-143991][SQL] Auflösen von Funktionen von unten nach oben“
• [SPARK-45680] [NUR TEST][SASP-2347][CONNECT] Beheben von Tests
• [SPARK-45680] [CONNECT] Releasesitzung
• [SPARK-43380] [SC-146726][ES-897115][SQL] Beheben der Verlangsamung im Avro-Lesen
• [SPARK-45649] [SC-146742][SQL] Vereinheitlichen des Vorbereitungsframeworks für OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] Erstellen von StructType aus JSON
• [SPARK-45620] [SC-146225][PYTHON] Beheben von benutzerbezogenen APIs im Zusammenhang mit Python UDTF zur Verwendung von camelCase
• [SPARK-45727] [SC-146978][SS] Ungenutzte Karte in Wasserzeichenverteilungssimulation entfernen
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] Katalogmethoden vermeiden die Konvertierung von Pandas
• [SPARK-45574] [SC-146106][SQL]Hinzufügen :: von Syntax
• [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit unterstützt --total-executor-cores nicht bei der Bereitstellung auf K8s
• [SPARK-45661] [SC-146594][SQL][PYTHON] Hinzufügen von toNullable in StructType, MapType und ArrayType
• [SPARK-45524] [SC-146319][PYTHON][SQL] Anfängliche Unterstützung für Pthon-Datenquellenlese-API
• [SPARK-45542] [SC-145892][CORE] Ersetzen von setSafeMode(HdfsConstants.SafeModeAction, boolean) durch setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: Behandeln leerer Eingabepartitionen nach dynamischer Filterung
• [SPARK-45454] [SC-144846][SQL] Festlegen des Standardbesitzers der Tabelle auf current_user
• [SPARK-45554] [SC-146875][PYTHON] Einführung eines flexiblen Parameters für assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] Verwenden der DataFrame-ID zur semantischen Überprüfung von CollectMetrics
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] Verbessern Sie die Fehlermeldung für JVM-abhängige Attribute in Spark Connect.
• [SPARK-45646] [SC-146276][SQL] Entfernen von Hartcodierungszeitvariablen vor Hive 2.0
• [SPARK-43380] [SC-146726][ES-897115][SQL] Beheben der Verlangsamung im Avro-Lesen
• [SPARK-45545] [SC-146484][CORE] Übergeben von SSLOptions, wenn eine SparkTransportConf erstellt wird
• [SPARK-45641] [SC-146260][UI] Anzeigen der Startzeit der Anwendung auf AllJobsPage
• [SPARK-40154] [SC-146491][Python][Docs] Korrektur der Speicherebene im Dataframe.cache-DocString
• [SPARK-45626] [SC-146259][SQL] Konvertieren von _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] Korrektur der Korrektheit für geschachtelte korrelierte skalare Unterabfragen mit COUNT-Aggregaten
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] Anwenden der beobachteten Metriken auf Observation-Objekt
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Scaladoc-Verbesserung für StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][CORE] Vermeiden von ParVector, was ThreadLocals oder SparkSession nicht propagiert
• [SPARK-45604] [SC-146105][SQL] Hinzufügen der LogicalType-Überprüfung auf INT64 -> DateTime-Konvertierung auf Parquet-vektorisiertem Reader
• [SPARK-44649] [SC-145891][SQL] Laufzeitfilter unterstützt das Übergeben von äquivalenten Erstellungsseitenausdrücken
• [SPARK-41674] [SC-128408][SQL] Der Runtime-Filter sollte eine Mehrebenen-Shuffle-Join-Seite als Filtererstellungsseite unterstützen
• [SPARK-45547] [SC-146228][ML] Überprüfen von Vektoren mit integrierter Funktion
• [SPARK-45558] [SC-145890][SS] Einführung einer Metadatendatei für den Streamingstatusoperator
• [SPARK-45618] [SC-146252][CORE] Entfernen von BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] Verbessern der Testabdeckung der Dezimalkonvertierung
• [SPARK-44837] [SC-146020][SQL] Ändern der Spaltenfehlermeldung ALTER TABLE ALTER PARTITION
• [SPARK-45561] [SC-146264][SQL] Hinzufügen von Konvertierungen für Tinyint in MySQLDialect
• [SPARK-45632] [SC-146255][SQL] Der Tabellencache sollte beim Aktivieren von AQE unnötiges ColumnarToRow vermeiden
• [SPARK-45569] [SC-145932][SQL] Zuweisen eines Namens zum Fehler _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][CONNECT] Testen Sie SBT hermetisch.
• [SPARK-45452] [SC-144836][SQL] Verbessern InMemoryFileIndex zur Verwendung der FileSystem.listFiles-API
• [SPARK-44735] [SC-146186][SQL] Hinzufügen einer Warnmeldung beim Einfügen von Spalten mit demselben Namen nach Zeile, die nicht übereinstimmen
• [SPARK-45351] [SC-144791][CORE] Ändern des spark.shuffle.service.db.backend-Standardwerts in ROCKSDB
• [SPARK-45553] [SC-145906][PS] assertPandasOnSparkEqual einstellen
• [SPARK-45613] [SC-146022][CORE] Verfügbarmachen von DeterministicLevel als DeveloperApi
• [SPARK-45549] [SC-145895][CORE] Nicht verwendetes numExistingExecutors in CoarseGrainedSchedulerBackend entfernen
• [SPARK-45609] [SC-146030][CONNECT] Einschließen von SqlState in die SparkThrowable-Protonachricht
• [SPARK-45595] [SC-146037] Verfügbarmachen von sqlstate in der Fehlermeldung
• [SPARK-45628] [SC-146123][ML] Verbessern von vector_to_array für .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Deaktivieren der Dekorrelation in Verknüpfungsbedingungen für den AQE InSubquery-Test
• [SPARK-45576] [SC-145883][CORE] Entfernen von unnötigen Debugprotokollen in ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][CONNECT] Verbesserungen des Benutzer-Agents: Verwenden von SPARK_CONNECT_USER_AGENT env-Variable und Einschließen von umgebungsspezifischen Attributen
• [SPARK-45508] [SC-145513][CORE] Hinzufügen von „–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED“, damit Platform auf Cleaner auf Java 9+ zugreifen kann
• [SPARK-45595] Wiederherstellen von „[SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung“
• [SPARK-45595] [SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung
• [SPARK-45112] Wiederherstellen von „[SC-143259][SQL] Verwenden von UnresolvedFunction...
• [SPARK-45257] [SC-143411][CORE] spark.eventLog.compress standardmäßig aktivieren
• [SPARK-45586] [SC-145899][SQL] Verringern der Compilerlatenz für Pläne mit großen Ausdrucksstrukturen
• [SPARK-45517] [SC-145691][CONNECT][14.x] Erweitern weiterer Ausnahmekonstruktoren zur Unterstützung von Fehlerframeworkparametern
• [SPARK-45581] [SC-145896] SQLSTATE ist erforderlich
• [SPARK-45427] [SC-145590][CORE] Hinzufügen von RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf
• [SPARK-45261] [SC-143357][CORE] Beheben von EventLogFileWriters zum Handhaben von none als Codec
• [SPARK-45582] [SC-145897][SS] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: Festlegen von „rowTag“ als erforderlicher Option
• [SPARK-45392] [SC-144362][CORE][SQL][SS] Ersetzen von Class.newInstance() durch Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] Fix von CSV/JSON Schema-Inferenz, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen
• [SPARK-45458] [SC-145011][SQL] Konvertieren von IllegalArgumentException in SparkIllegalArgumentException in bitwiseExpressions
• [SPARK-45564] [SC-145735][SQL] Vereinfachen von „DataFrameStatFunctions.bloomFilter“ mit dem Ausdruck „BloomFilterAggregate“
• [SPARK-45566] [SC-145777][PS] Unterstützen Sie Pandas-ähnliche Test-Utils für Pandas-API auf Spark
• [SPARK-45498] [SC-145509][CORE] Followup: Ignorieren des Aufgabenabschlusses aus der alten Phase...
• [SPARK-45483] [SC-145152][CONNECT] Korrektur der Funktionsgruppen in connect.functions
• [SPARK-45577] [SC-145781] [PYTHON] Korrektur von UserDefinedPythonTableFunctionAnalyzeRunner, um gefaltete Werte aus benannten Argumenten zu übergeben
• [SPARK-45009] [SC-138223][FOLLOW UP] Deaktivieren der Dekorrelation in Verknüpfungsbedingungen für AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Zulassen der selektiven Deaktivierung von „fallocate“ im RocksDB-StateStore
• [SPARK-45500] [SC-145134][CORE][WEBUI] Anzeigen der Anzahl von nicht ordnungsgemäß abgeschlossenen Treibern in MasterPage
• [SPARK-44120] [SC-144349][PYTHON] Unterstützen von Python 3.12
• [SPARK-45439] [SC-145589][SQL][UI] Verringern der Speicherauslastung von LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][UI] Unnötige JSON- und JSON.parse-Schleife für Aufgabenliste in Phasendetails
• [SPARK-45567] [SC-145718][CONNECT] Entfernen des redundanten „if“ in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Verwenden der UnresolvedFunction-basierten Auflösung in SQL-Datasetfunktionen
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT] add_articact-Anforderung idempotent machen
• [SPARK-44913] [SC-144326][SQL] DS V2 unterstützt Pushdown V2 UDF mit magischer Methode
• [SPARK-45538] [SC-145635][PYTHON][CONNECT] Pyspark Connect-Fehler „overwrite_partitions“
• [SPARK-45491] [SC-145622] Hinzufügen fehlender SQLSTATES 2/2
• [SPARK-45009] [SC-145620][SC-138223][SQL] Prädikatunterabfragen in Verknüpfungsbedingung dekorrelieren
• [SPARK-45377] [SC-144377][CORE] Verarbeiten von InputStream in NettyLogger
• [SPARK-45248] [SC-143759][CORE]Festlegen des Timeouts für spark ui-Server
• [SPARK-44594] [SC-145611][SS] Entfernen des redundanten Methodenparameters in kafka connector
• [SPARK-45539] [SC-145621][SS] Hinzufügen von Assertionen und Protokollen, um anzugeben, dass die Wasserzeichendefinition für Streamingaggregationsabfragen im Anfügemodus erforderlich ist
• [SPARK-44262] [SC-145639][SQL] Hinzufügen von dropTable und getInsertStatement zu JdbcDialect
• [SPARK-45516] [SC-145480][CONNECT] Einschließen von QueryContext in die SparkThrowable-Protonachricht
• [SPARK-45310] [SC-145127][CORE] Bericht über den Status des Shuffle-Blocks sollte den Shuffle-Dienst während der Außerbetriebsetzungsmigration respektieren
• [SPARK-45521] [SC-145487][ML] Vermeiden der Neuberechnung von nnz in VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Ändern des current_database()-Spaltenalias in current_schema()
• [SPARK-45116] [SC-145142][SQL] Fügen Sie einen Kommentar für Param von JdbcDialect createTable hinzu
• [SPARK-45495] [SC-145529][core] Unterstützung für Aufgabenressourcenprofil auf Phasenebene für k8s-Cluster, wenn die dynamische Zuordnung deaktiviert ist
• [SPARK-45487] [SC-145559] Beheben von SQLSTATE- und temp-Fehlern
• [SPARK-45505] [SC-145550][PYTHON] Umgestalten von analyzeInPython, um es wiederverwendbar zu machen
• [SPARK-45132] [SC-145425][SQL] Fix von IDENTIFIER für Funktionsaufrufe
• [SPARK-45213] [SC-145020][SQL] Zuweisen eines Namens zum Fehler _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][CONNECT] Integritätsprüfungs-Konsistenz der Pfeilergebnisse
• [SPARK-45163] [SC-143386][SQL] Mergen von UNSUPPORTED_VIEW_OPERATION und UNSUPPORTED_TABLE_OPERATION und Beheben eines Fehlers
• [SPARK-45421] [SC-144814][SQL] Erfassen von AnalysisException über InlineCTE
• [SPARK-43664] [SC-145404][CONNECT][PS] Auslösen einer Ausnahme für ps.sql mit Pandas-on-Spark-Objekt auf Spark Connect.
• [SPARK-45402] [SC-145371][SQL][PYTHON] Hinzufügen der UDTF-API für eval- und terminate-Methoden zur Nutzung des vorherigen Analyseergebnisses
• [SPARK-36112] [SC-67885][SQL] Unterstützung korrelierter EXISTS- und IN-Unterabfragen mithilfe des Frameworks „DecorrelateInnerQuery“
• [SPARK-45383] [SC-144929][SQL] Fehlermeldung für Zeitreisen mit nicht vorhandener Tabelle beheben
• [SPARK-43254] [SC-143318][SQL] Zuweisen eines Namens an den Fehler LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][CONNECT] Hinzufügen optionaler ExecuteHolder zu SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] Die Standardspeicherebene des Datasetcaches konfigurierbar machen
• [SPARK-45192] [SC-143194][UI] Korrigieren des überfälligen lineInterpolate-Parameters für graphviz edge
• [SPARK-45467] [SC-145146][CORE] Ersetzen von Proxy.getProxyClass() durch Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][CONNECT] Hinzufügen eines Array-Assembler-Feature-Transformators
• [SPARK-44855] [SC-145226][CONNECT] Kleine Optimierungen zum Anfügen von ExecuteGrpcResponseSender an ExecuteResponseObserver
• [SPARK-45398] [SC-144796][SQL] Anfügen von ESCAPE in sql() des Like-Ausdrucks
• [SPARK-45494] [SC-145129][CORE][PYTHON] Einführung von Util-Funktionen zum Lesen/Schreiben eines Bytearrays für PythonWorkerUtils
• [SPARK-45464] [SC-145125][CORE] Beheben des Netzwerk-Yarn-Verteilungsbuilds
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Einführung eines Mappers für StorageLevel
• [SPARK-45450] [SC-145009][PYTHON] Korrektur von Importen nach PEP8: pyspark.pandas und pyspark (Core)
• [SPARK-45475] [SC-145018][SQL] Verwendet DataFrame.foreachPartition anstelle von RDD.foreachPartition in JdbcUtils
• [SPARK-45271] [SC-143778][SQL] Mergen von _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION und Löschen einiger nicht verwendeter Methoden in QueryCompilationErrors
• [SPARK-45449] [SC-145013][SQL] Cacheinvalidierungs-Problem mit JDBC-Tabelle
• [SPARK-45473] [SC-145017][SQL] Beheben der falschen Fehlermeldung für RoundBase
• [SPARK-43299] [SC-145022][SS][CONNECT] Konvertieren von StreamingQueryException in Scala-Client
• [SPARK-45474] [SC-145014][CORE][WEBUI] Unterstützung der Filterung auf oberster Ebene in der MasterPage-JSON-API
• [SPARK-45205] [SC-145012][SQL] CommandResultExec um Iteratormethoden außer Kraft zu setzen und Auslösen mehrerer Aufträge zu vermeiden
• [SPARK-45472] [SC-145004][SS] RocksDB State Store muss das Vorhandensein des Prüfpunktpfads nicht erneut überprüfen
• [SPARK-45470] [SC-145010][SQL] Vermeiden des Zeichenfolgenwerts der Struktur- oderC-Komprimierungsart
• [SPARK-45448] [SC-144829][PYTHON] Korrektur von Importen nach PEP8: pyspark.testing, pyspark.mllib, pyspark.resource und pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] Korrektur von Importen nach PEP8: pyspark.errors und pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT] Reduzieren der Standard-spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] DataFrame-Methoden überprüfen dieselbe Sitzung
• [SPARK-45413] [SC-144847][CORE] Warnung zum Vorbereiten der Drop LevelDB-Unterstützung hinzufügen
• [SPARK-45462] [SC-144848][CORE][WEBUI] Anzeigen von Duration in ApplicationPage
• [SPARK-44527] [SC-144855][SQL] Ersetzen von ScalarSubquery durch Null, wenn „maxRows“ 0 ist
• [SPARK-45401] [SC-144854][PYTHON] Hinzufügen einer neuen Methode cleanup in der UDTF-Schnittstelle
• [SPARK-43704] [SC-144849][CONNECT][PS] Unterstützung von MultiIndex für to_series()
• [SPARK-45424] [SC-144888][SQL] Korrigieren der TimestampFormatter-Rückgabe optionaler Analyseergebnisse, wenn nur eine Präfix-Übereinstimmung vorliegt
• [SPARK-45441] [SC-144833][PYTHON] Einführung weiterer Util-Funktionen für PythonWorkerUtils
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] Überprüfen des Plans und der Sitzung in DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] Hinzufügen von RPC-SSL-Einstellungen in TransportConf
• [SPARK-45432] [SC-144818][CORE] Veralteten Hadoop-2-LocatedFileStatus-Konstruktor entfernen
• [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression überprüft die Trainingsbezeichnungen
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Hinzufügen von DataType.fromDDL in PySpark
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] schema aus DataFrame-Konstruktor löschen
• [SPARK-45404] [SC-144799][CORE] AWS_ENDPOINT_URL-env-Variable unterstützen
• [SPARK-43620] [SC-144792][CONNECT][PS] Das Beheben von Pandas-APIs hängt von nicht unterstützten Features ab
• [SPARK-45354] [SC-143991][SQL] Auflösen von Funktionen von unten nach oben
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Fügen Sie Wiederholungsversuche für die Artefakt-API hinzu. Verbessern der Fehlerbehandlung (Nachverfolgung zu [SPARK-45093]).
• [SPARK-45120] [SC-142780][SPARK-45150][UI] Upgrade d3 von v3 auf v7(v7.8.5) und Anwenden von API-Änderungen in der Benutzeroberfläche
• [SPARK-44838] [SC-143983][SQL] Verbesserung von raise_error
• [SPARK-45312] [SC-143754][SQL][UI] Unterstützung zum Ein-/Ausblenden des Plan-SVG auf der Ausführungsseite
• [SPARK-45378] [SC-144448][CORE] Hinzufügen von convertToNettyForSsl zu ManagedBuffer
• [SPARK-44762] [SC-144338][CONNECT][CORE] Dokument für SparkConnect.addJobTag und Connect SparkSession.addTag
• [SPARK-45383] Behandeln Sie nicht aufgelöste RelationTimeTravel ordnungsgemäß
• [SPARK-45347] [SC-144512][SQL][CONNECT] Einschließen von SparkThrowable in FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][SQL] CheckAnalysis sollte einen Inlineplan in AnalysisException auslösen
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} sollte Ausnahmen auslösen, wenn der Plan ungültig ist
• [SPARK-45227][SC-144233][CORE] Ein kleines Threadsicherheitsproblem wurde mit CoarseGrainedExecutorBackend gefixt
• [SPARK-45266] [SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden
• [SPARK-45266] Wiederherstellen von „[SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden“
• [SPARK-45371] [SC-144389][CONNECT] Beheben von Schattierungsproblemen beim Spark Connect-Scala-Client
• [SPARK-45057] [SC-144214][CORE] Vermeiden einer Lesesperre, wenn keepReadLock FALSE ist
• [SPARK-45385] [SC-144357][SQL] spark.sql.parser.escapedStringLiterals einstellen
• [SPARK-45340] [SC-143917][SQL] Entfernen der SQL-Konfiguration spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden
• [SPARK-45362] [SC-144198][PYTHON] Ausblenden von PARTITION BY-Ausdrücken, bevor die „eval“-Methode für Python-UDFT sie nutzt
• [SPARK-45346] [SC-143925][SQL] Beim Parquet-Schemarückfluss sollte die Groß-/Kleinschreibung von Flags während dem Zusammenführen des Schemas beachtet werden
• [SPARK-45341] [SC-143933][CORE] Korrigieren der Titelebene in den Kommentaren von KVStore.java, um sbt doc erfolgreich mit Java 17 auszuführen
• [SPARK-45334] [SC-143914][SQL] Entfernen eines irreführenden Kommentars in parquetSchemaConverter
• [SPARK-45337] [SC-143932][CORE] Umgestalten von AbstractCommandBuilder#getScalaVersion, um die Überprüfung für Scala 2.12 zu entfernen
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame-Methoden überspringen Pandas-Konvertierung
• [SPARK-43662] [SC-143923][PS][CONNECT] Unterstützen von merge_asof in Spark Connect
• [SPARK-44126] [SC-143751][CORE] Die Anzahl der Fehler bei der Shuffle-Migration sollte nicht erhöht werden, wenn der Zielausführer außer Betrieb genommen wurde
• [SPARK-44550] [SC-119768][SQL] Aktivieren von Richtigkeits-Fixes für null IN (empty list) unter ANSI
• [SPARK-45316] [SC-143783][CORE][SQL] Hinzufügen der neuen Parameter ignoreCorruptFiles/ignoreMissingFiles zu HadoopRDD und NewHadoopRDD
• [SPARK-45093] [SC-143414][CONNECT][PYTHON] Fehlerberichterstattung für addArtifacts-Abfrage
• [SPARK-44756] [SC-143787][CORE] Der Executor hängt, wenn RetryingBlockTransferor keinen Wiederholungsversuch einleiten kann
• [SPARK-45333] [SC-143768][CORE] Beheben eines Fehlers im Zusammenhang mit einer Einheit im Zusammenhang mit spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][SQL][CONNECT] Behandeln von NULL-Dateinamen in Stapelüberwachungen von Ausnahmen
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId fügt Spalteninformationen hinzu
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] Unterstützung von Zuordnungs- und Arrayparametern nach sql()
• [SPARK-45138] [SC-143309][SS] Definieren einer neuen Fehlerklasse und Anwenden dieser Klasse, wenn die Prüfpunktausführung des Zustands auf DFS fehlschlägt
• [SPARK-45297] [SC-143644][SQL] Problemumgehung für Datumsformatierer entfernen, der in SPARK-31827 hinzugefügt wurde
• [SPARK-44345] [SC-143593][CORE] Niedrigere unknown shuffle map output-Protokollebene zum WARNEN, wenn Shuffle-Migration aktiviert ist
• [SPARK-44463] [SC-143251][SS][CONNECT] Verbessern der Fehlerbehandlung für Connect Steaming Python Worker
• [SPARK-45207] [SC-143603][SQL][CONNECT] Implementieren der Fehleranreicherung für Scala-Client
• [SPARK-45240] [SC-143602][SQL][CONNECT] Implementieren der Fehleranreicherung für Python-Client
• [SPARK-45216] [SC-143288][SQL] Beheben nicht deterministischer Seeded-Dataset-APIs
• [SPARK-45251] [SC-143419][CONNECT] Feld „client_type“ hinzufügen für FetchErrorDetails
• [SPARK-45137] [SC-143001][CONNECT] Unterstützung von Zuordnungs-/Arrayparametern in parametrisiertem sql()
• [SPARK-45224] [SC-143257][PYTHON] Hinzufügen von Beispielen mit Zuordnung und Array als Parametern von sql()
• [SPARK-44622] [SC-143205][SQL][CONNECT] Implementieren von FetchErrorDetails-RPC
• [SPARK-45178] [SC-136089] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
• [SPARK-44823] [14.x][SC-142979][PYTHON] Aktualisieren von Schwarz auf 23.9.1 und Korrigieren von fehlerhafter Überprüfung
• [SPARK-45078] [SC-142954][SQL] Korrektur von array_insert ImplicitCastInputTypes funktionieren nicht
• [SPARK-44579] [SC-138428][SQL] Unterstützung von „Interrupt beim Abbrechen“ in SQLExecution
• [SPARK-45252] [SC-143371][CORE] Escapen Sie die Symbole größer/kleiner in den Kommentaren, damit sbt doc erfolgreich ausgeführt wird
• [SPARK-45189] [SC-142973][SQL] Erstellen von UnresolvedRelation aus TableIdentifier sollte das Katalogfeld enthalten
• [SPARK-45229] [SC-143254][CORE][UI] Anzeigen der Anzahl der Treiber, die im SUBMITTED-Status in MasterPage warten
• [SPARK-43453] Wiederherstellen von „[SC-143135][PS] Ignorieren der names von MultiIndex wenn axis=1 für concat steht

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 14.2 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)