Databricks Runtime 13.0 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.0, unterstützt von Apache Spark 3.4.0.

Diese Version wurde von Databricks im April 2023 veröffentlicht.

Neue Features und Verbesserungen

• H3-Ausdrücke unterstützen jetzt lineare geografische Regionen
• Ganglia durch Clustermetriken ersetzt
• Spark 3.4.0 veröffentlicht
• Photon gibt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und -ausführung geändert wird
• Neue Features für Predictive I/O
• Erweiterte Unterstützung für Vorhersage-E/A-Features
• Verwenden des Databricks-Connectors zum Herstellen einer Verbindung mit einem anderen Databricks-Arbeitsbereich
• Zusätzliche Kafka-Optionen für strukturiertes Streaming mit freigegebenem Cluster in Unity Catalog
• Überspringen von Delta-Tabellenänderungen mit strukturiertem Streaming
• CREATE TABLE LIKE-Feature für Delta-Tabellen
• Neue Spaltenfelder mit Metadaten über Dateiblockstart und -länge
• Neue H3-Geodatenfunktionen
• Neue integrierte SQL-Funktionen
• %sqlPython-Notebooks
• %pip startet Python nicht automatisch neu
• Python-Bibliotheken im Clusterbereich werden mithilfe eines Nicht-Stammbenutzers installiert

H3-Ausdrücke unterstützen jetzt lineare geografische Regionen

Die Funktionen h3_coverash3 und h3_coverash3string unterstützen jetzt lineare (linestring und multilinestring) geografische Regionen. Die Funktionen erzeugen eine minimale Abdeckung von H3-Zellen bei der angegebenen Auflösung. Siehe h3_coverash3 und h3_coverash3string.

Ganglia durch Clustermetriken ersetzt

Für Databricks Runtime-Versionen 13 und höher werden Ganglia-Metriken durch Azure Databricks-Clustermetriken ersetzt. Für Databricks Runtime-Versionen 12 und niedriger können Sie weiterhin Ganglia-Metriken verwenden. Wenn Sie über einen Workflow verfügen, der von Ganglia-Metriken abhängt, die nicht mit Clustermetriken erfüllt werden können, kontaktieren Sie Ihr Azure Databricks-Kontoteam. Siehe Anzeigen von Compute-Metriken.

Spark 3.4.0 veröffentlicht

Apache Spark 3.4.0 ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unterSpark Release 3.4.0.

Photon gibt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und -ausführung geändert wird

Databricks Runtime-Abfragen geben jetzt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und Aufruf aktualisiert wird. Vor dieser Änderung hat Photon eine Datei gelesen, auch wenn sich die Änderungszeit zwischen Abfrageplanung und -ausführung ändert, was zu unvorhersehbaren Ergebnissen führen kann.

Neue Features für Predictive I/O

Photon unterstützt jetzt gleitende Frames sowohl für den ZEILEN- als auch für den BEREICHS-Modus, wobei {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } verwendet wird.

Erweiterte Unterstützung für Vorhersage-E/A-Features

Photon erweiterte die Unterstützung für CSV-, AVRO- und DataFrame-Zwischenspeicherungsdatenquellen, wenn Ihr Schema ausschließlich Skalarspalten enthält. Die Unterstützung wird auch für geschachtelte Typen wie Zuordnungen, Strukturen und Arrays erweitert.

Verwenden des Databricks-Connectors zum Herstellen einer Verbindung mit einem anderen Databricks-Arbeitsbereich

Mit dem Azure Databricks-Connector können Sie eine Verbindung mit Computeressourcen herstellen, die in einem anderen Arbeitsbereich konfiguriert sind, und Ergebnisse an Ihren aktuellen Azure Databricks-Arbeitsbereich zurückgeben. Der Azure Databricks JDBC-Treiber ist jetzt in Databricks Runtime enthalten. Weitere Informationen finden Sie unter Verwenden des Databricks-Connectors zum Herstellen einer Verbindung mit einem anderen Databricks-Arbeitsbereich.

Zusätzliche Kafka-Optionen für strukturiertes Streaming mit freigegebenem Cluster in Unity Catalog

Sie können jetzt die Einstellungen kakfa.ssl.truststore.location und kafak.ssl.keystore.location zum Speichern von Kafka-Zertifikaten an externen Speicherorten verwenden, die von Unity Catalog verwaltet werden, wenn Sie strukturiertes Streaming in Shared Access-Clustern verwenden. Sie können keine Speicherorte im DBFS-Stamm verwenden.

Überspringen von Delta-Tabellenänderungen mit strukturiertem Streaming

Sie können jetzt skipChangeCommits verwenden, um Datenänderungscommits in der Delta-Tabelle für die Vorgänge UPDATE, MERGE und DELETE zu ignorieren. Dadurch wird ignoreChanges ersetzt, was jetzt veraltet ist. Weitere Informationen finden Sie unter Ignorieren von Updates und Löschungen.

CREATE TABLE LIKE-Feature für Delta-Tabellen

CREATE TABLE LIKE wird jetzt unterstützt, wenn Delta-Tabellen verwendet werden.

Neue Spaltenfelder mit Metadaten über Dateiblockstart und -länge

Sie können nun die folgenden Metadateninformationen für Eingabedateien mit der _metadata Spalte abrufen: file_block_start und file_block_length. Weitere Informationen finden Sie unter Dateimetadatenspalte.

Neue H3-Geodatenfunktionen

Die neuen h3_coverash3- und h3_coverash3string-Ausdrücke stehen für die Geodatenverarbeitung zur Verfügung, wenn Photon aktiviert ist. Weitere Informationen finden Sie unter H3-Geodatenfunktionen.

Neue integrierte SQL-Funktionen

Die folgenden analytischen Funktionen wurden hinzugefügt:

• array_insert(array, index, elem) Gibt ein erweitertes array wieder, wo elem an der Position index eingefügt wird.
• luhn_check(numStr) Gibt true wieder, wenn numStr die Luhn Algorithmus Prüfung durchläuft.

%sql in Python-Notebooks

Auf alle nicht leeren %sql Ergebnisse in Python-Notebooks kann jetzt über _sqldf oder das Ausgabezwischenspeicherungssystem von IPython zugegriffen werden. Dies vereinfacht die Verwendung des DataFrame-Ergebnisses in Python. Dies ist ein Behavior Change gegenüber früheren DBR-Versionen, wobei _sqldf nicht immer neu zugewiesen wurde.

_sqldf wird für ein %sql Zellergebnis nicht neu zugewiesen, wenn die Zelle mit paralleler SQL-Zellenausführung ausgeführt wurde.

%pip startet Python nicht automatisch neu

Nach dem Ausführen von %pip-Befehlen in Python-Notebooks, die virtualEnv ändern, startet Databricks den Python-Prozess nicht mehr automatisch neu. Um den Python-Prozess neu zu starten, rufen Sie dbutils.library.restartPython() auf. Mit dieser Änderung verhalten sich %pip-Befehle auf Databricks ähnlich wie Jupyter Notebooks und sind mit den Befehlen !pip und %sh pipkonsistent. Databricks empfiehlt %pip anstelle von !pip oder %sh pip.

Python-Bibliotheken im Clusterbereich werden mithilfe eines Nicht-Stammbenutzers installiert

Bibliotheken werden jetzt mithilfe eines Nicht-Stammbenutzers installiert, der für Die Installation von Bibliotheken verantwortlich ist. Wenn Sie das Pip-Installationsverhalten in Initialisierungsskripts konfigurieren möchten, verwenden Sie die [Datei https://pip.pypa.io/en/stable/topics/configuration/#configuration-files auf globaler Ebene].

Fehlerkorrekturen

• In den %sh-Befehlen wurden die folgenden Korrekturen vorgenommen:
  • Die Ausgabe, die keine UTF-8-Zeichen enthält, wird jetzt unterstützt.
  • Teilprozesse werden jetzt unterbrochen, wenn der Befehl abgebrochen wird.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • asttokens von 2.0.5 auf 2.2.1
  • black von 22.3.0 auf 22.6.0
  • boto3 von 1.21.32 auf 1.24.28
  • botocore von 1.24.32 auf 1.27.28
  • certifi von 2021.10.8 auf 2022.9.14
  • cffi von 1.15.0 auf 1.15.1
  • cryptography von 3.4.8 auf 37.0.1
  • Cython von 0.29.28 auf 0.29.32
  • dbus-python von 1.2.16 auf 1.2.18
  • docstring-to-markdown von 0.11 auf 0.12
  • executing von 0.8.3 auf 1.2.0
  • facets-overview von 1.0.0 auf 1.0.2
  • fastjsonschema von 2.16.2 auf 2.16.3
  • filelock von 3.9.0 auf 3.10.7
  • ipykernel von 6.15.3 auf 6.17.1
  • ipython von 8.5.0 auf 8.10.0
  • joblib von 1.1.1 auf 1.2.0
  • jsonschema von 4.4.0 auf 4.16.0
  • jupyter-client von 6.1.12 auf 7.3.4
  • kiwisolver von 1.3.2 auf 1.4.2
  • matplotlib von 3.5.1 auf 3.5.2
  • matplotlib-inline von 0.1.2 auf 0.1.6
  • nbformat von 5.3.0 auf 5.5.0
  • notebook von 6.4.8 auf 6.4.12
  • pandas von 1.4.2 auf 1.4.4
  • Pillow von 9.0.1 auf 9.2.0
  • pip von 21.2.4 auf 22.2.2
  • platformdirs von 2.6.2 auf 2.5.2
  • plotly von 5.6.0 auf 5.9.0
  • prometheus-client von 0.13.1 auf 0.14.1
  • prompt-toolkit von 3.0.20 auf 3.0.36
  • psutil von 5.8.0 auf 5.9.0
  • pyflakes von 2.5.0 auf 3.0.1
  • PyGObject von 3.36.0 auf 3.42.1
  • pyparsing von 3.0.4 auf 3.0.9
  • pyright von 1.1.283 auf 1.1.294
  • python-lsp-server von 1.6.0 auf 1.7.1
  • pytz von 2021.3 auf 2022.1
  • pyzmq von 22.3.0 auf 23.2.0
  • requests von 2.27.1 auf 2.28.1
  • rope von 0.22.0 auf 1.7.0
  • s3transfer von 0.5.0 auf 0.6.0
  • scikit-learn von 1.0.2 auf 1.1.1
  • scipy von 1.7.3 auf 1.9.1
  • setuptools: von 61.2.0 auf 63.4.1
  • ssh-import-id von 5.10 auf 5.11
  • stack-data von 0.2.0 auf 0.6.2
  • testpath von 0.5.0 auf 0.6.0
  • tomli von 1.2.2 auf 2.0.1
  • ujson von 5.1.0 auf 5.4.0
  • urllib3 von 1.26.9 auf 1.26.11
  • virtualenv von 20.8.0 auf 20.16.3
  • whatthepatch von 1.0.4 auf 1.0.2
  • wheel von 0.37.0 auf 0.37.1
• Aktualisierte R-Bibliotheken:
  • arrow von 10.0.0 auf 10.0.1
  • bit von 4.0.4 auf 4.0.5
  • broom von 1.0.1 auf 1.0.3
  • bslib von 0.4.1 auf 0.4.2
  • chron von 2.3-58 auf 2.3-59
  • cli von 3.4.1 auf 3.6.0
  • colorspace von 2.0-3 auf 2.1-0
  • curl von 4.3.3 auf 5.0.0
  • data.table von 1.14.4 auf 1.14.6
  • dbplyr von 2.2.1 auf 2.3.0
  • digest von 0.6.30 auf 0.6.31
  • dplyr von 1.0.10 auf 1.1.0
  • e1071 von 1.7-12 auf 1.7-13
  • evaluate von 0.18 auf 0.20
  • fansi von 1.0.3 auf 1.0.4
  • fontawesome von 0.4.0 auf 0.5.0
  • forcats von 0.5.2 auf 1.0.0
  • fs von 1.5.2 auf 1.6.1
  • future von 1.29.0 auf 1.31.0
  • gargle von 1.2.1 auf 1.3.0
  • gert von 1.9.1 auf 1.9.2
  • glmnet von 4.1-4 auf 4.1-6
  • globals von 0.16.1 auf 0.16.2
  • gower von 1.0.0 auf 1.0.1
  • highr von 0.9 auf 0.10
  • htmltools von 0.5.3 auf 0.5.4
  • htmlwidgets von 1.5.4 auf 1.6.1
  • httpuv von 1.6.6 auf 1.6.8
  • isoband von 0.2.6 auf 0.2.7
  • jsonlite von 1.8.3 auf 1.8.4
  • knitr von 1.40 auf 1.42
  • lava von 1.7.0 auf 1.7.1
  • listenv von 0.8.0 auf 0.9.0
  • lubridate von 1.9.0 auf 1.9.1
  • markdown von 1.3 auf 1.5
  • modelr von 0.1.9 auf 0.1.10
  • openssl von 2.0.4 auf 2.0.5
  • parallelly von 1.32.1 auf 1.34.0
  • pkgbuild von 1.3.1 auf 1.4.0
  • pkgdown von 2.0.6 auf 2.0.7
  • pkgload von 1.3.1 auf 1.3.2
  • plyr von 1.8.7 auf 1.8.8
  • progressr von 0.11.0 auf 0.13.0
  • purrr von 0.3.5 auf 1.0.1
  • ragg von 1.2.4 auf 1.2.5
  • Rcpp von 1.0.9 auf 1.0.10
  • readxl von 1.4.1 auf 1.4.2
  • recipes von 1.0.3 auf 1.0.4
  • rmarkdown von 2.18 auf 2.20
  • RODBC von 1.3-19 auf 1.3-20
  • roxygen2 von 7.2.1 auf 7.2.3
  • RSQLite von 2.2.18 auf 2.2.20
  • sass von 0.4.2 auf 0.4.5
  • shiny von 1.7.3 auf 1.7.4
  • sourcetools von 0.1.7 auf 0.1.7-1
  • sparklyr von 1.7.8 auf 1.7.9
  • SparkR von 3.3.2 auf 3.4.0
  • spatial von 7.3-11 auf 7.3-15
  • stringi von 1.7.8 auf 1.7.12
  • stringr von 1.4.1 auf 1.5.0
  • survival von 3.4-0 auf 3.5-3
  • testthat von 3.1.5 auf 3.1.6
  • tidyr von 1.2.1 auf 1.3.0
  • timechange von 0.1.1 auf 0.2.0
  • timeDate von 4021.106 auf 4022.108
  • tinytex von 0.42 auf 0.44
  • utf8 von 1.2.2 auf 1.2.3
  • vctrs von 0.5.0 auf 0.5.2
  • vroom von 1.6.0 auf 1.6.1
  • whisker von 0.4 auf 0.4.1
  • xfun von 0.34 auf 0.37
  • yaml von 2.3.6 auf 2.3.7
• Aktualisierte Java-Bibliotheken:
  • com.amazonaws.aws-java-sdk-autoscaling von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-config von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-core von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-directory von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-ecs von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-efs von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-emr von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-glacier von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-glue von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-iam von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-importexport von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-kms von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-lambda von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-logs von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-rds von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-redshift von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-route53 von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-s3 von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-ses von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-sns von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-sqs von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-ssm von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-sts von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-Unterstützung von 1.12.189 auf 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces von 1.12.189 auf 1.12.390
  • com.amazonaws.jmespath-java von 1.12.189 auf 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations von 2.13.4 auf 2.14.2
  • com.fasterxml.jackson.core.jackson-core von 2.13.4 auf 2.14.2
  • com.fasterxml.jackson.core.jackson-databind von 2.13.4.2 auf 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor von 2.13.4 auf 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda von 2.13.4 auf 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer von 2.13.4 auf 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 von 2.13.4 auf 2.14.2
  • com.github.luben.zstd-jni von 1.5.2-1 auf 1.5.2-5
  • com.google.code.gson.gson von 2.8.6 auf 2.8.9
  • com.google.crypauf.tink.tink von 1.6.1 auf 1.7.0
  • com.h2database.h2 von 2.0.204 auf 2.1.214
  • com.jcraft.jsch von 0.1.50 auf 0.1.55
  • com.ning.compress-lzf von 1.1 auf 1.1.2
  • commons-fileupload.commons-fileupload von 1.3.3 auf 1.5
  • dev.ludovic.netlib.arpack von 2.2.1 auf 3.0.3
  • dev.ludovic.netlib.blas von 2.2.1 auf 3.0.3
  • dev.paket.netlib.lapack von 2.2.1 auf 3.0.3
  • io.delta.delta-sharing-spark_2.12 von 0.6.9 bis 0.6.3
  • io.dropwizard.metrics.metrics-core von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-graphite von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-jmx von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-json von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-jvm von 4.1.1 auf 4.2.10
  • io.dropwizard.metrics.metrics-servlets von 4.1.1 auf 4.2.10
  • io.netty.netty-all von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-buffer von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-codec von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-common von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-handler von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-resolver von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-transport von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-transport-classes-epoll von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue von 4.1.74.Final auf 4.1.87.Final
  • io.netty.netty-transport-native-unix-common von 4.1.74.Final auf 4.1.87.Final
  • joda-time.joda-time von 2.10.13 auf 2.12.1
  • net.razorvine.pickle von 1.2 auf 1.3
  • net.snowflake.snowflake-providers von 3.13.29 bis 3.13.22
  • org.antlr.antlr4-runtime von 4.8 auf 4.9.3
  • org.apache.ant.ant von 1.9.2 auf 1.9.16
  • org.apache.ant.ant-jsch von 1.9.2 auf 1.9.16
  • org.apache.ant.ant-launcher von 1.9.2 auf 1.9.16
  • org.apache.arrow.arrow-format von 7.0.0 auf 11.0.0
  • org.apache.arrow.arrow-memory-core von 7.0.0 auf 11.0.0
  • org.apache.arrow.arrow-memory-netty von 7.0.0 auf 11.0.0
  • org.apache.arrow.arrow-vector von 7.0.0 auf 11.0.0
  • org.apache.avro.avro von 1.11.0 auf 1.11.1
  • org.apache.avro.avro-ipc von 1.11.0 auf 1.11.1
  • org.apache.avro.avro-mapred von 1.11.0 auf 1.11.1
  • org.apache.httpcomponents.httpcore von 4.5.13 auf 4.5.14
  • org.apache.httpcomponents.httpcore von 4.4.14 auf 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api von 2.18.0 auf 2.19.0
  • org.apache.logging.log4j.log4j-api von 2.18.0 auf 2.19.0
  • org.apache.logging.log4j.log4j-core von 2.18.0 auf 2.19.0
  • org.apache.orc.orc-core von 1.7.8 bis 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce von 1.7.8 bis 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims von 1.7.8 bis 1.8.2
  • org.apache.xbean.xbean-asm9-shaded von 4.20 auf 4.22
  • org.apache.zookeeper.zookeeper von 3.6.2 auf 3.6.3
  • org.apache.zookeeper.zookeeper-jute von 3.6.2 auf 3.6.3
  • org.eclipse.jetty.jetty-client von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet von 9.4.46.v20220331 auf 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator von 6.1.0.Final auf 6.1.7.Final
  • org.mlflow.mlflow-spark von 2.1.1 auf 2.2.0
  • org.postgresql.postgresql von 42.3.3 auf 42.3.8
  • org.roaringbitmap.RoaringBitmap von 0.9.25 auf 0.9.39
  • org.roaringbitmap.shims von 0.9.25 auf 0.9.39
  • org.rocksdb.rocksdbjni von 6.28.2 auf 7.8.3
  • org.scala-lang.scala-compiler_2.12 von 2.12.14 auf 2.12.15
  • org.scala-lang.scala-library_2.12 von 2.12.14 auf 2.12.15
  • org.scala-lang.scala-reflect_2.12 von 2.12.14 auf 2.12.15
  • org.scalanlp.breeze-macros_2.12 von 1.2 auf 2.1.0
  • org.scalanlp.breeze_2.12 von 1.2 auf 2.1.0
  • org.slf4j.jcl-over-slf4j von 1.7.36 auf 2.0.6
  • org.slf4j.jul-to-slf4j von 1.7.36 auf 2.0.6
  • org.slf4j.slf4j-api von 1.7.36 auf 2.0.6
  • org.threeten.threeten-extra von 1.5.0 auf 1.7.1
  • org.wildfly.openssl.wildfly-openssl von 1.0.7.Final auf 1.1.3.Final
  • org.yaml.snakeyaml von 1.24 auf 1.33

Apache Spark

Databricks Runtime 13.0 enthält Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Strukturiertes Streaming
• Spark Connect
• PySpark
• MLLIB
• SparkR
• Live-Benutzeroberfläche und Verlaufsserverdienst
• Build

Spark SQL

Funktionen

• Unterstützung für DEFAULT-Werte für Spalten in Tabellen implementieren (SPARK-38334)
• Hinzufügen von Dataset.as(StructType) (SPARK-39625)
• Unterstützung von parametrisierter SQL (SPARK-41271, SPARK-42702)
• Hinzufügen von Entpivot/Melt (SPARK-38864, SPARK-39876)
• Unterstützung von „Lateral Column Alias References“ (SPARK-27561)
• Unterstützung der Ergebnis-Offset-Klausel (SPARK-28330, SPARK-39159)
• Unterstützung von Zeitstempel ohne Zeitzonendatentyp (SPARK-35662)
• Unterstützung von skalare Unterabfragen in der Zeitreise (SPARK-39306)
• Kompatibilität der Katalog-API mit dem 3-Layer-Namespace (SPARK-39235)
• Unterstützung von timestamp in Sekunden für TimeTravel mit Dataframe-Optionen (SPARK-39633)
• Hinzufügen von SparkSession.config(Map) (SPARK-40163)
• Ändern der Standarddatenbank für den Sitzungskatalogs wird unterstützt (SPARK-35242)
• Protobuf-Unterstützung für Spark – from_protobuf AND to_protobuf (SPARK-40654)
• Hinzufügen der WHEN NOT MATCHED BY SOURCE-Klausel zu MERGE INTO (SPARK-40921)
• Aufheben der Einschränkung für die Reihenfolge für CREATE TABLE-Spaltenoptionen (SPARK-40944)
• SQL-Äquivalent für Befehl zum Überschreiben des Dataframe (SPARK-40956)
• Unterstützung von Generieren ohne erforderliche Ausgabe von untergeordneten Elementen zum Hosten äußerer Verweise (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Hinzufügen von flatMapSortedGroups und cogroupSorted (SPARK-38591)
• Unterstützung von Unterabfragen mit korrelierten Ungleichheitsprädikaten (SPARK-36114)
• Unterstützung von Unterabfragen mit Korrelation über UNION/INTERSECT/EXCEPT (SPARK-36124)

ANSI-Compliance

• ANSI-Modus: Immer NULL zurückgeben bei ungültigem Zugriff auf die Zuordnungsspalte (SPARK-40066)
• Unterstützung doppelter Anführungszeichen (SPARK-40585)
• ANSI SQL-Modus: Round/Bround sollte einen Fehler beim Integerüberlauf zurückgeben (SPARK-42045)
• Unterstützung der Umwandlung von Integralen in ANSI-Intervalle (SPARK-40008)
• Unterstützung der Umwandlung von Dezimalstellen in ANSI-Intervallen (SPARK-40014)
• Rückgabe von weiter gefassten ANSI-Intervalltypen von Perzentilfunktionen (SPARK-40151)
• Unterstützung der Umwandlung von ANSI-Intervallen in Dezimalstellen (SPARK-39470)
• Unterstützung von Umwandlungsintervallen für Integrale im ANSI-Modus (SPARK-39451)
• Härten der Verwendung von SQLSTATE für Fehlerklassen (SPARK-41994)

Funktionen

• Unterstützung von Tabellenwertgeneratorfunktionen in der FROM-Klausel (SPARK-41594)
• Unterstützung von ANSI-Aggregationsfunktion: REGR_SXY (SPARK-37681)
• Unterstützung von ANSI-Aggregationsfunktion: REGR_R2 (SPARK-37641)
• Unterstützung von ANSI-Aggregationsfunktion: REGR_SXX (SPARK-37672)
• Unterstützung von ANSI-Aggregationsfunktion: REGR_SYY (SPARK-37702)
• Unterstützung von ANSI-Aggregationsfunktion: REGR_SLOPE (SPARK-39230)
• Unterstützung der ANSI-Aggregatfunktion: REGR_INTERCEPT (SPARK-37623)
• Unterstützung der ANSI-Aggregationsfunktion PERCENTILE_CONT als Fensterfunktion (SPARK-38219)
• Unterstützung von ANSI-Aggregationsfunktion: PERCENTILE_DISC (SPARK-37691)
• Unterstützung der SPLIT_PART-Funktion (SPARK-38063)
• Unterstützung der TRY_AVG-Funktion (SPARK-38589)
• Unterstützung der TRY_TO_BINARY-Funktion (SPARK-38590)
• Unterstützung der SQL-Funktionen TO_NUMBER und TRY_TO_NUMBER gemäß einer neuen Spezifikation (SPARK-38796)
• Unterstützung der allgemeinen ANSI-Wertspezifikation und -funktion – USER (SPARK-39138)
• Unterstützung von TO_CHAR- und TRY_TO_CHAR-Funktionen zum Formatieren von Dezimalwerten als Zeichenfolgen (SPARK-28516)
• Unterstützung der ANY_VALUE Aggregatfunktion (SPARK-39213)
• Unterstützung der EQUAL_NUL-Funktion (SPARK-39305)
• Unterstützung der Aggregatfunktion MEDIAN (SPARK-39320)
• Unterstützung der REGEXP_COUNT-Funktion (SPARK-39618)
• Unterstützung der REGEXP_INSTR-Funktion (SPARK-39744)
• Unterstützung der REGEXP_SUBSTR-Funktion (SPARK-39695)
• Unterstützung der UNPIVOT-Funktion (SPARK-39876)
• Unterstützung der TRY_TO_TIMESTAMP-Funktion (SPARK-39795)
• Unterstützung von Codierung/Decodierung der URL als integrierte Funktion und Aufräumen URL-bezogener Funktionen (SPARK-39741)
• Unterstützung der Aggregatfunktion MODE (SPARK-39808)
• Unterstützung der GET-Funktion (SPARK-40109)
• Hinzufügen von Funktionsaliasen: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Verbessern der TO_BINARY-Funktion (SPARK-40112)
• Unterstützung CURRENT_SCHEMA (SPARK-41323)
• Unterstützung der integrierten Datenmaskierungsfunktion MASK (SPARK-40687)
• Unterstützung für hohe Ordnungsfunktion: ARRAY_COMPACT (SPARK-41235)
• Unterstützung der ARRAY_APPEND-Funktion (SPARK-41232)
• Unterstützung der ARRAY_INSERT-Funktion (SPARK-41234)
• Unterstützung der LUHN_CHECK-Funktion (SPARK-42191)
• Hinzufügen von ARRAY_SORT(Spalte, Vergleich) (SPARK-39925)

Data Sources (Datenquellen)

• Unterstützung von Spaltenstatistiken in DS v2 (SPARK-41378)
• Storage Partitioned Join (SPJ) in DS v2 (SPARK-37375)
• Vorgänge auf Zeilenebene in DS v2 (SPARK-35801)
• Hinzufügen des SupportsReportOrdering-Mix in der Schnittstelle für DS v2 Scan (SPARK-38647)
• Ableitung des DATE-Typs für die Inferenz des CSV-Schemas (SPARK-39469)
• Unterstützung Treibermesswerte in der benutzerdefinierten Messwert-API von DS v2 (SPARK-39635)
• Unterstützung der DS v2-Funktion beim Schreiben (SPARK-39607)
• StringEndsWith/Contains-Unterstützung für Pushen in Parquet, damit wir den Wörterbuchfilter nutzen können (SPARK-39002)
• Unterstützung von UDT im vektorisierten Spark Parquet-Reader (SPARK-39086)
• Erweiterung der METADATA-Spalte zur Unterstützung von Zeilenindizes für Parquet-Dateien (SPARK-37980)
• Unterstützung beim Lesen des Parquet-Typs FIXED_LEN_BYTE_ARRAY (SPARK-41096)
• Optimierung der Reihenfolge der Filter-Prädikate (SPARK-40045)
• Unterstützung von CTE- und temporären Tabellenabfragen mit MSSQL JDBC (SPARK-37259)
• Unterstützung von ignoreCorruptFiles und ignoreMissingFiles in den Datenquellenoptionen (SPARK-38767)
• Pull-Ausführung von v1 write to WriteFiles (SPARK-41407)
• Hinzufügen eines schreibseitigen Zeichenabstandes zum Abdecken externer Datendateien (SPARK-40697)

Abfrageoptimierung

• Nicht korrelierte skalare Unterabfragen zusammenführen (SPARK-34079)
• Standardmäßige Aktivierung von Bloom-Filterjoins (SPARK-38841)
• Entfernen von unnötigen Unterschieden im Aggregatausdruck durch distinctKeys (SPARK-38832)
• Prädikat-Pushdowns und Spaltenbereinigung für deduplizierte CTEs unterstützen (SPARK-37670)
• Entfernen des äußeren Joins, wenn Aggregatfunktionen auf gestreamter Seite doppelt unabhängig sind (SPARK-38886)
• Entfernen der linken/rechten äußeren Verknüpfung, wenn nur die Spalten der linken/rechten Seite ausgewählt sind und die Verknüpfungsschlüssel auf der anderen Seite eindeutig sind (SPARK-39172)
• Optimieren der globalen Sortierung in RepartitionByExpression (SPARK-39911)
• Optimieren der TransposeWindow Regel (SPARK-38034)
• Verbessern von EliminateSorts zur Unterstützung des Entfernens von Sortierungen über LocalLimit (SPARK-40050)
• Pushen des lokalen Limits an beiden Seiten, wenn die Verknüpfungsbedingung leer ist (SPARK-40040)
• Hinzufügen des PushProjectionThroughLimit für Optimierer (SPARK-40501)
• Unterstützung von PIVOT/UNPIVOT mit untergeordneten JOIN-Elementen (SPARK-41195)
• Unterstützung der Spaltenbeschneidung mit mehreren nicht deterministischen Filtern (SPARK-41017)
• Verbessern der Ausgabepartitionierung und -reihenfolge mit AQE-Cache (SPARK-41048)
• Verbessern der Multi-Like-Leistung durch Erstellen eines Prädikats für eine ausgeglichene Ausdrucksstruktur (SPARK-41167)
• Sort entfernen, wenn es RepartitionByExpression untergeordnet ist (SPARK-36703)
• Verwenden verfügbarer Spaltenstatistiken aus abgeschlossenen Abfragephasen (SPARK-39991)
• Wiederverwenden von Ausdrücken in WindowSpecDefinition (SPARK-41805)
• Verbessern von AliasAwareOutputPartitioning und AliasAwareQueryOutputOrdering, um alle Aliase zu berücksichtigen (SPARK-40086, SPARK-42049)
• Pushdownlimit über Python-UDFs (SPARK-42115)

Codegenerierung und Abfrageausführung

• Einstellung, dass defaultJoin in BroadcastNestedLoopJoinExec parallel ausgeführt wird (SPARK-40487)
• Codegen-Unterstützung für HiveGenericUDF (SPARK-42051)
• Einführung von Shuffle auf SinglePartition (SPARK-41986)
• Macht DPP-Unterstützung für die Bereinigungsseite hat Union (SPARK-39217)

Andere wichtige Änderungen

• Unterstützung der Sammlung automatischer Partitionsstatistiken (SPARK-38573)
• Formatieren von Fehlermeldungen im Thrift Server (SPARK-40098)
• Hinzufügen einer Erweiterungs-API zum Durchführen der Plannormalisierung für die Zwischenspeicherung (SPARK-41183)
• Umgestalten von Spark-Typen durch Einführung physischer Typen (SPARK-41226)
• OneOf-Feldunterstützung und Rekursionsüberprüfungen (SPARK-41396)
• Zentralisieren der Spaltenauflösungslogik (SPARK-41405)
• Verbessern der Planänderungsüberprüfung (SPARK-42081)
• Einführung von SparkPath für typesafety (SPARK-41970)
• Auslösen einer Ausnahme für db_name.view_name beim Erstellen einer temporären Ansicht durch die Dataset-API (SPARK-41090)
• Ändern des Standardwerts des Arguments der Mask-Funktion von -42070 zu NULL (SPARK-42070)

Spark Core

Decommission

• Vermeiden Sie unnötige erneute Aufgabenausführungen auf außer Betrieb gesetztem Executor, der verloren geht, wenn Shuffle-Daten migriert werden (SPARK-41469)
• Fehler beim Abrufen der Phase ignorieren, verursacht durch außer Betrieb gesetzten Executor (SPARK-40481)
• Standardmäßiges Aktivieren von spark.storage.decommission. (rdd|shuffle) Blocks.enabled (SPARK-40198)
• Hinzufügen der Unterstützung für die Außerbetriebnahme von YARN, wenn ESS deaktiviert ist (SPARK-30835)

Scheduler

• Unterstützung des lokalen Clustermodus für die Phasenplanung (SPARK-41949)
• Unterstützung für Aufgabenressourcenprofil auf Phasenebene für eigenständige Cluster, wenn die dynamische Zuordnung deaktiviert ist (SPARK-39853)
• Verzögerung von onDisconnected, damit der Treiber ExecutorExitCode empfangen kann (SPARK-39957)
• Verbessern der Spekulation durch die Phasenaufgaben-Metriken (SPARK-32170)
• Ressourcenplanungsunterstützung auf Phasenebene für eigenständige Cluster hinzugefügt (SPARK-39062)
• Verbessern des LaunchTask-Prozesses, um Stagefehler zu vermeiden, die durch das fehlgeschlagene Senden von LaunchTask-Nachrichten verursacht werden (SPARK-39955)

Shuffle

• Hinzufügen von clientseitigen Push-basierten Shuffle-Lesemetriken (SPARK-36620)
• Serverseitige Shuffle-Metriken für pushbasiertes Shuffle (SPARK-33573)
• Sicherstellen, dass mergedShuffleCleaner vor dem Schließen der Datenbank heruntergefahren wurde (SPARK-40186)
• Hinzufügen von RocksDB-Unterstützung für shuffle-Dienststatusspeicher (SPARK-38888)
• Kapseln von LevelDB zum Speichern des Remote-/externen Shufflezustands als DB (SPARK-38909)
• Standardmäßiges Aktivieren von spark.dynamicAllocation.shuffleTracking.enabled (SPARK-3984)
• Aktivieren des Push-basierten Shuffle-Dienstes, um den Status in der DB auf NM-Ebene zu speichern, um den Neustart zu erhalten (SPARK-33236)
• Entfernen von Shuffleblöcken mithilfe des Shuffle-Diensts für freigegebene Executors (SPARK-37618)

Andere wichtige Änderungen

• Unterstützung von nur IPv6-Umgebung (SPARK-39457)
• Standardmäßiges Aktivieren von spark.kryo.unsafe (SPARK-42137)
• Nicht zulassen beliebiger benutzerdefinierter Klassenpfade mit Proxy-Benutzer im Clustermodus (SPARK-41958)
• Erneute Registrierung von BlockManager vermeiden, wenn der Executor verloren gegangen ist (SPARK-41360)
• Entfernen der Einschränkung, dass ein einzelnes Vorgangsergebnis in 2 GB passen muss (SPARK-40622)
• Entfernen der Unterstützung für veraltete spark.akka.*-Konfigurationen (SPARK-40401)
• Ändern der Standardprotokollierung in stderr, um mit dem Verhalten von log4j konsistent zu sein (SPARK-40406)
• Ausschließen von DirectTaskResult-Metadaten beim Berechnen der Ergebnisgröße (SPARK-40261)
• Zulassen des Anpassens der anfänglichen Partitionsnummer im take()-Verhalten (SPARK-40211)
• Verwenden einer unterbrechbaren Sperre anstelle einer synchronisierten in Executor.updateDependencies() (SPARK-40235)
• Taskfehler sollten immer Taskfehlerlistener auslösen (SPARK-40106)
• Hinzufügen der Möglichkeit zum selektiven Deaktivieren der Überwachung oder Abfrage (SPARK-36462)
• Keine Zwischenspeicherung von nicht serialisierten Broadcast-Relationen auf dem Treiber (SPARK-39983)
• Beheben des Deadlock zwischen TaskMemoryManager und UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Verfügbarmachen der Zahlenpartitionen in einer Phase für TaskContext (SPARK-38679)
• Konfigurieren des Arbeitsspeichermehraufwands (SPARK-38194)
• Vermeidung der Verwendung von bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)

Strukturiertes Streaming

Hauptfeatures

• Asynchrone Fortschrittsverfolgung (SPARK-39591)
• Beliebige zustandsbehaftete Verarbeitung im strukturierten Streaming mit Python (SPARK-40434)
• Protobuf-Unterstützung für strukturiertes Streaming (SPARK-40653)
• Korrektur der späten Datensatzfilterung zur Unterstützung der Verkettung zustandsbehafteter Operatoren (SPARK-40925)

Andere wichtige Änderungen

• Einführung eines Streaming-Prüfpunktdatei-Managers, basierend auf der Abortable-Schnittstelle von Hadoop (SPARK-40039)
• Veralteter Trigger.Once und Höherstufen von Trigger.AvailableNow (SPARK-39805)
• Freigabe der Informationen der Katalogtabelle für den logischen Plan in der Streaming-Abfrage (SPARK-39564)
• Unterstützung des Sammelns von Metriken aus Streamingsenken (SPARK-38564)
• Veraltete DStream-API (SPARK-42075)
• Standardwert von Konfiguration zum Abrufen des Kafka-Versatzes gespiegelt (SPARK-40844)
• Bereitstellen einer geklonten Spark-Sitzung in DataFrame in der Benutzerfunktion für die foreachBatch-Senke in PySpark (SPARK-41379)

Spark Connect

Python-Client

• Implementieren der DataFrame-API (SPARK-41279)
• Implementieren der Spalten-API (SPARK-41282)
• Implementieren der Funktionen-API (SPARK-41283)
• Implementieren der SparkSession-API (SPARK-41281)
• Implementieren der E/A-API (SPARK-41284)
• Implementieren der Katalog-API (SPARK-41289)
• Unterstützung für benutzerdefinierte Funktionen in Python (SPARK-41661)
• Unterstützung für pandas/arrow function API (SPARK-42393)
• Unterstützung für runtime-SQL-Konfiguration (SPARK-42499)
• Build, Paket und Infrastruktur für Spark Connect (SPARK-41286)
• Typanmerkungen für Spark Connect Python Client (SPARK-40451)

Scala Client

• Implementieren eines einfachen Scala-Clients (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Implementieren der SparkSession-API (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Implementieren der Dataframe-API (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Implementieren der Spalten-API (SPARK-42441, SPARK-42560)
• Implementieren der Funktionen-API (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Implementieren der I/O API (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Implementieren der Runtime-SQL-Konfiguration (SPARK-42586)
• Grundlegende Unterstützung für benutzerdefinierte Funktionen (SPARK-42283, SPARK-42653, SPARK-42543)
• Basic Typed API-Unterstützung (SPARK-42580, SPARK-42605)
• Testinfrastruktur für Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Implementieren der REPL-Unterstützung (SPARK-42656, SPARK-42884)

PySpark

Pandas-API in Spark

• Wichtige Verbesserungen
  • Beliebige zustandsbehaftete Verarbeitung im strukturierten Streaming mit Python (SPARK-40434)
  • Implementieren fehlender Pandas-API-Parameter (SPARK-42883)
  • Pandas 1.5-Unterstützung (SPARK-40576)
• Hauptfeatures
  • Implementieren von Series.searchsorted (SPARK-40330)
  • Implementieren von Series.autocorr (SPARK-38774)
  • Implementieren von DataFrame.mode (SPARK-40138)
  • Implementieren von DataFrame.boxplot und DataFrame.plot.box (SPARK-38993)
  • Implementieren von DataFrame.corrwith (SPARK-38907)
  • Implementieren von DataFrame.resample und Series.resample (SPARK-39081)
  • Implementieren von DataFrame.interpolate und Series.interpolate (SPARK-38844)
  • Implementieren von DataFrame.ewm und Series.ewm (SPARK-38785)
  • Implementieren von GroupBy.prod (SPARK-40334)
  • Implementieren von GroupBy.nth (SPARK-40333)
  • Implementieren von GroupBy.quantile (SPARK-40332)
  • Implementieren von GroupBy.sem (SPARK-40305)
  • Implementieren von GroupBy.mad (SPARK-39284)
  • Implementieren von GroupBy.skew (SPARK-39246)
  • Implementieren von GroupBy.sem (SPARK-39129)
  • Unterstützung der GroupBy-Positionsindizierung (SPARK-38947)

Andere wichtige Änderungen

• Wichtige Verbesserungen
  • Bereitstellen eines Speicherprofilers für benutzerdefinierte PySpark-Funktionen (SPARK-40281)
  • Kompatibilität der Katalog-API mit dem 3-Layer-Namespace (SPARK-39235)
  • NumPy-Eingabe-Unterstützung in PySpark (SPARK-39405)
  • PySpark-Fehlerverbesserungen (SPARK-41597)
• Hauptfeatures
  • Unterstützung parametrisierter SQL in PySpark (SPARK-41666)
  • Implementieren der „Median“-Funktion (SPARK-40003)
  • Implementieren der „Mode“-Funktion (SPARK-40007)
  • Implementieren der „Unpivot/Melt“-Funktion (SPARK-39877)
  • Unterstützung für Varchar in PySpark (SPARK-39760)
  • Unterstützung für CharType in PySpark (SPARK-39809)

MLLIB

• Implementieren des PyTorch-Verteilers (SPARK-41589)
• Vereinheitlichen der Datenüberprüfung (SPARK-38584)
• Verringerung der Shufflegröße von ALS (SPARK-40476, SPARK-40745)
• Dedup isotonischer Regression duplizierter Features (SPARK-41008)
• KMeans blockiert die Eingangsvektoren (SPARK-30661)
• Hinzufügen der Relevanzbewertung für die nDCG-Auswertung (SPARK-39446)

SparkR

• Hinzufügen von Entpivot/Melt (SPARK-41267)
• Hinzufügen von array_sort(Spalte, Vergleich) (SPARK-40167)
• Unterstützung für mehrere Spaltenablagen in R (SPARK-40087)
• Arrow 9.0.0-Unterstützung mit SparkR (SPARK-40114)
• Kompatibilität der Katalog-API mit dem 3-Layer-Namespace (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Unterstützung für R 4.2.0 (SPARK-39372)

Live-Benutzeroberfläche und Verlaufsserverdienst

• Bessere Skalierbarkeit der Spark-Benutzeroberfläche und Treiberstabilität für große Anwendungen(SPARK-41053)
• Standardmäßiges Verwenden von RocksDB für spark.history.store.hybridStore.diskBackend (SPARK-42277)
• Gruppierung geschachtelter Ausführungen unter der Stammausführung (SPARK-41752)
• Anzeigen von Metrikeigenschaften im Tab „Umgebung“ (SPARK-39110)
• StagePage Eingabegröße/Datensätze werden nicht angezeigt, wenn die Datensätze größer als Null sind (SPARK-34777)
• Verbessern der JsonProtocol-Leistung der Ereignisprotokollierung, indem Jackson anstelle von Json4s verwendet wird (SPARK-39489)
• Unterstützung von spark.history.fs.update.batchSize (SPARK-39225)

Build

• Aktualisieren von cloudpickle auf v2.2.0 (SPARK-40991)
• Verwerfen der Unterstützung für Python 3.7 (SPARK-39861)
• Unterstützung für Python 3.11 (SPARK-41454)
• Aktualisieren von dev.ludovic.netlib auf 3.0.2 (SPARK-40251)
• Aktualisieren von breeze auf 2.0 (SPARK-39616)
• Aktualisieren der slf4j-Version auf 2.0.6 (SPARK-41561)
• Aktualisieren der kubernetes-client-Version auf 6.4.1 (SPARK-42362)
• Aktualisieren von rocksdbjni auf 7.9.2 ( SPARK-42129)
• Aktualisieren von Apache Arrow auf 11.0.0 (SPARK-42161)
• Upgrade von Apache Kafka auf 3.3.2 (SPARK-42109)

Wartungsupdates

Weitere Informationen finden Sie unter Wartungsupdates für Databricks Runtime 13.0.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 10.02.2023 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)