Databricks Runtime 13.0 (EoS)

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 13.0, con tecnología de Apache Spark 3.4.0.

Databricks publicó esta versión en abril de 2023.

Nuevas características y mejoras

• Las expresiones H3 ahora admiten zonas geográficas lineales
• Ganglia se reemplazó por métricas de clúster
• Se ha publicado Spark 3.4.0
• Photon devuelve un error si se modifica un archivo entre el planeamiento y la ejecución de consultas
• Nuevas características para E/S predictivas
• Soporte extendido para características de E/S predictivas
• Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks
• Opciones de Kafka adicionales para flujo estructurado con clúster compartido en Unity Catalog
• Omisión de modificaciones de tablas Delta con flujo estructurado
• Característica CREATE TABLE LIKE para tablas Delta
• Nuevos campos de columna de metadatos que denotan la longitud y el inicio del bloque de archivos
• Nuevas funciones geoespaciales H3
• Nuevas funciones integradas de SQL
• %sql en cuadernos de Python
• %pip no reinicia Python automáticamente
• Las bibliotecas de Python con ámbito de clúster se instalan mediante un usuario no raíz

Las expresiones H3 ahora admiten zonas geográficas lineales

Las h3_coverash3 funciones y h3_coverash3string ahora admiten zonas geográficas lineales (linestring y multilinestring). Las funciones producen un conjunto de cobertura mínimo de celdas H3 en la resolución especificada. Consulte h3_coverash3 y h3_coverash3string.

Ganglia se reemplazó por métricas de clúster

En las versiones 13 y posteriores de Databricks Runtime, las métricas de Ganglia se han remplazado por métricas de clúster de Azure Databricks. En las versiones 12 y posteriores de Databricks Runtime, puede seguir usando métricas de Ganglia. Si tiene un flujo de trabajo que depende de métricas de Ganglia que no se pueden satisfacer con métricas de clúster, póngase en contacto con el equipo de Azure Databricks. Consulte Visualización de métricas de proceso.

Se ha publicado Spark 3.4.0

Apache Spark 3.4.0 ya está disponible con carácter general. Consulte Versión 3.4.0 de Spark.

Photon devuelve un error si se modifica un archivo entre el planeamiento y la ejecución de consultas

Las consultas de Photon ahora devuelven un error si se actualiza un archivo entre el planeamiento y la ejecución de consultas. Antes de este cambio, Photon leía un archivo incluso si su tiempo de modificación cambiaba entre el planeamiento y la ejecución de consultas, lo que podía provocar resultados impredecibles.

Nuevas características para E/S predictivas

Photon ahora admite marcos deslizantes, tanto para los modos ROWS como RANGE, mediante {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Soporte extendido para características de E/S predictivas

Soporte extendido de Photon para orígenes de datos de almacenamiento en caché CSV, AVRO y DataFrame cuando el esquema contiene exclusivamente columnas escalares. También se extiende el soporte para tipos anidados, como mapas, estructuras y matrices.

Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks

El conector de Azure Databricks permite conectarse a recursos de proceso configurados en otra área de trabajo y devolver resultados al área de trabajo de Azure Databricks actual. El controlador JDBC de Azure Databricks ahora se incluye en Databricks Runtime. Consulte Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks.

Opciones de Kafka adicionales para flujo estructurado con clúster compartido en Unity Catalog

Ahora puede usar los valores kakfa.ssl.truststore.location y kafak.ssl.keystore.location para almacenar certificados de Kafka en ubicaciones externas administradas por Unity Catalog al usar el flujo estructurado en clústeres de acceso compartido. No puede usar ubicaciones en la raíz de DBFS.

Omisión de modificaciones de tablas Delta con flujo estructurado

Ahora puede usar skipChangeCommits para omitir confirmaciones de cambio de datos en tablas Delta para operaciones UPDATE, MERGE y DELETE. Esto reemplaza a ignoreChanges que ahora está en desuso. Consulte Omisión de actualizaciones y eliminaciones.

Característica CREATE TABLE LIKE para tablas Delta

CREATE TABLE LIKE ahora se admite cuando se usan tablas Delta.

Nuevos campos de columna de metadatos que denotan la longitud y el inicio del bloque de archivos

Ahora puede obtener la siguiente información de metadatos para los archivos de entrada con la columna _metadata: file_block_start y file_block_length. Para obtener más información, consulte Columna de metadatos de archivo.

Nuevas funciones geoespaciales H3

Las nuevas expresiones h3_coverash3 y h3_coverash3string están disponibles para el procesamiento geoespacial cuando Photon está habilitado. Consulte funciones geoespaciales H3

Nuevas funciones integradas de SQL

Se han agregado las siguientes funciones:

• array_insert(array, index, elem) Devuelve un objeto array expandido donde elem se inserta en la posición index.
• luhn_check(numStr) Devuelve true si numStr pasa la comprobación del algoritmo de Luhn.

%sqlen cuadernos de Python

Todos los resultados %sql no vacíos en los cuadernos de Python ahora son accesibles mediante _sqldf o el sistema de almacenamiento en caché de salida de IPython. Esto simplifica el uso del resultado de DataFrame en Python. Este es un cambio de comportamiento con respecto a las versiones anteriores de DBR, dado que antes, no siempre se asignaba _sqldf.

_sqldf no se reasigna en un resultado de celda de %sql si la celda se ejecutó mediante la ejecución paralela de celdas de SQL.

%pip no reinicia Python automáticamente

Después de ejecutar comandos %pip dentro de cuadernos de Python que modifican el objeto virtualEnv, Databricks ya no reinicia automáticamente el proceso de Python. Para reiniciar el proceso de Python, llame a dbutils.library.restartPython(). Con este cambio, los comandos %pip de Databricks se comportan de forma similar a los cuadernos de Jupyter Notebook y son coherentes con los comandos !pip y %sh pip. Databricks recomienda %pip en lugar de !pip o %sh pip.

Las bibliotecas de Python con ámbito de clúster se instalan mediante un usuario no raíz

Las bibliotecas ahora se instalan mediante un usuario no raíz que es responsable de las instalaciones de bibliotecas. Si quiere configurar el comportamiento de instalación de PIP en scripts de inicialización, use el [archivo de nivel global https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).

Correcciones de errores

• En los comandos %sh, se han realizado las siguientes correcciones:
  • Ahora se admite la salida que contiene caracteres que no son UTF-8.
  • Los subprocesos ahora se interrumpen cuando se cancela el comando.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • asttokens de 2.0.5 a 2.2.1
  • black de 22.3.0 a 22.6.0
  • boto3 de 1.21.32 a 1.24.28
  • botocore de 1.24.32 a 1.27.28
  • certifi de 2021.10.8 a 2022.9.14
  • cffi de 1.15.0 a 1.15.1
  • cryptography de 3.4.8 a 37.0.1
  • Cython de 0.29.28 a 0.29.32
  • dbus-python de 1.2.16 a 1.2.18
  • docstring-to-markdown de 0.11 a 0.12
  • executing de 0.8.3 a 1.2.0
  • facets-overview de 1.0.0 a 1.0.2
  • fastjsonschema de 2.16.2 a 2.16.3
  • filelock de 3.9.0 a 3.10.7
  • ipykernel de 6.15.3 a 6.17.1
  • ipython de 8.5.0 a 8.10.0
  • joblib de 1.1.1 a 1.2.0
  • jsonschema de 4.4.0 a 4.16.0
  • jupyter-client de 6.1.12 a 7.3.4
  • kiwisolver de 1.3.2 a 1.4.2
  • matplotlib de 3.5.1 a 3.5.2
  • matplotlib-inline de 0.1.2 a 0.1.6
  • nbformat de 5.3.0 a 5.5.0
  • notebook de 6.4.8 a 6.4.12
  • pandas de 1.4.2 a 1.4.4
  • Pillow de 9.0.1 a 9.2.0
  • pip de 21.2.4 a 22.2.2
  • platformdirs de 2.6.2 a 2.5.2
  • plotly de 5.6.0 a 5.9.0
  • prometheus-client de 0.13.1 a 0.14.1
  • prompt-toolkit de 3.0.20 a 3.0.36
  • psutil de 5.8.0 a 5.9.0
  • pyflakes de 2.5.0 a 3.0.1
  • PyGObject de 3.36.0 a 3.42.1
  • pyparsing de 3.0.4 a 3.0.9
  • pyright de 1.1.283 a 1.1.294
  • python-lsp-server de 1.6.0 a 1.7.1
  • pytz de 2021.3 a 2022.1
  • pyzmq de 22.3.0 a 23.2.0
  • requests de 2.27.1 a 2.28.1
  • rope de 0.22.0 a 1.7.0
  • s3transfer de 0.5.0 a 0.6.0
  • scikit-learn de 1.0.2 a 1.1.1
  • scipy de 1.7.3 a 1.9.1
  • setuptools de 61.2.0 a 63.4.1
  • ssh-import-id de 5.10 a 5.11
  • stack-data de 0.2.0 a 0.6.2
  • testpath de 0.5.0 a 0.6.0
  • tomli de 1.2.2 a 2.0.1
  • ujson de 5.1.0 a 5.4.0
  • urllib3 de 1.26.9 a 1.26.11
  • virtualenv de 20.8.0 a 20.16.3
  • whatthepatch de 1.0.4 a 1.0.2
  • wheel de 0.37.0 a 0.37.1
• Bibliotecas de R actualizadas:
  • arrow de 10.0.0 a 10.0.1
  • bit de 4.0.4 a 4.0.5
  • broom de 1.0.1 a 1.0.3
  • bslib de 0.4.1 a 0.4.2
  • chron de 2.3-58 a 2.3-59
  • cli de 3.4.1 a 3.6.0
  • colorspace de 2.0-3 a 2.1-0
  • curl de 4.3.3 a 5.0.0
  • data.table de 1.14.4 a 1.14.6
  • dbplyr de 2.2.1 a 2.3.0
  • digest de 0.6.30 a 0.6.31
  • dplyr de 1.0.10 a 1.1.0
  • e1071 de 1.7-12 a 1.7-13
  • evaluate de 0.18 a 0.20
  • fansi de 1.0.3 a 1.0.4
  • fontawesome de 0.4.0 a 0.5.0
  • forcats de 0.5.2 a 1.0.0
  • fs de 1.5.2 a 1.6.1
  • future de 1.29.0 a 1.31.0
  • gargle de 1.2.1 a 1.3.0
  • gert de 1.9.1 a 1.9.2
  • glmnet de 4.1-4 a 4.1-6
  • globals de 0.16.1 a 0.16.2
  • gower de 1.0.0 a 1.0.1
  • highr de 0.9 a 0.10
  • htmltools de 0.5.3 a 0.5.4
  • htmlwidgets de 1.5.4 a 1.6.1
  • httpuv de 1.6.6 a 1.6.8
  • isoband de 0.2.6 a 0.2.7
  • jsonlite de 1.8.3 a 1.8.4
  • knitr de 1.40 a 1.42
  • lava de 1.7.0 a 1.7.1
  • listenv de 0.8.0 a 0.9.0
  • lubridate de 1.9.0 a 1.9.1
  • markdown de 1.3 a 1.5
  • modelr de 0.1.9 a 0.1.10
  • openssl de 2.0.4 a 2.0.5
  • parallelly de 1.32.1 a 1.34.0
  • pkgbuild de 1.3.1 a 1.4.0
  • pkgdown de 2.0.6 a 2.0.7
  • pkgload de 1.3.1 a 1.3.2
  • plyr de 1.8.7 a 1.8.8
  • progressr de 0.11.0 a 0.13.0
  • purrr de 0.3.5 a 1.0.1
  • ragg de 1.2.4 a 1.2.5
  • Rcpp de 1.0.9 a 1.0.10
  • readxl de 1.4.1 a 1.4.2
  • recipes de 1.0.3 a 1.0.4
  • rmarkdown de 2.18 a 2.20
  • RODBC de 1.3-19 a 1.3-20
  • roxygen2 de 7.2.1 a 7.2.3
  • RSQLite de 2.2.18 a 2.2.20
  • sass de 0.4.2 a 0.4.5
  • shiny de 1.7.3 a 1.7.4
  • sourcetools de 0.1.7 a 0.1.7-1
  • sparklyr de 1.7.8 a 1.7.9
  • SparkR de 3.3.2 a 3.4.0
  • spatial de 7.3-11 a 7.3-15
  • stringi de 1.7.8 a 1.7.12
  • stringr de 1.4.1 a 1.5.0
  • survival de 3.4-0 a 3.5-3
  • testthat de 3.1.5 a 3.1.6
  • tidyr de 1.2.1 a 1.3.0
  • timechange de 0.1.1 a 0.2.0
  • timeDate de 4021.106 a 4022.108
  • tinytex de 0.42 a 0.44
  • utf8 de 1.2.2 a 1.2.3
  • vctrs de 0.5.0 a 0.5.2
  • vroom de 1.6.0 a 1.6.1
  • whisker de 0.4 a 0.4.1
  • xfun de 0.34 a 0.37
  • yaml de 2.3.6 a 2.3.7
• Bibliotecas de Java actualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-config de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-core de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directory de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ecs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-efs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-emr de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glacier de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glue de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-iam de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-importexport de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kms de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-lambda de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-logs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-rds de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-redshift de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-route53 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-s3 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ses de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sns de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sqs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ssm de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sts de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-support de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.189 a 1.12.390
  • com.amazonaws.jmespath-java de 1.12.189 a 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-core de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 a 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 a 2.14.2
  • com.github.luben.zstd-jni de 1.5.2-1 a 1.5.2-5
  • com.google.code.gson.gson de 2.8.6 a 2.8.9
  • com.google.crypto.tink.tink de 1.6.1 a 1.7.0
  • com.h2database.h2 de 2.0.204 a 2.1.214
  • com.jcraft.jsch de 0.1.50 a 0.1.55
  • com.ning.compress-lzf de 1.1 a 1.1.2
  • commons-fileupload.commons-fileupload de 1.3.3 a 1.5
  • dev.ludovic.netlib.arpack de 2.2.1 a 3.0.3
  • dev.ludovic.netlib.blas de 2.2.1 a 3.0.3
  • dev.ludovic.netlib.lapack de 2.2.1 a 3.0.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.9 a 0.6.3
  • io.dropwizard.metrics.metrics-core de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-graphite de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jmx de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-json de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jvm de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-servlets de 4.1.1 a 4.2.10
  • io.netty.netty-all de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-buffer de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-codec de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-common de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-handler de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-resolver de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-epoll de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-native-unix-common de 4.1.74.Final a 4.1.87.Final
  • joda-time.joda-time de 2.10.13 a 2.12.1
  • net.razorvine.pickle de 1.2 a 1.3
  • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.22
  • org.antlr.antlr4-runtime de 4.8 a 4.9.3
  • org.apache.ant.ant de 1.9.2 a 1.9.16
  • org.apache.ant.ant-jsch de 1.9.2 a 1.9.16
  • org.apache.ant.ant-launcher de 1.9.2 a 1.9.16
  • org.apache.arrow.arrow-format de 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-core de 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-netty de 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-vector de 7.0.0 a 11.0.0
  • org.apache.avro.avro de 1.11.0 a 1.11.1
  • org.apache.avro.avro-ipc de 1.11.0 a 1.11.1
  • org.apache.avro.avro-mapred de 1.11.0 a 1.11.1
  • org.apache.httpcomponents.httpclient de 4.5.13 a 4.5.14
  • org.apache.httpcomponents.httpcore de 4.4.14 a 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api de 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-api de 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-core de 2.18.0 a 2.19.0
  • org.apache.orc.orc-core de 1.7.8 a 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.7.8 a 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims de 1.7.8 a 1.8.2
  • org.apache.xbean.xbean-asm9-shaded de 4.20 a 4.22
  • org.apache.zookeeper.zookeeper de 3.6.2 a 3.6.3
  • org.apache.zookeeper.zookeeper-jute de 3.6.2 a 3.6.3
  • org.eclipse.jetty.jetty-client de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator de 6.1.0.Final a 6.1.7.Final
  • org.mlflow.mlflow-spark de 2.1.1 a 2.2.0
  • org.postgresql.postgresql de 42.3.3 a 42.3.8
  • org.roaringbitmap.RoaringBitmap de 0.9.25 a 0.9.39
  • org.roaringbitmap.shims de 0.9.25 a 0.9.39
  • org.rocksdb.rocksdbjni de 6.28.2 a 7.8.3
  • org.scala-lang.scala-compiler_2.12 de 2.12.14 a 2.12.15
  • org.scala-lang.scala-library_2.12 de 2.12.14 a 2.12.15
  • org.scala-lang.scala-reflect_2.12 de 2.12.14 a 2.12.15
  • org.scalanlp.breeze-macros_2.12 de 1.2 a 2.1.0
  • org.scalanlp.breeze_2.12 de 1.2 a 2.1.0
  • org.slf4j.jcl-over-slf4j de 1.7.36 a 2.0.6
  • org.slf4j.jul-to-slf4j de 1.7.36 a 2.0.6
  • org.slf4j.slf4j-api de 1.7.36 a 2.0.6
  • org.threeten.threeten-extra de 1.5.0 a 1.7.1
  • org.wildfly.openssl.wildfly-openssl de 1.0.7.Final a 1.1.3.Final
  • org.yaml.snakeyaml de 1.24 a 1.33

Apache Spark

Databricks Runtime 13.0 incluye Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Structured Streaming
• Spark Connect
• PySpark
• MLLIB
• SparkR
• UI en directo y servicio de servidor de historial
• Compilar

Spark SQL

Características

• Implementación de compatibilidad con valores DEFAULT para columnas en tablas (SPARK-38334)
• Adición de Dataset.as(StructType) (SPARK-39625)
• Compatibilidad con SQL parámetrizado (SPARK-41271, SPARK-42702)
• Adición de unpivot/melt (SPARK-38864, SPARK-39876)
• Compatibilidad con "referencias de alias de columna laterales" (SPARK-27561)
• Compatibilidad con cláusula de desplazamiento de resultados (SPARK-28330, SPARK-39159)
• Compatibilidad con marca de tiempo sin tipo de datos de zona horaria (SPARK-35662)
• Compatibilidad con subconsultas escalares en viaje en el tiempo (SPARK-39306)
• Hacer que la API de catálogo sea compatible con el espacio de nombres de 3 capas (SPARK-39235)
• Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de DataFrame (SPARK-39633)
• Adición de SparkSession.config(Map) (SPARK-40163)
• Compatibilidad con el cambio de la base de datos predeterminada del catálogo de sesiones (SPARK-35242)
• Compatibilidad de Protobuf con Spark: from_protobuf AND to_protobuf (SPARK-40654)
• Adición de la cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
• Se ha suavizado la restricción de ordenación para las opciones de columna CREATE TABLE (SPARK-40944)
• Equivalente de SQL para el comando de sobrescritura de DataFrame (SPARK-40956)
• Compatibilidad con la generación sin ninguna salida secundaria necesaria para hospedar referencias externas (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Adición de flatMapSortedGroups y cogroupSorted (SPARK-38591)
• Compatibilidad con subconsultas con predicados de no igualdad correlacionados (SPARK-36114)
• Compatibilidad con subconsultas con correlación mediante UNION/INTERSECT/EXCEPT (SPARK-36124)

Cumplimiento de ANSI

• Modo SQL de ANSI: siempre devuelve null en el caso de acceso no válido a la columna de asignación (SPARK-40066)
• Compatibilidad con identificadores entre comillas dobles (SPARK-40585)
• Modo SQL de ANSI: Round/Bround debería devolver un error en caso de desbordamiento de enteros (SPARK-42045)
• Compatibilidad con la conversión de enteros a intervalos ANSI (SPARK-40008)
• Compatibilidad con la conversión de decimales a intervalos ANSI (SPARK-40014)
• Devolución de tipos de intervalos ANSI más amplios a partir de las funciones de percentil (SPARK-40151)
• Compatibilidad con la conversión de intervalos ANSI a decimales (SPARK-39470)
• Compatibilidad con la conversión de intervalos a enteros en modo ANSI (SPARK-39451)
• Protección del uso de SQLSTATE para clases de error (SPARK-41994)

Functions

• Compatibilidad con funciones de generador con valores de tabla en la cláusula FROM (SPARK-41594)
• Compatibilidad con la función de agregado de ANSI: REGR_SXY (SPARK-37681)
• Compatibilidad con la función de agregado de ANSI: REGR_R2 (SPARK-37641)
• Compatibilidad con la función de agregado de ANSI: REGR_SXX (SPARK-37672)
• Compatibilidad con la función de agregado de ANSI: REGR_SYY (SPARK-37702)
• Compatibilidad con la función de agregado de ANSI: REGR_SLOPE (SPARK-39230)
• Compatibilidad con la función de agregado de ANSI: REGR_INTERCEPT (SPARK-37623)
• Compatibilidad con la función de agregación de ANSI PERCENTILE_CONT como función de ventana (SPARK-38219)
• Compatibilidad con la función de agregación de ANSI: PERCENTILE_DISC (SPARK-37691)
• Compatibilidad con la función SPLIT_PART (SPARK-38063)
• Compatibilidad con la función TRY_AVG (SPARK-38589)
• Compatibilidad con la función TRY_TO_BINARY (SPARK-38590)
• Compatibilidad con las funciones TO_NUMBER y TRY_TO_NUMBER SQL de acuerdo con una nueva especificación (SPARK-38796)
• Compatibilidad con la función y especificación de valores generales ANSI: USER (SPARK-39138)
• Compatibilidad con las funciones TO_CHAR y TRY_TO_CHAR para convertir valores decimales en cadenas (SPARK-28516)
• Compatibilidad con la función de agregado ANY_VALUE (SPARK-39213)
• Compatibilidad con la función EQUAL_NUL (SPARK-39305)
• Compatibilidad con la función de agregado MEDIAN (SPARK-39320)
• Compatibilidad con la función REGEXP_COUNT (SPARK-39618)
• Compatibilidad con la función REGEXP_INSTR (SPARK-39744)
• Compatibilidad con la función REGEXP_SUBSTR (SPARK-39695)
• Compatibilidad con la función UNPIVOT (SPARK-39876)
• Compatibilidad con la función TRY_TO_TIMESTAMP (SPARK-39795)
• Compatibilidad con la codificación o descodificación de URL como función integrada y funciones relacionadas con direcciones URL ordenadas (SPARK-39741)
• Compatibilidad con la función de agregado MODE (SPARK-39808)
• Compatibilidad con la función GET (SPARK-40109)
• Adición de alias de función: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Mejora de la función TO_BINARY (SPARK-40112)
• Compatibilidad con CURRENT_SCHEMA (SPARK-41323)
• Compatibilidad con la función integrada de enmascaramiento de datos MASK (SPARK-40687)
• Compatibilidad con la función de orden alto: ARRAY_COMPACT (SPARK-41235)
• Compatibilidad con la función ARRAY_APPEND (SPARK-41232)
• Compatibilidad con la función ARRAY_INSERT (SPARK-41234)
• Compatibilidad con la función LUHN_CHECK (SPARK-42191)
• Compatibilidad con ARRAY_SORT(columna, comparador) (SPARK-39925)

Orígenes de datos

• Compatibilidad con estadísticas de columnas en DS v2 (SPARK-41378)
• Unión con particiones de almacenamiento (SPJ) en DS v2 (SPARK-37375)
• Operaciones de nivel de fila en DS v2 (SPARK-35801)
• Adición de la combinación SupportsReportOrdering en la interfaz para el examen de DS v2 (SPARK-38647)
• Inferencia del tipo DATE para la inferencia de esquemas CSV (SPARK-39469)
• Compatibilidad con métricas de controlador en la API de métricas personalizadas de DS v2 (SPARK-39635)
• La distribución y el orden admiten la función DS v2 al escribir (SPARK-39607)
• StringEndsWith/Contains admite la inserción en Parquet para que podamos aprovechar el filtro de diccionario (SPARK-39002)
• Compatibilidad con UDT en el lector vectorizado de Parquet de Spark (SPARK-39086)
• Extensión de la columna METADATA para admitir índices de fila para archivos Parquet (SPARK-37980)
• Compatibilidad con la lectura del tipo FIXED_LEN_BYTE_ARRAY de Parquet (SPARK-41096)
• Optimización del orden de los predicados de filtrado (SPARK-40045)
• Compatibilidad con consultas de tabla temporal y CTE con MSSQL JDBC (SPARK-37259)
• Compatibilidad con ignoreCorruptFiles e ignoreMissingFiles en las opciones de origen de datos (SPARK-38767)
• Extracción de la escritura de v1 en WriteFiles (SPARK-41407)
• Adición de relleno de caracteres de lectura para cubrir archivos de datos externos (SPARK-40697)

Optimización de las consultas

• Combinación de subconsultas escalares no correlacionadas (SPARK-34079)
• Habilitación de combinaciones de filtros Bloom de forma predeterminada (SPARK-38841)
• Eliminación de distinciones innecesarias en la expresión de agregado mediante distinctKeys (SPARK-38832)
• Compatibilidad con la delegación de predicado y aplicación de predicado y eliminación de columnas para CTE desduplicados (SPARK-37670)
• Eliminación de combinaciones externas si las funciones de agregado son agnósticas a los duplicados en el lado transmitido (SPARK-38886)
• Eliminación de combinaciones externas izquierdas/derechas si solo se seleccionan las columnas del lado izquierdo o derecho y las claves de combinación del otro lado son únicas (SPARK-39172)
• Optimización de la ordenación global en RepartitionByExpression (SPARK-39911)
• Optimización de la regla TransposeWindow (SPARK-38034)
• Mejora de EliminateSorts para admitir la eliminación de ordenaciones a través de LocalLimit (SPARK-40050)
• Inserción del límite local en ambos lados si la condición de combinación está vacía (SPARK-40040)
• Adición de PushProjectionThroughLimit para Optimizer (SPARK-40501)
• Compatibilidad con PIVOT/UNPIVOT con elementos secundarios de combinación (SPARK-41195)
• Compatibilidad con la eliminación de columnas con varios filtros no deterministas (SPARK-41017)
• Mejora de la creación de particiones de salida y la ordenación con la caché de AQE (SPARK-41048)
• Mejora del rendimiento de las expresiones de predicado multi like mediante la creación de un predicado de árbol de expresiones equilibrado (SPARK-41167)
• Eliminación de la ordenación si es el elemento secundario de RepartitionByExpression (SPARK-36703)
• Uso de estadísticas de columna disponibles de las fases de consulta completadas (SPARK-39991)
• Reutilización de expresiones en WindowSpecDefinition (SPARK-41805)
• Mejora de AliasAwareOutputPartitioning y AliasAwareQueryOutputOrdering para tener en cuenta todos los alias (SPARK-40086, SPARK-42049)
• Reducción del límite mediante UDF de Python (SPARK-42115)

Generación de código y ejecución de consultas

• Hacer que defaultJoin en BroadcastNestedLoopJoinExec se ejecute en paralelo (SPARK-40487)
• Compatibilidad de Codegen con HiveGenericUDF (SPARK-42051)
• Introducción de orden aleatorio en SinglePartition (SPARK-41986)
• Creación de compatibilidad con DPP en el lado de eliminación que tiene Union (SPARK-39217)

Otros cambios importantes

• Compatibilidad con la recopilación de estadísticas de partición automática (SPARK-38573)
• Mensajes de error de formato en el servidor de Thrift (SPARK-40098)
• Adición de una API de extensión para planear la normalización del almacenamiento en caché (SPARK-41183)
• Refactorización de tipos de Spark mediante la introducción de tipos físicos (SPARK-41226)
• Compatibilidad con campos OneOf y comprobaciones de recursividad (SPARK-41396)
• Centralización de la lógica de resolución de columnas (SPARK-41405)
• Mejora de la validación de cambios del plan (SPARK-42081)
• Introducción de SparkPath para la seguridad de tipos (SPARK-41970)
• Inicio de excepción para db_name.view_name al crear una vista temporal por la API de conjunto de datos (SPARK-41090)
• Cambio del valor predeterminado del argumento de la función Mask de -1 a NULL (SPARK-42070)

Spark Core

Dar de baja

• Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios (SPARK-41469)
• Omisión del error de captura de fase causado por el ejecutor retirado (SPARK-40481)
• Habilitación de spark.storage.decommission.(rdd|shuffle)Blocks.enabled de forma predeterminada (SPARK-40198)
• Adición de compatibilidad con la retirada de YARN cuando ESS está deshabilitado (SPARK-30835)

Scheduler

• Hacer que la programación de fases admita el modo de clúster local (SPARK-41949)
• Compatibilidad con el perfil de recursos de tarea de nivel de fase para un clúster independiente cuando la asignación dinámica está deshabilitada (SPARK-39853)
• Retraso en onDisconnected para permitir que el controlador reciba ExecutorExitCode (SPARK-39957)
• Mejora de la especulación mediante las métricas de tareas de fase (SPARK-32170)
• Adición de compatibilidad con la programación de recursos de nivel de fase para un clúster independiente (SPARK-39062)
• Mejora del proceso LaunchTask para evitar errores de fase causados por mensajes LaunchTask de error de envío (SPARK-39955)

Orden aleatorio

• Adición de métricas aleatorias de lectura del lado cliente basadas en inserción (SPARK-36620)
• Métricas del lado servidor para orden aleatorio basado en inserción (​​SPARK-33573)
• Asegurarse de que mergedShuffleCleaner se ha apagado antes de cerrar la base de datos (SPARK-40186)
• Adición de compatibilidad con RocksDB para el almacén de estado de servicio aleatorio (SPARK-38888)
• Encapsulamiento de LevelDB usado para almacenar el estado aleatorio remoto o externo como base de datos (SPARK-38909)
• Habilitación de spark.dynamicAllocation.shuffleTracking.enabled de forma predeterminada (SPARK-3984)
• Habilitación del servicio de orden aleatorio basado en inserción para almacenar el estado en bases de datos de nivel NM para el reinicio con conservación de trabajo (SPARK-33236)
• Eliminación de bloques aleatorios mediante el servicio de orden aleatorio para los ejecutores liberados (SPARK-37618)

Otros cambios importantes

• Compatibilidad con entornos solo IPv6 (SPARK-39457)
• Habilitación de spark.kryo.unsafe de forma predeterminada (SPARK-42137)
• No permitir la ruta de clases personalizada arbitraria con el usuario proxy en modo de clúster (SPARK-41958)
• Evitar el registro repetido de BlockManager si se ha perdido el ejecutor (SPARK-41360)
• Eliminación de la limitación de que el resultado de una sola tarea debe caber en 2 GB (SPARK-40622)
• Eliminación de la compatibilidad con las configuraciones de spark.akka.* en desuso (SPARK-40401)
• Cambio del registro predeterminado a stderr para que sea coherente con el comportamiento de log4j (SPARK-40406)
• Exclusión de metadatos de DirectTaskResult al calcular el tamaño del resultado (SPARK-40261)
• Permitir la personalización del número inicial de particiones en el comportamiento take() (SPARK-40211)
• Uso del bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies() (SPARK-40235)
• El error de tarea siempre debe desencadenar agentes de escucha de errores de tareas (SPARK-40106)
• Adición de la posibilidad de deshabilitar selectivamente la inspección o el sondeo (SPARK-36462)
• No almacenar en caché las relaciones de difusión no serializadas en el controlador (SPARK-39983)
• Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Exposición de las particiones numéricas en una fase a TaskContext (SPARK-38679)
• Hacer que el factor de sobrecarga de memoria sea configurable (SPARK-38194)
• Evitar el uso de bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)

Structured Streaming

Características principales

• Seguimiento asincrónico del progreso (SPARK-39591)
• Procesamiento con estado arbitrario de Python en flujo estructurado (SPARK-40434)
• Compatibilidad con Protobuf en flujo estructurado (SPARK-40653)
• Corrección del filtrado de registros tardío para admitir el encadenamiento de operadores con estado (SPARK-40925)

Otros cambios importantes

• Introducción a un administrador de archivos de punto de control de streaming basado en la interfaz anulable de Hadoop (SPARK-40039)
• Desuso de Trigger.Once y promoción de Trigger.AvailableNow (SPARK-39805)
• Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming (SPARK-39564)
• Compatibilidad con la recopilación de métricas de receptores de streaming (SPARK-38564)
• Desuso de la API DStream (SPARK-42075)
• Inversión del valor predeterminado de configuración de captura de desplazamiento de Kafka (SPARK-40844)
• Proporcionar sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark (SPARK-41379)

Spark Connect

Cliente de Python

• Implementación de DataFrame API (SPARK-41279)
• Implementación de Column API (SPARK-41282)
• Implementación de Functions API (SPARK-41283)
• Implementación de SparkSession API (SPARK-41281)
• Implementación de I/O API (SPARK-41284)
• Implementación de Catalog API (SPARK-41289)
• Compatibilidad con funciones definidas por el usuario en Python (SPARK-41661)
• Compatibilidad con Pandas/Arrow Function API (SPARK-42393)
• Compatibilidad con la configuración de SQL en tiempo de ejecución (SPARK-42499)
• Compilación, empaquetado e infraestructura para Spark Connect (SPARK-41286)
• Anotaciones de tipo para el cliente Python de Spark Connect (SPARK-40451)

Cliente de Scala

• Implementación del cliente básico de Scala (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Implementación de SparkSession API (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Implementación de Dataframe API (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Implementación de Column API (SPARK-42441, SPARK-42560)
• Implementación de Functions API (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Implementación de I/O API (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Implementación de la configuración de SQL en tiempo de ejecución (SPARK-42586)
• Compatibilidad básica con funciones definidas por el usuario (SPARK-42283, SPARK-42653, SPARK-42543)
• Compatibilidad básica con API con tipo (SPARK-42580, SPARK-42605)
• Infraestructura de prueba para Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Implementación de la compatibilidad con REPL (SPARK-42656, SPARK-42884)

PySpark

Pandas API en Spark

• Mejora principal
  • Procesamiento con estado arbitrario de Python en flujo estructurado (SPARK-40434)
  • Implementación de parámetros que faltan en la API de Pandas (SPARK-42883)
  • Compatibilidad con Pandas 1.5 (SPARK-40576)
• Característica principal
  • Implementación de Series.searchsorted (SPARK-40330)
  • Implementación de Series.autocorr (SPARK-38774)
  • Implementación de DataFrame.mode (SPARK-40138)
  • Implementación de DataFrame.boxplot y DataFrame.plot.box (SPARK-38993)
  • Implementación de DataFrame.corrwith (SPARK-38907)
  • Implementación de DataFrame.resample y Series.resample (SPARK-39081)
  • Implementación de DataFrame.interpolate y Series.interpolate (SPARK-38844)
  • Implementación de DataFrame.ewm y Series.ewm (SPARK-38785)
  • Implementación de GroupBy.prod (SPARK-40334)
  • Implementación de GroupBy.nth (SPARK-40333)
  • Implementación de GroupBy.quantile (SPARK-40332)
  • Implementación de GroupBy.sem (SPARK-40305)
  • Implementación de GroupBy.mad (SPARK-39284)
  • Implementación de GroupBy.skew (SPARK-39246)
  • Implementación de GroupBy.ewm (SPARK-39129)
  • Compatibilidad con la indexación posicional de GroupBy (SPARK-38947)

Otros cambios importantes

• Mejoras principales
  • Proporcionar un generador de perfiles de memoria para las funciones definidas por el usuario de PySpark (SPARK-40281)
  • Hacer que la API de catálogo sea compatible con el espacio de nombres de 3 capas (SPARK-39235)
  • Compatibilidad con la entrada de NumPy en PySpark (SPARK-39405)
  • Mejoras de errores de PySpark (SPARK-41597)
• Características principales
  • Compatibilidad con SQL parametrizado en PySpark (SPARK-41666)
  • Implementación de la función "median" (SPARK-40003)
  • Implementación de la función "mode" (SPARK-40007)
  • Implementación de la función "unpivot/melt" (SPARK-39877)
  • Compatibilidad con Varchar en PySpark (SPARK-39760)
  • Compatibilidad con CharType en PySpark (SPARK-39809)

MLlib

• Implementación de PyTorch Distributor (SPARK-41589)
• Unificación de la validación de datos (SPARK-38584)
• Reducción del tamaño aleatorio de ALS (SPARK-40476, SPARK-40745)
• Desduplicación de características duplicadas de regresión isotónica (SPARK-41008)
• Vectores de entrada de bloqueo de KMeans (SPARK-30661)
• Adición de puntuación de relevancia para la evaluación de nDCG (SPARK-39446)

SparkR

• Adición de unpivot/melt (SPARK-41267)
• Adición de array_sort(columna, comparador) (SPARK-40167)
• Compatibilidad con la colocación de varias "columnas" en R (SPARK-40087)
• Compatibilidad de Arrow 9.0.0 con SparkR (SPARK-40114)
• Hacer que Catalog API sea compatible con el espacio de nombres de 3 capas (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Compatibilidad con R 4.2.0 (SPARK-39372)

UI en directo y servicio de servidor de historial

• Mejor escalabilidad de la interfaz de usuario de Spark y estabilidad del controlador para aplicaciones grandes (SPARK-41053)
• Uso de RocksDB para spark.history.store.hybridStore.diskBackend de forma predeterminada (SPARK-42277)
• Agrupación de ejecuciones anidadas en la ejecución raíz (SPARK-41752)
• Mostrar propiedades de métricas en la pestaña de entorno (SPARK-39110)
• Corrección del tamaño o los registros de entrada de StagePage que no se muestran cuando los registros son mayores que cero (SPARK-34777)
• Mejora del rendimiento del registro de eventos JsonProtocol mediante Jackson en lugar de Json4s (SPARK-39489)
• Compatibilidad con spark.history.fs.update.batchSize (SPARK-39225)

Build

• Actualización de cloudpickle a v2.2.0 (SPARK-40991)
• Desuso de la compatibilidad con Python 3.7 (SPARK-39861)
• Compatibilidad con Python 3.11 (SPARK-41454)
• Actualización de dev.ludovic.netlib a 3.0.2 (SPARK-40251)
• Actualización de Breeze a la versión 2.0 (SPARK-39616)
• Actualización de la versión de slf4j a 2.0.6 (SPARK-41561)
• Actualización de la versión de cliente de Kubernetes a 6.4.1 (SPARK-42362)
• Actualización de rocksdbjni a 7.9.2 ( SPARK-42129)
• Actualización de Apache Arrow a 11.0.0 (SPARK-42161)
• Actualización de Apache Kafka a 3.3.2 (SPARK-42109)

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 13.0.

Entorno del sistema

• Sistema operativo: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan con la instantánea de Microsoft CRAN desde el 02-10-2023.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)