Databricks Runtime 9.1 LTS

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 9.1 LTS y Databricks Runtime 9.1 LTS Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó esta imagen en septiembre de 2021. Photon se encuentra en versión preliminar pública.

Nuevas características y mejoras

• Las sugerencias de esquema de Auto Loader funcionan ahora con tipos de matriz y de mapa.
• Compatibilidad del formato de archivo Avro con la opción mergeSchema.
• Listado incremental en Auto Loader (versión preliminar pública).
• Delta ahora admite replaceWhere arbitrario.
• Auto Loader para Google Cloud ahora admite notificaciones de archivos (versión preliminar pública).
• CREATE FUNCTION ahora admite la creación de funciones de tabla.
• El origen de streaming de Kafka ahora notifica la métrica estimatedTotalBytesBehindLatest.
• En las estructuras dentro de matrices, el comando MERGE INTO de Delta ahora resuelve los campos de estructura por nombre y desarrolla los esquemas de estructura.

Las sugerencias de esquema de Auto Loader ahora funcionan con tipos de matriz y de mapa

Los tipos de matriz y asignación se admiten en Invalidación de la inferencia de esquema con sugerencias de esquema para Auto Loader.

Algunos ejemplos de sugerencias de esquema para matrices:

1. arr Array<TYPE> cambia el tipo de matriz.
2. arr.element TYPE cambia el tipo de matriz (con la palabra clave element).
3. arr.element.x TYPE cambia un tipo de campo anidado en una matriz de estructuras.

Los dos primeros ejemplos son sugerencias para cambiar el tipo de matriz arr a TYPE, pero utilizan una sintaxis diferente. En el tercer ejemplo, arr es una matriz de estructuras con un campo x. Este ejemplo muestra cómo cambiar el tipo de x a TYPE.

Algunos ejemplos de sugerencias de esquema para mapas:

1. m Map<KEY-TYPE, VALUE-TYPE> cambia los tipos de clave y valor de mapa.
2. m.key TYPE cambia el tipo de claves de mapa.
3. m.value TYPE cambia el tipo de valores de mapa.
4. m.key.x TYPE cambia el tipo de campo en una clave de mapa.
5. m.value.x TYPE cambia el tipo de campo de un valor de mapa.

El primer ejemplo cambia los tipos de clave y de valor de mapa m a KEY_TYPE y VALUE_TYPE, respectivamente. Los ejemplos segundo y tercero se pueden usar si solo es necesario cambiar el tipo de clave o el tipo de valor. En los ejemplos cuarto y quinto, m es un mapa con una clave y un valor de tipos de estructura con un campo x. Este ejemplo muestra cómo cambiar el tipo de x a TYPE.

Compatibilidad del formato de archivo Avro con la opción mergeSchema

El formato de archivo Avro ahora admite la opción mergeSchema al leer archivos. Si mergeSchema se establece en true al leer archivos Avro, se inferirá un esquema a partir de un conjunto de archivos Avro en lugar de un único archivo. Esto mejora la facilidad de uso al inferir un esquema que puede leer todos los archivos, incluso si sus esquemas individuales difieren. Consulte Configuración.

Listado incremental en Auto Loader (versión preliminar pública)

En el caso de los archivos generados lexicográficamente, ¿Qué es el cargador automático? ahora aprovecha el orden léxico de los archivos y las API optimizadas para mejorar la eficacia del listado de directorios. Para ello, inicia el listado a partir de los archivos ingeridos previamente, en lugar de enumerar todo el directorio. Auto Loader detecta automáticamente si un directorio determinado es adecuado para el listado incremental de forma predeterminada. Para controlar este comportamiento de forma explícita, establezca la nueva opción cloudFiles.useIncrementalListing en true (activo), false (inactivo) o auto (automático). Si establece este comportamiento en true, también puede establecer la opción cloudFiles.backfillInterval para programar el relleno periódico de los datos para asegurarse de que se ingieren completamente todos los datos.

Delta ahora admite replaceWhere arbitrario

La opción replaceWhere se puede usar en combinación con el modo de sobrescritura para sobrescribir simultáneamente los datos que coinciden con un predicado definido en la opción. Antes, replaceWhere solo admitía predicados de columnas de partición, pero ahora puede ser una expresión arbitraria. Consulte Escritura en una tabla.

Auto Loader para Google Cloud ahora admite notificaciones de archivos (versión preliminar pública)

Auto Loader ahora admite el modo de notificación de archivos en Google Cloud. Establezca .option("cloudFiles.useNotifications", "true") para permitir que Auto Loader configure automáticamente los recursos de publicación-suscripción de Google Cloud. Con el modo de notificación de archivos, los nuevos archivos se detectan e ingieren a medida que llegan sin enumerar el directorio de entrada. Consulte ¿Qué es el modo de notificación de archivos de Auto Loader?.

CREATE FUNCTION ahora admite la creación de funciones de tabla

Además de crear una función escalar que devuelva un valor escalar, ahora puede crear una función de tabla que devuelva un conjunto de filas. Consulte CREAR FUNCIONES (SQL y Python).

El origen de streaming de Kafka ahora notifica la métrica estimatedTotalBytesBehindLatest

El origen de streaming de Kafka ahora notifica una estimación del número de bytes que el consumidor tiene de retraso respecto al último byte disponible después de cada lote. Puede usar esta métrica para hacer un seguimiento del progreso del streaming. Consulta Recuperación de métricas de Kafka.

Salida de ejemplo de la métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

En las estructuras dentro de matrices, el comando MERGE INTO de Delta ahora resuelve los campos de estructura por nombre y desarrolla los esquemas de estructura

El comando MERGE INTO de Delta ahora admite la resolución de campos de una estructura por nombre y el desarrollo automático del esquema para matrices de estructuras. Cuando se habilita el desarrollo automático del esquema estableciendo spark.databricks.delta.schema.autoMerge.enabled en true, las cláusulas UPDATE y INSERT resuelven los campos de una estructura dentro de una matriz por nombre, los convierten al tipo de datos correspondiente, que está definido en la matriz de destino, y rellenan los campos que falten u otros adicionales en el origen o el destino con valores NULL. Cuando el desarrollo automático del esquema está deshabilitado, las cláusulas UPDATE y INSERT resuelven los campos de estructura dentro de una matriz por nombre, pero no pueden desarrollar campos adicionales. Consulte Actualización del esquema de tabla de Delta Lake.

Corrección de errores

• Se ha corregido una fuga de memoria en el conector de Amazon S3 que podía producirse en trabajos o servicios de larga duración y que se debía a la funcionalidad DeleteOnExit de JVM.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • plotly: de 4.14.3 a 5.1.0
• Bibliotecas de R actualizadas:
  • base: de 4.1.0 a 4.1.1
  • bslib: de 0.2.5.1 a 0.3.0
  • cachem: de 1.0.5 a 1.0.6
  • compiler: de 4.1.0 a 4.1.1
  • datasets: de 4.1.0 a 4.1.1
  • future: de 1.21.0 a 1.22.1
  • gert: de 1.3.1 a 1.3.2
  • graphics: de 4.1.0 a 4.1.1
  • grDevices: de 4.1.0 a 4.1.1
  • grid: de 4.1.0 a 4.1.1
• Bibliotecas de Java actualizadas:
  • org.eclipse.jetty: de 9.4.36.v20210114 a 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS incluye Apache Spark 3.1.2. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 9.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-36674][SQL][CHERRY-PICK] Compatibilidad con ILIKE (LIKE sin distinguir mayúsculas de minúsculas)
• [SPARK-36353][SQL][3.1] RemoveNoopOperators debería mantener el esquema de salida
• [SPARK-35876][SQL][3.1] ArraysZip debería conservar los nombres de campo para evitar que el analizador o el optimizador lo reescriban
• [SPARK-36398][SQL] Redactar información confidencial en el registro de Spark Thrift Server
• [SPARK-36498][SQL] Reordenar los campos internos de la consulta de entrada en la escritura de byName V2
• [SPARK-36614][CORE][UI] Corregir el motivo de la pérdida de ejecutor causada por la retirada en la interfaz de usuario
• [SPARK-36012][SQL] Agregar la marca null a SHOW CREATE TABLE
• [SPARK-36509][CORE] Corregir el problema de que los ejecutores nunca se programen de nuevo si el nodo de trabajo se detiene con un clúster independiente
• [SPARK-36603][CORE] Usar WeakReference, no SoftReference, en LevelDB
• [SPARK-36564][CORE] Corregir NullPointerException en LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] El alias de reemplazo del proyecto CollapseProject debería usar el nombre de la columna de origen
• [SPARK-33527][SQL] Ampliar la función de descodificación para que sea coherente con las bases de datos estándar
• [SPARK-36400][SPARK-36398][SQL][WEBUI] Hacer que ThriftServer reconozca spark.sql.redaction.string.regex
• [SPARK-34054][CORE] Limpieza de código de BlockManagerDecommissioner
• [SPARK-36500][CORE] Corregir la pérdida de archivos de temp_shuffle cuando se interrumpe una tarea
• [SPARK-36489][SQL] Las funciones de agregado sin claves de agrupación en tablas con un solo cubo devuelven varias filas
• [SPARK-36464][CORE] Corregir la inicialización de variable de tamaño subyacente en ChunkedByteBufferOutputStream para escribir datos de más de 2 GB
• [SPARK-36339][SQL][3.0] Las referencias a una agrupación que no forma parte de la agregación deberían reemplazarse
• [SPARK-36354][CORE] EventLogFileReader debería omitir los directorios de registros de eventos graduales sin registros
• [SPARK-36242][CORE][3.1] Asegurar que el archivo de volcado se cierra antes de establecer success = true en el método ExternalSorter.spillMemoryIteratorToDisk
• [SPARK-36211][PYTHON] Escritura correcta del valor devuelto de udf
• [SPARK-34222][SQL] Mejorar la regla de simplificación booleana
• [SPARK-35027][CORE] Cerrar inputStream en FileAppender cuando se produce un error al escribir los registros
• [SPARK-36269][SQL] Corregir establecer solo columnas de datos en la configuración de nombre de columna de Hive
• [SPARK-36213][SQL] Normalizar PartitionSpec para el comando DescTable con PartitionSpec
• [SPARK-36210][SQL] Conservar el orden de inserción de columnas en Dataset.withColumns
• [SPARK-36079][SQL] La estimación del filtro basado en null debería estar siempre en el intervalo [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation no debería interpretar la propiedad path al leer tablas de Hive

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 9.1 LTS.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 08-09-2021.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)