Databricks Runtime 11.3 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.3 LTS, на базе Apache Spark 3.3.0. Databricks выпустила эту версию в октябре 2022 года.

Изменение поведения

[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1

Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 11.3 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.

Новые функции и внесенные улучшения

• Структурированный триггер потоковой передачи после нерекомендуемого использования
• Изменение исходного пути для автозагрузчика
• Соединитель Databricks Kinesis теперь поддерживает чтение потоков данных Kinesis в режиме EFO
• Новые геопространственные функции H3 и добавлена поддержка Фотона для всех функций H3
• Новые возможности прогнозного ввода-вывода
• Увеличение начальных секций для проверки выборочных запросов
• Визуализация новых версий плана AQE
• Новые асинхронные режимы отслеживания хода выполнения и очистки журналов
• Структурированная потоковая передача в каталоге Unity теперь поддерживается display()
• Теперь события конвейера регистрируются в формате JSON
• Произвольная обработка состояния в структурированной потоковой передаче с помощью Python
• Вывод дат в CSV-файлах
• Поддержка клонирования таблиц Apache Parquet и Apache Iceberg (общедоступная предварительная версия)
• Использование SQL для указания расположений хранилища на уровне схемы и каталога для управляемых таблиц каталога Unity

Структурированный триггер потоковой передачи после нерекомендуемого использования

Параметр Trigger.Once не рекомендуется. Databricks рекомендует использовать Trigger.AvailableNow. См. раздел "Настройка интервалов триггера структурированной потоковой передачи".

Изменение исходного пути для автозагрузчика

Теперь можно изменить путь ввода каталога для автозагрузчика, настроенного в режиме перечисления каталогов, не выбрав новый каталог контрольной точки. См . раздел "Изменить исходный путь" для автозагрузчика.

Соединитель Databricks Kinesis теперь поддерживает чтение потоков данных Kinesis в режиме EFO

Теперь можно использовать структурированный источник потоковой передачи Databricks в Databricks Runtime 11.3 LTS для выполнения запросов, которые считываются из потоков данных Kinesis в расширенном режиме вентилятора. Это обеспечивает выделенную пропускную способность на сегмент, на каждого потребителя и доставку записей в режиме принудительной передачи.

Новые геопространственные функции H3 и добавлена поддержка Фотона для всех функций H3

Знакомство с 4 новыми функциями H3, h3_maxchild, , h3_minchildh3_pointash3и h3_pointash3string. Эти функции доступны в SQL, Scala и Python. Все выражения H3 теперь поддерживаются в Photon. См. раздел Геопространственные функции H3.

Новые возможности прогнозного ввода-вывода

Photon поддерживает режим диапазона для выполнения кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon также поддерживает режим диапазона для растущих кадров, используя RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Увеличение начальных секций для проверки выборочных запросов

Значение начальных секций для сканирования было увеличено до 10 для выборочного запроса в take/tail/limit кластерах с поддержкой Photon и LIMIT в Databricks SQL. С помощью 10 секций можно избежать затрат на запуск нескольких небольших заданий и медленное масштабирование. Вы также можете настроить это с помощью spark.sql.limit.selectiveInitialNumPartitions.

Визуализация новых версий плана AQE

Знакомство с версиями плана AQE, позволяющими визуализировать обновления плана выполнения из адаптивного выполнения запросов (AQE).

Новые асинхронные режимы отслеживания хода выполнения и очистки журналов

Введение режимов структурированной потоковой передачи с именем асинхронного отслеживания хода выполнения и асинхронного очистки журналов. Асинхронный режим очистки журналов снижает задержку потоковых запросов, удалив журналы, используемые для отслеживания хода выполнения в фоновом режиме.

Структурированная потоковая передача в каталоге Unity теперь поддерживается display()

Теперь вы можете использовать display() структурированную потоковую передачу для работы с таблицами, зарегистрированными в каталоге Unity.

Теперь события конвейера регистрируются в формате JSON

Azure Databricks теперь записывает события конвейера в журнал драйвера в формате JSON. Хотя каждое событие будет синтаксический анализ JSON, крупные события могут не содержать все поля, или поля могут быть усечены. Каждое событие регистрируется в одной строке с префиксом Event received: . Ниже приведен пример события.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Произвольная обработка состояния в структурированной потоковой передаче с помощью Python

Введя функцию applyInPandasWithState , которую можно использовать для произвольной обработки состояния в PySpark. Это эквивалентно flatMapGroupsWithState функции в API Java.

Вывод дат в CSV-файлах

Введение улучшенного вывода столбцов типа даты в CSV-файлах. Если формат даты согласован между записями для столбца, эти столбцы можно вывести как DateType. Кроме того, можно использовать сочетание форматов дат в разных столбцах. Azure Databricks может автоматически выводить формат даты для каждого столбца. Столбцы даты в CSV-файлах до Databricks Runtime 11.3 LTS остаются как StringType.

Поддержка клонирования таблиц Apache Parquet и Apache Iceberg (общедоступная предварительная версия)

Теперь клон можно использовать для создания и добавочного обновления таблиц Delta, которые отражают таблицы Apache Parquet и Apache Iceberg. Вы можете обновить исходную таблицу Parquet и постепенно применить изменения к клонированной таблице Delta с помощью команды клонирования. См . добавочное клонирование таблиц Parquet и Iceberg в Delta Lake.

Использование SQL для указания расположений хранилища на уровне схемы и каталога для управляемых таблиц каталога Unity

Теперь можно использовать MANAGED LOCATION команду SQL, чтобы указать расположение облачного хранилища для управляемых таблиц на уровнях каталога и схем. См. статью CREATE CATALOG и CREATE SCHEMA.

Изменения в работе

Databricks Connect 11.3.2

Теперь поддерживается обновление клиента Databricks Connect 11.3.2. См. заметки о выпуске Databricks Connect и Databricks Connect.

Обновлен соединитель Azure Databricks Snowflake

Соединитель Azure Databricks Snowflake обновлен до последней версии кода из репозитория с открытым исходным кодом, Источника данных Snowflake для Apache Spark. Теперь он полностью совместим с Databricks Runtime 11.3 LTS, включая pushdown предиката и внутренний план запроса при сохранении всех функций версии с открытым исходным кодом.

Кэш Hadoop для S3A теперь отключен

Теперь кэш Hadoop ( API Apache Hadoop Main 3.3.4) для S3A отключен. Это необходимо для согласования с другими соединителями облачного хранилища. Для рабочих нагрузок, использующих кэширование файловой системы, убедитесь, что только что созданные файловые системы предоставляются с правильными конфигурациями Hadoop, включая поставщиков учетных данных.

Схема сбора статистики Delta Lake теперь соответствует порядку столбцов в определении схемы таблицы

Это изменение устраняет ошибку в протоколе Delta Lake, где статистика не была собрана для столбцов из-за несоответствия в кадре данных и порядке столбцов таблицы. В некоторых случаях вы можете столкнуться с снижением производительности записи из-за сбора статистики в ранее неуправляемых полях. См . сведения о пропусках данных для Delta Lake.

applyInPandasWithState выдает ошибку, если запрос имеет перетасовку после оператора

Оператор applyInPandasWithState выдает ошибку, если запрос имеет shuffle после оператора. Это происходит, когда пользователь добавляет shuffle shuffle после операции или оптимизатор или приемник неявно.

Обновления библиотек

• Обновленные библиотеки Python:
  • distlib от 0.3.5 до 0.3.6
• Обновленные библиотеки R:
  • веник от 1.0.0 до 1.0.1
  • вызывающий объект от 3.7.1 до 3.7.2
  • dplyr от 1.0.9 до 1.0.10
  • dtplyr от 1.2.1 до 1.2.2
  • forcats от 0.5.1 до 0.5.2
  • будущее от 1.27.0 до 1.28.0
  • future.apply от 1.9.0 до 1.9.1
  • gert от 1.7.0 до 1.8.0
  • globals от 0.16.0 до 0.16.1
  • gtable от 0.3.0 до 0.3.1
  • хейвен от 2.5.0 до 2.5.1
  • hms от 1.1.1 до 1.1.2
  • httr от 1.4.3 до 1.4.4
  • трикотаж от 1,39 до 1,40
  • modelr от 0.1.8 до 0.1.9
  • столб с 1.8.0 до 1.8.1
  • progressr от 0.10.1 до 0.11.0
  • readxl от 1.4.0 до 1.4.1
  • reprex от 2.0.1 до 2.0.2
  • rlang от 1.0.4 до 1.0.5
  • rmarkdown от 2.14 до 2.16
  • RSQLite от 2.2.15 до 2.2.16
  • rstudioapi от 0,13 до 0,14
  • rversions от 2.1.1 до 2.1.2
  • rvest от 1.0.2 до 1.0.3
  • масштабирование от 1.2.0 до 1.2.1
  • sparklyr от 1.7.7 до 1.7.8
  • stringr от 1.4.0 до 1.4.1
  • выживание от 3.2-13 до 3.4-0
  • tinytex от 0,40 до 0,41
  • viridisLite от 0.4.0 до 0.4.1
• Обновленные библиотеки Java:
  • com.fasterxml.джексон.core.джексон-заметки от 2.13.3 до 2.13.4
  • com.fasterxml.джексон.core.джексон-core с 2.13.3 до 2.13.4
  • com.fasterxml.джексон.core.джексон-databind с 2.13.3 до 2.13.4
  • com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.13.3 по 2.13.4
  • com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.13.3 до 2.13.4
  • com.fasterxml.джексон.datatype.джексон-datatype-jsr310 от 2.13.3 до 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.3 до 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 от 2.13.3 до 2.13.4
  • org.apache.hadoop.hadoop-client-api от 3.3.2-databricks до 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime с 3.3.2 до 3.3.4
  • org.apache.orc.orc-core от 1.7.5 до 1.7.6
  • org.apache.orc.orc-mapreduce от 1.7.5 до 1.7.6
  • org.apache.orc.orc-shims от 1.7.5 до 1.7.6
  • org.apache.parquet.column с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.apache.parquet.common с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.apache.parquet.parquet-кодировка с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop от 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.apache.parquet.parquet-джексон с 1.12.0-databricks-0004 до 1.12.0-databricks-0007
  • org.glassfish.jersey.container.container-servlet от 2.34 до 2.36
  • org.glassfish.jersey.container.container-servlet-core от 2.34 до 2.36
  • org.glassfish.jersey.core.jersey-client с 2.34 по 2.36
  • org.glassfish.jersey.core.jersey-common с 2.34 по 2.36
  • org.glassfish.jersey.core.джерси-server с 2.34 по 2.36
  • org.glassfish.jersey.inject.jersey-hk2 с 2.34 до 2.36

Apache Spark

Databricks Runtime 11.3 LTS включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-39957] [ТЕПЛОФИКС][SC-111425][CORE] Задержка вDisconnected, чтобы включить драйвер получает ExecutorExitCode
• [SPARK-39955] [ТЕПЛОФИКС][SC-111424][CORE] Улучшение процесса LaunchTask, чтобы избежать сбоев этапа, вызванных сообщениями launchTask с ошибкой отправки
• [SPARK-40474] [SC-106248][Вишня-Выбор] Исправлено поведение вывода схемы CSV для столбцов datetime и автоматическое обнаружение полей даты
• [SPARK-40535] [SC-111243][SQL] Исправлена ошибка, из-за которой буфер агрегированияAccumulator не будет создан, если входные строки пусты
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Реализация applyInPandasWithState в PySpark
• [SPARK-40460] [SC-110832][SS] Исправление метрик потоковой передачи при выборе _metadata
• [SPARK-40324] [SC-109943][SQL] Предоставление контекста запроса ParseException
• [SPARK-40466] [SC-110899][SS] Улучшение сообщения об ошибке при отключении DSv2 во время недоступности DSv1
• [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext должен быть дешевым для многократного вызова
• [SPARK-40169] [SC-110772][SQL] Не нажимайте фильтры Parquet без ссылки на схему данных
• [SPARK-40467] [SC-110759][SS] Разделение FlatMapGroupsWithState до нескольких наборов тестов
• [SPARK-40468] [SC-110813][SQL] Исправление обрезки столбцов в CSV при выборе _corrupt_record
• [SPARK-40291] [SC-110085][SQL] Улучшение сообщения для столбца, не в группе по ошибке предложения
• [SPARK-40398] [SC-110762][CORE][SQL] Использование цикла вместо api Arrays.stream
• [SPARK-40433] [SC-110684][SS][PYTHON] Добавление toJVMRow в PythonSQLUtils для преобразования выбранной строки PySpark в строку JVM
• [SPARK-40414] [SC-110568][SQL][PYTHON] Более универсальный тип в PythonArrowInput и PythonArrowOutput
• [SPARK-40352] [SC-109945][SQL] Добавление псевдонимов функции: len, datepart, dateadd, date_diff и curdate
• [SPARK-40470] [SC-110761][SQL] Обработка GetArrayStructFields и GetMapValue в функции "arrays_zip"
• [SPARK-40387] [SC-110685][SQL] Улучшение реализации Spark Decimal
• [SPARK-40429] [SC-110675][SQL] Задать только параметр KeyGroupedPartitioning, если указанный столбец находится в выходных данных
• [SPARK-40432] [SC-110716][SS][PYTHON] Введение GroupStateImpl и GroupStateTimeout в PySpark
• [SPARK-39915] [SC-110496][SQL] Убедитесь, что выходная секционирование указана пользователем в AQE
• [SPARK-29260] [SQL] Поддержка, ALTER DATABASE SET LOCATION если HMS поддерживает
• [SPARK-40185] [SC-110056][SQL] Удаление предложения столбцов при пустом списке кандидатов
• [SPARK-40362] [SC-110401][SQL] Исправление канонизации BinaryComparison
• [SPARK-40411] [SC-110381][SS] Рефакторинг FlatMapGroupsWithStateExec, чтобы иметь родительский признак
• [SPARK-40293] [SC-110084][SQL] Сделать сообщение об ошибке таблицы версии 2 более значимым
• [SPARK-38734] [SC-110383][SQL] Удаление класса ошибок INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] Исправление имен столбцов в функции "arrays_zip", когда массивы ссылаются на вложенные структуры
• [SPARK-40276] [SC-109674][CORE] Уменьшение размера результата RDD.takeOrdered
• [SPARK-40197] [SC-109176][SQL] Замена плана запросов контекстом для MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][SQL] Миграция на DATATYPE_MISMATCH класс ошибок
• [SPARK-40149] [SC-110055][SQL] Распространение столбцов метаданных с помощью Project
• [SPARK-40280] [SC-110146][SQL] Добавление поддержки parquet push down for annotated int and long
• [SPARK-40220] [SC-110143][SC-109175][SQL] Не выводите пустую карту параметров сообщения об ошибке
• [SPARK-40295] [SC-110070][SQL] Разрешить функции версии 2 с литеральными args в распределении и порядке записи
• [SPARK-40156] [SC-109264][SQL] url_decode() Значение , если возвращается класс ошибок
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator должен завершать этап, когда зафиксированный файл не соответствует состоянию задачи
• [SPARK-40260] [SC-109424][SQL] Использование классов ошибок в ошибках компиляции позиции GROUP BY
• [SPARK-40205] [SC-110144][SC-109082][SQL] Предоставление контекста запроса ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][SQL] Улучшение функции TO_BINARY()
• [SPARK-40209] [SC-109081][SQL] Не изменяйте интервал десятичного значения при changePrecision() ошибках
• [SPARK-40319] [SC-109873][SQL] Удаление метода ошибки выполнения повторяющегося запроса для PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][SQL] Числовые try_add/try_divide/try_subtract/try_multiply должны вызывать ошибку от своих дочерних элементов.
• [SPARK-40183] [SC-108907][SQL] Использование класса ошибок NUMERIC_VALUE_OUT_OF_RANGE для переполнения в десятичном преобразовании
• [SPARK-40180] [SC-109069][SQL] Форматирование сообщений об ошибках по spark-sql
• [SPARK-40153] [SC-109165][SQL] Объединение функций и табличных функций
• [SPARK-40308] [SC-109880][SQL] Разрешить неотвораемым аргументам разделителя функцию str_to_map
• [SPARK-40219] [SC-110052][SC-109663][SQL] Разрешенный логический план представления должен содержать схему, чтобы избежать избыточного поиска
• [SPARK-40098] [SC-109939][SC-108693][SQL] Форматирование сообщений об ошибках на сервере Thrift
• [SPARK-39917] [SC-109038][SQL] Использование различных классов ошибок для арифметического арифметического переполнения числовых и интервалных значений
• [SPARK-40033] [SC-109875][SQL] Поддержка очистки вложенных схем с помощью element_at
• [SPARK-40194] [SC-109660][SQL] Функция SPLIT для пустой регулярной строки должна усечь пустую строку.
• [SPARK-40228] [SC-109835][SQL] Не упрощайте multiLike, если дочерний элемент не является дешевым выражением
• [SPARK-40039] [SC-109896][SC-109260][SS] Знакомство с диспетчером файлов контрольной точки потоковой передачи на основе интерфейса Неизменяемого интерфейса Hadoop
• [SPARK-40285] [SC-109679][SQL] Упрощение roundTo[Numeric] для Spark Decimal
• [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison должен работать, когда не удалось выполнить литерал in/InSet downcast
• [SPARK-40040] [SC-109662][SQL] Отправка локального ограничения на обе стороны, если условие соединения пусто
• [SPARK-40055] [SC-109075][SQL] listCatalogs также должен возвращать spark_catalog даже если реализация spark_catalog используется по умолчаниюSessionCatalog
• [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) не может создавать N секции, отличные от AQE.
• [SPARK-40207] [SC-109401][SQL] Укажите имя столбца, если тип данных не поддерживается источником данных
• [SPARK-40245] [SC-109295][SQL] Исправлена проверка равенства FileScan, когда столбцы секции или фильтра данных не считываются
• [SPARK-40113] [SC-109405][SQL] Реализации интерфейса Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][CORE][SQL] Разрешить настройку начального числа секций в режиме take()
• [SPARK-40252] [SC-109379][SQL] Замена Stream.collect(Collectors.joining) api StringJoiner
• [SPARK-40247] [SC-109272][SQL] Исправлена проверка равенства BitSet
• [SPARK-40067] [SQL] Используйте table#name() вместо Scan#name() для заполнения имени таблицы на узле BatchScan в SparkUI
• [SPARK-39966] [SQL] Использование фильтра версии 2 в SupportsDelete
• [SPARK-39607] [SC-109268][SQL][DSV2] Функция распределения и упорядочения поддерживают функцию версии 2 при написании
• [SPARK-40224] [SC-109271][SQL] Создание памяти выпуска ObjectHashAggregateExec с нетерпением при возврате к сортировке
• [SPARK-40013] [SQL] Выражения DS версии 2 должны иметь значение по умолчанию toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] добавьте "get" в функции
• [SPARK-40192] [SC-109089][SQL][ML] Удаление избыточной группы
• [SPARK-40146] [SC-108694][SQL] Просто кодеген получения значения карты
• [SPARK-40109] [SQL] Новая функция SQL: get()
• [SPARK-39929] [SQL] DS V2 поддерживает push-вниз строковые функции (не ANSI)
• [SPARK-39819] [SQL] Агрегат DS V2 может работать с верхней N или разбиением по страницам (сортировка с выражениями)
• [SPARK-40213] [SC-109077][SQL] Поддержка преобразования значений ASCII для символов Latin-1
• [SPARK-39887] [SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
• [SPARK-39764] [SQL] Сделать PhysicalOperation таким же, как ScanOperation
• [SPARK-39964] [SQL] Pushdown DS V2 должен объединить путь перевода
• [SPARK-39528] [SQL] Использование фильтра версии 2 в SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Режим ANSI: всегда возвращает значение NULL при недопустимом доступе к столбцу сопоставления
• [SPARK-39912] [SPARK-39828][SQL] Уточнение catalogImpl
• [SPARK-39833] [SC-108736][SQL] Отключите индекс столбца Parquet в DSv1, чтобы устранить проблему правильности в случае перекрывающихся столбцов секций и данных
• [SPARK-39880] [SQL] Команда V2 SHOW FUNCTIONS должна распечатать полное имя функции, например v1
• [SPARK-39767] [SQL] Удаление неразрешенногоDBObjectName и добавление неразрешенногоIdentifier
• [SPARK-40163] [SC-108740][SQL] подвиг: SparkSession.config(Map)
• [SPARK-40136] [SQL] Исправление фрагмента контекстов SQL-запросов
• [SPARK-40107] [SC-108689][SQL] Извлечение преобразования empty2null из FileFormatWriter
• [SPARK-40121] [PYTHON][SQL] Инициализация проекции, используемой для UDF Python
• [SPARK-40128] [SQL] Распознавание векторизованногоColumnReader DELTA_LENGTH_BYTE_ARRAY в качестве автономного кодирования столбцов
• [SPARK-40132] [ML] Восстановление rawPredictionCol в MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][SQL] Улучшение EliminateSorts поддержки удаления сортировки с помощью LocalLimit
• [SPARK-39629] [SQL] Поддержка функций show версии 2
• [SPARK-39925] [SC-108734][SQL] Добавление перегрузки array_sort(column, comparator) в операции DataFrame
• [SPARK-40117] [PYTHON][SQL] Преобразование условия в java в DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Улучшение повторной части в ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Добавление имени каталога сеансов для таблицы и функции базы данных версии 1
• [SPARK-39889] [SQL] Использование различных классов ошибок для числовых или интервалов, разделенных на 0
• [SPARK-39741] [SQL] Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом
• [SPARK-40102] [SQL] Использование SparkException вместо illegalStateException в SparkPlan
• [SPARK-40014] [SQL] Поддержка приведения десятичных знаков к интервалам ANSI
• [SPARK-39776] [SQL][СЛЕДУЙТЕ] Обновление UT от PlanStabilitySuite в режиме ANSI
• [SPARK-39963] [SQL] Упрощать SimplifyCasts.isWiderCast

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.3.

Системная среда

• Операционная система: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.19
• R: 4.1.3.
• Delta Lake: 2.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-09-08.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)