Обновления Databricks Runtime в рамках обслуживания

  • Статья

В этой статье перечислены обновления обслуживания для поддерживаемых версий среды выполнения Databricks. Чтобы добавить обновление для обслуживания в существующем кластере, перезапустите кластер. Обновления обслуживания для неподдерживаемых версий среды выполнения Databricks см. в разделе "Обновления обслуживания" для Databricks Runtime (архивно).

Примечание.

Выпуски являются поэтапными. Учетная запись Azure Databricks может не обновляться через несколько дней после начальной даты выпуска.

Заметки о выпуске Databricks Runtime

Обновления обслуживания по выпуску:

Databricks Runtime 15.4

См. раздел Databricks Runtime 15.4 LTS.

  • 22 октября 2024 г.
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенныйAttribute с дочерними выходными данными
    • [SPARK-49867][SQL] Улучшение сообщения об ошибке при выходе индекса из пределов при вызове GetColumnByOrdinal
    • [SPARK-49863][SQL] Исправление нормализации значенийNumbers для сохранения допустимости значений NULL вложенных структур
    • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в соединении потокового потока (исправление правильности)
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
    • [SPARK-46632][SQL] Исправлена ликвидация вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
    • [SPARK-49443][SQL][PYTHON] Реализация выражения to_variant_object и создание выражений schema_of_variant печати OBJECT для объектов Variant
    • [SPARK-49615] Исправление ошибки. Проверка схемы столбца машинного обучения соответствует конфигурации spark.sql.caseSensitiveSpark.
  • 10 октября 2024 г.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
    • [SPARK-496888][CONNECT] Исправлена гонка данных между прерыванием и планом выполнения
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Классify Error class for FlatMapGroupsWithState user function error
    • [SPARK-49460][SQL] Дальнейшие действия. Исправление потенциального риска NPE
  • 25 сентября 2024 г.
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с отслеживанием состояния перед вычислением
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Повторная попытка выполнить попытку неактивного заполнителя
    • [SPARK-49458][CONNECT][PYTHON] Укажите идентификатор сеанса на стороне сервера с помощью ReattachExecute
    • [SPARK-49017][SQL] Инструкция insert завершается ошибкой при использовании нескольких параметров
    • [SPARK-49451] Разрешить повторяющиеся ключи в parse_json.
    • Прочие исправления ошибок.
  • 17 сентября 2024 г.
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor, поддерживающий вложенные входные столбцы
    • [SPARK-49409][CONNECT] Настройка значения по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Поддержка путей в стиле Windows в ArtifactManager
    • Повторное изменение "[SPARK-48482][PYTHON] dropDuplicates и dropDuplicatesWIthinWatermark должно принимать args переменной длины".
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-49366][CONNECT] Обработка узла Union как конечного в разрешении столбцов кадра данных
    • [SPARK-49018][SQL] Исправление approx_count_distinct неправильной работы с параметрами сортировки
    • [SPARK-49460][SQL] Удаление cleanupResource() из EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-49336][CONNECT] Ограничение уровня вложения при усечении сообщения protobuf
  • 29 августа 2024 г.
    • Выходные данные инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. раздел SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в разделе "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.
    • При вычислении, настроенном в режиме общего доступа, пакет Kafka считывает и записывает теперь те же ограничения, что и для структурированной потоковой передачи. См . ограничения потоковой передачи и требования к режиму общего доступа каталога Unity.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-49074][SQL] Исправление варианта с помощью df.cache()
    • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения с кадрами данных
    • [SPARK-48955][SQL] Включение изменений ArrayCompact в версии 15.4
    • [SPARK-48937][SQL] Добавление поддержки сортировки для строковых выражений StringToMap
    • [SPARK-48929] Исправление внутренней ошибки и очистка контекста исключения средства синтаксического анализа
    • [SPARK-49125][SQL] Разрешить повторяющиеся имена столбцов в csv-файле
    • [SPARK-48934][SS] Типы даты и времени Python преобразуются неправильно для настройки времени ожидания в applyInPandasWithState
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-48981] Исправление метода simpleString StringType в pyspark для параметров сортировки
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • [SPARK-48725][SQL] Интеграция CollationAwareUTF8String.lowerCaseCodePoints в строковые выражения
    • [SPARK-48978][SQL] Реализация быстрого пути ASCII в поддержке сортировки для UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Усечение сообщения для ведения журнала
    • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием водяного знака в запросах потоковой передачи в режиме добавления в платформу ошибок
    • [SPARK-48977][SQL] Оптимизация поиска строк в разделе UTF8_LCASE сортировки
    • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
    • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
    • [SPARK-48954] try_mod() заменяет try_remainder()
    • Обновления системы безопасности операционной системы.

Databricks Runtime 15.3

См. раздел Databricks Runtime 15.3.

  • 22 октября 2024 г.
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
    • [SPARK-49867][SQL] Улучшение сообщения об ошибке при выходе индекса из пределов при вызове GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в соединении потокового потока (исправление правильности)
    • [SPARK-49863][SQL] Исправление нормализации значенийNumbers для сохранения допустимости значений NULL вложенных структур
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенныйAttribute с дочерними выходными данными
    • [SPARK-46632][SQL] Исправлена ликвидация вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • [SPARK-496888][CONNECT] Исправлена гонка данных между прерыванием и планом выполнения
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Классify Error class for FlatMapGroupsWithState user function error
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-49492][CONNECT] Повторная попытка выполнить попытку неактивного заполнителя
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с отслеживанием состояния перед вычислением
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Укажите идентификатор сеанса на стороне сервера с помощью ReattachExecute
    • [SPARK-48719][SQL] Исправлена ошибка RegrSlope вычисления и RegrIntercept когда первый параметр имеет значение NULL
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49336][CONNECT] Ограничение уровня вложения при усечении сообщения protobuf
    • [SPARK-49526][CONNECT][15.3.5] Поддержка путей в стиле Windows в ArtifactManager
    • [SPARK-49366][CONNECT] Обработка узла Union как конечного в разрешении столбцов кадра данных
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-49409][CONNECT] Настройка значения по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения с кадрами данных
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-48862][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
    • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием водяного знака в запросах потоковой передачи в режиме добавления в платформу ошибок
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-48706][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
    • [SPARK-48954] try_mod() заменяет try_remainder()
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-49047][PYTHON][CONNECT] Усечение сообщения для ведения журнала
    • [SPARK-48740][SQL] Перехват ошибки спецификации окна на ранней стадии
  • 1 августа 2024 г.
    • [Критическое изменение] В Databricks Runtime 15.3 и выше вызов любой определяемой пользователем функции Python (UDF), определяемой пользователем статистической функции (UDAF) или определяемой пользователем функции таблицы (UDTF), которая использует VARIANT тип в качестве аргумента или возвращаемого значения вызывает исключение. Это изменение делается для предотвращения проблем, которые могут возникнуть из-за недопустимого значения, возвращаемого одним из этих функций. Дополнительные сведения о типе VARIANT см. в статье об использовании VARIANTs для хранения полуструктурированных данных.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • При вычислении, настроенном в режиме общего доступа, пакет Kafka считывает и записывает теперь те же ограничения, что и для структурированной потоковой передачи. См . ограничения потоковой передачи и требования к режиму общего доступа каталога Unity.
    • Выходные данные инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. раздел SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в разделе "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.
    • [SPARK-46957][CORE] Перенос перенесенных файлов перетасовки должен иметь возможность очистки от исполнителя
    • [SPARK-48648][PYTHON][CONNECT] Правильное определение потока SparkConnectClient.tags
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • [SPARK-48713][SQL] Добавление проверки диапазона индекса для unsafeRow.pointTo, если baseObject является массивом байтов
    • [SPARK-48834][SQL] Отключение вариантных входных и выходных данных для скалярных определяемых пользователем python, определяемых пользователем пользователем, UDTFs, UDAFs во время компиляции запросов
    • [SPARK-48934][SS] Типы даты и времени Python преобразуются неправильно для настройки времени ожидания в applyInPandasWithState
    • [SPARK-48705][PYTHON] Явное использование worker_main при запуске с pyspark
    • [SPARK-48544][SQL] Уменьшение давления памяти пустых наборов BitSet в TreeNode
    • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
    • [SPARK-49054][SQL] Значение по умолчанию столбца должно поддерживать функции current_*
    • [SPARK-48653][PYTHON] Исправление недопустимых ссылок на класс ошибок источника данных Python
    • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
    • [SPARK-48810][CONNECT] API остановки сеанса () должен быть идемпотентным и не завершается ошибкой, если сеанс уже закрыт сервером
    • [SPARK-48873][SQL] Используйте unsafeRow в средство синтаксического анализа JSON.
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • Драйвер Snowflake JDBC обновлен до версии 3.16.1.
    • Этот выпуск содержит исправление проблемы, которая не позволила правильно отображать вкладку среды пользовательского интерфейса Spark при запуске в службах контейнеров Databricks.
    • Чтобы игнорировать недопустимые секции при чтении данных, файловых источников данных, таких как Parquet, ORC, CSV или JSON, можно задать для параметра источника данных ignoreInvalidPartitionPaths значение true. Например: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Можно также использовать конфигурацию SQL spark.sql.files.ignoreInvalidPartitionPaths. Однако параметр источника данных имеет приоритет над конфигурацией SQL. Этот параметр имеет значение false по умолчанию.
    • [SPARK-48100][SQL] Устранение проблем при пропуске вложенных полей структуры, не выбранных в схеме
    • [SPARK-47463][SQL] Использование версии 2Predicate для упаковки выражения с типом возвращаемого логического значения
    • [SPARK-48292][CORE] Возврат [SPARK-39195][SQL] OutputCommitCoordinator Spark должен прервать этап, когда зафиксированный файл не соответствует состоянию задачи
    • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
    • [SPARK-48286] Исправление анализа столбца с выражением по умолчанию. Добавление ошибки с пользователем
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • Возврат "[SPARK-47406][SQL] Обработка TIMESTAMP и DATETIME в MYSQLDialect"
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • [SPARK-48503][14.3-15.3][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • [SPARK-48252][SQL] При необходимости обновите CommonExpressionRef
    • [SPARK-48273][master][SQL] Исправление последней перезаписи PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Исправлена ошибка, из-за которой индексы секций неверны при анализе UDTF используется как select, так и partitionColumns
    • [SPARK-48556][SQL] Исправлено неверное сообщение об ошибке, указывающее на UNSUPPORTED_GROUPING_EXPRESSION
    • Обновления системы безопасности операционной системы.

Databricks Runtime 15.2

См. раздел Databricks Runtime 15.2.

  • 22 октября 2024 г.
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
    • [SPARK-48843][15.3,15.2] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в соединении потокового потока (исправление правильности)
    • [SPARK-49863][SQL] Исправление нормализации значенийNumbers для сохранения допустимости значений NULL вложенных структур
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенныйAttribute с дочерними выходными данными
    • [SPARK-46632][SQL] Исправлена ликвидация вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Классify Error class for FlatMapGroupsWithState user function error
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
    • [SPARK-496888][CONNECT] Исправлена гонка данных между прерыванием и планом выполнения
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-48719][SQL] Исправлена ошибка вычисления RegrSlope и RegrIntercept, когда первый параметр имеет значение NULL
    • [SPARK-49458][CONNECT][PYTHON] Укажите идентификатор сеанса на стороне сервера с помощью ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с отслеживанием состояния перед вычислением
    • [SPARK-49492][CONNECT] Повторная попытка выполнить попытку неактивного заполнителя
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49336][CONNECT] Ограничение уровня вложения при усечении сообщения protobuf
    • [SPARK-49526][CONNECT] Поддержка путей в стиле Windows в ArtifactManager
    • [SPARK-49366][CONNECT] Обработка узла Union как конечного в разрешении столбцов кадра данных
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-49409][CONNECT] Настройка значения по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-48862][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
    • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения с кадрами данных
    • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием водяного знака в запросах потоковой передачи в режиме добавления в платформу ошибок
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-48050][SS] Логический план журнала при запуске запроса
    • [SPARK-48706][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
    • [SPARK-48740][SQL] Перехват ошибки спецификации окна на ранней стадии
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-49047][PYTHON][CONNECT] Усечение сообщения для ведения журнала
  • 1 августа 2024 г.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • При вычислении, настроенном в режиме общего доступа, пакет Kafka считывает и записывает теперь те же ограничения, что и для структурированной потоковой передачи. См . ограничения потоковой передачи и требования к режиму общего доступа каталога Unity.
    • Выходные данные инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. раздел SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в разделе "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.
    • [SPARK-48705][PYTHON] Явное использование worker_main при запуске с pyspark
    • [SPARK-48047][SQL] Уменьшение нагрузки на память пустых тегов TreeNode
    • [SPARK-48810][CONNECT] API остановки сеанса () должен быть идемпотентным и не завершается ошибкой, если сеанс уже закрыт сервером
    • [SPARK-48873][SQL] Используйте unsafeRow в средство синтаксического анализа JSON.
    • [SPARK-46957][CORE] Перенос перенесенных файлов перетасовки должен иметь возможность очистки от исполнителя
    • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
    • [SPARK-48713][SQL] Добавление проверки диапазона индекса для unsafeRow.pointTo, если baseObject является массивом байтов
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • [SPARK-48544][SQL] Уменьшение давления памяти пустых наборов BitSet в TreeNode
    • [SPARK-48934][SS] Типы даты и времени Python преобразуются неправильно для настройки времени ожидания в applyInPandasWithState
    • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • Драйвер Snowflake JDBC обновлен до версии 3.16.1.
    • Этот выпуск содержит исправление проблемы, которая не позволила правильно отображать вкладку среды пользовательского интерфейса Spark при запуске в службах контейнеров Databricks.
    • В бессерверных записных книжках и заданиях режим SQL ANSI будет включен по умолчанию и поддерживает короткие имена.
    • Чтобы игнорировать недопустимые секции при чтении данных, файловых источников данных, таких как Parquet, ORC, CSV или JSON, можно задать для параметра источника данных ignoreInvalidPartitionPaths значение true. Например: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Можно также использовать конфигурацию SQL spark.sql.files.ignoreInvalidPartitionPaths. Однако параметр источника данных имеет приоритет над конфигурацией SQL. Этот параметр имеет значение false по умолчанию.
    • [SPARK-48273][SQL] Исправление последней перезаписи PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Возврат [SPARK-39195][SQL] OutputCommitCoordinator Spark должен прервать этап, когда зафиксированный файл не соответствует состоянию задачи
    • [SPARK-48100][SQL] Устранение проблем при пропуске вложенных полей структуры, не выбранных в схеме
    • [SPARK-48286] Исправление анализа столбца с выражением по умолчанию. Добавление ошибки с пользователем
    • [SPARK-48294][SQL] Обработка нижнего регистра в вложенныхTypeMissingElementTypeError
    • [SPARK-48556][SQL] Исправлено неверное сообщение об ошибке, указывающее на UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Правильное определение потока SparkConnectClient.tags
    • [SPARK-48503][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48252][SQL] При необходимости обновите CommonExpressionRef
    • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
    • [SPARK-48566][PYTHON] Исправлена ошибка, из-за которой индексы секций неверны при анализе UDTF используется как select, так и partitionColumns
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • [SPARK-47463][SQL] Использование версии 2Predicate для упаковки выражения с типом возвращаемого логического значения
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • applyInPandasWithState() доступен в общих кластерах.
    • Исправлена ошибка, из-за которой оптимизация рангового окна с помощью Photon TopK неправильно обрабатывала секции со структурами.
    • Исправлена ошибка в функции try_divide(), в которой входные данные, содержащие десятичные разряды, привели к непредвиденным исключениям.
    • [SPARK-48197][SQL] Избегайте ошибки утверждения для недопустимой лямбда-функции
    • [SPARK-48276][PYTHON][CONNECT] Добавление отсутствующих __repr__ методов для SQLExpression
    • [SPARK-48014][SQL] Измените ошибку makeFromJava в EvaluatePython на ошибку с пользователем
    • [SPARK-48016][SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
    • [SPARK-47986][CONNECT][PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
    • [SPARK-48173][SQL] CheckAnalysis должен видеть весь план запроса
    • [SPARK-48056][CONNECT][PYTHON] Повторный запуск плана, если возникает ошибка SESSION_NOT_FOUND, и не было получено частичного ответа
    • [SPARK-48172][SQL] Устранение проблем с устранением проблем в серверном порте JDBCDialects до версии 15.2
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • [SPARK-48288] Добавление типа исходных данных для выражения приведения соединителя
    • [SPARK-48310][PYTHON][CONNECT] Кэшированные свойства должны возвращать копии
    • [SPARK-48277] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
    • Возврат "[SPARK-47406][SQL] Обработка TIMESTAMP и DATETIME в MYSQLDialect"
    • [SPARK-47994][SQL] Исправлена ошибка с помощью фильтра столбцов CASE WHEN в SQLServer
    • [SPARK-47764][CORE][SQL] Очистка зависимостей перетасовки на основе ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Исправление создания ExecuteJobTag в ExecuteHolder
    • [SPARK-48010][SQL] Избегайте повторных вызовов conf.resolver в resolveExpression
    • [SPARK-48146][SQL] Исправлена агрегатная функция в дочернем утверждении выражения
    • [SPARK-48180][SQL] Улучшение ошибки при вызове UDTF с помощью arg TABLE забывает круглые скобки вокруг нескольких exprs PARTITION/ORDER BY
    • Обновления системы безопасности операционной системы.

Databricks Runtime 14.3

См. раздел Databricks Runtime 14.3 LTS.

  • 22 октября 2024 г.
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-49863][SQL] Исправление нормализации значенийNumbers для сохранения допустимости значений NULL вложенных структур
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
    • [SPARK-46632][SQL] Исправлена ликвидация вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенныйAttribute с дочерними выходными данными
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Класс классify Error для ошибки пользовательской функции приемника Foreach
    • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в соединении потокового потока (исправление правильности)
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Классify Error class for FlatMapGroupsWithState user function error
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
    • [SPARK-496888][CONNECT] Исправлена гонка данных между прерыванием и планом выполнения
  • 25 сентября 2024 г.
    • [SPARK-48810][CONNECT] API остановки сеанса () должен быть идемпотентным и не завершается ошибкой, если сеанс уже закрыт сервером
    • [SPARK-48719][SQL] Исправлена ошибка вычисления regrS...
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с отслеживанием состояния перед вычислением
    • [SPARK-49492][CONNECT] Повторная попытка выполнить попытку неактивного заполнителя
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49336][CONNECT] Ограничение уровня вложения при усечении сообщения protobuf
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor, поддерживающий вложенные входные столбцы
    • [SPARK-49526][CONNECT] Поддержка путей в стиле Windows в ArtifactManager
    • [SPARK-49409][CONNECT] Настройка значения по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Обработка узла Union как конечного в разрешении столбцов кадра данных
  • 29 августа 2024 г.
    • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием водяного знака в запросах потоковой передачи в режиме добавления в платформу ошибок
    • [SPARK-48862][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
    • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения с кадрами данных
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-48706][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-48934][SS] Типы даты и времени Python преобразуются неправильно для настройки времени ожидания в applyInPandasWithState
  • 1 августа 2024 г.
    • Этот выпуск включает исправление ошибок для ColumnVector и ColumnarArray классов в интерфейсе Java Spark. В предыдущем исправлении ArrayIndexOutOfBoundsException может возникать или возвращать неверные данные, когда экземпляр одного из этих классов содержит null значения.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • При вычислении, настроенном в режиме общего доступа, пакет Kafka считывает и записывает теперь те же ограничения, что и для структурированной потоковой передачи. См . ограничения потоковой передачи и требования к режиму общего доступа каталога Unity.
    • Выходные данные инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. раздел SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в разделе "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
    • [SPARK-48705][PYTHON] Явное использование worker_main при запуске с pyspark
    • [SPARK-48047][SQL] Уменьшение нагрузки на память пустых тегов TreeNode
    • [SPARK-48544][SQL] Уменьшение давления памяти пустых наборов BitSet в TreeNode
    • [SPARK-46957][CORE] Перенос перенесенных файлов перетасовки должен иметь возможность очистки от исполнителя
    • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
    • [SPARK-47202][PYTHON] Исправление критических дат и времени ввода с помощью tzinfo
    • [SPARK-47713][SQL][CONNECT] Исправлена ошибка самосоединяющегося
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • Драйвер Snowflake JDBC обновлен до версии 3.16.1.
    • Этот выпуск содержит исправление проблемы, которая не позволила правильно отображать вкладку среды пользовательского интерфейса Spark при запуске в службах контейнеров Databricks.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • Чтобы игнорировать недопустимые секции при чтении данных, файловых источников данных, таких как Parquet, ORC, CSV или JSON, можно задать для параметра источника данных ignoreInvalidPartitionPaths значение true. Например: spark.read.format("parquet"). option("ignoreInvalidPartitionPaths", "true").load(...). Можно также использовать конфигурацию SQL spark.sql.files.ignoreInvalidPartitionPaths. Однако параметр источника данных имеет приоритет над конфигурацией SQL. Этот параметр имеет значение false по умолчанию.
    • [SPARK-48648][PYTHON][CONNECT] Правильное определение потока SparkConnectClient.tags
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • [SPARK-48503][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48100][SQL] Устранение проблем при пропуске вложенных полей структуры, не выбранных в схеме
    • [SPARK-48273][SQL] Исправление последней перезаписи PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] При необходимости обновите CommonExpressionRef
    • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
    • [SPARK-48292][CORE] Возврат [SPARK-39195][SQL] OutputCommitCoordinator Spark должен прервать этап, когда зафиксированный файл не соответствует состоянию задачи
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • applyInPandasWithState() доступен в общих кластерах.
    • Исправлена ошибка, из-за которой оптимизация рангового окна с помощью Photon TopK неправильно обрабатывала секции со структурами.
    • [SPARK-48310][PYTHON][CONNECT] Кэшированные свойства должны возвращать копии
    • [SPARK-48276][PYTHON][CONNECT] Добавление отсутствующих __repr__ методов для SQLExpression
    • [SPARK-48294][SQL] Обработка нижнего регистра в вложенныхTypeMissingElementTypeError
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • (Изменение поведения) dbutils.widgets.getAll() теперь поддерживается для получения всех значений мини-приложений в записной книжке.
    • Исправлена ошибка в функции try_divide(), в которой входные данные, содержащие десятичные разряды, привели к непредвиденным исключениям.
    • [SPARK-48056][CONNECT][PYTHON] Повторный запуск плана, если возникает ошибка SESSION_NOT_FOUND, и не было получено частичного ответа
    • [SPARK-48146][SQL] Исправлена агрегатная функция в дочернем утверждении выражения
    • [SPARK-47986][CONNECT][PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
    • [SPARK-48180][SQL] Улучшение ошибки при вызове UDTF с помощью arg TABLE забывает круглые скобки вокруг нескольких exprs PARTITION/ORDER BY
    • [SPARK-48016][SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
    • [SPARK-48197][SQL] Избегайте ошибки утверждения для недопустимой лямбда-функции
    • [SPARK-47994][SQL] Исправлена ошибка с помощью фильтра столбцов CASE WHEN в SQLServer
    • [SPARK-48173][SQL] CheckAnalysis должен видеть весь план запроса
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • (Изменение поведения) applyInPandas и mapInPandas типы UDF теперь поддерживаются в вычислительном режиме общего доступа с databricks Runtime 14.3 и более поздних версий.
    • [SPARK-47739][SQL] Регистрация типа логического avro
    • [SPARK-47941] [SS] [Подключение] Распространение ошибок инициализации рабочей роли ForeachBatch пользователям для PySpark
    • [SPARK-48010][SQL] Избегайте повторных вызовов conf.resolver в resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Тайник DataFrame.isStreaming
    • [SPARK-47956][SQL] Проверка работоспособности для неразрешенной ссылки на LCA
    • [SPARK-47543][CONNECT][PYTHON] Вывод дикта как Mapype из Кадра данных Pandas, чтобы разрешить создание кадра данных
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Используйте асинхронный обратный вызов для очистки выполнения
    • [SPARK-47764][CORE][SQL] Очистка зависимостей перетасовки на основе ShuffleCleanupMode
    • [SPARK-48018][SS] Исправление null groupId, вызывающее ошибку param при вызове KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Исправлена статистическая ошибка в RewriteWithExpression
    • [SPARK-47371] [SQL] XML: игнорировать теги строк, найденные в CDATA
    • [SPARK-47895]Группа [SQL] по всем должна быть идемпотентной
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • [SPARK-47543][CONNECT][PYTHON] dict Вывод из MapType кадра данных Pandas для разрешения создания кадра данных
    • [SPARK-47694][CONNECT] Настройка максимального размера сообщения на стороне клиента
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Проверьте имя столбца с кэшированной схемой
    • [SPARK-47862][PYTHON][CONNECT]Исправление создания файлов proto
    • Возврат "[SPARK-47543][CONNECT][PYTHON] Вывод dict из MapType кадра данных Pandas, чтобы разрешить создание кадра данных"
    • [SPARK-47704][SQL] Синтаксический анализ JSON завершается ошибкой "java.lang.ClassCastException", если включен параметр spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Поддержка сериализации SparkSession для рабочей роли ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Введите кэш планов в SparkConnectPlanner для повышения производительности запросов анализа
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite сбой с недопустимым планом
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • (Изменение поведения) Чтобы обеспечить согласованное поведение в разных типах вычислений, определяемые пользователем PySpark в общих кластерах, теперь соответствуют поведению определяемых пользователем удостовериться в отсутствии изоляции и назначенных кластерах. Это обновление включает следующие изменения, которые могут нарушить существующий код:
      • Определяемые пользователем функции с типом возвращаемого string значения больше неявно преобразуютсяstring в string значения. Ранее определяемые пользователем элементы с возвращаемым типом str упаковывают возвращаемое значение с str() функцией независимо от фактического типа данных возвращаемого значения.
      • Определяемые пользователем функции с timestamp возвращаемыми типами больше неявно применяют преобразование к timestamp timezone.
      • Конфигурации spark.databricks.sql.externalUDF.* кластера Spark больше не применяются к пользовательским файлам PySpark в общих кластерах.
      • Конфигурация spark.databricks.safespark.externalUDF.plan.limit кластера Spark больше не влияет на определяемые пользователем функции PySpark, удаляя ограничение общедоступной предварительной версии 5 определяемых пользователем пользователей для pySpark.
      • Конфигурация spark.databricks.safespark.sandbox.size.default.mib кластера Spark больше не применяется к определяемой пользователем функции PySpark в общих кластерах. Вместо этого используется доступная память в системе. Чтобы ограничить память определяемых пользователем UDFs PySpark, используйте spark.databricks.pyspark.udf.isolation.memoryLimit минимальное значение 100m.
    • Теперь TimestampNTZ тип данных поддерживается в качестве столбца кластеризации с отказоустойчивой кластеризации. См. статью Использование "жидкой" кластеризации для таблиц Delta.
    • [SPARK-47511][SQL] Канонизация с помощью выражений путем повторного назначения идентификаторов
    • [SPARK-47509][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях более высокого порядка
    • [SPARK-46990][SQL] Исправлена загрузка пустых файлов Avro, создаваемых центрами событий
    • [SPARK-47638][PS][CONNECT] Пропуск проверки имени столбца в PS
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
    • [SPARK-47176][SQL] Функция вспомогательного средства ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Передайте идентификатор таблицы в exec проверки источника данных строк для стратегии версии 2.
    • [SPARK-47044][SQL] Добавление выполненного запроса для внешних источников данных JDBC для объяснения выходных данных
    • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
    • [SPARK-47070] Исправлена недопустимая агрегирование после перезаписи вложенных запросов
    • [SPARK-47121][CORE] Избегайте отклоненийExecutionExceptions во время завершения работы StandaloneSchedulerBackend
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier должен содержать другие выражения в дереве выражений
    • [SPARK-47129][CONNECT][SQL] Правильное подключение ResolveRelations к кэшу
    • [SPARK-47241][SQL] Устранение проблем с порядком правил для ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Протокол для прослушивателя на стороне клиента
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • Для создания схемы с определенным расположением теперь требуется, чтобы у пользователя были права SELECT и MODIFY в ANY FILE.
    • [SPARK-47071][SQL] Встроенное выражение с выражением, если оно содержит специальное выражение
    • [SPARK-47059][SQL] Подключение контекста ошибки для команды ALTER COLUMN версии 1
    • [SPARK-46993][SQL] Исправление свертывания констант для переменных сеанса
    • Обновления системы безопасности операционной системы.
  • 3 января 2024 г.
    • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
    • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
    • [SPARK-46954] XML: оболочка InputStreamReader с помощью bufferedReader.
    • [SPARK-46655] Пропустить перехват контекста запроса в DataFrame методах.
    • [SPARK-44815] Кэш df.schema, чтобы избежать дополнительных RPC.
    • [SPARK-46952] XML: ограничение размера поврежденной записи.
    • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
    • [SPARK-46736] сохраните пустое поле сообщения в соединителе protobuf.
    • [SPARK-45182] Игнорировать завершение задачи из старой стадии после повторного выполнения родительского этапа, определяемого контрольной суммой.
    • [SPARK-46414] Используйте prependBaseUri для отрисовки импорта javascript.
    • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables().
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • [SPARK-46954] XML: оптимизация подстановки индекса схемы.
    • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершать ошибку канонизации плана.
    • [SPARK-46644] Измените добавление и слияние в SQLMetric для использования isZero.
    • [SPARK-46731] Управление экземпляром поставщика хранилища состояний по источнику данных состояния — читателю.
    • [SPARK-46677] Исправление dataframe["*"] разрешения.
    • [SPARK-46610] Создание таблицы должно вызывать исключение, если значение ключа в параметрах не должно быть.
    • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
    • [SPARK-45433] Исправьте вывод схемы CSV/JSON, если метки времени не соответствуют заданной метке времени.
    • [SPARK-46930] Добавьте поддержку настраиваемого префикса для полей типа Union в Avro.
    • [SPARK-46227] Backport to 14.3.
    • [SPARK-46822] Уважение spark.sql.legacy.charVarcharAsString при приведение типа jdbc к типу катализатора в jdbc.
    • Обновления системы безопасности операционной системы.

Databricks Runtime 14.1

См. раздел Databricks Runtime 14.1.

  • 22 октября 2024 г.
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенныйAttribute с дочерними выходными данными
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • 10 октября 2024 г.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Классify Error class for FlatMapGroupsWithState user function error
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с отслеживанием состояния перед вычислением
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-48719][SQL] Исправлена ошибка вычисления regrS...
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49526][CONNECT] Поддержка путей в стиле Windows в ArtifactManager
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения с кадрами данных
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
  • 14 августа 2024 г.
    • [SPARK-48706][PYTHON] UDF Python в функциях более высокого порядка не должен вызывать внутреннюю ошибку
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-48050][SS] Логический план журнала при запуске запроса
  • 1 августа 2024 г.
    • Этот выпуск включает исправление ошибок для ColumnVector и ColumnarArray классов в интерфейсе Java Spark. В предыдущем исправлении ArrayIndexOutOfBoundsException может возникать или возвращать неверные данные, когда экземпляр одного из этих классов содержит null значения.
    • Выходные данные инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. раздел SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в разделе "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.
    • [SPARK-48705][PYTHON] Явное использование worker_main при запуске с pyspark
    • [SPARK-47202][PYTHON] Исправление критических дат и времени ввода с помощью tzinfo
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • Этот выпуск содержит исправление проблемы, которая не позволила правильно отображать вкладку среды пользовательского интерфейса Spark при запуске в службах контейнеров Databricks.
    • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • [SPARK-48292][CORE] Возврат [SPARK-39195][SQL] OutputCommitCoordinator Spark должен прервать этап, когда зафиксированный файл не соответствует состоянию задачи
    • [SPARK-48503][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48273][SQL] Исправление последней перезаписи PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] Устранение проблем при пропуске вложенных полей структуры, не выбранных в схеме
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • Исправлена ошибка, из-за которой оптимизация рангового окна с помощью Photon TopK неправильно обрабатывала секции со структурами.
    • [SPARK-48276][PYTHON][CONNECT] Добавление отсутствующих __repr__ методов для SQLExpression
    • [SPARK-48277] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • (Изменение поведения) dbutils.widgets.getAll() теперь поддерживается для получения всех значений мини-приложений в записной книжке.
    • [SPARK-47994][SQL] Исправлена ошибка с помощью фильтра столбцов CASE WHEN в SQLServer
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • [SPARK-48173][SQL] CheckAnalysis должен видеть весь план запроса
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-47371] [SQL] XML: игнорировать теги строк, найденные в CDATA
    • [SPARK-47895]Группа [SQL] по всем должна быть идемпотентной
    • [SPARK-47956][SQL] Проверка работоспособности для неразрешенной ссылки на LCA
    • [SPARK-48044][PYTHON][CONNECT] Тайник DataFrame.isStreaming
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • [SPARK-47704][SQL] Синтаксический анализ JSON завершается ошибкой "java.lang.ClassCastException", если включен параметр spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite сбой с недопустимым планом
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • [SPARK-47638][PS][CONNECT] Пропуск проверки имени столбца в PS
    • [SPARK-38708][SQL] Обновление клиента хранилища метаданных Hive до версии 3.1.3 для Hive 3.1
    • [SPARK-47309][SQL][XML] Добавление модульных тестов вывода схемы
    • [SPARK-47509][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях более высокого порядка
    • [SPARK-46990][SQL] Исправлена загрузка пустых файлов Avro, создаваемых центрами событий
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • [SPARK-47305][SQL] Исправление PruneFilters, чтобы пометить флаг isStreaming LocalRelation правильно, когда план содержит пакетную и потоковую передачу.
    • [SPARK-47218][SQL] XML: игнорировать закомментированные теги строк в xml-токенизаторе
    • [SPARK-47300][SQL] quoteIfNeeded должен ли идентификатор кавычки начинаться с цифр
    • [SPARK-47368][SQL] Удаление проверки конфигурации inferTimestampNTZ в ParquetRowConverter
    • [SPARK-47070] Исправлена недопустимая агрегирование после перезаписи вложенных запросов
    • [SPARK-47322][PYTHON][CONNECT] Согласованность withColumnsRenamed обработки дублирования имен столбцов withColumnRenamed
    • [SPARK-47300] Исправление для DecomposerSuite
    • [SPARK-47218] [SQL] XML: изменена схемаOfXml для сбоя в режиме DROPMALFORMED
    • [SPARK-47385] Исправьте кодировщики кортежей с помощью входных данных Option.
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47176][SQL] Функция вспомогательного средства ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Передайте идентификатор таблицы в exec проверки источника данных строк для стратегии версии 2.
    • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
    • [SPARK-47129][CONNECT][SQL] Правильное подключение ResolveRelations к кэшу
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • [SPARK-47044][SQL] Добавление выполненного запроса для внешних источников данных JDBC для объяснения выходных данных
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • Для создания схемы с определенным расположением теперь требуется, чтобы у пользователя были права SELECT и MODIFY в ANY FILE.
    • Теперь вы можете получать XML-файлы с помощью автозагрузчика, read_files, COPY INTO, DLT и DBSQL. Поддержка XML-файла может автоматически выводить и развивать схему, спасать данные с несоответствиями типов, проверять XML с помощью XSD, поддерживать выражения SQL, такие как from_xml, schema_of_xml и to_xml. Дополнительные сведения см . в статье о поддержке XML-файла. Если вы ранее использовали внешний пакет spark-xml, ознакомьтесь с инструкциями по миграции.
    • [SPARK-46248][SQL] XML: поддержка параметров ignoreCorruptFiles и ignoreMissingFiles
    • [SPARK-47059][SQL] Подключение контекста ошибки для команды ALTER COLUMN версии 1
    • [SPARK-46954][SQL] XML: оболочка InputStreamReader с помощью bufferedReader
    • [SPARK-46954][SQL] XML: оптимизация поиска индекса схемы
    • [SPARK-46630][SQL] XML: проверка имени XML-элемента при записи
    • Обновления системы безопасности операционной системы.
  • 8 февраля 2024 г.
    • Запросы веб-канала изменений (CDF) в материализованных представлениях каталога Unity не поддерживаются, и попытка запустить запрос CDF с материализованным представлением каталога Unity возвращает ошибку. Таблицы потоковой передачи каталога Unity поддерживают запросы CDF в таблицах, отличныхAPPLY CHANGES от таблиц, в Databricks Runtime 14.1 и более поздних версиях. Запросы CDF не поддерживаются в таблицах потоковой передачи каталога Unity в Databricks Runtime 14.0 и более ранних версий.
    • [SPARK-46952] XML: ограничение размера поврежденной записи.
    • [SPARK-45182] Игнорировать завершение задачи из старой стадии после повторного выполнения родительского этапа, определяемого контрольной суммой.
    • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
    • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • [SPARK-45582] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи.
    • [SPARK-46930] Добавьте поддержку настраиваемого префикса для полей типа Union в Avro.
    • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
    • [SPARK-46396] Вывод метки времени не должен вызывать исключение.
    • [SPARK-46822] Уважение spark.sql.legacy.charVarcharAsString при приведение типа jdbc к типу катализатора в jdbc.
    • [SPARK-45957] Избегайте создания плана выполнения для не исполняемых команд.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • [SPARK-46684] Исправьте coGroup.applyInPandas/Arrow, чтобы правильно передать аргументы.
    • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
    • [SPARK-45498] Дальнейшие действия. Пропустить завершение задачи из старых попыток этапа.
    • [SPARK-46382] XML: обновление документа для ignoreSurroundingSpaces.
    • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables().
    • [SPARK-46382] XML: по умолчанию игнорируется Значение true ДляSurroundingSpaces.
    • [SPARK-46677] Исправление dataframe["*"] разрешения.
    • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершать ошибку канонизации плана.
    • [SPARK-46633] Исправление средства чтения Avro для обработки блоков нулевой длины.
    • [SPARK-45912] Усовершенствование API XSDToSchema: переход на API HDFS для специальных возможностей облачного хранилища.
    • [SPARK-46599] XML: используйте TypeCoercion.findTightestCommonType для проверки совместимости.
    • [SPARK-46382] XML: захват значений, пересекаемых между элементами.
    • [SPARK-46769] Уточнение метки времени, связанной с выводом схемы.
    • [SPARK-46610] Создание таблицы должно вызывать исключение, если значение ключа в параметрах не должно быть.
    • [SPARK-45964] Удалите частный метод доступа sql в пакете XML и JSON в пакете катализатора.
    • Возврат [SPARK-46769] Уточнение метки времени, связанной с выводом схемы.
    • [SPARK-45962] Удалите treatEmptyValuesAsNulls и используйте nullValue вместо этого параметр в ФОРМАТЕ XML.
    • [SPARK-46541] Исправьте неоднозначную ссылку на столбец при самостоятельном соединении.
    • Обновления системы безопасности операционной системы.
  • 17 января 2024 г.
    • Узел shuffle плана объяснения, возвращаемого запросом Photon, обновляется, чтобы добавить causedBroadcastJoinBuildOOM=true флаг при возникновении ошибки вне памяти во время перетасовки, которая является частью вещания соединения.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
    • [SPARK-46417] Не завершайте ошибку при вызове hive.getTable и throwException имеет значение false.
    • [SPARK-46484] Чтобы resolveOperators вспомогательные функции сохраняли идентификатор плана.
    • [SPARK-46153] XML: добавление поддержки TimestampNTZType.
    • [SPARK-46152] XML: добавление поддержки DecimalType в вывод схемы XML.
    • [SPARK-46145] Spark.catalog.listTables не создает исключение, если таблица или представление не найдены.
    • [SPARK-46478] Вернуть SPARK-43049 для использования oracle varchar(255) для строки.
    • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
    • [SPARK-46337] Сохраните CTESubstitution PLAN_ID_TAG.
    • [SPARK-46466] Векторное средство чтения parquet никогда не должно делать перебазу для метки времени ntz.
    • [SPARK-46587] XML: исправлено преобразование большого целочисленного числа XSD.
    • [SPARK-45814] Сделайте стрелкуConverters.createEmptyArrowBatch вызов close(), чтобы избежать утечки памяти.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
    • [SPARK-46602] allowExisting Распространение в режиме создания представления, если представление или таблица не существует.
    • [SPARK-46173] Пропуск вызова trimAll во время синтаксического анализа даты.
    • [SPARK-46355] XML: закройте InputStreamReader при завершении чтения.
    • [SPARK-46600] Переместите общий код между SqlConf и SqlApiConf в SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed должен хранить упорядочение диктовки или карты.
    • [SPARK-46056] Исправление векторного вектора Parquet чтения NPE с значением по умолчанию byteArrayDecimalType.
    • [SPARK-46260] DataFrame.withColumnsRenamed должен соблюдать порядок диктовки.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
    • [SPARK-46609] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
  • 14 декабря 2023 г.
    • Исправлена проблема, из-за которой экранированные символы подчеркивания в операциях getColumns , исходящих из клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как подстановочные знаки.
    • [SPARK-45509] Исправлено поведение ссылки на столбец df для Spark Connect.
    • [SPARK-45844] Реализуйте нечувствительность регистра для XML.
    • [SPARK-46141] Измените значение по умолчанию для spark.sql.legacy.ctePrecedencePolicy на CORRECTED.
    • [SPARK-46028] Примите Column.__getitem__ входной столбец.
    • [SPARK-46255] Поддержка сложного типа —> преобразование строк.
    • [SPARK-45655] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics.
    • [SPARK-45433] Исправьте вывод схемы CSV/JSON, если метки времени не соответствуют заданной метке времени.
    • [SPARK-45316] Добавление новых параметров ignoreCorruptFiles/ignoreMissingFiles в HadoopRDD и NewHadoopRDD.
    • [SPARK-45852] Грациозно справиться с ошибкой рекурсии во время ведения журнала.
    • [SPARK-45920] группа по порядковой номеру должна быть идемпотентной.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как подстановочные знаки.
    • При приеме данных CSV с помощью автозагрузчика или потоковой передачи большие CSV-файлы теперь разделены и могут обрабатываться параллельно во время вывода схемы и обработки данных.
    • [SPARK-45892] Проверка плана оптимизатора рефакторинга для развязки validateSchemaOutput и validateExprIdUniqueness.
    • [SPARK-45620] API, связанные с UDF Python, теперь используют верблюдьи Регистр.
    • [SPARK-44790] Добавлена to_xml реализация и привязки для Python, Spark Connect и SQL.
    • [SPARK-45770] Исправлено разрешение столбцов для DataFrameDropColumns Dataframe.drop.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Сделал SBT тестирования герметично.
    • Обновления системы безопасности операционной системы.
  • 10 ноября 2023 г.
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • [SPARK-45250] Добавлена поддержка профиля ресурсов на уровне стадии для кластеров yarn при отключении динамического выделения.
    • [SPARK-44753] Добавлен модуль чтения и записи XML-кадра данных для PySpark SQL.
    • [SPARK-45396] Добавлена запись документа для PySpark.ml.connect модуля.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • [SPARK-45541] Добавлен SSLFactory.
    • [SPARK-45577] Исправлено UserDefinedPythonTableFunctionAnalyzeRunner для передачи сложенных значений из именованных аргументов.
    • [SPARK-45562] Сделал "rowTag" обязательным параметром.
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • [SPARK-43380] Исправлено замедление чтения Avro.
    • [SPARK-45430] FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • [SPARK-45386] Исправлена проблема, из-за которой StorageLevel.NONE неправильно возвращалось значение 0.
    • [SPARK-44219] Добавлены проверки проверки на правило для перезаписи оптимизации.
    • [SPARK-45543] Исправлена проблема, из-за которой InferWindowGroupLimit возникла проблема, если другие функции окна не имели того же кадра окна, что и функции ранжирования.
    • Обновления системы безопасности операционной системы.
  • 27 сентября 2023 г.
    • [SPARK-44823] Обновлено black до версии 23.9.1 и исправлена ошибка.
    • [SPARK-45339] PySpark теперь регистрирует ошибки, которые он повторяет.
    • Возврат [SPARK-42946] Редактированные конфиденциальные данные, вложенные в подстановки переменных.
    • [SPARK-44551] Измененные примечания для синхронизации с OSS.
    • [SPARK-45360] Построитель сеансов Spark поддерживает инициализацию из SPARK_REMOTE.
    • [SPARK-45279] Присоединено plan_id ко всем логическим планам.
    • [SPARK-45425] Сопоставлено TINYINT с ShortType MsSqlServerDialect.
    • [SPARK-45419] Удалена запись карты версий файлов больших версий, чтобы избежать повторного использования rocksdb идентификаторов файлов sst.
    • [SPARK-45488] Добавлена поддержка значения в rowTag элементе.
    • [SPARK-42205] Удалено ведение журнала Accumulables событий запуска в Task/Stage JsonProtocol журналах событий.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter завершается ошибкой при записи больше значений, чем начальная емкость.
    • [SPARK-43380] Исправлены Avro проблемы с преобразованием типов данных без регрессии производительности.
    • [SPARK-45182] Добавлена поддержка отката этапа перетасовки карты, поэтому все задачи этапа можно получить, когда выходные данные этапа не определены.
    • [SPARK-45399] Добавлены параметры XML с помощью newOption.
    • Обновления системы безопасности операционной системы.

Databricks Runtime 13.3 LTS

См. раздел Databricks Runtime 13.3 LTS.

  • 22 октября 2024 г.
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Класс классify Error для ошибки пользовательской функции приемника Foreach
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
  • 25 сентября 2024 г.
    • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
    • [SPARK-48719][SQL] Исправлена ошибка вычисления RegrSlope и RegrIntercept, когда первый параметр имеет значение NULL
    • [SPARK-43242][CORE] Исправление вызов "Непредвиденный тип BlockId" при диагностике повреждения смешения
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49526][CONNECT] Поддержка путей в стиле Windows в ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor, поддерживающий вложенные входные столбцы
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
  • 14 августа 2024 г.
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
  • 1 августа 2024 г.
    • Этот выпуск включает исправление ошибок для ColumnVector и ColumnarArray классов в интерфейсе Java Spark. В предыдущем исправлении ArrayIndexOutOfBoundsException может возникать или возвращать неверные данные, когда экземпляр одного из этих классов содержит null значения.
    • [SPARK-47202][PYTHON] Исправление критических дат и времени ввода с помощью tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • Этот выпуск содержит исправление проблемы, которая не позволила правильно отображать вкладку среды пользовательского интерфейса Spark при запуске в службах контейнеров Databricks.
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • [SPARK-48292][CORE] Возврат [SPARK-39195][SQL] OutputCommitCoordinator Spark должен прервать этап, когда зафиксированный файл не соответствует состоянию задачи
    • [SPARK-48503][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
    • [SPARK-48273][SQL] Исправление последней перезаписи PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • [SPARK-48277] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
  • 9 мая 2024 г.
    • [SPARK-47956][SQL] Проверка работоспособности для неразрешенной ссылки на LCA
    • [SPARK-46822][SQL] Уважение spark.sql.legacy.charVarcharAsString при приведение типа jdbc к типу катализатора в jdbc
    • [SPARK-47895]Группа [SQL] по всем должна быть идемпотентной
    • [SPARK-48018][SS] Исправление null groupId, вызывающее ошибку param при вызове KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • [SPARK-44653][SQL] Нетривиальные объединения кадра данных не должны прерывать кэширование
    • Прочие исправления ошибок.
  • 11 апреля 2024 г.
    • [SPARK-47509][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях более высокого порядка
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • [SPARK-47385] Исправьте кодировщики кортежей с помощью входных данных Option.
    • [SPARK-38708][SQL] Обновление клиента хранилища метаданных Hive до версии 3.1.3 для Hive 3.1
    • [SPARK-47200][SS] Класс ошибок для ошибки пользовательской функции приемника пакетной службы Foreach
    • [SPARK-47368][SQL] Удаление проверки конфигурации inferTimestampNTZ в ParquetRowConverter
    • [SPARK-44252][SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
    • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
    • [SPARK-47300][SQL] quoteIfNeeded должен ли идентификатор кавычки начинаться с цифр
    • [SPARK-47305][SQL] Исправление PruneFilters, чтобы пометить флаг isStreaming LocalRelation правильно, когда план содержит пакетную и потоковую передачу.
    • [SPARK-47070] Исправлена недопустимая агрегирование после перезаписи вложенных запросов
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47145][SQL] Передайте идентификатор таблицы в exec проверки источника данных строк для стратегии версии 2.
    • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
    • [SPARK-47176][SQL] Функция вспомогательного средства ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Добавление выполненного запроса для внешних источников данных JDBC для объяснения выходных данных
    • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • Для создания схемы с определенным расположением теперь требуется, чтобы у пользователя были права SELECT и MODIFY в ANY FILE.
    • Обновления системы безопасности операционной системы.
  • 8 февраля 2024 г.
    • Запросы веб-канала изменений (CDF) в материализованных представлениях каталога Unity не поддерживаются, и попытка запустить запрос CDF с материализованным представлением каталога Unity возвращает ошибку. Таблицы потоковой передачи каталога Unity поддерживают запросы CDF в таблицах, отличныхAPPLY CHANGES от таблиц, в Databricks Runtime 14.1 и более поздних версиях. Запросы CDF не поддерживаются в таблицах потоковой передачи каталога Unity в Databricks Runtime 14.0 и более ранних версий.
    • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
    • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
    • [SPARK-45582] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи.
    • [SPARK-46396] Вывод метки времени не должен вызывать исключение.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • [SPARK-46610] Создание таблицы должно вызывать исключение, если значение ключа в параметрах не должно быть.
    • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока действия taskInfo.accumulables().
    • [SPARK-46600] Переместите общий код между SqlConf и SqlApiConf в SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершать ошибку канонизации плана.
    • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
    • Обновления системы безопасности операционной системы.
  • 17 января 2024 г.
    • Узел shuffle плана объяснения, возвращаемого запросом Photon, обновляется, чтобы добавить causedBroadcastJoinBuildOOM=true флаг при возникновении ошибки вне памяти во время перетасовки, которая является частью вещания соединения.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-46173] Пропуск вызова trimAll во время синтаксического анализа даты.
    • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
    • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
    • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
    • [SPARK-46609] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
    • [SPARK-46602] allowExisting Распространение в режиме создания представления, если представление или таблица не существует.
    • [SPARK-46249] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями.
    • [SPARK-46417] Не завершайте ошибку при вызове hive.getTable и throwException имеет значение false.
    • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
    • [SPARK-46478] Вернуть SPARK-43049 для использования oracle varchar(255) для строки.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
    • [SPARK-46056] Исправление векторного вектора Parquet чтения NPE с значением по умолчанию byteArrayDecimalType.
    • [SPARK-46145] Spark.catalog.listTables не создает исключение, если таблица или представление не найдены.
    • [SPARK-46466] Векторное средство чтения parquet никогда не должно делать перебазу для метки времени ntz.
  • 14 декабря 2023 г.
    • Исправлена проблема, из-за которой экранированные символы подчеркивания в операциях getColumns , исходящих из клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как подстановочные знаки.
    • [SPARK-45920] группа по порядковой номеру должна быть идемпотентной.
    • [SPARK-44582] Пропустить итератор на SMJ, если он был очищен.
    • [SPARK-45433] Исправьте вывод схемы CSV/JSON, если метки времени не соответствуют заданной метке времени.
    • [SPARK-45655] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • Соединитель Spark-snowflake обновляется до версии 2.12.0.
    • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
    • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
    • [SPARK-45892] Проверка плана оптимизатора рефакторинга для развязки validateSchemaOutput и validateExprIdUniqueness.
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • Обновления системы безопасности операционной системы.
  • 10 ноября 2023 г.
    • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
    • Измененный веб-канал данных запросов к таблицам потоковой передачи каталога Unity и материализованным представлениям для отображения сообщений об ошибках.
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • [SPARK-45541] Добавлен.SSLFactory
    • [SPARK-45430] FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • [SPARK-44219] Добавлены дополнительные проверки для каждого правила для перезаписи оптимизации.
    • [SPARK-45543] Исправлена проблема, из-за которой InferWindowGroupLimit возникла проблема, если другие функции окна не имели того же кадра окна, что и функции ранжирования.
    • Обновления системы безопасности операционной системы.
  • 23 октября 2023 г.
    • [SPARK-45256] Исправлена проблема, из-за которой DurationWriter при написании больше значений, чем начальная емкость.
    • [SPARK-45419] Избегайте повторного использования rocksdb sst файлов в другом rocksdb экземпляре, удалив записи карты версий файлов более крупных версий.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • Прочие исправления.
  • 13 октября 2023 г.
    • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
    • Функция array_insert основана на 1 для положительных и отрицательных индексов, в то время как раньше она была основана на 0 для отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить прежнее поведение, присвойте параметру spark.sql.legacy.negativeIndexInArrayInsert значение true.
    • Исправлена проблема, из-за которой не игнорировать поврежденные файлы при ignoreCorruptFiles включении во время вывода схемы CSV с помощью автозагрузчика.
    • Возврат [SPARK-42946].
    • [SPARK-42205] Обновлен протокол JSON, чтобы удалить ведение журнала Accumulables в задачах или событиях начала этапа.
    • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
    • [SPARK-45316] Добавление новых параметров ignoreCorruptFiles и ignoreMissingFiles в нее HadoopRDD NewHadoopRDD.
    • [SPARK-44740] Исправлены значения метаданных для артефактов.
    • [SPARK-45360] Инициализированная конфигурация построителя сеансов Spark из SPARK_REMOTE.
    • [SPARK-44551] Измененные примечания для синхронизации с OSS.
    • [SPARK-45346] Вывод схемы Parquet теперь учитывает флаги с учетом регистра при слиянии схемы.
    • [SPARK-44658] ShuffleStatus.getMapStatus теперь возвращается None вместо Some(null).
    • [SPARK-44840] Сделано array_insert() 1 на основе отрицательных индексов.
  • 14 сентября 2023 г.
    • [SPARK-44873] Добавлена поддержка alter view вложенных столбцов в клиенте Hive.
    • [SPARK-44878] Отключен строгий предел для диспетчера записи, RocksDB чтобы избежать исключения вставки в кэше.
  • 30 августа 2023 г.
    • Команда dbutils cp (dbutils.fs.cp) оптимизирована для ускорения копирования. Благодаря этому улучшению операции копирования могут занять до 100 меньше времени в зависимости от размера файла. Эта функция доступна во всех облаках и файловых системах, доступных в Databricks, в том числе для томов каталога Unity и подключений DBFS.
    • [SPARK-44455] Идентификаторы кавычек с обратными знаками в SHOW CREATE TABLE результате.
    • [SPARK-44763] Исправлена проблема, показывающая строку как двойную в двоичном арифметике с интервалом.
    • [SPARK-44871] Исправлено percentile_disc поведение.
    • [SPARK-44714] Упрощение ограничения разрешения LCA относительно запросов.
    • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
    • [SPARK-44505] Добавлен переопределение для поддержки columnar в scan for DSv2.
    • [SPARK-44479] Исправлено преобразование protobuf из пустого типа структуры.
    • [SPARK-44718] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
    • [SPARK-42941] Добавлена поддержка StreamingQueryListener в Python.
    • [SPARK-44558] Экспорт уровня журнала Spark Connect PySpark.
    • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих значение NULL в качестве первого значения столбца.
    • [SPARK-44643] Исправлено Row.__repr__ , когда поле является пустой строкой.
    • Обновления системы безопасности операционной системы.

Databricks Runtime 12.2 LTS

См. раздел Databricks Runtime 12.2 LTS.

  • 10 октября 2024 г.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен изменять поля схемы при выполнении команды GetArrayStructFields
  • 25 сентября 2024 г.
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
    • Прочие исправления ошибок.
  • 17 сентября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • Прочие исправления ошибок.
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-48463][ML] Make StringIndexer с поддержкой вложенных входных столбцов
    • Обновления системы безопасности операционной системы.
  • 1 августа 2024 г.
  • 1 августа 2024 г.
    • Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.5 до 3.9.19.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь недопустимы кэшированные результаты. Используется .checkpoint() для сохранения состояния таблицы в течение всего времени существования кадра данных.
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan к потоковому набору данных
    • [SPARK-47070] Исправлена недопустимая агрегирование после перезаписи вложенных запросов
    • [SPARK-42741][SQL] Не распаковывать приведение в двоичном сравнении, если литерал имеет значение NULL
    • [SPARK-48445][SQL] Не встраивайте пользовательские функции с дорогими дочерними объектами
    • [SPARK-48503][SQL] Исправление недопустимых скалярных вложенных запросов с помощью столбцов, не являющихся эквивалентными для групп, которые были неправильно разрешены
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • [SPARK-48277] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
    • Прочие исправления ошибок.
  • 21 мая 2024 г.
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-44251][SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Проверка работоспособности для неразрешенной ссылки на LCA
    • [SPARK-48018][SS] Исправление null groupId, вызывающее ошибку param при вызове KafkaException.couldNotReadOffsetRange
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • [SPARK-47305][SQL] Исправление PruneFilters, чтобы пометить флаг isStreaming LocalRelation правильно, когда план содержит пакетную и потоковую передачу.
    • [SPARK-44252][SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
    • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
    • [SPARK-47200][SS] Класс ошибок для ошибки пользовательской функции приемника пакетной службы Foreach
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47176][SQL] Функция вспомогательного средства ResolveAllExpressionsUpWithPruning
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
    • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • Для создания схемы с определенным расположением теперь требуется, чтобы у пользователя были права SELECT и MODIFY в ANY FILE.
    • [SPARK-45582][SS] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи
    • Обновления системы безопасности операционной системы.
  • 13 февраля 2024 г.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
    • Обновления системы безопасности операционной системы.
  • 25 декабря 2023 г.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-39440] Добавьте конфигурацию для отключения временной шкалы событий.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
    • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
    • [SPARK-46417] Не завершайте ошибку при вызове hive.getTable и throwException имеет значение false.
    • [SPARK-43067] Исправьте расположение файла ресурсов класса ошибок в соединителе Kafka.
    • [SPARK-46249] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями.
    • [SPARK-46602] allowExisting Распространение в режиме создания представления, если представление или таблица не существует.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-46145] Spark.catalog.listTables не создает исключение, если таблица или представление не найдены.
    • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
    • [SPARK-42852] Повторное изменение именованного имениLambdaVariable из ЭквивалентаExpressions.
  • 14 декабря 2023 г.
    • Исправлена проблема, из-за которой экранированные символы подчеркивания в операциях getColumns , исходящих из клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как подстановочные знаки.
    • [SPARK-44582] Пропустить итератор на SMJ, если он был очищен.
    • [SPARK-45920] группа по порядковой номеру должна быть идемпотентной.
    • [SPARK-45655] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как подстановочные знаки.
    • [SPARK-42205] Удалены журналы, доступные для ведения журнала, в Stage событиях запуска и Task запуска.
    • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
    • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
    • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
    • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображает неудачные запросы.
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • Обновления системы безопасности операционной системы.
  • 14 ноября 2023 г.
    • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • [SPARK-45541] Добавлен.SSLFactory
    • [SPARK-45430] FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • Обновления системы безопасности операционной системы.
  • 24 октября 2023 г.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • Прочие исправления.
  • 13 октября 2023 г.
    • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
    • [SPARK-42553] Убедитесь, что по крайней мере один единица времени после интервала.
    • [SPARK-45346] Вывод схемы Parquet учитывает флаг конфиденциальности регистра при слиянии схемы.
    • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
    • [SPARK-45084] StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
  • 12 сентября 2023 г.
    • [SPARK-44873] Добавлена поддержка alter view вложенных столбцов в клиенте Hive.
    • [SPARK-44718] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
    • [SPARK-43799] Добавлен двоичный параметр дескриптора в API PySpark Protobuf .
    • Прочие исправления.
  • 30 августа 2023 г.
    • [SPARK-44485] Оптимизировано TreeNode.generateTreeString.
    • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
    • [SPARK-44871][11.3-13.0] Исправлено percentile_disc поведение.
    • [SPARK-44714] Упрощенное ограничение разрешения LCA относительно запросов.
    • Обновления системы безопасности операционной системы.
  • 15 августа 2023 г.
    • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
    • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
    • Обновления системы безопасности операционной системы.
  • 29 июля 2023 г.
    • Исправлена проблема dbutils.fs.ls() , из-за которой возвращался INVALID_PARAMETER_VALUE.LOCATION_OVERLAP при вызове пути к расположению хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
    • [SPARK-44199] CacheManager больше не обновляет ненужные fileIndex .
    • Обновления системы безопасности операционной системы.
  • 24 июля 2023 г.
    • [SPARK-44337] Исправлена проблема, из-за которой любой набор Any.getDefaultInstance полей вызвал ошибки синтаксического анализа.
    • [SPARK-44136] Исправлена проблема, из-за которой StateManager он был материализован в исполнителе, а не драйвером FlatMapGroupsWithStateExec.
    • Обновления системы безопасности операционной системы.
  • 23 июня 2023 г.
    • Обновления системы безопасности операционной системы.
  • 15 июня 2023 г.
    • Фотонализовано approx_count_distinct.
    • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
    • [SPARK-43779] ParseToDate теперь загружается EvalMode в основной поток.
    • [SPARK-43156][SPARK-43098] Проверка ошибки расширенного скалярного подзаверждения с decorrelateInnerQuery отключенным.
    • Обновления системы безопасности операционной системы.
  • 2 июня 2023 г.
    • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
    • Повышение производительности добавочных обновлений с помощью SHALLOW CLONE Айсберга и Parquet.
    • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
    • [SPARK-43404] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
    • [SPARK-43413][11.3-13.0] Исправлена IN возможность nullquery ListQuery .
    • [SPARK-43522] Исправлено создание имени столбца структуры с индексом массива.
    • [SPARK-43541] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
    • [SPARK-43527] Исправлено catalog.listCatalogs в PySpark.
    • [SPARK-43123] Внутренние метаданные поля больше не утечки в каталоги.
    • [SPARK-43340] Исправлено отсутствие поля трассировки стека в журналах событий.
    • [SPARK-424444] DataFrame.drop теперь правильно обрабатывает повторяющиеся столбцы.
    • [SPARK-42937] PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
    • [SPARK-43286] Обновлен aes_encrypt режим CBC для создания случайных IV.
    • [SPARK-43378] Правильно закрывайте объекты потока в deserializeFromChunkedBuffer.
  • 17 мая 2023 г.
    • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
    • Если файл Avro считывался только с параметром failOnUnknownFields или с автозагрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
    • Автозагрузчик теперь выполняет следующие действия.
      • Правильно считывает и больше не спасаетIntegerShort, и Byte типы, если предоставлен один из этих типов данных, но файл Avro предлагает один из других двух типов.
      • Запрещает чтение типов интервалов в виде типов меток даты или времени, чтобы избежать повреждения дат.
      • Запрещает Decimal чтение типов с более низкой точностью.
    • [SPARK-43172] Предоставляет узел и маркер из клиента Spark connect.
    • [SPARK-43293] __qualified_access_only игнорируется в обычных столбцах.
    • [SPARK-43098] Исправлена ошибка правильности COUNT при группировке скалярных вложенных запросов по предложению.
    • [SPARK-43085] Поддержка назначения столбцов DEFAULT для имен таблиц с несколькими частьми.
    • [SPARK-43190] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
    • [SPARK-43192] Удалена проверка charset агента пользователя.
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2023 г.
    • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
    • Автоматический загрузчик теперь правильно считывает и больше не спасаетIntegerShort, и Byte типы, если предоставлен один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к сохранению столбцов, даже если они доступны для чтения.
    • [SPARK-43009] Параметризованный sql() с Any константами
    • [SPARK-42406] Завершение рекурсивных полей Protobuf путем удаления поля
    • [SPARK-43038] Поддержка режима CBC по aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Изменение на печатьworkdir, если appDirs значение NULL при событии рабочего дескриптора WorkDirCleanup
    • [SPARK-43018] Исправлена ошибка для команд INSERT с литералом метки времени
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2023 г.
    • Поддержка устаревших форматов источников данных в команде SYNC .
    • Исправлена проблема в поведении %autoreload в записных книжках за пределами репозитория.
    • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
    • [SPARK-42928] Выполняет resolvePersistentFunction синхронизацию.
    • [SPARK-42936] Устраняет проблему LCan, когда предложение может быть разрешено непосредственно его дочерним агрегатом.
    • [SPARK-42967] Исправления SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
    • Обновления системы безопасности операционной системы.
  • 29 марта 2023 г.

    • Databricks SQL теперь поддерживает указание значений по умолчанию для столбцов таблиц Delta Lake либо во время создания таблицы, либо после этого. ПоследующиеINSERT, DELETEMERGE и UPDATEкоманды могут ссылаться на значение по умолчанию любого столбца с помощью явного DEFAULT ключевого слова. Кроме того, если любое INSERT назначение имеет явный список меньше столбцов, чем целевая таблица, соответствующие значения столбцов по умолчанию заменяются остальными столбцами (или NULL, если значение по умолчанию не указано).

      Например:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Автозагрузчик теперь инициирует по крайней мере одну синхронную очистку журнала RocksDB для Trigger.AvailableNow потоков, чтобы проверить, что контрольная точка может регулярно очищаться для быстрых потоков автозагрузчика. Это может привести к тому, что некоторые потоки будут занять больше времени до завершения работы, но это позволит сэкономить затраты на хранение и улучшить возможности автозагрузчика в будущих запусках.

    • Теперь можно изменить таблицу Delta, чтобы добавить поддержку в функции таблицы с помощью DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры"

    • [SPARK-42521] Добавление NULLs для INSERTs с пользовательскими списками меньше столбцов, чем целевая таблица

    • [SPARK-42702][SPARK-42623] Поддержка параметризованного запроса в вложенных запросах и CTE

    • [SPARK-42668] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol должен обрабатывать строки JSON NULL

  • 8 марта 2023 г.
    • Сообщение об ошибке "Сбой инициализации конфигурации" улучшено, чтобы обеспечить больше контекста для клиента.
    • Существует изменение терминологии для добавления функций в таблицу Delta с помощью свойства таблицы. Предпочтительный синтаксис теперь 'delta.feature.featureName'='supported' вместо 'delta.feature.featureName'='enabled'. Для обеспечения обратной совместимости использование 'delta.feature.featureName'='enabled' по-прежнему работает и продолжит работать.
    • Начиная с этого выпуска, можно создать или заменить таблицу дополнительным свойством delta.ignoreProtocolDefaults таблицы, чтобы игнорировать конфигурации Spark, связанные с протоколом, которая включает версии чтения и записи по умолчанию и функции таблицы, поддерживаемые по умолчанию.
    • [SPARK-42070] Изменение значения по умолчанию аргумента функции Mask с -1 на NULL
    • [SPARK-41793] Неправильный результат для кадров окна, определенных предложением диапазона для значительных десятичных разрядов
    • [SPARK-42484] Лучшее сообщение об ошибке unsafeRowUtils
    • [SPARK-42516] Всегда захватывать конфигурацию часового пояса сеанса при создании представлений
    • [SPARK-42635] Исправлено выражение TimestampAdd.
    • [SPARK-42622] Отключена подстановка значений
    • [SPARK-42534] Исправление предложения DB2Dialect Limit
    • [SPARK-42121] Добавление встроенных табличных функций posexplode, posexplode_outer, json_tuple и стека
    • [SPARK-42045] Режим SQL ANSI: Round/Bround должен возвращать ошибку при крошечном/маленьком или значительном переполнении целых чисел
    • Обновления системы безопасности операционной системы.

Databricks Runtime 11.3 LTS

См. раздел Databricks Runtime 11.3 LTS.

  • 10 октября 2024 г.
    • Прочие исправления ошибок.
  • 25 сентября 2024 г.
    • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • Прочие исправления ошибок.
  • 17 сентября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-48463][ML] Make StringIndexer с поддержкой вложенных входных столбцов
    • Обновления системы безопасности операционной системы.
  • 1 августа 2024 г.
  • 1 августа 2024 г.
    • Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 11.3 LTS обновляется с 3.9.5 до 3.9.19.
  • 11 июля 2024 г.
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • [SPARK-47070] Исправлена недопустимая агрегирование после перезаписи вложенных запросов
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-48018][SS] Исправление null groupId, вызывающее ошибку param при вызове KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • [SPARK-44252][SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
    • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • [SPARK-47200][SS] Класс ошибок для ошибки пользовательской функции приемника пакетной службы Foreach
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
    • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • [SPARK-45582][SS] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи
  • 13 февраля 2024 г.
    • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 декабря 2023 г.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-46602] allowExisting Распространение в режиме создания представления, если представление или таблица не существует.
    • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
    • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
    • [SPARK-39440] Добавьте конфигурацию для отключения временной шкалы событий.
    • [SPARK-46249] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
  • 14 декабря 2023 г.
    • Исправлена проблема, из-за которой экранированные символы подчеркивания в операциях getColumns , исходящих из клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как подстановочные знаки.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как подстановочные знаки.
    • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображает неудачные запросы.
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
    • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
    • Обновления системы безопасности операционной системы.
  • 14 ноября 2023 г.
    • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
    • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • Возврат [SPARK-33861].
    • [SPARK-45541] Добавлен.SSLFactory
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • [SPARK-45430] FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • Обновления системы безопасности операционной системы.
  • 24 октября 2023 г.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • Прочие исправления.
  • 13 октября 2023 г.
    • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
    • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
    • [SPARK-45084] StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
    • [SPARK-45346] Вывод схемы Parquet теперь учитывает флаг с учетом регистра при слиянии схемы.
    • Обновления системы безопасности операционной системы.
  • 10 сентября 2023 г.
    • Прочие исправления.
  • 30 августа 2023 г.
    • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
    • [SPARK-44871][11.3-13.0] Исправлено percentile_disc поведение.
    • Обновления системы безопасности операционной системы.
  • 15 августа 2023 г.
    • [SPARK-44485] Оптимизировано TreeNode.generateTreeString.
    • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
    • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
    • Обновления системы безопасности операционной системы.
  • 27 июля 2023 г.
    • Исправлена проблема dbutils.fs.ls() , из-за которой возвращался INVALID_PARAMETER_VALUE.LOCATION_OVERLAP при вызове пути к расположению хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
    • [SPARK-44199] CacheManager больше не обновляет ненужные fileIndex .
    • Обновления системы безопасности операционной системы.
  • 24 июля 2023 г.
    • [SPARK-44136] Исправлена проблема, из-за которой StateManager может материализоваться в исполнителях вместо драйвера в FlatMapGroupsWithStateExec.
    • Обновления системы безопасности операционной системы.
  • 23 июня 2023 г.
    • Обновления системы безопасности операционной системы.
  • 15 июня 2023 г.
    • Фотонализовано approx_count_distinct.
    • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
    • [SPARK-43779] ParseToDate теперь загружается EvalMode в основной поток.
    • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Расширенный скалярный тест количества decorrelateInnerQuery ошибок с отключенным.
    • [SPARK-43098] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
    • Обновления системы безопасности операционной системы.
  • 2 июня 2023 г.
    • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
    • Повышение производительности добавочных обновлений с помощью SHALLOW CLONE Айсберга и Parquet.
    • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
    • [SPARK-43404]Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
    • [SPARK-43527] Исправлено catalog.listCatalogs в PySpark.
    • [SPARK-43413][11.3-13.0] Исправлена IN возможность nullquery ListQuery .
    • [SPARK-43340] Исправлено отсутствие поля трассировки стека в журналах событий.

Databricks Runtime 10.4 LTS

См. Databricks Runtime 10.4 LTS.

  • 22 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
  • 14 августа 2024 г.
    • [SPARK-48597][SQL] Введение маркера для свойства IsStreaming в текстовом представлении логического плана
    • [SPARK-48941][SPARK-48970] Исправление средства записи машинного обучения и средства чтения
    • [SPARK-48463][ML] Make StringIndexer с поддержкой вложенных входных столбцов
  • 1 августа 2024 г.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Исправления средства записи машинного обучения backport spark
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • [SPARK-48383][SS] Создание более эффективной ошибки для несовпадений секций в параметре startOffset в Kafka
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-48018][SS] Исправление null groupId, вызывающее ошибку param при вызове KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
    • [SPARK-44252][SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
    • [SPARK-47200][SS] Класс ошибок для ошибки пользовательской функции приемника пакетной службы Foreach
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • [SPARK-45582][SS] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи
    • Обновления системы безопасности операционной системы.
  • 13 февраля 2024 г.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 декабря 2023 г.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
    • [SPARK-39440] Добавьте конфигурацию для отключения временной шкалы событий.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
  • 14 декабря 2023 г.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
    • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
    • Обновления системы безопасности операционной системы.
  • 14 ноября 2023 г.
    • [SPARK-45541] Добавлен.SSLFactory
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • Возврат [SPARK-33861].
    • Обновления системы безопасности операционной системы.
  • 24 октября 2023 г.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • Обновления системы безопасности операционной системы.
  • 13 октября 2023 г.
    • [SPARK-45084] StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
    • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
    • Обновления системы безопасности операционной системы.
  • 10 сентября 2023 г.
    • Прочие исправления.
  • 30 августа 2023 г.
    • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
    • Обновления системы безопасности операционной системы.
  • 15 августа 2023 г.
    • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
    • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображается неправильно.
    • Обновления системы безопасности операционной системы.
  • 23 июня 2023 г.
    • Обновления системы безопасности операционной системы.
  • 15 июня 2023 г.
    • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
    • [SPARK-43098] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
    • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Расширенный тест скалярного подзапроса с decorrelateInnerQuery отключенным.
    • Обновления системы безопасности операционной системы.
  • 2 июня 2023 г.
    • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
    • Исправлена проблема в синтаксическом анализе данных JSON, чтобы предотвратить UnknownFieldException.
    • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
    • [SPARK-43404] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
    • [SPARK-43413] Исправлена IN возможность nullquery ListQuery .
    • Обновления системы безопасности операционной системы.
  • 17 мая 2023 г.
    • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
    • [SPARK-41520] Разделение AND_OR шаблона дерева для разделения и ORразделенияAND.
    • [SPARK-43190] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2023 г.
    • [SPARK-42928] Сделайте resolvePersistentFunction синхронизированным.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2023 г.
    • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
    • [SPARK-42937] PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
    • [SPARK-42967] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
  • 29 марта 2023 г.
    • [SPARK-42668] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider
    • [SPARK-42635] Исправление ...
    • Обновления системы безопасности операционной системы.
  • 14 марта 2023 г.
    • [SPARK-41162] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
    • [SPARK-33206] Исправление вычисления веса кэша кэша индексов с перетасовками для небольших файлов индексов
    • [SPARK-42484] Улучшено сообщение об ошибке UnsafeRowUtils
    • Прочие исправления.
  • 28 февраля 2023 г.
    • Поддержка созданного столбца для date_format гггг-ММ-дд. Это изменение поддерживает очистку секций для гггг-ММ-дд в виде date_format в созданных столбцах.
    • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
    • Поддержка созданного столбца для date_format гггг-ММ-дд. Это изменение поддерживает очистку секций для гггг-ММ-дд в виде date_format в созданных столбцах.
    • Обновления системы безопасности операционной системы.
  • 16 февраля 2023 г.
    • [SPARK-30220] Включение вложенных запросов "Существует" или "В" за пределами узла фильтра
    • Обновления системы безопасности операционной системы.
  • 31 января 2023 г.
    • По умолчанию типы таблиц JDBC являются внешними.
  • 18 января 2023 г.
    • Соединитель Azure Synapse возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
    • [SPARK-38277] Очистка пакета записи после фиксации хранилища состояний RocksDB
    • [SPARK-41199] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
    • [SPARK-41198] Исправьте метрики в потоковом запросе с источником потоковой передачи CTE и DSv1.
    • [SPARK-41339] Закройте и повторно создайте пакет записи RocksDB вместо простой очистки.
    • [SPARK-41732] Применение обрезки на основе дерева для правила SessionWindowing.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2022 г.
    • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
      • csvignoreleadingwhitespace, если задано значение true, удаляет ведущее пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
      • csvignoretrailingwhitespace, если задано trueзначение , удаляет конечный пробел из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • Исправлена проблема с синтаксический анализ JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
    • Обновления системы безопасности операционной системы.
  • 15 ноября 2022 г.
    • Обновление Apache commons-text до версии 1.10.0.
    • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, если часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы принять участие в улучшенном поведении, задайте для spark.sql.json.enablePartialResults trueпараметра . Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
    • [SPARK-40292] Исправление имен столбцов в функции при arrays_zip ссылке на массивы из вложенных структур
    • Обновления системы безопасности операционной системы.
  • 1 ноября 2022 г.
    • Исправлена проблема, из-за которой если в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
    • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
    • [SPARK-40697] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
    • [SPARK-40596] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
    • Обновления системы безопасности операционной системы.
  • 18 октября 2022 г.
    • Обновления системы безопасности операционной системы.
  • 5 октября 2022 г.
    • [SPARK-40468] Исправьте обрезку столбцов в CSV при _corrupt_record выборе.
    • Обновления системы безопасности операционной системы.
  • 22 сентября 2022 г.
    • Пользователи могут задать spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, trueчтобы повторно включить встроенный список для автозагрузчика в ADLS 2-го поколения. Встроенное описание было ранее отключено из-за проблем с производительностью, но может быть вызвано увеличением затрат на хранение для клиентов.
    • [SPARK-40315] Добавление hashCode() для литерала ArrayBasedMapData
    • [SPARK-40213] Поддержка преобразования значений ASCII для символов Latin-1
    • [SPARK-40380] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
    • [SPARK-38404] Улучшение разрешения CTE, когда вложенный CTE ссылается на внешний CTE
    • [SPARK-40089] Исправление сортировки для некоторых десятичных типов
    • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • 6 сентября 2022 г.
    • [SPARK-40235] Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS должен сохранять столбцы группирования.
    • [SPARK-39976] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении.
    • [SPARK-40053] Добавление в динамические случаи отмены, для которых требуется assume среда выполнения Python.
    • [SPARK-35542] Исправление. Контейнеризатор, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols, не может быть загружен после сохранения.
    • [SPARK-40079] Добавьте проверку ввода Imputer InputCols для пустого регистра ввода.
  • 24 августа 2022 г.
    • [SPARK-39983] Не кэшируйте несериализированные отношения вещания на драйвере.
    • [SPARK-39775] Отключите проверку значений по умолчанию при синтаксическом анализе схем Avro.
    • [SPARK-39962] Применение проекции при пустых атрибутах группы
    • [SPARK-37643] Если charVarcharAsString имеет значение true, для запроса предиката типа char следует пропустить правило rpadding.
    • Обновления системы безопасности операционной системы.
  • 9 августа 2022 г.
    • [SPARK-39847] Исправьте состояние гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
    • [SPARK-39731] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате yyMMddd с политикой синтаксического анализа времени CORRECTED.
    • Обновления системы безопасности операционной системы.
  • 27 июля 2022 г.
    • [SPARK-39625] Добавьте Dataset.as(StructType).
    • [SPARK-39689]Поддержка 2-chars lineSep в источнике данных CSV.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded должно быть потокобезопасно.
    • [SPARK-39570] Встроенная таблица должна разрешать выражения с псевдонимом.
    • [SPARK-39702] Уменьшите затраты на память TransportCipher$EncryptedMessage с помощью общей байтеRawChannel.
    • [SPARK-39575] добавьте ByteBuffer#rewind после byteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Отключите оптимизацию приведения unwrap при приведение от Long к Float/ Double или из целого числа в Float.
    • [SPARK-38868] Не распространяйте исключения из предиката фильтра при оптимизации внешних соединений.
    • Обновления системы безопасности операционной системы.
  • 20 июля 2022 г.
    • Результаты операции Delta MERGE согласованы, если источник не детерминирован.
    • [SPARK-39355] Один столбец использует кавычки для создания НеразрешенногоAttribute.
    • [SPARK-39548] Команда CreateView с запросом предложения окна нажмите неправильное определение окна, не найденное.
    • [SPARK-39419] Исправление ArraySort для создания исключения при возврате значения NULL.
    • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов в Azure.
    • Обновления системы безопасности операционной системы.
  • 5 июля 2022 г.
    • [SPARK-39376] Скрытие повторяющихся столбцов в расширении подзапроса из NATURAL/USING JOIN
    • Обновления системы безопасности операционной системы.
  • 15 июня 2022 г.
    • [SPARK-39283] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark не должен проверять имена полей при чтении файлов.
    • [SPARK-34096] Повышение производительности для nth_value пропускать значения NULL в окне смещения.
    • [SPARK-36718] Исправлена isExtractOnly проверка в CollapseProject.
  • 2 июня 2022 г.
    • [SPARK-39093] Избегайте ошибки компиляции кодегена при делении интервалов в месяц или интервалов в день по целочисленным.
    • [SPARK-38990] Избегайте nullPointerException при оценке формата date_trunc/усечения в качестве привязанной ссылки.
    • Обновления системы безопасности операционной системы.
  • 18 мая 2022 г.
    • Устраняет потенциальную утечку встроенной памяти в автозагрузчике.
    • [SPARK-38918] Обрезание вложенных столбцов должно отфильтровать атрибуты, которые не относятся к текущему отношению.
    • [SPARK-37593] Уменьшите размер страницы по умолчанию, LONG_ARRAY_OFFSET, если используется G1GC и ON_HEAP.
    • [SPARK-39084] Исправление df.rdd.isEmpty() с помощью TaskContext для остановки итератора при завершении задачи.
    • [SPARK-32268] Добавьте ColumnPruning в injectBloomFilter.
    • [SPARK-38974] Фильтрация зарегистрированных функций с заданным именем базы данных в функциях списка.
    • [SPARK-38931] Создайте корневой каталог dfs для RocksDBFileManager с неизвестным количеством ключей на 1-й контрольной точке.
    • Обновления системы безопасности операционной системы.
  • 19 апреля 2022 г.
    • Пакет SDK AWS для Java обновлен с версии 1.11.655 до версии 1.12.1899.
    • Исправлена проблема, из-за которой библиотеки с областью записной книжки не работали в заданиях пакетной потоковой передачи.
    • [SPARK-38616] Отслеживание текста sql-запроса в Приложении Catalyst TreeNode
    • Обновления системы безопасности операционной системы.
  • 6 апреля 2022 г.
    • Следующие функции SQL Spark теперь доступны в этом выпуске:
      • timestampadd() и dateadd(): добавьте длительность времени в указанное единицу в выражение метки времени.
      • timestampdiff() и datediff(): вычислите разницу времени между двумя выражениями меток в заданной единице.
    • Parquet-MR обновлен до версии 1.12.2.
    • Улучшена поддержка комплексных схем в файлах Parquet
    • [SPARK-38631] Использует реализацию на основе Java для отмены таринга в Utils.unpack.
    • [SPARK-38509][SPARK-38481] Вишни выбрать три timestmapadd/diff изменения.
    • [SPARK-38523] Исправление, ссылающееся на поврежденный столбец записи из CSV.
    • [SPARK-38237] Разрешить ClusteredDistribution требовать полные ключи кластеризации.
    • [SPARK-38437] Сериализация даты и времени из источника данных.
    • [SPARK-38180] Разрешить безопасные выражения приведения в коррелированных предикатых равенства.
    • [SPARK-38155] Запретить отдельные агрегаты в боковом вложенных запросах с неподдерживаемые предикаты.
    • Обновления системы безопасности операционной системы.

Databricks Runtime 9.1 LTS

См. Databricks Runtime 9.1 LTS.

  • 22 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-490000][SQL] Исправление "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
    • Обновления системы безопасности операционной системы.
  • 6 сентября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования или синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию.
  • 14 августа 2024 г.
  • 1 августа 2024 г.
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • [SPARK-48105][SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-47973][CORE] Сайт вызова журнала в SparkContext.stop() и более поздних версиях в SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • Прочие исправления ошибок.
  • 11 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE может привести к тому, что метрика метрики numSourceRows сообщает о двойном количестве строк.
    • Обновления системы безопасности операционной системы.
  • 13 февраля 2024 г.
    • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 декабря 2023 г.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-39440] Добавьте конфигурацию для отключения временной шкалы событий.
    • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
  • 14 декабря 2023 г.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
    • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
    • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
    • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
    • Обновления системы безопасности операционной системы.
  • 14 ноября 2023 г.
    • [SPARK-45545] SparkTransportConf наследуется SSLOptions при создании.
    • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
    • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
    • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
    • [SPARK-45541] Добавлен.SSLFactory
    • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
    • Обновления системы безопасности операционной системы.
  • 24 октября 2023 г.
    • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
    • Обновления системы безопасности операционной системы.
  • 13 октября 2023 г.
    • Обновления системы безопасности операционной системы.
  • 10 сентября 2023 г.
    • Прочие исправления.
  • 30 августа 2023 г.
    • Обновления системы безопасности операционной системы.
  • 15 августа 2023 г.
    • Обновления системы безопасности операционной системы.
  • 23 июня 2023 г.
    • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
    • Обновления системы безопасности операционной системы.
  • 15 июня 2023 г.
    • [SPARK-43098] Исправьте ошибку COUNT правильности, если скалярный вложенный запрос содержит группу по предложению.
    • [SPARK-43156][SPARK-43098] Расширение скалярного теста количества ошибок счетчика ошибок с decorrelateInnerQuery отключенным.
    • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery.
    • Обновления системы безопасности операционной системы.
  • 2 июня 2023 г.
    • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
    • Исправлена проблема в синтаксическом анализе данных JSON, чтобы предотвратить UnknownFieldException.
    • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
    • [SPARK-37520] startswith() Добавление функций и endswith() строковых функций
    • [SPARK-43413] Исправлена IN возможность nullquery ListQuery .
    • Обновления системы безопасности операционной системы.
  • 17 мая 2023 г.
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2023 г.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2023 г.
    • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
    • [SPARK-42967] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
  • 29 марта 2023 г.
    • Обновления системы безопасности операционной системы.
  • 14 марта 2023 г.
    • [SPARK-42484] Улучшено сообщение об ошибке для UnsafeRowUtils.
    • Прочие исправления.
  • 28 февраля 2023 г.
    • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
    • Обновления системы безопасности операционной системы.
  • 16 февраля 2023 г.
    • Обновления системы безопасности операционной системы.
  • 31 января 2023 г.
    • По умолчанию типы таблиц JDBC являются внешними.
  • 18 января 2023 г.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2022 г.
    • Исправлена проблема с синтаксический анализ JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
    • Обновления системы безопасности операционной системы.
  • 15 ноября 2022 г.
    • Обновление Apache commons-text до версии 1.10.0.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 1 ноября 2022 г.
    • Исправлена проблема, из-за которой если в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
    • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
    • [SPARK-40596] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
    • Обновления системы безопасности операционной системы.
  • 18 октября 2022 г.
    • Обновления системы безопасности операционной системы.
  • 5 октября 2022 г.
    • Прочие исправления.
    • Обновления системы безопасности операционной системы.
  • 22 сентября 2022 г.
    • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения встроенного списка для автозагрузчика в ADLS 2-го поколения. Встроенное описание было ранее отключено из-за проблем с производительностью, но может быть вызвано увеличением затрат на хранение для клиентов.
    • [SPARK-40315] Добавление hashCode() для литерала ArrayBasedMapData
    • [SPARK-40089] Исправление сортировки для некоторых десятичных типов
    • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • 6 сентября 2022 г.
    • [SPARK-40235] Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies()
    • [SPARK-35542] Исправление. Контейнеризатор, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols не могут быть загружены после сохранения.
    • [SPARK-40079] Добавление проверки ввода Imputer InputCols для пустого регистра ввода
  • 24 августа 2022 г.
    • [SPARK-39666] Использование unsafeProjection.create для уважения spark.sql.codegen.factoryMode в ExpressionEncoder
    • [SPARK-39962] Применение проекции при пустых атрибутах группы
    • Обновления системы безопасности операционной системы.
  • 9 августа 2022 г.
    • Обновления системы безопасности операционной системы.
  • 27 июля 2022 г.
    • Результаты операции Delta MERGE согласованы, если источник не детерминирован.
    • [SPARK-39689] Поддержка 2-chars в источнике lineSep данных CSV
    • [SPARK-39575] Добавлено ByteBuffer#rewind после ByteBuffer#get этого в AvroDeserializer.
    • [SPARK-37392] Исправлена ошибка производительности для оптимизатора катализатора.
    • Обновления системы безопасности операционной системы.
  • 13 июля 2022 г.
    • [SPARK-39419] ArraySort создает исключение, когда средство сравнения возвращает значение NULL.
    • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов в Azure.
    • Обновления системы безопасности операционной системы.
  • 5 июля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 15 июня 2022 г.
    • [SPARK-39283] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator.
  • 2 июня 2022 г.
    • [SPARK-34554] copy() Реализуйте метод в ColumnarMap.
    • Обновления системы безопасности операционной системы.
  • 18 мая 2022 г.
    • Исправлена потенциальная утечка встроенной памяти в автозагрузчике.
    • Версия пакета SDK AWS обновлена с 1.11.655 до 1.11.678.
    • [SPARK-38918] Обрезание вложенных столбцов должно отфильтровать атрибуты, которые не относятся к текущему реляциону
    • [SPARK-39084] Исправление df.rdd.isEmpty() с помощью TaskContext итератора при завершении задачи
    • Обновления системы безопасности операционной системы.
  • 19 апреля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 6 апреля 2022 г.
    • [SPARK-38631] Использует реализацию на основе Java для отмены таринга в Utils.unpack.
    • Обновления системы безопасности операционной системы.
  • 22 марта 2022 г.
    • В кластерах с высоким уровнем параллелизма с включенным управлением доступом к таблицам или сквозной передачей учетных данных текущий рабочий каталог записных книжек теперь является домашним каталогом пользователя. Ранее active directory был /databricks/driver.
    • [SPARK-38437] Сериализация даты и времени из источника данных
    • [SPARK-38180] Разрешить безопасные выражения приведения в коррелированных предикатах равенства
    • [SPARK-38155] Запретить отдельный агрегат в боковом вложенных запросах с неподдерживаемые предикаты
    • [SPARK-27442] Удалено поле проверки при чтении или записи данных в паркете.
  • 14 марта 2022 г.
    • [SPARK-38236] Абсолютные пути к файлам, указанным в таблице create/alter, рассматриваются как относительные
    • [SPARK-34069] Прерывание потока задач, если для локального свойства SPARK_JOB_INTERRUPT_ON_CANCEL задано значение true.
  • 23 февраля 2022 г.
    • [SPARK-37859] Таблицы SQL, созданные с помощью JDBC с Spark 3.1, недоступны для чтения с помощью Spark 3.2.
  • 8 февраля 2022 г.
    • [SPARK-27442] Удалено поле проверки при чтении или записи данных в паркете.
    • Обновления системы безопасности операционной системы.
  • 1 февраля 2022 г.
    • Обновления системы безопасности операционной системы.
  • 26 января 2022 г.
    • Исправлена проблема, из-за которой параллельные транзакции в таблицах Delta могли зафиксироваться в несериализируемом порядке в определенных редких условиях.
    • Исправлена проблема, из-за которой OPTIMIZE команда могла завершиться ошибкой при включении диалекта ANSI SQL.
  • 19 января 2022 г.
    • Незначительные исправления и улучшения безопасности.
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2021 г.
    • Исправлена проблема, из-за которой структурированные потоки потоковой передачи завершаются ошибкой ArrayIndexOutOfBoundsException.
    • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
    • Соединитель Apache Spark для разностного доступа был обновлен до 0.2.0.
  • 20 октября 2021 г.
    • Обновлен соединитель BigQuery с версии 0.18.1 до версии 0.22.2. Это добавляет поддержку типа BigNumeric.