Databricks Runtime 11.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.2 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в сентябре 2022 года.

Новые функции и внесенные улучшения

• Изменение разрешений ALTER TABLE в элементах управления доступом таблиц (ACL таблиц)
• Динамическая очистка для MERGE INTO
• Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов
• Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL
• Улучшения обнаружения секции CONVERT TO DELTA
• Схемы таблиц теперь поддерживают значения по умолчанию для столбцов
• Новые геопространственные функции H3
• Новая зависимость Databricks Runtime
• Использование собственного ключа: шифрование учетных данных Git
• SQL: новая агрегатная функция any_value
• Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров
• Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity
• Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon
• Поддержка Photon для дополнительных источников данных
• SQL: ALTER SHARE теперь поддерживает начальную версию

Изменение разрешений ALTER TABLE в элементах управления доступом таблиц (ACL таблиц)

Теперь пользователям нужны только разрешения MODIFY на изменение схемы или свойств таблицы с помощью ALTER TABLE. Права владения по-прежнему требуется, чтобы предоставить разрешения на таблицу, изменить ее владельца или расположение, а также переименовать ее. Это изменение делает модель разрешений для списков ACL таблиц согласованной с Unity Catalog. См. статью ALTER TABLE.

Динамическая очистка для MERGE INTO

При использовании вычислений MERGE INTO с поддержкой Photon теперь используется динамическое удаление файлов и секций при необходимости повышения производительности, например при слиянии небольшой исходной таблицы в большую целевую таблицу.

Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов

При проверке потенциальных конфликтов во время фиксаций функция обнаружения конфликтов теперь учитывает файлы, которые удаляются с помощью динамического очистки файлов, но не были бы удалены статическими фильтрами. Это приводит к уменьшению числа неудачных транзакций.

Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL

Вводные сведения о новой карточке "Интеграции с открытым исходным кодом" на домашних страницах DSE/SQL, где отображаются варианты интеграции с открытым кодом, например Разностные динамические таблицы и ядро dbt.

Улучшения обнаружения секции CONVERT TO DELTA

CONVERT TO DELTA автоматически выводит схему секций для таблиц Parquet, зарегистрированных в хранилище метаданных Hive или каталоге Unity, устраняя необходимость предоставления предложения PARTITIONED BY.

CONVERT TO DELTA использует сведения о секции из хранилища метаданных для обнаружения файлов для таблицы Parquet вместо перечисления всего базового пути, гарантируя, что удаленные секции не добавляются в таблицу Delta.

См. статью о преобразовании в Delta Lake.

Схемы таблиц теперь поддерживают значения по умолчанию для столбцов

Схемы таблиц теперь поддерживают настройку значений по умолчанию для столбцов. Команды INSERT, UPDATEи DELETE для этих столбцов могут ссылаться на эти значения с помощью ключевого слова DEFAULT. Например, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET, после которой указано INSERT INTO t VALUES (1, DEFAULT) добавляет строку (1, 42). Это поведение поддерживается для источников данных CSV, JSON, Orc и Parquet.

Новые геопространственные функции H3

Теперь вы можете использовать 28 новых встроенных выражений H3 для геопространственной обработки в кластерах с поддержкой Photon, доступных в SQL, Scala и Python. См. раздел Геопространственные функции H3.

Новая зависимость Databricks Runtime

Databricks Runtime теперь зависит от библиотеки H3 Java версии 3.7.0.

Использование собственного ключа: шифрование учетных данных Git

Azure Key Vault можно использовать для шифрования личного маркера доступа (PAT) Git или других учетных данных Git.

См. статью "Настройка папок Git Для Databricks(Repos)".

SQL: новая агрегатная функция any_value

Новая агрегатная функция any_value возвращает любое случайное значение expr для группы строк. См. раздел Агрегатная функция any_value.

Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров

Команды dbutils.fs (за исключением команд, связанных с подключением), теперь разрешены для кластеров с изоляцией пользователей с каталогом Unity, а также устаревших кластеров со списком управления доступом к таблицам, если у пользователя есть разрешения ANY FILE.

Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity

Теперь привилегии CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT и CREATE PROVIDER можно предоставить в хранилищах метаданных каталога Unity.

Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon

Управляемые таблицы каталога Unity теперь автоматически сохраняют файлы правильно настроенного размера из несекционированных таблиц для повышения скорости запросов и оптимизации производительности.

Поддержка Photon для дополнительных источников данных

Photon теперь поддерживает больше источников данных, включая CSV и Avro, а также демонстрирует совместимость с кэшированными кадрами данных. Раньше сканирование этих источников данных означало, что весь запрос не мог быть обработан с использованием Photon независимо от операторов или выражений запроса. Теперь запросы, сканирующие эти источники данных, можно обработать с использованием Photon, чтобы значительно снизить задержку и совокупную стоимость владения.

Эта функция включена по умолчанию в конфигурации spark.databricks.photon.photonRowToColumnar.enabled.

Ограничения:

• Схемы с вложенными типами в этом выпуске не поддерживаются (например, массивы, карты и структуры).
• Источники ORC, RDD, Kinesis, Kafka и EventHub не поддерживаются в этом выпуске.

SQL: ALTER SHARE теперь поддерживает начальную версию

Теперь команда ALTER SHARE поддерживает START VERSION, что позволяет поставщикам предоставлять общий доступ к данным, начиная с определенной версии таблицы. См. раздел ALTER SHARE.

Обновления библиотек

• Обновленные библиотеки Python:
  • distlib — с версии 0.3.4 до 0.3.5;
  • filelock — с версии 3.7.1 до 3.8.0;
  • plotly — с версии 5.8.2 до 5.9.0;
  • protobuf — с версии 4.21.2 до 4.21.5.
• Обновленные библиотеки R:
  • broom — с версии 0.8.0 до 1.0.0;
  • bslib — с версии 0.3.1 до 0.4.0;
  • callr — с версии 3.7.0 до 3.7.1;
  • caret — с версии 6.0-92 до 6.0-93;
  • dbplyr — с версии 2.2.0 до 2.2.1;
  • devtools — с версии 2.4.3 до 2.4.4;
  • evaluate — с версии 0.15 до 0.16;
  • farver — с версии 2.1.0 до 2.1.1;
  • fontawesome — с версии 0.2.2 до 0.3.0;
  • future — с версии 1.26.1 до 1.27.0;
  • generics — с версии 0.1.2 до 0.1.3;
  • gert — с версии 1.6.0 до 1.7.0;
  • globals — с версии 0.15.1 до 0.16.0;
  • googlesheets4 — с версии 1.0.0 до 1.0.1;
  • hardhat — с версии 1.1.0 до 1.2.0;
  • htmltools — с версии 0.5.2 до 0.5.3;
  • parallelly — с версии 1.32.0 до 1.32.1;
  • pillar — с версии 1.7.0 до 1.8.0;
  • pkgload — с версии 1.2.4 до 1.3.0;
  • processx — с версии 3.6.1 до 3.7.0;
  • Rcpp — с версии 1.0.8.3 до 1.0.9;
  • recipes — с версии 0.2.0 до 1.0.1;
  • rlang — с версии 1.0.2 до 1.0.4;
  • roxygen2 — с версии 7.2.0 до 7.2.1;
  • RSQLite — с версии 2.2.14 до 2.2.15;
  • sass — с версии 0.4.1 до 0.4.2;
  • shiny — с версии 1.7.1 до 1.7.2;
  • stringi — с версии 1.7.6 до 1.7.8;
  • tibble — с версии 3.1.7 до 3.1.8;
  • tidyverse — с версии 1.3.1 до 1.3.2;
  • timeDate — с версии 3043.102 до 4021.104;
  • xfun — с версии 0.31 до 0.32.
• Обновленные библиотеки Java:
  • org.apache.orc.orc-core, с версии 1.7.4 до 1.7.5;
  • org.apache.orc.orc-mapreduce, с версии 1.7.4 до 1.7.5;
  • org.apache.orc.orc-shims, с версии 1.7.4 до 1.7.5.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Возвращает более широкие типы интервалов ANSI из функций процентиля
• [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
• [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
• [SPARK-39319] [CORE][SQL] Создание контекстов запросов в составе SparkThrowable
• [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
• [SPARK-40001] [SQL] Запись NULL в столбцы JSON DEFAULT приводит к записи значения NULL в хранилище
• [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
• [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
• [SPARK-40019] [SQL] Рефакторинг комментария ArrayType containsNull и рефакторинг логики непонимания в выражении collectionOperator о containsNull
• [SPARK-39989] [SQL] Поддержка статистики столбцов оценки, если она является свертываемым выражением
• [SPARK-39926] [SQL] Исправление ошибки поддержке столбца по умолчанию для невекторизованных проверок Parquet
• [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения во время приведения
• [SPARK-39835] [SQL] Исправление ошибки, связанной с удалением RemoveSorts глобальной сортировки под локальной сортировкой
• [SPARK-40002] [SQL] Не сжимайте ограничение через окно с помощью ntile
• [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
• [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из кадров данных
• [SPARK-39776] [SQL] Подробная строка JOIN должна добавить тип соединения
• [SPARK-38901] [SQL] DS V2 поддерживает принудительную отправку прочих функций
• [SPARK-40028] [SQL][продолжение] Улучшение примеров строковых функций
• [SPARK-39983] [CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
• [SPARK-39812] [SQL] Упрощение кода, которое создает AggregateExpression с toAggregateExpression
• [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
• [SPARK-39981] [SQL] Отображение исключения QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
• [SPARK-40007] [PYTHON][SQL] Добавление параметра режима в функции
• [SPARK-40008] [SQL] Поддержка приведения целочисленных значений к интервалам ANSI
• [SPARK-40003] [PYTHON][SQL] Добавление параметра медианы в функции
• [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
• [SPARK-39951] [SQL] Обновление проверки столбца Parquet версии 2 для вложенных полей
• [SPARK-33236] [shuffle] Бэкпорт для DBR 11.x: включение службы перетасовки на основе push-уведомлений для сохранения состояния в базе данных на уровне NM, чтобы иметь возможность продолжить работу при перезапуске
• [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
• [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
• [SPARK-39961] [SQL] Сдвиг DS V2 преобразует Cast, если приведение является безопасным
• [SPARK-39872] [SQL] Изменение, связанное с использовании BytePackerForLong#unpack8Values с API ввода массива в VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
• [SPARK-39900] [SQL] Обработка частичного или отрицаемого условия в pushdown предиката двоичного формата
• [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
• [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
• [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
• [SPARK-37194] [SQL] Исключение ненужной сортировки при выполнении записи версии 1, если это не динамический раздел
• [SPARK-39902] [SQL] Добавление сведений о сканировании в узел сканирования плана Spark в SparkUI
• [SPARK-39865] [SQL] Отображение правильных сообщений при ошибках переполнения во время вставки таблицы
• [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с указанием приемника DSv1
• [SPARK-39827] [SQL] Использования класса ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
• [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в преобразование фильтра версии 1
• [SPARK-39857] [SQL] Ручной бэкпорт DBR 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In 43454
• [SPARK-39840] [SQL][PYTHON] Исключение PythonArrowInput для симметрии с PythonArrowOutput
• [SPARK-39651] [SQL] Условие фильтра очистки, если сравнение с rand является детерминированным
• [SPARK-39877] [PYTHON] Добавление unpivot в API DataFrame PySpark
• [SPARK-39909] [SQL] Упорядочение проверки сведений об отправке для JDBCV2Suite
• [SPARK-39834] [SQL][SS] Включение статистики и ограничений по источнику для LogicalRDD, если он поступает из кадра данных
• [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
• [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
• [SPARK-39823] [SQL][PYTHON] Переименование Dataset.as как Dataset.to и добавление DataFrame.to в PySpark
• [SPARK-39918] [SQL][MINOR] Замена слов "несопоставимый" на "несовместимый" в сообщении об ошибке
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
• [SPARK-39862] [SQL] Ручной бэкпорт для PR 43654, указывающий на DBR 11.x: обновите SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, чтобы разрешить/запретить команды ALTER TABLE … ADD COLUMN отдельно.
• [SPARK-39844] [SQL] Ручной бэкпорт для PR 43652, указывающий на DBR 11.x
• [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
• [SPARK-39890] [SQL] Обеспечение наследования в TakeOrderedAndProjectExec из AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
• [SPARK-38864] [SQL] Добавление отмены свертывания и изменения формата в набор данных
• [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
• [SPARK-39808] [SQL] Поддержка режима агрегатной функции
• [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
• [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
• [SPARK-39805] [SS] Прекращение использования Trigger.Once и Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Размещение литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
• [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
• [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Проверка Catalog.tableExists должна обрабатывать вложенное пространство имен
• [SPARK-37287] [SQL] Извлечение динамического раздела и сортировки контейнеров из FileFormatWriter
• [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
• [SPARK-39148] [SQL] Агрегатная отправка DS версии 2 может работать с OFFSET или LIMIT
• [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
• [SPARK-39792] [SQL] Добавление DecimalDivideWithOverflowCheck для десятичного среднего
• [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
• [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
• [SPARK-39385] [SQL] Поддерживает отправку REGR_AVGX и REGR_AVGY
• [SPARK-39787] [SQL] Используйте класс error при ошибке синтаксического анализа функции to_timestamp
• [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
• [SPARK-39557] [SQL] Ручной бэкпорт для DBR 11.x: поддержка типов ARRAY, STRUCT, MAP в качестве значений по умолчанию
• [SPARK-39758] [SQL][3.3] Исправление NPE из функций regexp для недопустимых шаблонов
• [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
• [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
• [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
• [SPARK-39781] [SS] Добавление поддержки для предоставления max_open_files поставщику хранилища состояний rocksdb
• [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
• [SPARK-39751] [SQL] Переименование метрики hash aggregate key probes
• [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
• [SPARK-39625] [SPARK-38904][SQL] Добавление Dataset.as(StructType)
• [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
• [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
• [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
• [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
• [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
• [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
• [SPARK-39754] [CORE][SQL] Удаление неиспользуемых import или ненужных {}
• [SPARK-39706] [SQL] Задание отсутствующего столбца со значением defaultValue в качестве константы в ParquetColumnVector
• [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
• [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
• [SPARK-39579] [SQL][PYTHON][R] Обеспечение совместимости ListFunctions/getFunction/functionExists с пространством имен уровня 3
• [SPARK-39627] [SQL] При передаче JDBC версии 2 должен всегда использоваться API компиляции
• [SPARK-39748] [SQL][SS] Включение логического плана источника для LogicalRDD, если он поступает из кадра данных
• [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для передачи
• [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
• [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
• [SPARK-39666] [ES-337834][SQL] Использование UnsafeProjection.create для учета spark.sql.codegen.factoryMode в ExpressionEncoder
• [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
• [SPARK-38647] [SQL] Добавление смеси SupportsReportOrdering в интерфейсе для сканирования (DataSourceV2)
• [SPARK-39497] [SQL] Улучшение обработки исключений при анализе при отсутствующем ключевом столбце сопоставления
• [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
• [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
• [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
• [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
• [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Переработка MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать порядок дочерних выходных данных
• [SPARK-39606] [SQL] Использование дочерней статистики для оценки оператора упорядочения
• [SPARK-39611] [PYTHON][PS] Исправление неправильных псевдонимов в array_ufunc
• [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
• [SPARK-39675] [SQL] Переключение конфигурации spark.sql.codegen.factoryMode для тестирования на конфигурацию для внутреннего использования
• [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
• [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
• [SPARK-39479] [SQL] DS V2 поддерживает передачу математических функций (не ANSI)
• [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
• [SPARK-39553] [CORE] Отмена регистрации нескольких потоков не должна приводить к NPE при использовании Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
• [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
• [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
• [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
• [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
• [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
• [SPARK-35223] Отмена добавления IssueNavigationLink
• [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
• [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
• [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
• [SPARK-39636] [CORE][UI] Исправление нескольких ошибок в JsonProtocol, которые влияют на операции StorageLevels и task/Executor ResourceRequests, выполняемые вне кучи
• [SPARK-39432] [SQL] Возврат ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
• [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
• [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
• [SPARK-38978] [SQL] DS V2 поддерживает оператор OFFSET передачи
• [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
• [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS в источниках данных версии 2
• [SPARK-39396] [SQL] Исправление исключение входа LDAP "код ошибки 49 — недопустимые учетные данные"
• [SPARK-39548] [SQL] Команда CreateView с запросом предложения окна привела к неверной ошибке "определение окна не найдено"
• [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
• [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
• [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
• [SPARK-39582] [SQL] Исправление маркера "Since" для array_agg
• [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
• [SPARK-39511] [SQL] Улучшение локального ограничения передачи 1 для правой части левого полу-/антисоедиенния, если условие объединения пустое
• [SPARK-38614] [SQL] Не следует передавать ограничение через окно, использующее percent_rank
• [SPARK-39551] [SQL] Добавление проверки недопустимого плана AQE
• [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ADD COLUMNS в источниках данных версии 2
• [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39383] [SQL] Ручной бэкпорт для DBR 11.x: рефакторинг поддержки столбца DEFAULT для пропуска основного анализатора
• [SPARK-39397] [SQL] Освобождение AliasAwareOutputExpression для поддержки псевдонима с выражением
• [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
• [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
• [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
• [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
• [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
• [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
• [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
• [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
• [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
• [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
• [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
• [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
• [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
• [SPARK-39351] [SQL] Команда SHOW CREATE TABLE должна формулировать свойства
• [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
• [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
• [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
• [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
• [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
• [SPARK-39267] [SQL] Очистка ненужного символа dsl
• [SPARK-39171] [SQL] Унификация выражения приведения
• [SPARK-28330] [SQL] Поддержка ANSI SQL: предложение смещения результатов в выражении запроса
• [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
• [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно преобразовать V2Expression
• [SPARK-39301] [SQL][PYTHON] Использование localRelation и учет размера пакета Arrow в createDataFrame с оптимизацией Arrow
• [SPARK-39400] [SQL] spark-sql должен удалить dir ресурса Hive во всех случаях

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.2.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 2.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 15.08.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)