2024 января

Эти функции и улучшения платформы Azure Databricks были выпущены в январе 2024 года.

Поддержка формата собственного XML-файла (общедоступная предварительная версия)

31 января 2024 г.

Поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать такие выражения SQL, как from_xmlи создавать XML-документы. Он не требует внешних jar-модулей и работает без проблем с автозагрузчиком, read_filesи COPY INTOразностными динамическими таблицами. Дополнительные сведения см. в разделе "Чтение и запись XML-файлов".

Совместное использование моделей ИИ с помощью Databricks Marketplace (общедоступная предварительная версия)

31 января 2024 г.

Теперь вы можете использовать Marketplace для совместного использования моделей, зарегистрированных в каталоге Unity. Для участия каталога Unity в совместном использовании моделей необходимо включить как поставщик, так и рабочие области потребителей.

См. раздел "Что такое Databricks Marketplace" и "Добавление моделей в общую папку".

Обновления правил группы безопасности сети

31 января 2023 г.

Чтобы повысить масштабируемость платформы, плоскость управления Azure Databricks теперь требует новых конечных точек для подключения к классической плоскости данных. Для рабочих областей, развернутых в собственной виртуальной сети Azure, сетевые порты 3306 и 8443-8451 теперь добавляются в существующее правило AzureDatabricks безопасности в место назначения, применяя исходящий трафик через порт 443.

Дополнительные сведения см. в разделе "Правила группы безопасности сети".

Обновление пути рабочей области

Исторически пользователи должны были включать /Workspace префикс пути для некоторых API Databricks (%sh), но не для других (%runвходных данных REST API). Теперь пользователи могут предоставлять пути к рабочей области префиксом /Workspace везде в Databricks. Старые ссылки на пути без /Workspace префикса перенаправляются и продолжают работать. Databricks рекомендует, чтобы все пути к рабочей области использовали /Workspace префикс, чтобы отличить их от путей тома и DBFS.

Поддержка брандмауэра служба хранилища Azure из бессерверных вычислений — общедоступная версия

30 января 2024 г.

Поддержка брандмауэра служба хранилища Azure из бессерверных вычислений Azure Databricks — это общедоступная версия. Вы можете применить эти бессерверные хранилища SQL, используя стабильные идентификаторы подсети для подключения к служба хранилища Azure и списка разрешений этих идентификаторов в брандмауэре ресурсов Azure. См. раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Упрощенное создание заданий Azure Databricks

29 января 2024 г.

Пустое задание теперь создается сразу после нажатия кнопки для создания задания, что позволяет изменять параметры уровня задания, такие как теги, расписания или параметры уведомлений перед добавлением первой задачи. Ранее перед получением доступа к параметрам уровня задания необходимо было создать первую задачу. См. статью "Настройка и изменение заданий Databricks".

Мониторинг моделей GPU, обслуживающих рабочие нагрузки с помощью таблиц вывода

29 января 2024 г.

Теперь вы можете отслеживать модели GPU, обслуживающие рабочие нагрузки, с помощью таблиц вывода. См . таблицы вывода для мониторинга и отладки моделей.

Доступ на основе пути URI к внешним томам каталога Unity

25 января 2024 г.

Теперь вы можете использовать URI облачного хранилища для доступа на основе пути к данным, управляемым каталогом Unity, хранящимся во внешних томах. См. путь к файлам в томе?

Списки элементов управления доступом можно включить в обновленных рабочих областях

24 января 2024 г.

Параметры управления доступом были включены во всех рабочих областях плана Premium в ноябре 2023 года.

Для рабочих областей, которые обновляются с плана "Стандартный" до плана Premium, параметры управления доступом отключены по умолчанию. Теперь администраторы рабочей области могут включить следующие параметры управления доступом в обновленных рабочих областях:

• Управление доступом к рабочей области: позволяет пользователям настраивать разрешения для объектов рабочей области.
• Кластер, пул, управление доступом к заданиям: позволяет пользователям настраивать разрешения для кластеров, пулов и заданий.
• Элемент управления видимостью кластера: запрещает пользователям, у которых нет разрешений на них.
• Элемент управления видимостью заданий: запрещает пользователям, у которых нет разрешений на них.
• Параметр управления видимостью рабочей области: запрещает пользователям, у которых нет разрешений на доступ к записным книжкам и папкам.

После включения параметра управления доступом его нельзя отключить. Дополнительные сведения см. в списках управления доступом.

Таблица системных событий Marketplace теперь доступна (общедоступная предварительная версия)

24 января 2024 г.>

Теперь система Marketplace включает в себя таблицуsystem.marketplace.listing_funnel_events событий воронки (), где можно отслеживать действия потребителей в списках. См . таблицу событий воронки в списке.

Обновленный пользовательский интерфейс для ячеек записной книжки (общедоступная предварительная версия)

24 января 2024 г.

Доступна обновленная конструкция ячейки записной книжки. Чтобы включить новую структуру ячеек, откройте страницу параметров редактора в рабочей области. На боковой панели щелкните "Разработчик". В разделе "Экспериментальные функции" переключите пользовательский интерфейс новой ячейки. Дополнительные сведения о работе с ячейками записной книжки см. в интерфейсе и элементах управления Записной книжки Databricks.

Краткое исправление ошибок синтаксиса в записной книжке

24 января 2024 г.

Вы можете получить справку от Помощника по синтаксису Databricks по синтаксической ошибке с помощью быстрого исправления. Дополнительные сведения см. в разделе "Выделение ошибок Python".

Databricks Runtime 14.3 LTS (бета-версия)

22 января 2024 г.

Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS ML теперь доступны в качестве бета-выпусков.

Дополнительные сведения см. в разделе Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS для Машинное обучение.

Совместное использование моделей ИИ с помощью разностного общего доступа (общедоступная предварительная версия)

19 января 2024 г.

Теперь для совместного использования моделей, зарегистрированных в каталоге Unity, можно использовать разностный общий доступ. Для совместного использования моделей необходимо включить как поставщик, так и рабочие области получателей.

См. раздел "Добавление моделей в общую папку".

Databricks Marketplace поддерживает общий доступ к томам

18 января 2023 г.

Databricks Marketplace теперь предоставляет доступ к томам (не табличным данным), если у вас есть рабочая область Databricks с поддержкой каталога Unity. Тома — это объекты каталога Unity, представляющие логический объем хранилища в расположении облачного хранилища объектов, и они предоставляют способ управления и совместного использования не табличных ресурсов данных.

См. статью "Доступ к продуктам данных" в Databricks Marketplace (рабочие области с поддержкой каталога Unity).

Создание мини-приложений из пользовательского интерфейса Databricks

18 января 2024 г.

Теперь вы можете создавать мини-приложения Databricks с помощью пользовательского интерфейса Databricks. Дополнительные сведения см. в разделе "Создание мини-приложений с помощью пользовательского интерфейса".

Теперь доступна система событий хранилища (общедоступная предварительная версия)

18 января 2024 г.

Таблица записывает данные при запуске, остановке system.compute.warehouse_events , масштабировании и уменьшении масштаба хранилища SQL. Таблицу можно использовать для мониторинга хранилищ SQL и управления ими в рабочих областях. См . справочник по системной таблице событий хранилища.

Ограничение размера файла рабочей области составляет 500 МБ

15 января 2023 г.

Теперь отдельные файлы рабочей области ограничены 500 МБ. Ранее ограничение составило 200 МБ. Дополнительные сведения см. в разделе "Ограничения".

Уведомление об удалении компонентов для устаревшей интеграции Git в Databricks

12 января 2024 г.

После 31 января 2024 г. Databricks удалит устаревшие интеграции Git записной книжки. Эта функция была в состоянии устаревшей версии более двух лет, и уведомление об отключении отображается в пользовательском интерфейсе продукта с ноября 2023 года.

Дополнительные сведения о миграции в папки Databricks Git (Repos) см. в статье " Переключение на Databricks Repos" из интеграции с устаревшей версией Git. Если это удаление влияет на вас и вам нужно расширение, обратитесь к руководителю учетной записи Databricks.

Драйвер ODBC Databricks 2.7.7

9 января 2024 г.

Мы выпустили версию 2.7.7 драйвера ODBC Databricks (скачать). В этом выпуске добавлены следующие новые функции и улучшения:

• Проверка подлинности управляемого удостоверения Azure.
• Поддержка асинхронных операций метаданных. Сервер должен поддерживать SPARK_CLI_SERVICE_PROTOCOL_V9 и выше.
• Поддержка параметризованного запроса в собственном режиме запросов. Сервер должен поддерживать SPARK_CLI_SERVICE_PROTOCOL_V8 и выше.
• Усовершенствование OAuth. Теперь соединитель может отключить кэш маркеров для потока проверки подлинности на основе браузера.

Этот выпуск также устраняет следующие проблемы в версии 2.7.7.

• Соединитель игнорирует частный корневой ЦС при использовании Магазина доверия Windows.
• При сбое операции соединитель не закрывает потоки пульса.
• Соединитель не поддерживает необязательный маркер обновления.
• При запросе таблиц с внешними именами соединитель не сможет считывать их.
• При использовании проверки подлинности OAuth, если длина строки УЗЛА меньше 20, соединитель неожиданно завершается.

Поддержка серии Databricks Runtime 13.2 заканчивается

6 января 2024 г.

Поддержка Databricks Runtime 13.2 и Databricks Runtime 13.2 для Машинное обучение закончилась 6 января. См. статью "Жизненные циклы поддержки Databricks".

Вспомогательные функции ИИ включены по умолчанию

2-8 января 2024 г.

Вспомогательные функции ИИ теперь включены по умолчанию для рабочих областей без включения профиля безопасности соответствия. Например:

• Примечания, созданные ИИ для управляемых таблиц каталога Unity
• Чат-бот в продукте
• Помощник по Databricks

Администраторы могут отказаться от вспомогательных функций искусственного интеллекта для всех рабочих областей в своей учетной записи или подмножества рабочих областей. См. сведения о учетной записи: отключение или включение функций Помощника Databricks.