Библиотеки уровня кластера
Библиотеки кластера можно использовать всеми записными книжками и заданиями, работающими в кластере. В этой статье описано использование пользовательского интерфейса библиотеки установки в рабочей области Azure Databricks.
Примечание.
Если вы создаете вычислительные ресурсы с помощью политики, которая применяет установку библиотек, вы не можете установить или удалить библиотеки на вычислительных ресурсах. Администраторы рабочей области контролируют все управление библиотеками на уровне политики.
Библиотеки можно установить в кластер с помощью следующих подходов:
Установка библиотеки для использования с определенным кластером.
Установите библиотеку с помощью REST API. См. API библиотек.
Установите библиотеку с помощью интерфейса командной строки Databricks. См. сведения о интерфейсе командной строки Databricks?.
Установите библиотеку с помощью Terraform. См. сведения о поставщике Databricks Terraform и databricks_library.
Установите библиотеку, создав кластер с политикой, которая определяет установки библиотеки. См. раздел "Добавление библиотек в политику".
(Не рекомендуется) Установите библиотеку с помощью скрипта инициализации, который выполняется во время создания кластера. См. статью "Установка библиотеки с помощью скрипта инициализации ( устаревшая версия)".
Установка библиотеки в кластере
Установка библиотеки в кластер:
- Щелкните "
Вычисления" на боковой панели. - Щелкните имя кластера.
- Перейдите на вкладку "Библиотеки ".
- Щелкните Установить новую.
- Откроется диалоговое окно "Установка библиотеки ".
- Выберите один из параметров источника библиотеки, выполните отображаемые инструкции и нажмите кнопку "Установить".
Внимание
Библиотеки можно установить из DBFS при использовании Databricks Runtime 14.3 LTS и ниже. Однако любой пользователь рабочей области может изменять файлы библиотеки, хранящиеся в DBFS. Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию в Databricks Runtime 15.1 и выше. См . статью "Хранение библиотек в корневом каталоге DBFS" не рекомендуется и отключается по умолчанию.
Вместо этого Databricks рекомендует отправлять все библиотеки, включая библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области или тома каталога Unity или с помощью репозиториев пакетов библиотеки. Если рабочая нагрузка не поддерживает эти шаблоны, можно также использовать библиотеки, хранящиеся в облачном хранилище объектов.
Не все режимы доступа к кластеру поддерживают все конфигурации библиотеки. См . библиотеки с областью действия кластера.
| Источник библиотеки | Instructions |
|---|---|
| Рабочая область | Выберите файл рабочей области или отправьте Whl, zippped wheelhouse, JAR, ZIP, tar или requirements.txt файл. См. статью "Установка библиотек из файлов рабочей области" |
| Тома | Выберите Whl, JAR или requirements.txt файл из тома. См. статью "Установка библиотек из тома". |
| Путь к файлу или ADLS | Выберите тип библиотеки и укажите полный URI для объекта библиотеки (например, /Workspace/path/to/library.whl, /Volumes/path/to/library.whlили abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). См. статью "Установка библиотек из хранилища объектов". |
| PyPI | Введите имя пакета PyPI. См . пакет PyPI. |
| Maven | Укажите координату Maven. См . пакет Maven или Spark. |
| КРАН | Введите имя пакета. См . пакет CRAN. |
| DBFS (не рекомендуется) | Загрузите JAR-файл или Whl в корневой каталог DBFS. Это не рекомендуется, так как файлы, хранящиеся в DBFS, могут быть изменены любым пользователем рабочей области. |
При установке библиотеки в кластере записная книжка, уже подключенная к этому кластеру, не сможет сразу обнаружить новую библиотеку. Сначала необходимо отключить записную книжку, а затем повторно подключить ее к кластеру.
Примечание.
Не удалось установить библиотеку, которая заняла более 2 часов.
Установка библиотеки с помощью политики
При создании кластера с помощью политики, которая применяет установку библиотек, указанные библиотеки автоматически устанавливаются в кластере. Вы не можете установить дополнительные библиотеки или удалить любые библиотеки.
Администраторы рабочей области могут добавлять библиотеки в политики, позволяя им управлять и применять установку библиотек на всех вычислительных ресурсах, использующих политику. Инструкции администратора см. в разделе "Добавление библиотек в политику".
Удаление библиотеки из кластера
Примечание.
При удалении библиотеки из кластера библиотека удаляется только при перезапуске кластера. До тех пор пока кластер не будет перезапущен, состояние удаленной библиотеки отображается как Удаление; ожидание перезапуска.
Чтобы удалить библиотеку, можно использовать пользовательский интерфейс кластера:
- Щелкните "Вычисления" на боковой панели.
- Щелкните имя кластера.
- Перейдите на вкладку "Библиотеки ".
- Установите флажок рядом с кластером, из которого нужно удалить библиотеку, нажмите кнопку Удалить, а затем Подтвердить. Состояние изменится на Удаление: ожидание перезапуска.
Нажмите кнопку Перезапустить и Подтвердить, чтобы удалить библиотеку. Библиотека будет удалена со вкладки "Библиотеки кластера".
Просмотр библиотек, установленных в кластер
- Щелкните "Вычисления" на боковой панели.
- Щелкните имя кластера.
- Перейдите на вкладку Библиотеки. Для каждой библиотеки на вкладке отображаются имя и версия, тип, состояние установки и, если отправлено, исходный файл.
Обновление библиотеки, установленной в кластер
Чтобы обновить библиотеку, установленную в кластер, удалите старую версию библиотеки и установите новую.
Примечание.
Requirements.txt файлы не требуют удаления и перезапуска. Если вы изменили содержимое файла requirements.txt, его можно просто переустановить, чтобы обновить содержимое установленного файла.