Библиотеки рабочей области (устаревшие версии)

  • Статья

Внимание

Поддержка этой документации прекращена, она может больше не обновляться. Продукты, службы или технологии, упомянутые в этом контенте, больше не поддерживаются. Дополнительные сведения см. в статье Библиотеки кластера.

Примечание.

Библиотеки рабочей области устарели и не должны использоваться. Однако хранение библиотек в виде файлов рабочей области отличается от библиотек рабочих областей и по-прежнему полностью поддерживается. Библиотеки, хранящиеся в виде файлов рабочей области, можно установить непосредственно для задач вычислений или заданий.

Библиотеки уровня рабочей области служат локальным репозиторием, из которого создаются библиотеки кластеров. Такой библиотекой может быть пользовательский код, созданный вашей организацией, или конкретная версия библиотеки с открытым кодом, стандартизованные для организации.

Прежде чем использовать библиотеку рабочей области в записной книжке или задании, ее необходимо установить в кластере. См. статью "Установка библиотеки рабочей области в кластер".

Библиотеки рабочей области в общей папке доступны всем пользователям в рабочей области, а библиотеки рабочей области в папке пользователя доступны только этому пользователю.

Внимание

Библиотеки можно установить из DBFS при использовании Databricks Runtime 14.3 LTS и ниже. Однако любой пользователь рабочей области может изменять файлы библиотеки, хранящиеся в DBFS. Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию в Databricks Runtime 15.1 и выше. См . статью "Хранение библиотек в корневом каталоге DBFS" не рекомендуется и отключается по умолчанию.

Вместо этого Databricks рекомендует отправлять все библиотеки, включая библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области или тома каталога Unity или с помощью репозиториев пакетов библиотеки. Если рабочая нагрузка не поддерживает эти шаблоны, можно также использовать библиотеки, хранящиеся в облачном хранилище объектов.

Как библиотеки рабочей области отличаются от библиотек, хранящихся в файлах рабочей области?

Термин "библиотеки рабочей области" относится к любой библиотеке, зарегистрированной в рабочей области. Библиотеки рабочей области отображаются вместе с записными книжками и файлами рабочей области и следуйте правилам ACL для их содержащего каталога.

Термин "файлы рабочей области" относится к любому произвольному файлу, хранящейся в рабочей области. Пакеты Python WHL можно хранить в виде файлов рабочей области, а затем зарегистрировать их в качестве библиотек рабочей области. См. раздел " Что такое файлы рабочей области?".

Библиотеки можно отправлять в виде файлов рабочей области. См . основные сведения об использовании файлов рабочей области.

Несмотря на то что можно передать много типов файлов в файлы рабочей области, можно установить только WHL-файлы Python с помощью файлов рабочей области. См . библиотеки с областью действия кластера.

В Databricks Runtime 13.3 LTS и более поздних версиях можно установить %pip файлы колес Python, хранящиеся в виде файлов рабочей области. См. раздел "Установка пакета, хранящегося в виде файла рабочей области" с помощью %pip.

Создание библиотеки рабочей области

Предупреждение

Эта функция больше не доступна. См. статью "Создание и установка библиотек рабочей области" больше не доступна.

  1. Щелкните правой кнопкой мыши папку рабочей области, в которой нужно сохранить библиотеку.
  2. Выберите Создать > библиотеку. Откроется диалоговое окно "Создание библиотеки".
  3. Выберите источник библиотеки и выполните соответствующую процедуру:

Отправка jar-файла, яйцо Python или файла колесика Python

Примечание.

Установка файлов яиц Python устарела и будет удалена в будущем выпуске Databricks Runtime.

Внимание

Библиотеки можно установить из DBFS при использовании Databricks Runtime 14.3 LTS и ниже. Однако любой пользователь рабочей области может изменять файлы библиотеки, хранящиеся в DBFS. Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию в Databricks Runtime 15.1 и выше. См . статью "Хранение библиотек в корневом каталоге DBFS" не рекомендуется и отключается по умолчанию.

Вместо этого Databricks рекомендует отправлять все библиотеки, включая библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области или тома каталога Unity или с помощью репозиториев пакетов библиотеки. Если рабочая нагрузка не поддерживает эти шаблоны, можно также использовать библиотеки, хранящиеся в облачном хранилище объектов.

  1. В списке кнопки "Источник библиотеки" выберите Отправить.
  2. Выберите Jar, Python Eggили Python Whl.
  3. При необходимости укажите имя библиотеки.
  4. Перетащите файл Jar, Egg или Whl в целевое окно или щелкните целевое окно и укажите путь к файлу. Файл будет отправлен в dbfs:/FileStore/jars.
  5. Нажмите кнопку Создать. Отобразится экран состояния библиотеки.

Ссылка на загруженный JAR-файл, яйцо Python или файл колесика Python

Вы можете создать новую библиотеку рабочей области, ссылаясь на JAR-файл, яйцо Python или файлы колес Python, хранящиеся в корневом каталоге DBFS, в хранилище объектов или с файлами рабочей области. После этого рабочего процесса регистрирует указатель на библиотеку без отправки или перемещения файлов.

С помощью Databricks Runtime 13.2 и более поздних версий можно также ссылаться на том в каталоге Unity. Эта возможность доступна в общедоступной предварительной версии.

Для режима общего доступа необходимо добавить JARs в режим allowlistобщего доступа. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.

  1. Выберите путь к файлу или ADLS в списке "Источник библиотеки".
  2. Выберите Jar, Python Eggили Python Whl.
  3. При необходимости укажите имя библиотеки.
  4. Укажите путь к библиотеке, например следующие примеры:
    • abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
    • /Workspace/path/to/library.whl
    • dbfs:/path/to/library.whl
    • /Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
  5. Нажмите кнопку Создать. Отобразится экран состояния библиотеки.

Дополнительные сведения о работе с библиотеками в хранилище объектов см. в разделе "Установка библиотек из хранилища объектов".

Дополнительные сведения о файлах рабочей области см. в статье "Работа с файлами в Azure Databricks".

Установка библиотеки рабочей области в кластер

Примечание.

Azure Databricks обрабатывает все библиотеки рабочих областей в том порядке, в котором они были установлены в кластере. При наличии зависимостей между библиотеками может потребоваться обратить внимание на порядок установки в кластере.

Внимание

Библиотеки можно установить из DBFS при использовании Databricks Runtime 14.3 LTS и ниже. Однако любой пользователь рабочей области может изменять файлы библиотеки, хранящиеся в DBFS. Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию в Databricks Runtime 15.1 и выше. См . статью "Хранение библиотек в корневом каталоге DBFS" не рекомендуется и отключается по умолчанию.

Вместо этого Databricks рекомендует отправлять все библиотеки, включая библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области или тома каталога Unity или с помощью репозиториев пакетов библиотеки. Если рабочая нагрузка не поддерживает эти шаблоны, можно также использовать библиотеки, хранящиеся в облачном хранилище объектов.

В режиме доступа к одному пользователю используется удостоверение назначенного участника (пользователя или субъекта-службы). В режиме общего доступа библиотеки используют удостоверение пользователя, установившего библиотеку. Режим общего доступа без изоляции не поддерживает тома, но использует то же назначение удостоверений, что и режим общего доступа.

Чтобы просмотреть все параметры установки библиотек в кластерах, см. статью "Библиотеки кластера".

Чтобы установить библиотеку, которая уже существует в рабочей области, можно запустить процесс в пользовательском интерфейсе кластера или в пользовательском интерфейсе библиотеки:

Кластер

  1. На боковой панели нажмите кнопку Значок вычислений "Вычисления".
  2. Щелкните имя кластера.
  3. Перейдите на вкладку "Библиотеки ".
  4. Щелкните Установить новую.
  5. В списке кнопки "Источник библиотеки" выберите библиотеку рабочей области.
  6. Выберите библиотеку рабочей области.
  7. Щелкните Установить.

Библиотека

  1. Перейдите к папке, содержащей библиотеку.
  2. Щелкните имя библиотеки.
  3. Установите флажок рядом с кластером, в котором требуется установить библиотеку, и нажмите кнопку Установить. В списке отображаются только запущенные кластеры.

Просмотр сведений о библиотеке рабочей области

Примечание.

Папки рабочей области обеспечивают удобство обнаружения библиотек рабочей области и управления списками управления доступом.

  1. Перейдите в папку рабочей области, содержащую библиотеку.
  2. Щелкните имя библиотеки.

На странице сведений о библиотеке отобразятся выполняющиеся кластеры и состояние установки библиотеки. Если библиотека установлена, на странице отобразится ссылка на узел пакета. Если библиотека была отправлена, на странице отобразится ссылка на отправленный файл пакета.

Перемещение библиотеки рабочей области

Примечание.

Папки рабочей области обеспечивают удобство обнаружения библиотек рабочей области и управления списками управления доступом. Перемещение библиотеки рабочей области не перемещает файлы, но может изменять доступ пользователей к библиотеке рабочей области.

  1. Перейдите в папку рабочей области, содержащую библиотеку.
  2. Щелкните правой кнопкой мыши имя библиотеки и выберите "Переместить". Откроется браузер папок.
  3. Щелкните целевую папку.
  4. Нажмите кнопку " Переместить".

Удаление библиотеки рабочей области

Внимание

Перед удалением библиотеки рабочей области следует удалить ее из всех кластеров.

Чтобы удалить библиотеку рабочей области, выполните следующие действия:

  1. Переместите библиотеку в папку корзины.
  2. Окончательно удалите библиотеку из папки корзины или очистите папку корзины.