Управление библиотеками в Spark
Примечание.
Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.
До даты выхода на пенсию будет доступна только базовая поддержка.
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
Цель управления библиотеками — сделать открытый или пользовательский код доступным для записных книжек и заданий, выполняемых в кластерах. Библиотеки Python можно отправлять из репозиториев PyPI. В этой статье рассматривается управление библиотеками в пользовательском интерфейсе кластера. Azure HDInsight в AKS уже включает множество общих библиотек в кластере. Чтобы узнать, какие библиотеки включены в HDI в кластере AKS, просмотрите страницу управления библиотекой.
Установка библиотек
Библиотеки можно установить в двух режимах:
- Установлен кластер
- Область действия записной книжки
Установлен кластер
Все записные книжки, работающие в кластере, могут использовать библиотеки кластера. Вы можете установить библиотеку кластера непосредственно из общедоступный репозиторий, например PyPi. Отправка из репозиториев Maven, отправка пользовательских библиотек из облачного хранилища приведена в схеме.
Область действия записной книжки
Библиотеки с областью действия записной книжки, доступные для Python и Scala, которые позволяют устанавливать библиотеки и создавать среду, ограниченную сеансом записной книжки. Эти библиотеки не влияют на другие записные книжки, работающие в одном кластере. Библиотеки с областью действия записной книжки не сохраняются и должны быть переустанованы для каждого сеанса.
Примечание.
Используйте библиотеки с областью действия записной книжки, если вам нужна настраиваемая среда для конкретной записной книжки.
Режимы установки библиотеки
PyPI: получение библиотек из репозитория открытый код PyPI путем упоминания имени библиотеки и версии в пользовательском интерфейсе установки.
Просмотр установленных библиотек
На странице обзора перейдите к диспетчеру библиотек.
В Диспетчере кластеров Spark щелкните диспетчер библиотек.
Список установленных библиотек можно просмотреть здесь.
Добавление мини-приложения библиотеки
PyPI
На вкладке PyPI введите имя пакета и версию пакета.
Щелкните Установить.
Удаление библиотек
Если вы решили больше не использовать библиотеки, вы можете легко удалить пакеты библиотек с помощью кнопки удаления на странице управления библиотекой.
Выберите и щелкните имя библиотеки
Щелкните "Удалить" в мини-приложении
Примечание.
- Пакеты, установленные из записной книжки Jupyter, можно удалить только из Jupyter Notebook.
- Пакеты, установленные из диспетчера библиотек, можно удалить только из диспетчера библиотек.
- Чтобы обновить библиотеку или пакет, удалите текущую версию библиотеки и применит необходимую версию библиотеки.
- Установка библиотек из записной книжки Jupyter связана с сеансом. Он не сохраняется.
- Установка тяжелых пакетов может занять некоторое время из-за их размера и сложности.