Сведения о вычислительном экземпляре Машинного обучения Azure
Вычислительный экземпляр Машинного обучения Azure — это полностью управляемая облачная рабочая станция для специалистов по анализу данных. У каждого вычислительного экземпляра есть только один владелец, хотя файлы можно использовать совместно между несколькими вычислительными экземплярами.
Вычислительные экземпляры позволяют легко приступить к разработке Машинное обучение Azure и предоставлять возможности управления и готовности предприятия для ИТ-администраторов.
Используйте вычислительный экземпляр в качестве полностью настроенной и управляемой среды разработки в облаке для машинного обучения. Его также можно использовать в качестве целевого объекта вычислений для заданий обучения и вывода результатов в процессе разработки и тестирования.
Для работы функции Jupyter вычислительного экземпляра убедитесь, что связь с веб-сокетом не отключена. Убедитесь, что сеть разрешает подключения через веб-сокеты к *.instances.azureml.net и *.instances.azureml.ms.
Внимание
Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Предварительная версия предоставляется без соглашения об уровне обслуживания и не рекомендована для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Зачем использовать вычислительный экземпляр?
Вычислительный экземпляр — это полностью управляемая облачная рабочая станция, оптимизированная для среды разработки машинного обучения. Это обеспечивает следующие преимущества:
| Ключевые преимущества | Description |
|---|---|
| Продуктивность | Можно создавать и развертывать модели с помощью интегрированных записных книжек и следующих инструментов в студии Машинного обучения Azure: — Jupyter; — JupyterLab; — VS Code (предварительная версия); Вычислительный экземпляр полностью интегрирован с рабочей областью и студией Машинного обучения Azure. В рабочей области можно обмениваться записными книжками и данными с другими специалистами по анализу данных. |
| Управляемость и безопасность | Сократите воздействие на систему безопасности и обеспечьте соответствие корпоративным требованиям безопасности. Вычислительные экземпляры предоставляют надежные политики управления и защищенные сетевые конфигурации, такие как: — автоматическая подготовка на основе шаблонов Resource Manager или пакета SDK для Машинного обучения Azure; - Управление доступом на основе ролей в Azure (Azure RBAC). - Поддержка виртуальной сети — Политика Azure для отключения доступа по протоколу SSH. — политика Azure для принудительного создания в виртуальной сети — автоматическое завершение работы и автоматическое запуск на основе расписания — Поддержка TLS 1.2. |
| Предварительная настройка для ML | Сэкономить время на задачах установки с предварительно настроенными и актуальными пакетами машинного обучения, платформами глубокого обучения, драйверами GPU. |
| Полные возможности настройки | Широкая поддержка типов виртуальных машин Azure, включая GPU, и сохраняемая низкоуровневая настройка, например установка пакетов и драйверов, позволяют без труда реализовывать сложные сценарии. Вы также можете использовать скрипты установки для автоматизации настройки. |
- Защита вычислительного экземпляра с помощью общедоступного IP-адреса.
- Вычислительный экземпляр также является защищенным целевым объектом вычислений, похожим на вычислительные кластеры, но это один узел.
- Можно создать вычислительный экземпляр самостоятельно, или администратор может создать вычислительный экземпляр от вашего имени.
- Вы также можете использовать скрипт установки для автоматического способа настройки и настройки вычислительного экземпляра в соответствии с вашими потребностями.
- Чтобы сэкономить на затратах, создайте расписание для автоматического запуска и остановки вычислительного экземпляра или включения завершения простоя
Средства и среды
Вычислительный экземпляр Машинного обучения Azure позволяет создавать, обучать и развертывать модели в полностью интегрированной среде записных книжек в рабочей области.
Записные книжки можно запускать из рабочей области Машинное обучение Azure, Jupyter, JupyterLab или Visual Studio Code. Vs Code Desktop можно настроить для доступа к вычислительному экземпляру. Или используйте VS Code для Интернета непосредственно из браузера и без каких-либо необходимых установок или зависимостей.
Мы рекомендуем попробовать VS Code для Интернета, чтобы воспользоваться преимуществами простой интеграции и расширенной среды разработки, которая предоставляется. VS Code для Интернета предоставляет множество функций VS Code Desktop, включая поиск и синтаксис при просмотре и редактировании. Дополнительные сведения об использовании VS Code Desktop и VS Code для Интернета см. в статье "Запуск Visual Studio Code" с Машинное обучение Azure (предварительная версия) и удаленное подключение к вычислительному экземпляру (предварительная версия) в VS Code.
Можно установить пакеты и добавить ядра в вычислительный экземпляр.
В вычислительном экземпляре уже установлены следующие средства и среды:
| Общие средства и среды | Сведения |
|---|---|
| Драйверы | CUDAcuDNNNVIDIABlob FUSE |
| Библиотека Intel MPI | |
| Azure CLI | |
| Образцы Машинного обучения Azure | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| Средства и среды R | Сведения |
|---|---|
| Ядро R |
При создании экземпляра можно добавить RStudio или Posit Workbench (ранее RStudio Workbench ).
| Средства и среды PYTHON | Сведения |
|---|---|
| Anaconda Python | |
| Jupyter и расширения | |
| Jupyterlab и расширения | |
| пакет SDK Машинное обучение Azure для Python из PyPI |
Включает azure-ai-ml и множество общих дополнительных пакетов Azure. Чтобы просмотреть полный список, откройте окно терминала в вычислительном экземпляре и запустите conda list -n azureml_py310_sdkv2 ^azure |
| Другие пакеты PyPI | jupytexttensorboardnbconvertnotebookPillow |
| Пакеты Conda | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejs |
| Пакеты глубокого обучения | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| Пакеты ONNX | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Примеры Python для Машинного обучения Azure |
Вычислительный экземпляр имеет Ubuntu в качестве базовой ОС.
Доступ к файлам
Записные книжки и скрипты Python хранятся в учетной записи хранения рабочей области по умолчанию в общей папке Azure. Эти файлы находятся в каталоге "Пользовательские файлы". Это хранилище упрощает обмен записными книжками между вычислительными экземплярами. Кроме того, учетная запись хранения позволяет безопасно сохранять записные книжки при завершении работы или удалении вычислительного экземпляра.
Учетная запись общей папки Azure в рабочей области подключается как диск в вычислительном экземпляре. Этот диск — это рабочий каталог по умолчанию для Jupyter, Jupyter Labs, RStudio и Posit Workbench. Это означает, что записные книжки и другие файлы, создаваемые в Jupyter, JupyterLab, VS Code для Web, RStudio или Posit, автоматически хранятся в общей папке и доступны для использования в других вычислительных экземплярах.
Файлы в общей папке доступны из всех вычислительных экземпляров в данной рабочей области. Все изменения этих файлов в вычислительном экземпляре надежно сохраняются в общей папке.
Вы также можете клонировать последние образцы Машинного обучения Azure в папку в каталоге "Файлы пользователя" в общей папке рабочей области.
Запись небольших файлов на сетевые диски может выполняться медленнее, чем непосредственно на локальный диск вычислительного экземпляра. Если вы пишете много небольших файлов, попробуйте использовать каталог непосредственно в вычислительном /tmp экземпляре, например каталог. Файлы заметок в вычислительном экземпляре недоступны из других вычислительных экземпляров.
Не храните данные для обучения в общей папке с файлом записных книжек. Сведения о различных вариантах хранения данных см. в разделе "Доступ к данным в задании".
Можно использовать каталог /tmp в вычислительном экземпляре для временных данных. Кроме того, не записывайте большие файлы данных на диск ОС вычислительного экземпляра. Диск ОС на вычислительном экземпляре имеет емкость 120 ГБ. Кроме того, временные данные для обучения можно хранить на временном диске, подключенном к /mnt. Размер временного диска зависит от выбранного размера виртуальной машины. Он может вмещать больше данных, если выбрана виртуальная машина большего размера. Все устанавливаемые пакеты программного обеспечения сохраняются на диске операционной системы вычислительного экземпляра. Обратите внимание, что шифрование управляемых клиентом ключей в настоящее время не поддерживается для диска ОС. Диск операционной системы для вычислительного экземпляра шифруется с помощью управляемых корпорацией Microsoft ключей.
Можно также подключать хранилища данных и наборы данных.
Создание
Выполните действия, описанные в статье "Создание ресурсов", которые необходимо приступить к созданию базового вычислительного экземпляра.
Дополнительные сведения см. в статье о создании нового вычислительного экземпляра.
Администратор может создать вычислительный экземпляр для других пользователей в рабочей области. Для такого вычислительного экземпляра необходимо отключить единый вход.
Вы также можете использовать скрипт установки для автоматического способа настройки и настройки вычислительного экземпляра.
Другие способы создания вычислительного экземпляра:
- Непосредственно из интегрированной записной книжки.
- на основе шаблона Azure Resource Manager; Пример шаблона см. в разделе Создание шаблона вычислительного экземпляра Машинного обучения Azure.
- С помощью пакета SDK для Машинного обучения Azure
- Из расширения CLI для Машинного обучения Azure
Квота выделенных ядер на регион на семейство ВМ и суммарная региональная квота, применяемая при создании вычислительного экземпляра, объединяется и используется совместно с квотой вычислительных кластеров Машинного обучения Azure. Остановка вычислительного экземпляра не освобождает квоту, чтобы убедиться, что вы сможете перезапустить вычислительный экземпляр. Не остановите вычислительный экземпляр через терминал ОС, выполнив завершение работы sudo.
Вычислительный экземпляр поставляется с диском с ОС P10. Тип временного диска зависит от выбранного размера виртуальной машины. Сейчас изменить тип диска ОС нельзя.
Целевой объект вычислений
Вычислительные экземпляры можно использовать в качестве целевого объекта вычислений для обучения аналогично кластерам обучения Машинного обучения Azure. Но у вычислительного экземпляра есть только один узел, а у вычислительного кластера может быть больше узлов.
Вычислительный экземпляр:
- Имеет очередь заданий.
- Безопасно запускает задания в среде виртуальной сети, не требуя, чтобы предприятия открывали порт SSH. Задание выполняется в контейнерной среде и упаковывает зависимости модели в контейнер Docker.
- Может выполнять несколько небольших заданий параллельно. Одно задание на виртуальный ЦП может выполняться параллельно, а остальные задания находятся в очереди.
- Поддерживает распределенные задания обучения для нескольких GPU с одним узлом
Можно использовать вычислительный экземпляр в качестве локального целевого объекта развертывания для вывода в сценариях тестирования и отладки.
Совет
Размер диска ОС вычислительного экземпляра составляет 120 ГБ. Если на диске не хватает места и функционирование нарушилось, очистите не менее 5 ГБ пространства на диске ОС (подключенном к /) с помощью терминала вычислительного экземпляра, удалив файлы и папки, а затем выполните команду sudo reboot. Временный диск будет освобожден после перезагрузки; Не нужно очищать место на временном диске вручную. Для доступа к терминалу перейдите на страницу со списком вычислительных экземпляров или на страницу сведений о вычислительном экземпляре и щелкните ссылку Терминал. Чтобы проверить доступное дисковое пространство, выполните df -h в терминале. Перед выполнением sudo reboot освободите не менее 5 ГБ пространства. Не останавливайте и не перезапускайте вычислительный экземпляр с помощью Studio, пока в нем не будет освобождено 5 ГБ дискового пространства. Автоматическое завершение работы, в том числе запуск и остановка по расписанию, а также отключение в режиме ожидания не будут работать, если диск вычислительного экземпляра заполнен.
Связанный контент
- Создайте ресурсы, которые необходимо приступить к работе.
- Руководство. Обучение первой модели машинного обучения показывает, как использовать вычислительный экземпляр с интегрированной записной книжкой.