Что такое рабочая область Машинного обучения Azure?

Рабочие области — это места для совместной работы с коллегами для создания артефактов машинного обучения и связанных с ними групп. Например, эксперименты, задания, наборы данных, модели, компоненты и конечные точки вывода. В этой статье описываются рабочие области, управление доступом к ним и их использование для упорядочивания работы.

Готовы приступить к работе? Создайте рабочую область.

Задачи, выполняемые в рабочей области

Для команд машинного обучения рабочая область — это место для организации своей работы. Ниже приведены некоторые задачи, которые можно начать с рабочей области:

• Создание заданий . Задания — это учебные запуски, используемые для создания моделей. Можно сгруппировать задания в эксперименты для сравнения метрик.
• Создание конвейеров — конвейеры являются повторно используемыми рабочими процессами для обучения и переобучения модели.
• Регистрация ресурсов данных — ресурсы данных помогают управлять данными, используемыми для обучения моделей и создания конвейера.
• Регистрация моделей . После развертывания модели создается зарегистрированная модель.

Помимо группировки результатов машинного обучения рабочие области также размещают конфигурации ресурсов:

• Целевые объекты вычислений используются для выполнения экспериментов.
• Хранилища данных определяют способ подключения к источникам данных при использовании ресурсов данных.
• Параметры безопасности — сетевые параметры, управление удостоверениями и доступом, а также параметры шифрования.

Организация рабочих областей

Для руководителей и администраторов группы машинного обучения рабочие области служат контейнерами для управления доступом, управления затратами и изоляции данных. Ниже приведены некоторые советы по организации рабочих областей.

• Используйте роли пользователей для управления разрешениями в рабочей области между пользователями. Например, специалист по обработке и анализу данных, инженер машинного обучения или администратор.
• Назначьте доступ к группам пользователей: с помощью групп пользователей Microsoft Entra вам не нужно добавлять отдельных пользователей в каждую рабочую область, а другим ресурсам для одной и той же группы пользователей требуется доступ.
• Создайте рабочую область для каждого проекта: хотя рабочую область можно использовать для нескольких проектов, ограничение ее на один проект на рабочую область позволяет получать отчеты о затратах на уровень проекта. Он также позволяет управлять конфигурациями, такими как хранилища данных в области каждого проекта.
• Совместное использование ресурсов Azure: рабочие области требуют создания нескольких связанных ресурсов. Поделитесь этими ресурсами между рабочими областями, чтобы сохранить повторяющиеся шаги настройки.
• Включение самообслуживания: создание и защита связанных ресурсов в качестве ИТ-администратора и использование ролей пользователей, чтобы специалисты по обработке и анализу данных могли создавать рабочие области самостоятельно.
• Общий доступ к ресурсам. Вы можете совместно использовать ресурсы между рабочими областями с помощью Машинное обучение Azure реестров.

Как хранится содержимое в рабочей области?

Рабочая область сохраняет журнал всех обучающих запусков, используя журналы, метрики, выходные данные, метаданные происхождения и моментальный снимок скриптов. При выполнении задач в Машинное обучение Azure создаются артефакты. Их метаданные и данные хранятся в рабочей области и на связанных с ней ресурсах.

Связанные ресурсы

При создании новой рабочей области требуется перенести другие ресурсы Azure для хранения своих данных. Если эти ресурсы не предоставлены вами, эти ресурсы автоматически создаются Машинное обучение Azure.

• Учетная запись хранения Azure. Хранит артефакты машинного обучения, такие как журналы заданий. По умолчанию эта учетная запись хранения используется при отправке данных в рабочую область. Здесь также хранятся записные книжки Jupyter, которые используются с вычислительными экземплярами Машинного обучения Azure.

  Внимание

  Вы не можете использовать существующую учетную запись служба хранилища Azure, если она:

  • Учетная запись типа BlobStorage
  • Учетная запись уровня "Премиум" (Premium_LRS и Premium_GRS)
  • Учетная запись с иерархическим пространством имен (используется с Azure Data Lake Storage 2-го поколения).

  Хранилище класса Premium или иерархическое пространство имен можно использовать в качестве дополнительного хранилища, создав хранилище данных.

  Не включайте иерархическое пространство имен в учетной записи хранения после обновления до версии 2 общего назначения.

  Если вы приносите существующую учетную запись хранения общего назначения версии 1, вы можете обновить ее до версии 2 общего назначения после создания рабочей области.

• Реестр контейнеров Azure (ACR). Сохраняет созданные контейнеры Docker при создании пользовательских сред с помощью Машинное обучение Azure. Развертывание моделей AutoML и профиля данных также активирует создание пользовательских сред.

  Рабочие области можно создавать без ACR как зависимости, если у вас нет необходимости создавать пользовательские контейнеры Docker. Машинное обучение Azure может считываться из внешних реестров контейнеров.

  ACR автоматически подготавливается при создании пользовательских образов docker. Используйте управление доступом на основе ролей Azure (Azure RBAC), чтобы предотвратить сборку контейнеров Docker клиента.

  Внимание

  Если для параметра подписки требуется добавить теги в ресурсы, ACR, созданный Машинное обучение Azure, завершится ошибкой, так как не удается задать теги ACR.

• Azure Application Insights. Помогает отслеживать и собирать диагностические данные из конечных точек вывода.

  Дополнительные сведения см. в статье Отслеживание сетевых конечных точек.

• Azure Key Vault. Хранит секреты, используемые целевыми объектами вычислений и другими конфиденциальными сведениями, которые требуются рабочей области.

Создание рабочей области

Существует несколько способов создания рабочей области. Чтобы приступить к работе, используйте один из следующих вариантов:

• Студия машинного обучения Azure позволяет быстро создать рабочую область с параметрами по умолчанию.
• Используйте портал Azure для интерфейса point-and-click с дополнительными параметрами безопасности.
• Используйте расширение VS Code, если работаете в Visual Studio Code.

Чтобы автоматизировать создание рабочей области с помощью предпочитаемых параметров безопасности:

• Шаблоны Azure Resource Manager и Bicep предоставляют декларативный синтаксис для развертывания ресурсов Azure. Альтернативным вариантом является использование Terraform. Также см . шаблон Bicep или шаблон Terraform.

• Используйте ИНТЕРФЕЙСы REST API непосредственно в среде сценариев, для интеграции платформы или в рабочих процессах MLOps.

Инструменты для взаимодействия с рабочей областью и управления

После настройки рабочей области вы можете взаимодействовать с ней следующими способами:

• В Интернете:
  • Студия машинного обучения Azure
  • Конструктор Машинного обучения Azure

• Расширение Машинного обучения Azure для VS Code

Следующие задачи управления рабочими областями доступны в каждом интерфейсе.

Вложенные ресурсы

При создании вычислительных кластеров и вычислительных экземпляров в Машинное обучение Azure создаются вложенные ресурсы.

• Виртуальные машины: предоставляют вычислительные ресурсы для вычислительных экземпляров и вычислительных кластеров, которые используются для выполнения заданий.
• Azure Load Balancer: подсистема балансировки сетевой нагрузки создается для каждого вычислительного экземпляра и вычислительного кластера для управления трафиком, даже если вычислительный экземпляр или кластер остановлен.
• Виртуальная сеть: эти ресурсы помогают ресурсам Azure обмениваться данными друг с другом, Интернетом и другими локальными сетями.
• Пропускная способность: инкапсулирует все передачи исходящих данных между регионами.

Следующие шаги

Дополнительные сведения о планировании рабочей области в соответствии с требованиями организации см. в статье об упорядочении и настройке Машинного обучения Azure.

Чтобы быстро начать работу с Машинным обучением Azure, изучите следующие статьи:

• Что такое Машинное обучение Azure?
• Создание рабочей области и управление ею
• Восстановление рабочей области после удаления (обратимое удаление)
• Начало работы с Машинное обучение Azure
• Руководство. Создание первой модели классификации с помощью автоматизированного машинного обучения