Обучение с помощью проектов MLflow в Машинное обучение Azure (предварительная версия)

Из этой статьи вы узнаете, как отправлять задания обучения с помощью проектов MLflow, использующих Машинное обучение Azure рабочих областей для отслеживания. Вы можете отправлять задания и отслеживать их только с помощью Машинное обучение Azure или перенести запуски в облако, чтобы полностью выполняться в Машинное обучение Azure вычислениях.

Проекты MLflow позволяют организовывать и описывать код, и таким образом обеспечить другим специалистам по обработке и анализу данных (или автоматизированным средствам) возможность запускать его. С помощью проектов MLflow с Машинным обучением Azure вы сможете отслеживать выполнение обучения и управлять им в рабочей области.

Узнайте больше об интеграции MLflow и Машинное обучение Azure.

Необходимые компоненты

• Установите пакет пакета SDK mlflow MLflow и подключаемый модуль Машинное обучение Azure azureml-mlflow для MLflow следующим образом:

  pip install mlflow azureml-mlflow
  

  Совет

  Вы можете использовать mlflow-skinny пакет, который является упрощенным пакетом MLflow без хранилища SQL, сервера, пользовательского интерфейса или зависимостей для обработки и анализа данных. Этот пакет рекомендуется для пользователей, которые в первую очередь нуждаются в возможностях отслеживания и ведения журнала MLflow, не импортируя полный набор функций, включая развертывания.

• Создайте рабочую область Машинного обучения Azure. Чтобы создать рабочую область, см. статью "Создание ресурсов", которые необходимо приступить к работе. Просмотрите разрешения доступа, необходимые для выполнения операций MLflow в рабочей области.

• Чтобы выполнить удаленное отслеживание или отслеживать эксперименты, выполняемые вне Машинное обучение Azure, настройте MLflow, чтобы указать URI отслеживания рабочей области Машинное обучение Azure. Дополнительные сведения о подключении MLflow к рабочей области см. в разделе "Настройка MLflow" для Машинное обучение Azure.

• Использование Машинное обучение Azure в качестве серверной части для проектов MLflow требует пакетаazureml-core:

  pip install azureml-core
  

Подключение к рабочей области

Если вы работаете вне Машинное обучение Azure, необходимо настроить MLflow, чтобы указать URI отслеживания Машинное обучение Azure рабочей области. Инструкции по настройке MLflow для Машинное обучение Azure см. в статье "Настройка MLflow".

Отслеживание проектов MLflow в рабочих областях Машинное обучение Azure

В этом примере показано, как отправлять проекты MLflow и отслеживать их Машинное обучение Azure.

1. Добавьте пакет azureml-mlflow в качестве зависимости PIP в файл конфигурации окружения, чтобы отслеживать метрики и ключевые артефакты в рабочей области.

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

2. Отправьте локальный запуск и убедитесь, что вы задали параметр backend = "azureml", который добавляет поддержку автоматического отслеживания, записи модели, файлов журналов, моментальных снимков и печатных ошибок в рабочей области. В этом примере предполагается, что проект MLflow, который вы пытаетесь запустить, находится в той же папке, uri="."что и сейчас.

   • Интерфейс командной строки MLflow
   • Python

   mlflow run . --experiment-name  --backend azureml --env-manager=local -P alpha=0.3
   

   Просматривайте запуски и метрики в Студии машинного обучения Azure.

Обучение проектов MLflow в заданиях Машинное обучение Azure

В этом примере показано, как отправлять проекты MLflow в качестве задания, работающего на Машинное обучение Azure вычислениях.

1. Создайте объект конфигурации серверной части, в этом случае мы будем указывать COMPUTE. Этот параметр ссылается на имя удаленного вычислительного кластера, который вы хотите использовать для запуска проекта. Если COMPUTE он присутствует, проект будет автоматически отправлен в качестве задания Машинное обучение Azure указанному вычислению.

   • Интерфейс командной строки MLflow
   • Python

   backend_config.json

   {
       "COMPUTE": "cpu-cluster"
   }
   
   

2. Добавьте пакет azureml-mlflow в качестве зависимости PIP в файл конфигурации окружения, чтобы отслеживать метрики и ключевые артефакты в рабочей области.

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

3. Отправьте локальный запуск и убедитесь, что вы задали параметр backend = "azureml", который добавляет поддержку автоматического отслеживания, записи модели, файлов журналов, моментальных снимков и печатных ошибок в рабочей области. В этом примере предполагается, что проект MLflow, который вы пытаетесь запустить, находится в той же папке, uri="."что и сейчас.

   • Интерфейс командной строки MLflow
   • Python

   mlflow run . --backend azureml --backend-config backend_config.json -P alpha=0.3
   

   Примечание.

   Так как Машинное обучение Azure задания всегда выполняются в контексте сред, параметр env_manager игнорируется.

   Просматривайте запуски и метрики в Студии машинного обучения Azure.

Очистка ресурсов

Если вы не планируете использовать зарегистрированные метрики и артефакты в рабочей области, то вам нужно знать, что удалять такие ресурсы по отдельности в настоящее время нельзя. Вместо этого вам нужно удалить группу ресурсов, содержащую учетную запись хранения и рабочую область, и таким образом избежать ненужных расходов.

1. На портале Azure выберите Группы ресурсов в левой части окна.

   

2. В списке выберите созданную группу ресурсов.

3. Выберите команду Удалить группу ресурсов.

4. Введите имя группы ресурсов. Затем выберите Удалить.

Примеры записных книжек

В примере MLflow с записными книжками Машинного обучения Azure демонстрируются и поясняются основные понятия, представленные в этой статье.

• Обучение проекта MLflow в локальных средах вычислений
• Обучение проекта MLflow в удаленных средах вычислений.

Следующие шаги

• Отслеживание запусков Azure Databricks с использованием MLflow.
• Запрос и сравнение экспериментов и запусков с помощью MLflow.
• Управление реестрами моделей в Машинное обучение Azure с помощью MLflow.
• Рекомендации по развертыванию моделей MLflow.