Suivre les expériences et modèles ML avec MLflow

Article
11/12/2024

Le Suivi est le processus d’enregistrement d’informations pertinentes sur les expériences. Dans cet article, vous apprenez à utiliser MLflow pour suivre vos expériences et vos exécutions dans les espaces de travail Azure Machine Learning.

Certaines méthodes disponibles dans l’API MLflow peuvent ne pas être disponibles pendant une connexion à Azure Machine Learning. Pour plus d’informations sur les opérations prises en charge et non prises en charge, consultez la Matrice de prise en charge pour l’interrogation des exécutions et des expériences. Vous pouvez également en savoir plus sur les fonctionnalités MLflow prises en charge dans Azure Machine Learning à partir de l’article MLflow et Azure Machine Learning.

Remarque

Si vous souhaitez suivre les expériences qui s’exécutent sur Azure Databricks, consultez Suivre les expériences de ML Azure Databricks avec MLflow et Azure Machine Learning.
Pour suivre les expériences qui s’exécutent sur Azure Synapse Analytics, consultez Suivre les expériences de ML Azure Synapse Analytics avec MLflow et Azure Machine Learning.

Prérequis

Disposez d’un abonnement Azure avec la version gratuite ou payante d’Azure Machine Learning.
Pour exécuter des commandes Azure CLI et Python, installez Azure CLI v2 et le Kit de développement logiciel (SDK) Azure Machine Learning v2 pour Python. L’extension ml pour Azure CLI installe automatiquement la première fois que vous exécutez une commande CLI Azure Machine Learning.

Installer le package du SDK MLflow mlflow et le plug-in azureml-mlflow d’Azure Machine Learning pour MLflow de la manière suivante :
```
pip install mlflow azureml-mlflow
```
Conseil

Vous pouvez utiliser le package mlflow-skinny qui est un package MLflow léger sans dépendances de stockage SQL, de serveur, d’interface utilisateur ou de science des données. Ce package est recommandé pour les utilisateurs qui ont principalement besoin des fonctionnalités de suivi et de journalisation de MLflow, sans importer la suite complète de fonctionnalités, notamment les déploiements.
Créez un espace de travail Azure Machine Learning. Pour créer un espace de travail, consultez Créer les ressources dont vous avez besoin pour commencer. Examinez les autorisations d’accès nécessaires pour effectuer vos opérations MLflow dans votre espace de travail.
Pour effectuer un suivi à distance, autrement dit, pour suivre des expériences qui s’exécutent en dehors d’Azure Machine Learning, configurez MLflow pour qu’il pointe vers l’URI de suivi de votre espace de travail Azure Machine Learning. Pour plus d’informations sur la connexion de MLflow à votre espace de travail, consultez Configurer MLflow pour Azure Machine Learning.

Configurer l’expérience

MLflow organise les informations dans les expériences et les exécutions. Les exécutions sont appelées travaux dans Azure Machine Learning. Par défaut, exécute le journal sur une expérience créée automatiquement nommée Défaut, mais vous pouvez configurer l’expérience à suivre.

Blocs-notes
Tâches

Pour une formation interactive, comme dans un notebook Jupyter, utilisez la commande MLflow mlflow.set_experiment(). Par exemple, l’extrait de code suivant configure une expérience :

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Pour envoyer des travaux avec Azure Machine Learning CLI ou le kit de développement logiciel (SDK), définissez le nom de l’expérience à l’aide de la propriété experiment_name du travail. Vous n’avez pas besoin de configurer le nom de l’expérience dans votre script d’entraînement.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Configurer l’exécution

Azure Machine Learning effectue le suivi des travaux d’apprentissage dans les appels MLflow qui s’exécutent. Utilisez des exécutions pour enregistrer tout le traitement effectué par votre travail.

Blocs-notes
Tâches

Lorsque vous travaillez de manière interactive, MLflow commence à suivre votre routine d’apprentissage dès que vous journalisez des informations qui nécessitent une exécution active. Par exemple, si la fonctionnalité de synchronisation automatique de MLflow est activée, le suivi MLflow démarre lorsque vous journalisez une métrique, un paramètre ou démarrez un cycle de formation.

Toutefois, il est généralement utile de démarrer l’exécution explicitement, en particulier si vous souhaitez capturer la durée totale de votre expérience dans le champ Durée. Pour démarrer l’exécution de manière explicite, utilisez mlflow.start_run().

Que vous démarrez l’exécution manuellement ou non, vous devrez finalement arrêter l’exécution, afin que MLflow sache que votre exécution d’expérience est réalisée et puisse marquer l’état de l’exécution comme Terminé. Pour arrêter une exécution, utilisez mlflow.end_run().

Le code suivant démarre une exécution manuellement et la termine à la fin du notebook :

mlflow.start_run()

# Your code

mlflow.end_run()

Il est préférable de démarrer manuellement les exécutions afin de ne pas oublier de les terminer. Vous pouvez utiliser le paradigme du gestionnaire de contexte pour vous aider à vous rappeler de mettre fin à l’exécution.

with mlflow.start_run() as run:
    # Your code

Quand vous démarrez une nouvelle exécution avec mlflow.start_run(), il peut être utile de spécifier le paramètre run_name, qui est utilisé plus tard comme nom de l’exécution dans l’interface utilisateur Azure Machine Learning. Cette pratique vous aide à identifier l’exécution plus rapidement.

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Les travaux Azure Machine Learning vous permettent de soumettre des routines de formation ou d’inférence de longue durée comme exécutions isolées et reproductibles.

Créer une routine d’entraînement qui a suivi

Lorsque vous réalisez des travaux, vous placez généralement toute votre logique de formation dans les fichiers d’un dossier, par exemple src. L’un de ces fichiers est un fichier Python avec votre point d’entrée de code de formation.

Dans votre routine d’entraînement, vous pouvez utiliser le Kit de développement logiciel (SDK) MLflow pour suivre n’importe quelle métrique, paramètre, artefacts ou modèles. Pour avoir des exemples, consultez Journaliser les métriques, les paramètres et les fichiers avec MLflow.

L’exemple suivant montre une routine d’entraînement hello_world.py qui ajoute la journalisation :

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

L’exemple de code précédent n’utilise mlflow.start_run() pas, mais s’il est utilisé, MLflow réutilise l’exécution active actuelle. Par conséquent, vous n’avez pas besoin de supprimer la ligne mlflow.start_run() si vous migrez du code vers Azure Machine Learning.

Vérifiez l’installation de MLflow dans l’environnement de votre travail

Tous les environnements organisés Azure Machine Learning ont déjà installé MLflow. Toutefois, si vous utilisez un environnement personnalisé, créez un fichier conda.yaml qui a les dépendances dont vous avez besoin et référencez l’environnement dans votre travail.

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

Configurer le nom du travail

Utilisez le paramètre display_name des travaux Azure Machine Learning pour configurer le nom de l’exécution.

Utilisez la propriété display_name pour configurer le travail.

Azure CLI
Kit de développement logiciel (SDK) Python

Pour configurer le travail, créez un fichier YAML avec votre définition de travail dans un fichier job.yml en dehors du répertoire src.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

from azure.ai.ml import command, Environment

command_job = command(
    code="src",
    command="echo "hello world",
    environment=Environment(image="library/python:latest"),
    compute="cpu-cluster",
    display_name="hello-world-example"
)

Veillez à ne pas utiliser mlflow.start_run(run_name="") à l’intérieur de votre routine d’entraînement.

Envoi du travail

L’espace de travail est la ressource de niveau supérieur pour Azure Machine Learning. Il fournit un emplacement centralisé dans avec tous les artefacts d’Azure Machine Learning que vous créez. Connectez-vous à un espace de travail Azure Machine Learning.
- Azure CLI
- Kit de développement logiciel (SDK) Python
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
```
1. Importez les bibliothèques nécessaires :
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
```
2. Configurez les détails de l’espace de travail et obtenez un handle pour l’espace de travail :
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```
Ouvrez votre terminal et utilisez le code suivante pour envoyer le travail. Les travaux qui utilisent MLflow et s’exécutent sur Azure Machine Learning consignent automatiquement toutes les informations de suivi dans l’espace de travail.
- Azure CLI
- Kit de développement logiciel (SDK) Python
Utilisez l’interface en ligne de commande Azure Machine Learning pour soumettre votre travail.
```
az ml job create -f job.yml --web
```
Utiliser le kit de développement logiciel (SDK) Python pour envoyer votre travail.
```
returned_job = ml_client.jobs.create_or_update(command_job)
returned_job.studio_url
```
Analyser la progression du travail dans Azure Machine Learning studio.

Activer l’autologging MLflow

Vous pouvez journaliser les métriques, les paramètres et les fichiers avec MLflow manuellement, et vous pouvez également vous appuyer sur la fonctionnalité de journalisation automatique de MLflow. Chaque infrastructure d’apprentissage automatique prise en charge par MLflow détermine les éléments à suivre automatiquement pour vous.

Pour activer la journalisation automatique, insérez le code suivant avant votre code d’entraînement :

mlflow.autolog()

Afficher les métriques et les artefacts dans votre espace de travail

Les métriques et les artefacts de la journalisation MLflow sont suivis dans votre espace de travail. Vous pouvez les afficher et les accéder dans Azure Machine Learning Studio ou les accéder programmatiquement via le Kit de développement logiciel (SDK) MLflow.

Pour afficher des métriques et des artefacts dans le studio :

Dans la page Travaux de votre espace de travail, sélectionnez le nom de l’expérience.
Dans la page détails de l’expérience, sélectionnez l’onglet Métriques .
Sélectionnez les métriques journalisées pour afficher les graphiques sur le côté droit. Vous pouvez personnaliser les graphes en appliquant un lissage, en changeant la couleur ou en traçant plusieurs métriques sur un même graphe. Vous pouvez également redimensionner et réorganiser la disposition.
Une fois que la vue souhaitée est créée, enregistrez-la pour une utilisation ultérieure et partagez-la avec vos collègues à l’aide d’un lien direct.

Pour accéder à ou interroger des métriques, des paramètres et des artefacts de manière programmatique via le kit de développement logiciel (SDK) MLflow, utilisez mlflow.get_run().

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

Conseil

L’exemple précédent retourne uniquement la dernière valeur d’une métrique donnée. Pour récupérer toutes les valeurs d’une métrique donnée, utilisez la méthode mlflow.get_metric_history. Pour plus d’informations sur la récupération des valeurs de métriques, consultez Obtenir des paramètres et des métriques à partir d’une exécution.

Pour télécharger les artefacts que vous avez enregistrés, comme des fichiers et des modèles, utilisez mlflow.artifacts.download_artifacts().

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

Pour plus d’informations sur la manière de récupérer ou comparer les informations des expériences et des exécutions dans Azure Machine Learning, en utilisant MLflow, consultez Interroger et comparer les expériences et les exécutions avec MLflow.

Partager via

Suivre les expériences et modèles ML avec MLflow

Prérequis

Configurer l’expérience

Configurer l’exécution

Créer une routine d’entraînement qui a suivi

Vérifiez l’installation de MLflow dans l’environnement de votre travail

Configurer le nom du travail

Envoi du travail

Activer l’autologging MLflow

Afficher les métriques et les artefacts dans votre espace de travail

Commentaires

Ressources supplémentaires

Partager via

Suivre les expériences et modèles ML avec MLflow

Prérequis

Configurer l’expérience

Configurer l’exécution

Activer l’autologging MLflow

Afficher les métriques et les artefacts dans votre espace de travail

Contenu connexe

Commentaires

Ressources supplémentaires