Verwalten von Azure Machine Learning-Umgebungen mit Befehlszeilenschnittstelle und SDK (v2)

GILT FÜR:Azure CLI ML-Erweiterung v2 (aktuell)Python SDK azure-ai-ml v2 (aktuell)

Mithilfe von Azure Machine Learning-Umgebungen werden die Ausführungsumgebungen für Ihre Aufträge oder Bereitstellungen definiert und die Abhängigkeiten für Ihren Code gekapselt. Azure Machine Learning verwendet die Umgebungsspezifikation, um den Docker-Container zu erstellen, in dem Ihr Trainings- oder Bewertungscode auf dem angegebenen Computeziel ausgeführt wird. Sie können eine Umgebung in einer Conda-Spezifikation, einem Docker-Image oder einem Docker-Buildkontext definieren.

In diesem Artikel erfahren Sie, wie Sie Azure Machine Learning-Umgebungen mithilfe von SDK und CLI (v2) erstellen und verwalten.

Voraussetzungen

Stellen Sie vor dem Ausführen der Schritte in diesem Artikel sicher, dass Sie über die folgenden erforderlichen Komponenten verfügen:

• Ein Azure Machine Learning-Arbeitsbereich. Wenn keiner vorliegt, führen Sie die Schritte unter Schnellstart: Erstellen von Arbeitsbereichsressourcen aus, um einen Arbeitsbereich zu erstellen.

• Die Azure CLI und die ml-Erweiterung oder das Azure Machine Learning Python SDK v2:

  • Informationen zum Installieren der Azure CLI und der Erweiterung finden Sie unter Installieren, Einrichten und Verwenden der CLI (v2).

    Wichtig

    In den CLI-Beispielen in diesem Artikel wird davon ausgegangen, dass Sie die Bash-Shell (oder eine kompatible Shell) verwenden, beispielsweise über ein Linux-System oder ein Windows-Subsystem für Linux.

  • Verwenden Sie zum Installieren des Python SDK v2 den folgenden Befehl:

    pip install azure-ai-ml azure-identity
    

    Verwenden Sie den folgenden Befehl, um eine vorhandene Installation des SDK auf die neueste Version zu aktualisieren:

    pip install --upgrade azure-ai-ml azure-identity
    

    Weitere Informationen finden Sie unter Installieren des Python SDK v2 für Azure Machine Learning.

Repository für Klonbeispiele

Klonen Sie zum Ausführen der Trainingsbeispiele zunächst das Repository mit den Beispielen. Wechseln Sie für die CLI-Beispiele zum Verzeichnis cli. Wechseln Sie für die SDK-Beispiele zum Verzeichnis sdk/python/assets/environment:

git clone --depth 1 https://github.com/Azure/azureml-examples

Beachten Sie, dass --depth 1 nur den neuesten Commit in das Repository klont, wodurch die Zeit zum Abschließen des Vorgangs reduziert wird.

Herstellen einer Verbindung mit dem Arbeitsbereich

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Environment, BuildContext
from azure.identity import DefaultAzureCredential

# Enter details of your AML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

Zusammengestellte Umgebungen

Es gibt zwei Arten von Umgebungen in Azure Machine Learning: kuratierte und benutzerdefinierte Umgebungen. Kuratierte (zusammengestellte) Umgebungen sind vordefinierte Umgebungen, die beliebte ML-Frameworks und -Tools enthalten. Benutzerdefinierte Umgebungen werden von den Benutzer*innen konfiguriert und können über az ml environment create erstellt werden.

Zusammengestellte Umgebungen werden von Azure Machine Learning bereitgestellt und sind standardmäßig verfügbar. Azure Machine Learning aktualisiert diese Umgebungen routinemäßig mit den neuesten Frameworkversionsreleases und verwaltet sie mit Fehlerbehebungen und Sicherheitspatches. Sie werden durch zwischengespeicherte Docker-Images unterstützt, wodurch sich die Kosten für die Auftragsvorbereitung und die Zeit für die Modellimplementierung reduzieren.

Sie können diese kuratierten Umgebungen unverändert für das Training oder die Bereitstellung verwenden, indem Sie auf eine bestimmte Version oder die neueste Version der Umgebung verweisen. Verwenden Sie die folgende Syntax: azureml://registries/azureml/environment/<curated-environment-name>/versions/<version-number> oder azureml://registries/azureml/environment/<curated-environment-name>/labels/latest. Sie können sie auch als Verweis auf Ihre eigenen benutzerdefinierten Umgebungen verwenden, indem Sie die Dockerfiles für diese kuratierten Umgebungen ändern.

Sie können die verfügbaren kuratierten Umgebungen auf der Benutzeroberfläche von Azure Machine Learning Studio oder mithilfe der CLI (v2) über az ml environment list anzeigen.

Erstellen einer benutzerdefinierten Umgebung

Sie können eine Umgebung auf der Grundlage eines Docker-Images, eines Docker-Buildkontexts und einer Conda-Spezifikation mit Docker-Image definieren.

Erstellen einer Umgebung aus einem Docker-Image

Um eine Umgebung aus einem Docker-Image zu definieren, geben Sie den Image-URI des Images an, das in einer Registrierung wie Docker Hub oder Azure Container Registry gehostet wird.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-image-example
image: pytorch/pytorch:latest
description: Environment created from a Docker image.

az ml environment create --file assets/environment/docker-image.yml

env_docker_image = Environment(
    image="pytorch/pytorch:latest",
    name="docker-image-example",
    description="Environment created from a Docker image.",
)
ml_client.environments.create_or_update(env_docker_image)

Erstellen einer Umgebung aus einem Docker-Buildkontext

Anstatt eine Umgebung aus einem vordefinierten Image zu definieren, können Sie dafür auch einen Docker-Buildkontext verwenden. Geben Sie das Verzeichnis an, das als Buildkontext dient. Dieses Verzeichnis sollte eine Dockerfile-Datei (nicht größer als 1 MB) und alle anderen Dateien enthalten, die zum Erstellen des Images erforderlich sind.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-context-example
build:
  path: docker-contexts/python-and-pip

az ml environment create --file assets/environment/docker-context.yml

env_docker_context = Environment(
    build=BuildContext(path="docker-contexts/python-and-pip"),
    name="docker-context-example",
    description="Environment created from a Docker context.",
)
ml_client.environments.create_or_update(env_docker_context)

Azure Machine Learning beginnt mit dem Erstellen des Images aus dem Buildkontext, wenn die Umgebung erstellt wurde. Sie können den Buildstatus überwachen und die Buildprotokolle auf der Studio-Benutzeroberfläche anzeigen.

Erstellen einer Umgebung aus einer Conda-Spezifikation

Sie können eine Umgebung mithilfe einer standardmäßigen Conda-YAML-Konfigurationsdatei definieren, in der die Abhängigkeiten für die Conda-Umgebung enthalten sind. Informationen zu diesem Standardformat finden Sie unter Manuelles Erstellen einer Umgebung.

Sie müssen auch ein Docker-Basisimage für diese Umgebung angeben. Azure Machine Learning erstellt die Conda-Umgebung im bereitgestellten Docker-Image. Wenn Sie Python-Abhängigkeiten in Ihrem Docker-Image installieren, sind diese Pakete in der Ausführungsumgebung nicht vorhanden, was zu Laufzeitfehlern führt. Standardmäßig erstellt Azure Machine Learning eine Conda-Umgebung mit den von Ihnen angegebenen Abhängigkeiten und führt den Auftrag in dieser Umgebung aus, anstatt Python-Bibliotheken zu verwenden, die Sie im Basisimage installiert haben.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-image-plus-conda-example
image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04
conda_file: conda-yamls/pydata.yml
description: Environment created from a Docker image plus Conda environment.

az ml environment create --file assets/environment/docker-image-plus-conda.yaml

env_docker_conda = Environment(
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    conda_file="conda-yamls/pydata.yml",
    name="docker-image-plus-conda-example",
    description="Environment created from a Docker image plus Conda environment.",
)
ml_client.environments.create_or_update(env_docker_conda)

Azure Machine Learning erstellt das endgültige Docker-Image aus dieser Umgebungsspezifikation, wenn die Umgebung in einem Auftrag oder einer Bereitstellung verwendet wird. Sie können einen Build der Umgebung auch manuell auf der Studio-Benutzeroberfläche auslösen.

Verwalten von Umgebungen

Mit dem SDK und der CLI (v2) können Sie auch den Lebenszyklus der Objekte Ihrer Azure Machine Learning-Umgebung verwalten.

List

Auflisten aller Umgebungen in Ihrem Arbeitsbereich:

az ml environment list

envs = ml_client.environments.list()
for env in envs:
    print(env.name)

Auflisten aller Umgebungsversionen unter einem bestimmten Namen:

az ml environment list --name docker-image-example

envs = ml_client.environments.list(name="docker-image-example")
for env in envs:
    print(env.version)

Anzeigen

Abrufen von Details zu einer bestimmten Umgebung:

az ml environment show --name docker-image-example --version 1

env = ml_client.environments.get(name="docker-image-example", version="1")
print(env)

Aktualisieren

Aktualisieren änderbarer Eigenschaften einer bestimmten Umgebung:

az ml environment update --name docker-image-example --version 1 --set description="This is an updated description."

env.description="This is an updated description."
ml_client.environments.create_or_update(environment=env)

Archivieren

Beim Archivieren einer Umgebung wird sie standardmäßig in Listenabfragen (az ml environment list) angezeigt. Sie können weiterhin auf eine archivierte Umgebung in Ihren Workflows verweisen und diese verwenden. Sie können entweder alle Versionen einer Umgebung archivieren oder nur eine bestimmte Version.

Wenn Sie keine Version angeben, werden alle Versionen der Umgebung unter dem angegebenen Namen archiviert. Wenn Sie eine neue Umgebungsversion unter einem archivierten Umgebungscontainer erstellen, wird diese neue Version automatisch auch als archiviert festgelegt.

Archiven aller Versionen einer Umgebung:

az ml environment archive --name docker-image-example

ml_client.environments.archive(name="docker-image-example")

Archivieren einer bestimmten Umgebungsversion:

az ml environment archive --name docker-image-example --version 1

ml_client.environments.archive(name="docker-image-example", version="1")

Verwenden von Umgebungen für das Training

Wenn Sie einen Trainingsauftrag übermitteln, kann das Erstellen einer neuen Umgebung einige Minuten dauern. Die Dauer hängt von der Größe der erforderlichen Abhängigkeiten ab. Die Umgebungen werden vom Dienst zwischengespeichert. Sofern die Umgebungsdefinition unverändert bleibt, wird die gesamte Setupzeit nur einmal in Anspruch genommen.

Weitere Informationen zur Verwendung von Umgebungen in Aufträgen finden Sie unter Trainieren von Modellen.

Verwenden von Umgebungen für Modellimplementierungen

Nächste Schritte

• Trainieren von Modellen (Erstellen von Aufträgen)
• Bereitstellen und Bewerten eines Machine Learning-Modells mithilfe eines Onlineendpunkts
• CLI-Umgebung (v2): YAML-Schema