Arbeiten mit registrierten Modellen in Azure Machine Learning

• Azure CLI Version 2.38.0 oder höher installiert.

• V2 der ml-Erweiterung, die durch das Ausführen des folgenden Befehls installiert wird. Weitere Informationen finden Sie unter Installieren, Einrichten und Verwenden der CLI (v2).

  az extension add -n ml
  

• Python 3.8 oder höher installiert.

• Das Azure Machine Learning-SDK v2 für Python, das durch das Ausführen des folgenden Befehls installiert wird:

  pip install azure-ai-ml azure-identity
  

1. Melden Sie sich bei Azure an, indem Sie az login ausführen und den Eingabeaufforderungen folgen.

2. Ersetzen Sie in den folgenden Befehlen die Platzhalter <subscription-id>, <workspace-name>, <resource-group> und <location> mit den Werten für Ihre Umgebung.

   az account set --subscription <subscription-id>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

1. Importieren Sie die erforderlichen Bibliotheken.

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Konfigurieren Sie Arbeitsbereichsdetails und rufen Sie einen Handle für den Arbeitsbereich ab. Ersetzen Sie im folgenden Codeausschnitt die Platzhalter <subscription-id>, <resource-group> und <workspace-name> mit den Werten für Ihre Umgebung.

   subscription_id = "<subscription-id>"
   resource_group = "<resource-group>"
   workspace = "<workspace-name>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

1. Erstellen Sie einen YAML-Datei <file-name>.yml. Geben Sie in der Datei einen Namen für Ihr registriertes Modell, einen Pfad zur lokalen Modelldatei und eine Beschreibung an. Zum Beispiel:

   $schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
   name: local-file-example
   path: mlflow-model/model.pkl
   description: Model created from local file.
   

2. Führen Sie den folgenden Befehl mit dem Namen Ihrer YAML-Datei aus:

   az ml model create -f <file-name>.yml
   

Ein vollständiges Beispiel finden Sie im YAML-Code des Modells.

Das folgende Beispiel zeigt das Erstellen eines registrierten Modells aus einer lokalen Datei.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Im folgenden Beispiel wird das Kurzschema azureml verwendet, um mithilfe der Syntax azureml://datastores/<datastore-name>/paths/<path_on_datastore> auf einen Pfad im Datenspeicher zu verweisen.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Ein vollständiges Beispiel finden Sie in der Referenz zur CLI.

Im folgenden Beispiel wird das Kurzschema azureml verwendet, um mithilfe der Syntax azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}} auf einen Pfad im Datenspeicher zu verweisen.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

1. Erstellen Sie eine YAML-Datei <file-name>.yml für die Auftragsspezifikation. Geben Sie im Abschnitt inputs des Auftrags Folgendes an:

   • Das Modell type, das mlflow_model, custom_model oder triton_model sein kann.
   • Der path, an dem sich Ihr Modell befindet. Dies kann einer der im Kommentar des folgenden Beispiels aufgeführten Pfade sein.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for models:
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   command: |
     ls ${{inputs.my_model}}
   inputs:
     my_model:
       type: mlflow_model # List of all model types here: https://video2.skills-academy.com/azure/machine-learning/reference-yaml-model#yaml-syntax
       path: ../../assets/model/mlflow-model
   environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
   

2. Führen Sie den folgenden Befehl aus und ersetzen Sie dabei Ihren YAML-Dateinamen.

   az ml job create -f <file-name>.yml
   

Ein vollständiges Beispiel finden Sie im Modellrepository auf GitHub.

Die Input-Klasse, mit der Sie Folgendes definieren können:

• Der Modellressourcentyp, der einer der folgenden Werte sein kann:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• Der path Ihrer Modelldaten, der einer der folgenden Speicherorte sein kann:

  • Lokaler Pfad: <model-folder>/<model-filename>
  • Azure Machine Learning-Datenspeicher: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • MLflow-Ausführung: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Auftrag: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Modellressource: azureml:<my_model>:<version>

Das folgende Beispiel verwendet ein MLflow-Modell aus einem lokalen Ordner als Eingabe.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

1. Erstellen Sie eine YAML-Datei <file-name>.yml für die Auftragsspezifikation. Füllen Sie den Abschnitt outputs mit dem Ausgabemodelltyp und dem Pfad auf.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for Model:
   # Local path: mlflow-model/model.pkl
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   code: src
   command: >-
     python hello-model-as-output.py 
     --input_model ${{inputs.input_model}} 
     --custom_model_output ${{outputs.output_folder}}
   inputs:
     input_model: 
       type: mlflow_model # mlflow_model,custom_model, triton_model
       path: ../../assets/model/mlflow-model
   outputs:
     output_folder: 
       type: custom_model # mlflow_model,custom_model, triton_model
   environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
   

2. Erstellen Sie einen Auftrag mithilfe der CLI:

   az ml job create --file <file-name>.yml
   

Ein vollständiges Beispiel finden Sie im Modellrepository auf GitHub.

Die Output-Klasse, mit der Sie Folgendes definieren können:

• Der Modellressourcentyp, der einer der folgenden Werte sein kann:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• Der path für Ihre Modelldaten, der einer der folgenden Speicherorte sein kann:

  • Lokaler Pfad: mlflow-model/model.pkl
  • Azure Machine Learning-Datenspeicher: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • MLflow-Ausführung: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Auftrag: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Modellressource: azureml:<my_model>:<version>

Im folgenden Beispiel wird eine Ausgabe erstellt, die den Standarddatenspeicher im Lese-/Schreibmodus einbindet. Der Code lädt einfach das lokale MLflow-Modell als Eingabe und exportiert dasselbe Modell als eine Ausgabe des Auftrags, der im eingebundenen Datenspeicher gespeichert ist.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Auflisten aller Modelle in Ihrem Arbeitsbereich:

az ml model list

Auflisten aller Modellversionen unter einem bestimmten Namen:

az ml model list --name run-model-example

Auflisten aller Modelle in Ihrem Arbeitsbereich:

models = ml_client.models.list()
for model in models:
    print(model.name)

Auflisten aller Modellversionen unter einem bestimmten Namen:

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

az ml model show --name run-model-example --version 1

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Archivieren aller Versionen eines Modells:

az ml model archive --name run-model-example

Archivieren einer bestimmten Modellversion:

az ml model archive --name run-model-example --version 1

Archivieren aller Versionen eines Modells:

ml_client.models.archive(name="run-model-example")

Archivieren einer bestimmten Modellversion:

ml_client.models.archive(name="run-model-example", version="1")