Arbeta med registrerade modeller i Azure Mašinsko učenje

Artikel
10/16/2024

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

I den här artikeln lär du dig att registrera och arbeta med modeller i Azure Mašinsko učenje med hjälp av:

Användargränssnittet för Azure Mašinsko učenje Studio.
Azure Mašinsko učenje V2 CLI.
Python Azure Mašinsko učenje V2 SDK.

Du lär dig att:

Skapa registrerade modeller i modellregistret från lokala filer, datalager eller jobbutdata.
Arbeta med olika typer av modeller, till exempel anpassade modeller, MLflow och Triton.
Använd modeller som indata eller utdata i träningsjobb.
Hantera livscykeln för modelltillgångar.

Modellregistrering

Med modellregistrering kan du lagra och versionshantera dina modeller på din arbetsyta i Azure-molnet. Modellregistret hjälper dig att organisera och hålla reda på dina tränade modeller. Du kan registrera modeller som tillgångar i Azure Mašinsko učenje med hjälp av Azure CLI, Python SDK eller Mašinsko učenje studio-användargränssnittet.

Sökvägar som stöds

Om du vill registrera en modell måste du ange en sökväg som pekar på data eller jobbplatsen. I följande tabell visas de olika dataplatser som Azure Mašinsko učenje stöder och syntaxen för parameternpath:

Plats	Syntax
Lokal dator	`<model-folder>/<model-filename>`
Azure Mašinsko učenje datalager	`azureml://datastores/<datastore-name>/paths/<path_on_datastore>`
Azure Mašinsko učenje-jobb	`azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>`
MLflow-jobb	`runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>`
Modelltillgång i en Mašinsko učenje arbetsyta	`azureml:<model-name>:<version>`
Modelltillgång i ett Mašinsko učenje-register	`azureml://registries/<registry-name>/models/<model-name>/versions/<version>`

Lägen som stöds

När du använder modeller för indata eller utdata kan du ange något av följande lägen. Du kan till exempel ange om modellen ska vara skrivskyddad eller laddas ned till beräkningsmålet.

ro_mount: Montera data till beräkningsmålet som skrivskyddade.
rw_mount: Läs- och skrivmontering av data.
download: Ladda ned data till beräkningsmålet.
upload: Ladda upp data från beräkningsmålet.
direct: Skicka in URI:n som en sträng.

I följande tabell visas tillgängliga lägesalternativ för olika indata och utdata av modelltyp.

Typ	`upload`	`download`	`ro_mount`	`rw_mount`	`direct`
`custom` filindata
`custom` mappindata		✓	✓		✓
`mlflow` inmatning		✓	✓
`custom` filutdata	✓			✓	✓
`custom` mapputdata	✓			✓	✓
`mlflow` utdata	✓			✓	✓

Förutsättningar

En Azure-prenumeration med en kostnadsfri eller betald version av Azure Mašinsko učenje. Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.
En Azure Mašinsko učenje-arbetsyta.

Om du vill köra kodexemplen i den här artikeln och arbeta med Azure Mašinsko učenje V2 CLI eller Python Azure Mašinsko učenje V2 SDK behöver du också:

Azure CLI
Python SDK

Azure CLI version 2.38.0 eller senare installerat.
V2 för ml tillägget som installeras genom att köra följande kommando. Mer information finns i Installera, konfigurera och använda CLI (v2).
```
az extension add -n ml
```

Kommentar

V2 ger fullständig bakåtkompatibilitet. Du kan fortfarande använda modelltillgångar från v1 SDK eller CLI. Alla modeller som registrerats med v1 CLI eller SDK tilldelas typen custom.

Registrera en modell med hjälp av studiogränssnittet

Så här registrerar du en modell med hjälp av Användargränssnittet för Azure Mašinsko učenje Studio:

I din arbetsyta i studion väljer du Modeller i det vänstra navigeringsfältet.
På sidan Modelllista väljer du Registrera och väljer någon av följande platser i listrutan:
- Från lokala filer
- Från ett jobbutdata
- Från datalager
- Från lokala filer (baserat på ramverk)
På den första skärmen Registrera modell :
1. Navigera till den lokala filen, datalagringen eller jobbutdata för din modell.
2. Välj typ av indatamodell: MLflow, Triton eller Ospecificerad typ.
På skärmen Modellinställningar anger du ett namn och andra valfria inställningar för din registrerade modell och väljer Nästa.
På skärmen Granska granskar du konfigurationen och väljer sedan Registrera.

Registrera en modell med hjälp av Azure CLI eller Python SDK

Följande kodfragment beskriver hur du registrerar en modell som en tillgång i Azure Mašinsko učenje med hjälp av Azure CLI eller Python SDK. Dessa kodfragment använder custom och mlflow modelltyper.

customtype refererar till en modellfil eller mapp som tränats med en anpassad standard som Azure Mašinsko učenje för närvarande inte stöder.
mlflow type refererar till en modell som tränats med MLflow. MLflow-tränade modeller finns i en mapp som innehåller MLmodel-filen, modellfilen, conda-beroendefilen och filen requirements.txt.

Dricks

Du kan följa med i Python-versionerna av följande exempel genom att köra notebook-filen model.ipynb på lagringsplatsen azureml-examples .

Anslut till din arbetsyta

Arbetsytan är resursen på den översta nivån i Azure Machine Learning, och är en central plats där du kan arbeta med alla artefakter du skapar när du använder Azure Machine Learning. I det här avsnittet ansluter du till din Azure Mašinsko učenje-arbetsyta för att skapa den registrerade modellen.

Azure CLI
Python SDK

Logga in på Azure genom att köra az login och följa anvisningarna.

I följande kommandon ersätter <subscription-id>du , <workspace-name>, <resource-group>och <location> platshållare med värdena för din miljö.

az account set --subscription <subscription-id>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>

Importera de bibliotek som krävs:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Konfigurera information om arbetsytan och få ett handtag till arbetsytan. I följande kodfragment ersätter du <subscription-id>platshållarna , <resource-group>och <workspace-name> med värdena för din miljö.
```
subscription_id = "<subscription-id>"
resource_group = "<resource-group>"
workspace = "<workspace-name>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

Skapa den registrerade modellen

Du kan skapa en registrerad modell från en modell som är:

Finns på din lokala dator.
Finns i ett Azure Mašinsko učenje-datalager.
Utdata från ett Azure Mašinsko učenje-jobb.

Skapa ett YAML-filnamn<>.yml. I filen anger du ett namn för din registrerade modell, en sökväg till den lokala modellfilen och en beskrivning. Till exempel:

$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.

Kör följande kommando med namnet på YAML-filen:
```
az ml model create -f <file-name>.yml
```

Ett fullständigt exempel finns i modellen YAML.

I följande exempel visas hur du skapar en registrerad modell från en lokal fil.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Datalager

Du kan skapa en modell från en molnsökväg med något av de URI-format som stöds.

Azure CLI
Python SDK

I följande exempel används shorthand-schemat azureml för att peka på en sökväg i datalagringen med hjälp av syntaxen azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Ett fullständigt exempel finns i CLI-referensen.

I följande exempel används shorthand-schemat azureml för att peka på en sökväg i datalagringen med hjälp av syntaxen azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Jobbutdata

Om dina modelldata kommer från ett jobbutdata har du två alternativ för att ange modellsökvägen. Du kan använda MLflow-URI-formatet runs: eller azureml://jobs URI-formatet.

Kommentar

Det reserverade nyckelordet artefakter representerar utdata från standardplatsen för artefakt.

MLflow-körningar: URI-format

Det här alternativet är optimerat för MLflow-användare, som förmodligen redan är bekanta med MLflow-URI-formatet runs: . Det här alternativet skapar en modell från artefakter på standardplatsen för artefakt, där alla MLflow-loggade modeller och artefakter finns. Det här alternativet upprättar också en härkomst mellan en registrerad modell och körningen som modellen kom från.

Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Exempel:
- Azure CLI
- Python SDK
```
az ml model create --name my-registered-model --version 1 --path runs:/my_run_0000000000/model/ --type mlflow_model
```
```
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/my_run_0000000000/model/"
    name="my-registered-model",
    description="Model created from run.",
    type=ModelType.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model) 
```

azureml://jobs URI-format

Med azureml://jobs referens-URI-alternativet kan du registrera en modell från artefakter i någon av jobbets utdatasökvägar. Det här formatet överensstämmer med azureml://datastores referens-URI-formatet och stöder även referenser till artefakter från namngivna utdata som inte är standardplatsen för artefakt.

Om du inte registrerade din modell direkt i träningsskriptet med hjälp av MLflow kan du använda det här alternativet för att upprätta en härkomst mellan en registrerad modell och det jobb som den tränades från.

Format: azureml://jobs/<run-id>/outputs/<output-name>/paths/<path-to-model>
- Standardartefaktplats: azureml://jobs/<run-id>/outputs/artifacts/paths/<path-to-model>/. Den här platsen motsvarar MLflow runs:/<run-id>/<model>.
- Namngiven utdatamapp: azureml://jobs/<run-id>/outputs/<named-output-folder>
- Specifik fil i den namngivna utdatamappen: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-filename>
- Specifik mappsökväg i den namngivna utdatamappen: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-folder-name>
Exempel:
- Azure CLI
- Python SDK
Spara en modell från en namngiven utdatamapp:
```
az ml model create --name run-model-example --version 1 --path azureml://jobs/my_run_0000000000/outputs/artifacts/paths/model/
```
Ett fullständigt exempel finns i CLI-referensen.
Spara en modell från ett namngivet utdata:
```
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)
```
Ett fullständigt exempel finns i modellanteckningsboken.

Använda modeller för träning

Med v2 Azure CLI och Python SDK kan du också använda modeller som indata eller utdata i träningsjobb.

Använda en modell som indata i ett träningsjobb

Azure CLI
Python SDK

Skapa en YAML-fil för jobbspecifikation, <filnamn>.yml. I avsnittet inputs i jobbet anger du:

Modellen type, som kan vara mlflow_model, custom_modeleller triton_model.
Var path din modell finns, vilket kan vara någon av sökvägarna som anges i kommentaren i följande exempel.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://video2.skills-academy.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

Kör följande kommando och ersätt ditt YAML-filnamn.
```
az ml job create -f <file-name>.yml
```

Ett fullständigt exempel finns i GitHub-modellens lagringsplats.

Med Input klassen kan du definiera:

Modelltillgångstypen, som kan vara ett av följande värden:
- AssetTypes.CUSTOM_MODEL
- AssetTypes.MLFLOW_MODEL
- AssetTypes.TRITON_MODEL
Till path dina modelldata, som kan vara en av följande platser:
- Lokal sökväg: <model-folder>/<model-filename>
- Azure Mašinsko učenje datalager:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
- MLflow-körning: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
- Jobb: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
- Modelltillgång: azureml:<my_model>:<version>

I följande exempel matas en MLflow-modell in från en lokal mapp.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Skriva en modell som utdata för ett jobb

Ditt jobb kan skriva en modell till din molnbaserade lagring med hjälp av utdata.

Azure CLI
Python SDK

Skapa ett YAML-filnamn ><för jobbspecifikation.yml. Fyll i avsnittet outputs med utdatamodelltypen och sökvägen.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

Skapa ett jobb med hjälp av CLI:

az ml job create --file <file-name>.yml

Ett fullständigt exempel finns i GitHub-modellens lagringsplats.

Med Output klassen kan du definiera:

Modelltillgångstypen, som kan vara ett av följande värden:
- AssetTypes.CUSTOM_MODEL
- AssetTypes.MLFLOW_MODEL
- AssetTypes.TRITON_MODEL
path För dina modelldata, som kan vara en av följande platser:
- Lokal sökväg: mlflow-model/model.pkl
- Azure Mašinsko učenje datalager:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
- MLflow-körning: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
- Jobb: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
- Modelltillgång: azureml:<my_model>:<version>

I följande exempel skapas ett utdata som monterar standarddatalagringen i läs- och skrivläge. Koden läser helt enkelt in den lokala MLflow-modellen som indata och exporterar samma modell som utdata från jobbet som sparats i det monterade datalagret.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Hantera modeller

Med Azure CLI och Python SDK kan du också hantera livscykeln för dina Azure Mašinsko učenje-modelltillgångar.

List

Azure CLI
Python SDK

Visa en lista över alla modeller på din arbetsyta:

az ml model list

Visa en lista över alla modellversioner under ett givet namn:

az ml model list --name run-model-example

Visa en lista över alla modeller på din arbetsyta:

models = ml_client.models.list()
for model in models:
    print(model.name)

Visa en lista över alla modellversioner under ett givet namn:

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Visa

Hämta information om en specifik modell:

Azure CLI
Python SDK

az ml model show --name run-model-example --version 1

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Uppdatera

Uppdatera föränderliga egenskaper för en specifik modell:

Viktigt!

Endast modeller description och tags kan uppdateras. Alla andra egenskaper är oföränderliga, och om du behöver ändra dem bör du skapa en ny version av modellen.

Azure CLI
Python SDK

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Arkiv

Om du arkiverar en modell döljs den från listfrågor som az ml model list standard. Du kan fortsätta att referera till och använda en arkiverad modell i dina arbetsflöden.

Du kan arkivera alla versioner eller endast specifika versioner av en modell. Om du inte anger någon version arkiveras alla versioner av modellen. Om du skapar en ny modellversion under en arkiverad modellcontainer anges även den nya versionen automatiskt som arkiverad.

Azure CLI
Python SDK

Arkivera alla versioner av en modell:

az ml model archive --name run-model-example

Arkivera en specifik modellversion:

az ml model archive --name run-model-example --version 1

Arkivera alla versioner av en modell:

ml_client.models.archive(name="run-model-example")

Arkivera en specifik modellversion:

ml_client.models.archive(name="run-model-example", version="1")

Dela via

Arbeta med registrerade modeller i Azure Mašinsko učenje

Modellregistrering

Sökvägar som stöds

Lägen som stöds

Förutsättningar

Registrera en modell med hjälp av studiogränssnittet

Registrera en modell med hjälp av Azure CLI eller Python SDK

Anslut till din arbetsyta

Skapa den registrerade modellen

Lokal fil eller mapp

Datalager

Jobbutdata

Använda modeller för träning

Använda en modell som indata i ett träningsjobb

Skriva en modell som utdata för ett jobb

Hantera modeller

List

Visa

Uppdatera

Arkiv

Feedback

Ytterligare resurser

Dela via

Arbeta med registrerade modeller i Azure Mašinsko učenje

Modellregistrering

Sökvägar som stöds

Lägen som stöds

Förutsättningar

Registrera en modell med hjälp av studiogränssnittet

Registrera en modell med hjälp av Azure CLI eller Python SDK

Anslut till din arbetsyta

Skapa den registrerade modellen

Lokal fil eller mapp

Datalager

Jobbutdata

Använda modeller för träning

Använda en modell som indata i ett träningsjobb

Skriva en modell som utdata för ett jobb

Hantera modeller

List

Visa

Uppdatera

Arkiv

Relaterat innehåll

Feedback

Ytterligare resurser