Skapa modellpaket (förhandsversion)

Modellpaketet är en funktion i Azure Mašinsko učenje som gör att du kan samla in alla beroenden som krävs för att distribuera en maskininlärningsmodell till en serveringsplattform. Att skapa paket innan du distribuerar modeller ger robust och tillförlitlig distribution och ett effektivare MLOps-arbetsflöde. Paket kan flyttas mellan arbetsytor och även utanför Azure Mašinsko učenje.

I den här artikeln lär du dig att paketera en modell för distribution.

Förutsättningar

Innan du följer stegen i den här artikeln kontrollerar du att du har följande förutsättningar:

• En Azure-prenumeration. Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar. Prova den kostnadsfria eller betalda versionen av Azure Mašinsko učenje.

• En Azure Machine Learning-arbetsyta. Om du inte har någon använder du stegen i artikeln Så här hanterar du arbetsytorför att skapa en.

• Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure Machine Learning. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen ägare eller deltagare för Azure Mašinsko učenje-arbetsytan eller en anpassad roll. Mer information finns i Hantera åtkomst till en Azure Mašinsko učenje-arbetsyta.

• En modell att paketera. I det här exemplet används en MLflow-modell som är registrerad på arbetsytan.

  Varning

  Modellpaketering stöds inte för modeller i Azure AI-modellkatalogen, inklusive stora språkmodeller. Modeller i Azure AI-modellkatalogen är optimerade för slutsatsdragning av Azure AI-distributionsmål och är inte lämpliga för paketering.

Om det här exemplet

I det här exemplet får du lära dig att paketera modeller i Azure Mašinsko učenje.

Klona lagringsplatsen

Exemplet i den här artikeln baseras på kodexempel som finns på lagringsplatsen azureml-examples . Om du vill köra kommandona lokalt utan att behöva kopiera/klistra in YAML och andra filer klonar du först lagringsplatsen och ändrar sedan kataloger till mappen:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

!git clone https://github.com/Azure/azureml-examples --depth 1
!cd azureml-examples/sdk/python

I det här avsnittet används exemplet i mappens slutpunkter/online/deploy-packages/custom-model.

Anslut till din arbetsyta

Anslut till Azure Mašinsko učenje-arbetsytan där du ska utföra ditt arbete.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Paketera en modell

Du kan skapa modellpaket explicit så att du kan styra hur paketeringsåtgärden utförs. Använd det här arbetsflödet när:

Du kan skapa modellpaket genom att ange följande:

• Modell att paketera: Varje modellpaket kan bara innehålla en enda modell. Azure Mašinsko učenje stöder inte paketering av flera modeller under samma modellpaket.
• Basmiljö: Miljöer används för att ange basavbildningen och i Python-paket är beroenden som din modell behöver. För MLflow-modeller genererar Azure Mašinsko učenje automatiskt basmiljön. För anpassade modeller måste du ange det.
• Serveringsteknik: Den slutsatsdragningsstack som används för att köra modellen.

Registrera modellen

Modellpaket kräver att modellen registreras i antingen din arbetsyta eller i ett Azure Mašinsko učenje-register. I det här exemplet har du redan en lokal kopia av modellen på lagringsplatsen, så du behöver bara publicera modellen till registret på arbetsytan. Du kan hoppa över det här avsnittet om den modell som du försöker distribuera redan är registrerad.

MODEL_NAME='sklearn-regression'
MODEL_PATH='model'
az ml model create --name $MODEL_NAME --path $MODEL_PATH --type custom_model

model_name = "sklearn-regression"
model_path = "model"

model = ml_client.models.create_or_update(Model(name=model_name, path=model_path))

Skapa basmiljön

Basmiljöer används för att ange basavbildningen och python-paketberoenden för modellen. Vår modell kräver att följande paket används som anges i conda-filen:

conda.yaml

name: model-env
channels:
  - conda-forge
dependencies:
  - python=3.9
  - numpy=1.23.5
  - pip=23.0.1
  - scikit-learn=1.2.2
  - scipy=1.10.1
  - xgboost==1.3.3

Skapa miljön på följande sätt:

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: sklearn-regression-env
image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
conda_file: conda.yaml
description: An environment for models built with XGBoost and Scikit-learn.

az ml environment create -f environment/sklearn-regression-env.yml

base_environment = ml_client.environments.create_or_update(
    Environment(
        name=f"{model_name}-env",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04",
        conda_file="environment/conda.yml",
    )
)

Skapa en paketspecifikation

Du kan skapa modellpaket i Azure Mašinsko učenje med hjälp av Azure CLI eller Azure Mašinsko učenje SDK för Python. Den anpassade paketspecifikationen stöder följande attribut:

1. Skapa en paketspecifikation på följande sätt:

   • Azure CLI
   • Python

   package-moe.yml

   $schema: http://azureml/sdk-2-0/ModelVersionPackage.json
   base_environment_source:
       type: environment_asset
       resource_id: azureml:sklearn-regression-env:1
   target_environment: sklearn-regression-online-pkg
   inferencing_server: 
       type: azureml_online
       code_configuration:
         code: src
         scoring_script: score.py
   

2. Starta modellpaketåtgärden:

   • Azure CLI
   • Python

   az ml model package -n $MODEL_NAME -v $MODEL_VERSION --file package-moe.yml
   

3. Resultatet av paketåtgärden är en miljö.

Paketera en modell som har beroenden i privata Python-feeds

Modellpaket kan lösa Python-beroenden som är tillgängliga i privata feeds. Om du vill använda den här funktionen måste du skapa en anslutning från din arbetsyta till feeden och ange konfigurationen för PAT-token. Följande Python-kod visar hur du kan konfigurera arbetsytan där du kör paketåtgärden.

from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import PatTokenConfiguration

# fetching secrets from env var to secure access, these secrets can be set outside or source code
git_pat = os.environ["GIT_PAT"]

credentials = PatTokenConfiguration(pat=git_pat)

ws_connection = WorkspaceConnection(
    name="<workspace_connection_name>",
    target="<git_url>",
    type="git",
    credentials=credentials,
)

ml_client.connections.create_or_update(ws_connection)

När anslutningen har skapats skapar du modellpaketet enligt beskrivningen i avsnittet för Paketera en modell. I följande exempel använder basmiljön för paketet ett privat flöde för Python-beroendet bar, enligt vad som anges i följande conda-fil:

conda.yml

name: foo
channels:
  - defaults
dependencies:
  - python
  - pip
  - pip:
    - --extra-index-url <python_feed_url>
    - bar

Om du använder en MLflow-modell anges modellberoenden i själva modellen och därför behövs ingen basmiljö . Ange i stället privata feedberoenden när du loggar modellen, enligt beskrivningen i Loggningsmodeller med en anpassad signatur, miljö eller exempel.

Paketera en modell som finns i ett register

Modellpaket är ett bekvämt sätt att samla in beroenden före distributionen. Men när modeller finns i register är distributionsmålet vanligtvis en annan arbetsyta. När du skapar paket i den target_environment här installationen använder du egenskapen för att ange den fullständiga plats där du vill att modellpaketet ska skapas, i stället för bara dess namn.

Följande kod skapar ett paket med t5-base modellen från ett register:

1. Anslut till registret där modellen finns och arbetsytan där du behöver modellpaketet som ska skapas:

   • Azure CLI
   • Python

   az login
   

2. Hämta en referens till den modell som du vill paketera. I det här fallet paketerar vi modellen t5-base från azureml registret.

   • Azure CLI
   • Python

   MODEL_NAME="t5-base"
   MODEL_VERSION=$(az ml model show --name $MODEL_NAME --label latest --registry-name azureml | jq .version -r)
   

3. Konfigurera en paketspecifikation. Eftersom modellen vi vill paketera är MLflow är basmiljön och bedömningsskriptet valfritt.

   • Azure CLI
   • Python

   package.yml

   $schema: http://azureml/sdk-2-0/ModelVersionPackage.json
   target_environment: pkg-t5-base-online
   inferencing_server: 
       type: azureml_online
   

4. Starta åtgärden för att skapa modellpaketet:

   • Azure CLI
   • Python

   az ml model package --name $MODEL_NAME \
                       --version $MODEL_VERSION \
                       --registry-name azureml \
                       --file package.yml
   

5. Paketet skapas nu på målarbetsytan och är redo att distribueras.

Paketmodeller som ska distribueras utanför Azure Mašinsko učenje

Modellpaket kan distribueras utanför Azure Mašinsko učenje om det behövs. För att garantera portabilitet behöver du bara se till att modellkonfigurationen i paketet har läget inställt på copy så att själva modellen kopieras i den genererade docker-avbildningen i stället för att refereras från modellregistret i Azure Mašinsko učenje.

Följande kod visar hur du konfigurerar copy i ett modellpaket:

$schema: http://azureml/sdk-2-0/ModelVersionPackage.json
base_environment_source:
    type: environment_asset
    resource_id: azureml:sklearn-regression-env:1
target_environment: sklearn-regression-docker-pkg
inferencing_server: 
    type: azureml_online
    code_configuration:
      code: src
      scoring_script: score.py
model_configuration:
  mode: copy

pakage_config = ModelPackage(
    target_environment="sklearn-regression-online-pkg",
    base_environment_source=BaseEnvironment(
        type="asset",
        resource_id=f"azureml:{base_environment.name}:{base_environment.version}",
    ),
    inferencing_server=AzureMLOnlineInferencingServer(
        code_configuration=CodeConfiguration(code="src", scoring_script="score.py")
    ),
    model_configuration=ModelConfiguration(mode="copy"),
)

Gå vidare

• Paketera och distribuera en modell till onlineslutpunkter.
• Paketera och distribuera en modell till App Service.