モデルパッケージをオンラインエンドポイントにデプロイする (プレビュー)

[アーティクル]
09/03/2024

モデルパッケージは Azure Machine Learning の機能であり、機械学習モデルをサービスプラットフォームにデプロイするために必要なすべての依存関係を収集できます。モデルをデプロイする前にパッケージを作成すると、堅牢で信頼性の高いデプロイと、より効率的な MLOps ワークフローが提供されます。パッケージは、ワークスペース間だけでなく、Azure Machine Learning の外部にも移動できます。モデルパッケージ (プレビュー)の詳細を確認する

重要

現在、この機能はパブリックプレビュー段階にあります。このプレビューバージョンはサービスレベルアグリーメントなしで提供されており、運用環境のワークロードに使用することは推奨されません。特定の機能はサポート対象ではなく、機能が制限されることがあります。

詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

この記事では、モデルをパッケージ化し、Azure Machine Learning のオンラインエンドポイントにデプロイする方法について説明します。

前提条件

この記事の手順に従う前に、次の前提条件が満たされていることをご確認ください。

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。無料版または有料版の Azure Machine Learning をお試しください。
Azure Machine Learning ワークスペース。準備できていない場合は、「ワークスペースの管理方法」に関する記事の手順を使用して作成します。
Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。この記事の手順を実行するには、ユーザーアカウントに、Azure Machine Learning ワークスペースの所有者か共同作成者ロール、またはカスタムロールを割り当てる必要があります。詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

この例の概要

この例では、カスタム型のモデルをパッケージ化し、オンライン推論のためにオンラインエンドポイントにデプロイします。

この記事の例は、azureml-examples リポジトリに含まれているコードサンプルを基にしています。 YAML などのファイルをコピーして貼り付けることなくコマンドをローカルで実行するには、最初にリポジトリを複製してから、ディレクトリをそのフォルダーに変更します。

Azure CLI
Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

!git clone https://github.com/Azure/azureml-examples --depth 1
!cd azureml-examples/sdk/python

このセクションでは、endpoints/online/deploy-packages/custom-model フォルダーの例を使用します。

ワークスペースに接続する

作業を行う Azure Machine Learning ワークスペースに接続します。

Azure CLI
Python

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

ワークスペースは、Azure Machine Learning の最上位のリソースで、Azure Machine Learning を使用するときに作成するすべての成果物を操作するための一元的な場所を提供します。このセクションでは、展開タスクを実行するワークスペースに接続します。

必要なライブラリをインポートします。

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import ManagedOnlineEndpoint, ManagedOnlineDeployment, Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Azure Machine Learning のコンピューティングインスタンスで実行している場合は、次のように MLClient を作成します。
```
ml_client = MLClient.from_config(DefaultAzureCredential())
```
それ以外の場合は、ワークスペースの詳細を構成し、ワークスペースへのハンドルを取得します:
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

モデルをパッケージ化する

モデルパッケージを明示的に作成して、パッケージ化操作の実行方法を制御できます。モデルパッケージを作成するには、次を指定します:

パッケージ化するモデル: 各モデルパッケージに含めることができるモデルは 1 つだけです。 Azure Machine Learning では、同じモデルパッケージに複数のモデルをパッケージ化することはできません。
基本環境: 環境は基本イメージを示すために使用され、Python パッケージではモデルに必要な依存関係があります。 MLflow モデルの場合、Azure Machine Learning によって基本環境が自動的に生成されます。カスタムモデルの場合は、それを指定する必要があります。
サービステクノロジー: モデルの実行に使用される推論スタック。

ヒント

モデルが MLflow の場合、モデルパッケージを手動で作成する必要はありません。デプロイ前に自動的にパッケージ化できます。オンラインエンドポイントに MLflow モデルをデプロイするを参照してください。

モデルパッケージでは、モデルをワークスペースまたは Azure Machine Learning レジストリに登録する必要があります。この例では、リポジトリにモデルのローカルコピーが既に存在するため、ワークスペース内のレジストリにモデルを発行するだけで済みます。デプロイしようとしているモデルが既に登録されている場合は、このセクションをスキップできます。
- Azure CLI
- Python
```
MODEL_NAME='sklearn-regression'
MODEL_PATH='model'
az ml model create --name $MODEL_NAME --path $MODEL_PATH --type custom_model
```
```
model_name = "sklearn-regression"
model_path = "model"

model = ml_client.models.create_or_update(Model(name=model_name, path=model_path))
```
このモデルでは、次のパッケージを実行する必要があり、conda ファイルで指定されています:

conda.yaml
```
name: model-env
channels:
  - conda-forge
dependencies:
  - python=3.9
  - numpy=1.23.5
  - pip=23.0.1
  - scikit-learn=1.2.2
  - scipy=1.10.1
  - xgboost==1.3.3
```
Note

conda YAML でモデルの要件のみが示されていることに注意してください。推論サーバーに必要なパッケージは、パッケージ操作に含まれます。

ヒント

モデルでプライベートフィードでホストされているパッケージが必要な場合は、それらを含むように構成できます。プライベート Python フィードに依存関係があるモデルをパッケージ化するを参照してください。

モデル要件と基本イメージを含む基本環境を作成します。基本環境では、モデルに必要な依存関係のみが示されます。 MLflow モデルの場合、基本環境は省略可能であり、その場合、Azure Machine Learning によって自動生成されます。

Azure CLI
Python

基本環境定義を作成します:

sklearn-regression-env.yml

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: sklearn-regression-env
image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
conda_file: conda.yaml
description: An environment for models built with XGBoost and Scikit-learn.

次に、次のように環境を作成します:

az ml environment create -f environment/sklearn-regression-env.yml

base_environment = ml_client.environments.create_or_update(
    Environment(
        name=f"{model_name}-env",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04",
        conda_file="environment/conda.yml",
    )
)

パッケージ仕様を作成します:

Azure CLI
Python

package-moe.yml

$schema: http://azureml/sdk-2-0/ModelVersionPackage.json
base_environment_source:
    type: environment_asset
    resource_id: azureml:sklearn-regression-env:1
target_environment: sklearn-regression-online-pkg
inferencing_server: 
    type: azureml_online
    code_configuration:
      code: src
      scoring_script: score.py

モデルパッケージを作成するには、次のようにパッケージ仕様を作成します。

pakage_config = ModelPackage(
    target_environment="sklearn-regression-online-pkg",
    base_environment_source=BaseEnvironment(
        type="asset",
        resource_id=f"azureml:{base_environment.name}:{base_environment.version}",
    ),
    inferencing_server=AzureMLOnlineInferencingServer(
        code_configuration=CodeConfiguration(code="src", scoring_script="score.py")
    ),
)

モデルパッケージ操作を開始します。

Azure CLI
Python

az ml model package -n $MODEL_NAME -v $MODEL_VERSION --file package-moe.yml

model_package = ml_client.models.package(model_name, model.version, pakage_config)

パッケージ操作の結果は環境です。

モデルパッケージをデプロイする

モデルパッケージは、Azure Machine Learning のオンラインエンドポイントに直接デプロイできます。オンラインエンドポイントにパッケージをデプロイするには、次の手順に従います:

パッケージのデプロイをホストするエンドポイントの名前を選択し、作成します:

Azure CLI
Python

ENDPOINT_NAME="sklearn-regression-online"

az ml online-endpoint create -n $ENDPOINT_NAME

endpoint = ManagedOnlineEndpoint(name=endpoint_name)
endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint).result()

パッケージを使用してデプロイを作成します。作成したパッケージで environment がどのように構成されているかに注目してください。

Azure CLI
Python

deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: with-package
endpoint_name: hello-packages
environment: azureml:sklearn-regression-online-pkg@latest
instance_type: Standard_DS3_v2
instance_count: 1

deployment_package = ManagedOnlineDeployment(
    name="with-package",
    endpoint_name=endpoint_name,
    environment=model_package,
    instance_count=1,
)

ヒント

この例では、モデルまたはスコアリングスクリプトを指定していない点に注意してください。これらはすべてパッケージの一部です。

デプロイを開始します:

Azure CLI
Python

az ml online-deployment create -f deployment.yml

ml_client.online_deployments.begin_create_or_update(deployment_package).result()

この時点で、デプロイを使用する準備ができました。サンプル要求ファイルを作成することで、動作をテストできます:

sample-request.json
```
{
    "data": [
        [1,2,3,4,5,6,7,8,9,10], 
        [10,9,8,7,6,5,4,3,2,1]
    ]
}
```

エンドポイントに要求を送信する

Azure CLI
Python

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment with-package -r sample-request.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name="with-package",
    request_file="sample-request.json",
)

次のステップ

App Service にモデルをパッケージ化してデプロイする

次の方法で共有

モデルパッケージをオンラインエンドポイントにデプロイする (プレビュー)

前提条件

この例の概要

ワークスペースに接続する

モデルをパッケージ化する

モデルパッケージをデプロイする

次のステップ

フィードバック

その他のリソース

次の方法で共有

モデル パッケージをオンライン エンドポイントにデプロイする (プレビュー)

前提条件

この例の概要

ワークスペースに接続する

モデルをパッケージ化する

モデル パッケージをデプロイする

次のステップ

フィードバック

その他のリソース

モデルパッケージをオンラインエンドポイントにデプロイする (プレビュー)

モデルパッケージをデプロイする