機械学習モデルを Azure にデプロイする

適用対象: Azure CLI ml extension v1

• Azure Machine Learning ワークスペース。 詳細については、ワークスペース リソースの作成に関するページを参照してください。
• モデルです。 この記事の例では、事前トレーニング済みのモデルを使用します。
• コンピューティング インスタンスなどの、Docker を実行できるコンピューター。

• Azure Machine Learning ワークスペース。 詳細については、ワークスペース リソースの作成に関するページを参照してください。
• モデルです。 この記事の例では、事前トレーニング済みのモデルを使用します。
• Python 用 Azure Machine Learning ソフトウェア開発キット (SDK)。
• コンピューティング インスタンスなどの、Docker を実行できるコンピューター。

適用対象: Azure CLI ml extension v1

アクセスできるワークスペースを表示するには、次のコマンドを使用します。

az login
az account set -s <subscription>
az ml workspace list --resource-group=<resource-group>

適用対象: Python SDK azureml v1

from azureml.core import Workspace
ws = Workspace(subscription_id="<subscription_id>",
               resource_group="<resource_group>",
               workspace_name="<workspace_name>")

SDK を使用してワークスペースに接続する方法の詳細については、Azure Machine Learning SDK for Python のドキュメントをご覧ください。

適用対象: Azure CLI ml extension v1

次のコマンドでは、モデルがダウンロードされ、Azure Machine Learning ワークスペースに登録されます。

wget https://aka.ms/bidaf-9-model -O model.onnx --show-progress
az ml model register -n bidaf_onnx \
    -p ./model.onnx \
    -g <resource-group> \
    -w <workspace-name>

-p を、登録したいフォルダまたはファイルのパスに設定してください。

az ml model register の詳細については、リファレンス ドキュメントを参照してください。

Azure Machine Learning トレーニング ジョブからモデルを登録する

Azure Machine Learning トレーニング ジョブによって以前に作成したモデルを登録する必要がある場合は、実験、実行、およびモデルへのパスを指定できます。

az ml model register -n bidaf_onnx --asset-path outputs/model.onnx --experiment-name myexperiment --run-id myrunid --tag area=qna

--asset-path パラメーターは、クラウドでのモデルの場所を示します。 この例では、1 つのファイルへのパスが使用されます。 モデルの登録に複数のファイルを含めるには、--asset-path を、それらのファイルが含まれているフォルダーのパスに設定します。

az ml model register の詳細については、リファレンス ドキュメントを参照してください。

ローカル ファイルからモデルを登録する

モデルのローカル パスを指定することで、モデルを登録できます。 ローカル コンピューター上のフォルダーまたは単一のファイルのパスを指定できます。

import urllib.request
from azureml.core.model import Model

# Download model
urllib.request.urlretrieve("https://aka.ms/bidaf-9-model", "model.onnx")

# Register model
model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx")

モデルの登録に複数のファイルを含めるには、model_path を、それらのファイルが含まれているフォルダーのパスに設定します。

詳細については、Model クラスのドキュメントを参照してください。

Azure Machine Learning トレーニング ジョブからモデルを登録する

SDK を使用してモデルをトレーニングする場合、モデルのトレーニング方法に応じて、Run オブジェクトまたは AutoMLRun オブジェクトのいずれかを受け取ることができます。 各オブジェクトは、実験の実行によって作成されたモデルを登録するために使用できます。

• azureml.core.Run オブジェクトからモデルを登録する

  適用対象: Python SDK azureml v1

  model = run.register_model(model_name='bidaf_onnx',
                             tags={'area': 'qna'},
                             model_path='outputs/model.onnx')
  print(model.name, model.id, model.version, sep='\t')
  

  model_path パラメーターは、クラウドでのモデルの場所を示します。 この例では、1 つのファイルへのパスが使用されます。 モデルの登録に複数のファイルを含めるには、model_path を、それらのファイルが含まれているフォルダーのパスに設定します。 詳細については、Run.register_model のドキュメントを参照してください。

• azureml.train.automl.run.AutoMLRun オブジェクトからモデルを登録する

  適用対象: Python SDK azureml v1

  description = 'My AutoML Model'
  model = run.register_model(description = description,
                              tags={'area': 'qna'})
  
  print(run.model_id)
  

  この例では、metric パラメーターと iteration パラメーターが指定されていません。これにより、最適なプライマリ メトリックを持つイテレーションが登録されます。 実行から返された model_id 値がモデル名の代わりに使用されます。

  詳細については、AutoMLRun.register_model のドキュメントを参照してください。

  登録済みモデルを AutoMLRun からデプロイするには、Azure Machine Learning スタジオのワンクリック デプロイ ボタンから行うことをお勧めします。

適用対象: Azure CLI ml extension v1

最小限の推論構成は、次のように記述することができます。

{
    "entryScript": "echo_score.py",
    "sourceDirectory": "./source_dir",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [],
                "dependencies": [
                    "python=3.6.2",
                    {
                        "pip": [
                            "azureml-defaults"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "1"
    }
}

dummyinferenceconfig.json という名前でこのファイルを保存します。

推論構成に関する詳細な説明については、こちらの記事を参照してください。

次の例で、上で用意したダミーのスコアリング スクリプトを使用して、pip 関連の依存関係がない最小の環境を作成する方法を示します。

from azureml.core import Environment
from azureml.core.model import InferenceConfig

env = Environment(name="project_environment")
dummy_inference_config = InferenceConfig(
    environment=env,
    source_directory="./source_dir",
    entry_script="./echo_score.py",
)

環境の詳細については、トレーニングとデプロイのための環境の作成と管理に関する記事を参照してください。

推論構成の詳細については、InferenceConfig クラスのドキュメントを参照してください。

適用対象: Azure CLI ml extension v1

deploymentconfig.json ドキュメントのエントリは、LocalWebservice.deploy_configuration のパラメーターにマッピングされます。 次の表は、JSON ドキュメントのエントリとメソッド用パラメーターの間のマッピングについてまとめたものです。

この JSON は、CLI で使用するデプロイ構成の例です。

{
    "computeType": "local",
    "port": 32267
}

この JSON を deploymentconfig.json という名前のファイルとして保存します。

詳しくは、デプロイ スキーマに関するページを参照してください。

次の Python は、ローカル デプロイ構成を作成する方法を示しています。

from azureml.core.webservice import LocalWebservice

deployment_config = LocalWebservice.deploy_configuration(port=6789)

適用対象: Azure CLI ml extension v1

bidaf_onnx:1 を、モデルの名前とそのバージョン番号に置き換えます。

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic dummyinferenceconfig.json \
    --dc deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    dummy_inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

詳細についてはねModel.deploy() および Webservice のドキュメントを参照してください。

適用対象: Azure CLI ml extension v1

curl -v http://localhost:32267
curl -v -X POST -H "content-type:application/json" \
    -d '{"query": "What color is the fox", "context": "The quick brown fox jumped over the lazy dog."}' \
    http://localhost:32267/score

import requests
import json

uri = service.scoring_uri
requests.get("http://localhost:6789")
headers = {"Content-Type": "application/json"}
data = {
    "query": "What color is the fox",
    "context": "The quick brown fox jumped over the lazy dog.",
}
data = json.dumps(data)
response = requests.post(uri, data=data, headers=headers)
print(response.json())

適用対象: Azure CLI ml extension v1

{
    "entryScript": "score.py",
    "sourceDirectory": "./source_dir",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [],
                "dependencies": [
                    "python=3.6.2",
                    {
                        "pip": [
                            "azureml-defaults",
                            "nltk",
                            "numpy",
                            "onnxruntime"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "2"
    }
}

このファイルを inferenceconfig.json として保存します

適用対象: Python SDK azureml v1

env = Environment(name='myenv')
python_packages = ['nltk', 'numpy', 'onnxruntime']
for package in python_packages:
    env.python.conda_dependencies.add_pip_package(package)

inference_config = InferenceConfig(environment=env, source_directory='./source_dir', entry_script='./score.py')

詳細については、LocalWebservice、Model.deploy()、および Webservice のドキュメントを参照してください。

適用対象: Azure CLI ml extension v1

bidaf_onnx:1 を、モデルの名前とそのバージョン番号に置き換えます。

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic inferenceconfig.json \
    --dc deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

詳細についてはねModel.deploy() および Webservice のドキュメントを参照してください。

適用対象: Azure CLI ml extension v1

curl -v -X POST -H "content-type:application/json" \
    -d '{"query": "What color is the fox", "context": "The quick brown fox jumped over the lazy dog."}' \
    http://localhost:32267/score

import requests

uri = service.scoring_uri

headers = {"Content-Type": "application/json"}
data = {
    "query": "What color is the fox",
    "context": "The quick brown fox jumped over the lazy dog.",
}
data = json.dumps(data)
response = requests.post(uri, data=data, headers=headers)
print(response.json())

適用対象: Azure CLI ml extension v1

デプロイ構成で使用できるオプションは、選択するコンピューティング ターゲットによって異なります。

{
    "computeType": "aci",
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    },
    "authEnabled": true,
    "sslEnabled": false,
    "appInsightsEnabled": false
}

このファイルを re-deploymentconfig.json として保存します。

詳細については、こちらのリファレンスを参照してください。

from azureml.core.webservice import AciWebservice

deployment_config = AciWebservice.deploy_configuration(
    cpu_cores=0.5, memory_gb=1, auth_enabled=True
)

適用対象: Azure CLI ml extension v1

bidaf_onnx:1 を、モデルの名前とそのバージョン番号に置き換えます。

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic inferenceconfig.json \
    --dc re-deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

サービス ログを表示するには、次のコマンドを使用します。

az ml service get-logs -n myservice \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

詳細についてはねModel.deploy() および Webservice のドキュメントを参照してください。

適用対象: Azure CLI ml extension v1

# Get the current model id
import os

stream = os.popen(
    'az ml model list --model-name=bidaf_onnx --latest --query "[0].id" -o tsv'
)
MODEL_ID = stream.read()[0:-1]
MODEL_ID

az ml service delete -n myservice
az ml service delete -n myaciservice
az ml model delete --model-id=<MODEL_ID>

デプロイされた Web サービスを削除するには、az ml service delete <name of webservice> を使用します。

ワークスペースから登録済みのモデルを削除するには、az ml model delete <model id> を使用します。

Web サービスの削除とモデルの削除に関する詳細を確認してください。

service.delete()
model.delete()

デプロイされた Web サービスを削除するには、service.delete() を使用します。 登録済みのモデルを削除するには、model.delete() を使用します。

詳細については、WebService.delete() と Model.delete() のドキュメントを参照してください。