モデルをサーバーレス API としてデプロイする

[アーティクル]
05/21/2024

重要

この記事で説明する機能の一部は、プレビューでのみ使用できる場合があります。このプレビューはサービスレベルアグリーメントなしで提供されており、運用環境ではお勧めしません。特定の機能はサポート対象ではなく、機能が制限されることがあります。詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

この記事では、従量課金制トークンベースの課金を使用して、モデルカタログからモデルをサーバーレス API としてデプロイする方法について説明します。

モデルカタログ内の特定のモデルは、従量課金制請求でサーバーレス API としてデプロイできます。この種類のデプロイは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。このデプロイオプションでは、サブスクリプションからのクォータを必要としません。

前提条件

有効な支払い方法を持つ Azure サブスクリプション。無料または試用版の Azure サブスクリプションは機能しません。 Azure サブスクリプションを持っていない場合は、始めるために有料の Azure アカウントを作成してください。
Azure AI Studio ハブ。
Azure AI Studio プロジェクト。
Azure AI Studio での操作に対するアクセスを許可するには、Azure ロールベースのアクセス制御 (Azure RBAC) を使います。この記事の手順を実行するには、ご自分のユーザーアカウントに、リソースグループの Azure AI 開発者ロールを割り当てる必要があります。アクセス許可について詳しくは、「Azure AI Studio でのロールベースのアクセス制御」をご覧ください。
Azure AI Studio を使用するには、次のソフトウェアをインストールする必要があります。
- AI Studio
- Azure CLI
- Python SDK
- ARM
互換性のある任意の Web ブラウザーを使用して、Azure AI Studio 内を移動できます。
Azure CLI と Azure Machine Learning 用の ml 拡張機能。
```
az extension add -n ml
```
拡張機能が既にインストールされている場合は、最新バージョンがインストールされていることを確認します。
```
az extension update -n ml
```
拡張機能がインストールされたら、次のように構成します。
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Azure Machine Learning SDK for Python をインストールする。
```
pip install -U azure-ai-ml
```
インストールしたら、必要な名前空間をインポートし、プロジェクトに接続されたクライアントを作成します。
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
互換性のある任意の Web ブラウザーを使用して、Microsoft Azure portal で ARM テンプレートをデプロイしたり、任意のデプロイツールを使用したりできます。このチュートリアルでは、Azure CLI を使用します。

Azure Marketplace を通じて提供されるモデルの場合は、それらをサーバーレス API エンドポイントにデプロイして予測を使用できます。プロジェクトにモデルを初めてデプロイする場合は、Azure Marketplace から特定のモデルオファリングのプロジェクトをサブスクライブする必要があります。プロジェクトごとに、モデルの特定の Azure Marketplace オファリングへの固有のサブスクリプションがあり、それを使って支出を管理および監視できます。

Note

Azure Marketplace を通じて提供されるモデルは、特定のリージョンのサーバーレス API エンドポイントへのデプロイに使用できます。サーバーレス API デプロイのモデルとリージョンの可用性を確認して、使用可能なモデルとリージョンを確認します。必要なものが一覧にない場合は、サポートされているリージョンのワークスペースにデプロイし、別のワークスペースからサーバーレス API エンドポイントを使用できます。

Azure AI Studio にサインインします。
アカウントにリソースグループに対する Azure AI 開発者ロールのアクセス許可があること、またはモデルオファリングをサブスクライブするために必要なアクセス許可を満たしていることを確認します。
左側のサイドバーから [モデルカタログ] を選択し、デプロイするモデルのモデルカードを見つけます。この記事では、Meta-Llama-3-8B-Instruct モデルを選択します。
1. Azure CLI、Python、または ARM を使用してモデルをデプロイする場合は、モデル ID をコピーします。
  
  重要
  
  モデル ID をコピーするときにバージョンを含めないでください。サーバーレス API エンドポイントは、常に使用可能なモデルの最新バージョンをデプロイします。たとえば、モデル ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3 の場合は、azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct をコピーします。
モデルのマーケットプレースサブスクリプションを作成します。サブスクリプションを作成するときは、モデルオファーに関連付けられている使用条件に同意します。
- AI Studio
- Azure CLI
- Python SDK
- ARM
1. モデルの [詳細] ページで、[デプロイ] を選択し、[サーバーレス API] を選択してデプロイウィザードを開きます。
2. モデルをデプロイするプロジェクトを選びます。すべてのリージョンがサポートされているわけではないことに注意してください。
3. このプロジェクトの Azure Marketplace サブスクリプションが既にあることを示すメモが表示される場合は、サブスクリプションを既に持っているため、サブスクリプションを作成する必要はありません。サーバーレス API エンドポイントへのモデルのデプロイに進むことができます。
4. デプロイウィザードで、[Azure Marketplace の使用条件] へのリンクを選び、使用条件の詳細を確認します。また、選択したモデルの価格を参照するには、[利用料金および使用条件] タブを選択します。
5. [サブスクライブしてデプロイ] を選択します。
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
前のファイルを使用してサブスクリプションを作成します。
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
モデルサブスクリプションを作成するには、次のテンプレートを使用します。

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
特定の Azure Marketplace オファリングのプロジェクトにサインアップすると、"同じ" プロジェクト内の "同じ" オファリングの以降のデプロイで再度サブスクライブする必要はありません。
プロジェクトが現在サブスクライブされているモデルオファーは、いつでも確認できます。
- AI Studio
- Azure CLI
- Python SDK
- ARM
1. Azure ポータルにアクセスします。
2. プロジェクトが属するリソースグループに移動します。
3. [種類] フィルターで、[SaaS] を選択します。
4. 現在サブスクライブしているすべてのオファリングが表示されます。
5. 詳細を表示するには、リソースを選びます。
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
リソース管理ツールを使用して、リソースのクエリを実行できます。次のコードは、Azure CLI を使用します。
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

サーバーレス API エンドポイントにモデルをデプロイする

モデルのサブスクリプションを作成したら、関連付けられているモデルをサーバーレス API エンドポイントにデプロイできます。サーバーレス API エンドポイントは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。このデプロイオプションでは、サブスクリプションからのクォータを必要としません。

この記事では、meta-llama3-8b-qwerty という名前のエンドポイントを作成します。

サーバーレスエンドポイントを作成する

前のウィザードで [デプロイ] を選択します (前のセクションでプロジェクトをモデルオファーにサブスクライブしたばかりの場合)、または [Continue to deploy]$デプロイを続行する$ を選択します (デプロイウィザードにこのプロジェクトの Azure Marketplace サブスクリプションが既にあることを示すメモがある場合)。
デプロイに名前を付けます。この名前は、デプロイ API URL の一部になります。この URL は、Azure リージョンごとに一意である必要があります。
展開を選択します。デプロイの準備ができるまで待つと、[デプロイ] ページにリダイレクトされます。

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

endpoint.yml ファイルを使用してエンドポイントを作成します。

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

次のテンプレートを使用して、エンドポイントを作成します。

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

次に、デプロイを作成します。

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

Azure デプロイテンプレートが完了するまでに数分かかる場合があります。デプロイが完了すると、次のような結果を含むメッセージが表示されます。

"provisioningState": "Succeeded",

いつでも、プロジェクトにデプロイされたエンドポイントを確認できます。
- AI Studio
- Azure CLI
- Python SDK
- ARM
1. プロジェクトに移動します。
2. セクション [デプロイ] を選択します
3. サーバーレス API エンドポイントが表示されます。
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
リソース管理ツールを使用して、リソースのクエリを実行できます。次のコードは、Azure CLI を使用します。
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
作成されたエンドポイントは、承認にキー認証を使用します。特定のエンドポイントに関連付けられているキーを取得するには、次の手順を使用します。
- AI Studio
- Azure CLI
- Python SDK
- ARM
[デプロイ] ページに戻ってデプロイを選び、エンドポイントのターゲット URI とキーを記録できます。これらを使用してデプロイを呼び出し、予測を生成します。

Note

Azure portal を使用するときは、リソースグループにサーバーレス API エンドポイントが既定では表示されません。リソースグループに表示するには、[非表示の種類を表示] オプションを使用します。
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
REST API を使用して、この情報に対してクエリを実行します。
これで、エンドポイントを使用する準備ができました。
別のプロジェクトまたはハブからこのデプロイを使用する必要がある場合、またはプロンプトフローを使用してインテリジェントなアプリケーションを構築する予定の場合は、サーバーレス API デプロイへの接続を作成する必要があります。新しいプロジェクトまたはハブで既存のサーバーレス API エンドポイントを構成する方法については、別のプロジェクトまたはプロンプトフローのデプロイ済みサーバーレス API エンドポイントの使用に関する説明を参照してください。

ヒント

配置がデプロイされたのと同じプロジェクトまたはハブでプロンプトフローを使用している場合でも、接続を作成する必要があります。

サーバーレス API エンドポイントの使用

サーバーレス API エンドポイントの Azure Machine Learning と Azure AI Studio にデプロイされたモデルは、Azure AI Model Inference API をサポートします。これは、基本モデルの一般的な機能セットを公開していて、さまざまなモデルセットからの予測を一定かつ一貫した方法で利用するために開発者が使用できます。

この API の機能と、アプリケーションを構築するときのその活用方法について詳細を確認してください。

エンドポイントとサブスクリプションを削除する

モデルのサブスクリプションとエンドポイントを削除できます。モデルサブスクリプションを削除すると、関連付けられているエンドポイントは [異常] になり、使用できなくなります。

サーバーレス API エンドポイントを削除するには、次の操作を行います。

Azure AI Studio に移動します。
[コンポーネント]>[デプロイ] の順に移動します。
削除するデプロイを開きます。
[削除] を選択します。

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

Azure portal に移動します
プロジェクトが属するリソースグループに移動します。
[種類] フィルターで、[SaaS] を選択します。
削除するサブスクリプションを選択します。
[削除] を選択します。

サーバーレス API エンドポイントを削除するには、次のようにします。

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

サーバーレス API エンドポイントを削除するには、次のようにします。

client.serverless_endpoints.begin_delete(endpoint_name).wait()

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

リソース管理ツールを使用して、リソースを管理できます。次のコードは、Azure CLI を使用します。

az resource delete --name <resource-name>

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

サーバーレス API エンドポイントとしてデプロイされたモデルは、Azure Marketplace を通じて提供され、使用するために Azure AI Studio と統合されます。モデルをデプロイまたはモデルを微調整するときに、Azure Marketplace の価格を確認できます。

プロジェクトが Azure Marketplace から特定のオファーにサブスクライブするたびに、その消費に関連するコストを追跡するための新しいリソースが作成されます。推論と微調整に関連するコストを追跡するために同じリソースが使用されますが、各シナリオを個別に追跡するために複数の測定値を使用できます。

コストを追跡する方法の詳細については、「Azure Marketplace を通じて提供されるモデルのコストを監視する」を参照してください。

クォータはデプロイごとに管理されます。各デプロイのレート制限は、1 分あたり 200,000 トークン、1 分あたり 1,000 個の API 要求です。ただし、現在、プロジェクトのモデルごとに 1 つのデプロイに制限しています。現在のレート制限がシナリオに十分でない場合は、Microsoft Azure サポートにお問い合わせください。

Azure AI Studio での操作に対するアクセスを許可するには、Azure ロールベースのアクセス制御 (Azure RBAC) を使います。この記事の手順を実行するには、ユーザーアカウントに、Azure サブスクリプションの所有者、共同作成者、または Azure AI 開発者ロールを割り当てる必要があります。別の方法として、アカウントに、次のアクセス許可を持つカスタムロールを割り当てることができます。

Azure サブスクリプションで - ワークスペースを Azure Marketplace オファリングにサブスクライブするため、各ワークスペースに対して 1 回、オファリングごと:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
リソースグループで - SaaS リソースを作成して使用するため:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
ワークスペースで - エンドポイントをデプロイするため (Azure Machine Learning データサイエンティストロールには、既に次のアクセス許可が含まれています):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

アクセス許可について詳しくは、「Azure AI Studio でのロールベースのアクセス制御」をご覧ください。

次のステップ

Azure AI Studio で Meta Llama 2 モデルを微調整する

次の方法で共有

モデルをサーバーレス API としてデプロイする

前提条件

サーバーレス API エンドポイントにモデルをデプロイする

サーバーレス API エンドポイントの使用

エンドポイントとサブスクリプションを削除する

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

次のステップ

フィードバック

フィードバック

その他のリソース

次の方法で共有

モデルをサーバーレス API としてデプロイする

前提条件

プロジェクトをモデル オファリングにサブスクライブする

サーバーレス API エンドポイントにモデルをデプロイする

サーバーレス API エンドポイントの使用

エンドポイントとサブスクリプションを削除する

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

モデル オファリングをサブスクライブするために必要なアクセス許可

次のステップ

フィードバック

フィードバック

その他のリソース

プロジェクトをモデルオファリングにサブスクライブする

モデルオファリングをサブスクライブするために必要なアクセス許可