Azure Machine Learning スタジオを使用して Mistral モデルをデプロイする方法

この記事では、Azure Machine Learning スタジオを使用して、従量課金制トークンベースでサーバーレス API として Mistral モデル ファミリをデプロイする方法を学びます。

Mistral AI では、Azure Machine Learning スタジオで 2 つのモデルのカテゴリが提供されています。 これらのモデルは、モデル カタログで使用できます。

• Premium モデル: Mistral Large (2402)、Mistral Large (2407)、Mistral Small。
• オープン モデル: Mistral Nemo、Mixtral-8x7B-Instruct-v01、Mixtral-8x7B-v01、Mistral-7B-Instruct-v01、Mistral-7B-v01。

すべての Premium モデルとMistral Nemo (オープン モデル) は、トークンベースの従量課金制で、サーバーレス API としてデプロイできます。 その他のオープン モデルは、独自の Azure サブスクリプションのマネージド コンピューティングにデプロイできます。

Mistral コレクションでフィルターに掛けて、モデル カタログ内の Mistral モデル ファミリを閲覧できます。

Mistral モデル ファミリ

サーバーレス API として Mistral モデル ファミリをデプロイする

モデル カタログ内の特定のモデルは、従量課金制請求でサーバーレス API としてデプロイできます。 この種類のデプロイは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。 このデプロイ オプションでは、サブスクリプションからのクォータを必要としません。

Mistral Large (2402)、Mistral Large (2407)、Mistral Small、および Mistral Nemo は、Microsoft Azure Marketplace 経由で Mistral AI で提供される従量課金制のサーバーレス API としてデプロイできます。 Mistral AI は、これらのモデルの使用条件と価格を変更または更新できます。

前提条件

• 有効な支払い方法を持つ Azure サブスクリプション。 無料または試用版の Azure サブスクリプションは機能しません。 Azure サブスクリプションを持っていない場合は、始めるために有料の Azure アカウントを作成してください。

• Azure Machine Learning ワークスペース。 ワークスペースがない場合は、クイック スタート: ワークスペース リソースの作成に関する記事の手順を使用して作成してください。 Mistral ファミリのうちで対象になっているモデルに対するサーバーレス API のモデル デプロイ オファリングは、これらのリージョンで作成されたワークスペースでのみ利用できます。

  • 米国東部
  • 米国東部 2
  • 米国中北部
  • 米国中南部
  • 米国西部
  • 米国西部 3
  • スウェーデン中部

  サーバーレス API エンドポイントのデプロイをサポートする各モデルが利用できるリージョンの一覧については、「サーバーレス API エンドポイントのモデルが利用できるリージョン」を参照してください。

• Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。 この記事の手順を実行するには、ご自分のユーザー アカウントに、リソース グループの Azure AI 開発者ロールを割り当てる必要があります。 アクセス許可の詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

新しいデプロイを作成する

次の手順は、Mistral Large (2402) のデプロイを示すものですが、モデル名を置き換えることで、同じ手順で Mistral Nemo や Mistral の Premium モデルもデプロイできます。

デプロイを作成するには:

1. [Azure Machine Learning Studio] に移動します。

2. モデルをデプロイするワークスペースを選択します。 サーバーレス API モデルのデプロイ オファリングを使用するには、ワークスペースが、前提条件にリストされているいずれかのリージョンに属している必要があります。

3. Mistral Large (2402) モデルなど、デプロイするモデルをモデル カタログから選択します。

   別の方法として、ワークスペースに移動し、[エンドポイント]>[Serverless endpoints] (サーバーレス エンドポイント)>[作成] を選択して、デプロイを開始することもできます。

4. モデル カタログのモデルの概要ページで [デプロイ] を選択し、そのモデルのサーバーレス API デプロイ ウィンドウを開きます。

5. Microsoft の購入ポリシーに同意するチェック ボックスをオンにします。

   

6. デプロイ ウィザードで、[Azure Marketplace の使用条件] へのリンクを選び、使用条件の詳細を確認します。

7. [Pricing and terms] (価格と条件) タブを選択して、選択したモデルの価格について確認することもできます。

8. ワークスペースにモデルを初めてデプロイする場合は、特定のオファリング (たとえば、Mistral Large (2402) など) 用にワークスペースをサブスクライブする必要があります。 この手順では、前提条件に記載されているように、ご自分のアカウントにリソース グループに対する Azure AI 開発者ロールのアクセス許可が付与されている必要があります。 各ワークスペースには、特定の Azure Marketplace オファリングへのそれぞれのサブスクリプションがあり、これにより支出を制御および監視できます。 [サブスクライブしてデプロイ] を選択します。 現在、ワークスペース内の各モデルに対して 1 つのデプロイしかできません。

9. 特定の Azure Marketplace オファリング用にワークスペースをサブスクライブすると、"同じ" ワークスペース内の "同じ" オファリングの以降のデプロイで再度サブスクライブする必要はありません。 このシナリオが当てはまる場合は、選択肢として [デプロイを続行] オプションが表示されます。

   

10. デプロイに名前を付けます。 この名前は、デプロイ API URL の一部になります。 この URL は、Azure リージョンごとに一意である必要があります。

    

11. 展開 を選択します。 デプロイが完了し、サーバーレス エンドポイント ページにリダイレクトされるまで待ちます。

12. エンドポイントを選択してその [詳細] ページを開きます。

13. [テスト] タブを選択して、モデルの操作を開始します。

14. エンドポイントの詳細、URL、アクセス キーは、[ワークスペース]>[エンドポイント]>[Serverless endpoints] (サーバーレス エンドポイント) に移動することでいつでも確認できます。

従量課金制トークンベースの課金でサーバーレス API としてデプロイされる Mistral モデルの課金については、「サービスとしてデプロイされる Mistral モデル ファミリのコストとクォータに関する考慮事項」を参照してください。

サービスとして Mistral モデル ファミリを使用する

チャット API を使用して、Mistral モデルを使用できます。

1. [ワークスペース] で、[エンドポイント]>[Serverless endpoints] (サーバーレス エンドポイント) を選択します。
2. 作成した のデプロイを見つけて選びます。
3. [ターゲット] URL と [キー] のトークン値をコピーします。
4. ルート /chat/completions 上の Azure AI Model Inference API または /v1/chat/completions 上のネイティブ Mistral Chat API を使って API 要求を行います。

API の使用方法の詳細については、リファレンスのセクションを参照してください。

サービスとしてデプロイされる Mistral モデル ファミリのリファレンス

Mistral モデルは、ルート /chat/completions 上の Azure AI Model Inference API と /v1/chat/completions 上のネイティブ Mistral Chat API の両方を受け入れます。

Azure AI Model Inference API

Azure AI Model Inference API スキーマについては、チャット入力候補のリファレンス記事を参照してください。OpenAPI 仕様は、エンドポイント自体から取得できます。

Mistral Chat API

メソッド POST を使用して、/v1/chat/completions ルートに要求を送信します。

Request

POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json

要求スキーマ

ペイロードは、次のパラメーターを含む JSON 形式の文字列です:

messages オブジェクトには次のフィールドがあります:

要求の例

本文​​

{
    "messages":
    [
        { 
        "role": "system", 
        "content": "You are a helpful assistant that translates English to Italian."
        },
        {
        "role": "user", 
        "content": "Translate the following sentence from English to Italian: I love programming."
        }
    ],
    "temperature": 0.8,
    "max_tokens": 512,
}

応答スキーマ

応答ペイロードは、次のフィールドを持つディクショナリです。

choices オブジェクトは、次のフィールドを持つディクショナリです。

usage オブジェクトは、次のフィールドを持つディクショナリです。

logprobs オブジェクトは、次のフィールドを持つディクショナリです:

応答の例

次の JSON は応答の例です。

{
    "id": "12345678-1234-1234-1234-abcdefghijkl",
    "object": "chat.completion",
    "created": 2012359,
    "model": "",
    "choices": [
        {
            "index": 0,
            "finish_reason": "stop",
            "message": {
                "role": "assistant",
                "content": "Sure, I\'d be happy to help! The translation of ""I love programming"" from English to Italian is:\n\n""Amo la programmazione.""\n\nHere\'s a breakdown of the translation:\n\n* ""I love"" in English becomes ""Amo"" in Italian.\n* ""programming"" in English becomes ""la programmazione"" in Italian.\n\nI hope that helps! Let me know if you have any other sentences you\'d like me to translate."
            }
        }
    ],
    "usage": {
        "prompt_tokens": 10,
        "total_tokens": 40,
        "completion_tokens": 30
    }
}

推論のその他の例

コストとクォータ

サービスとしてデプロイされる Mistral モデル ファミリのコストとクォータに関する考慮事項

サービスとしてデプロイされた Mistral モデルは、Mistral AI によって Azure Marketplace を通じて提供され、使用するために Azure Machine Learning スタジオと統合されます。 Azure Marketplace の価格は、モデルをデプロイするときに確認できます。

ワークスペースが Azure Marketplace から特定のモデル オファリングにサブスクライブするたびに、その消費に関連するコストを追跡するための新しいリソースが作成されます。 推論に関連するコストを追跡するために同じリソースが使用されますが、各シナリオを個別に追跡するために複数の測定値を使用できます。

コストを追跡する方法の詳細については、「Azure Marketplace を通じて提供されるモデルのコストを監視する」を参照してください。

クォータはデプロイごとに管理されます。 各デプロイのレート制限は、1 分あたり 200,000 トークン、1 分あたり 1,000 個の API 要求です。 ただし現在、ワークスペースのモデルごとにデプロイを 1 つに制限しています。 現在のレート制限がシナリオに十分でない場合は、Microsoft Azure サポートにお問い合わせください。

コンテンツのフィルター処理

従量課金制でサービスとしてデプロイされたモデルは、Azure AI Content Safety によって保護されます。 Azure AI Content Safety を有効にすると、プロンプトと入力候補の両方が、有害なコンテンツ出力の検出と防止を目的とした一連の分類モデルを通過します。 コンテンツ フィルタリング システムは、入力プロンプトと (出力される) 入力候補の両方で、有害な可能性があるコンテンツ特有のカテゴリを検出し、アクションを実行します。 Azure AI Content Safety の詳細を確認します。

関連するコンテンツ

• モデル カタログとコレクション
• サーバーレス API エンドポイントのモデルが利用できるリージョン
• オンライン エンドポイントを使用して機械学習モデルをデプロイおよびスコア付けする
• Azure AI Studio のコストを計画および管理する