LLM ツール
プロンプト フローの大規模言語モデル (LLM) ツールを使用すると、 OpenAI や Azure OpenAI Service などの広く使用されている大規模な言語モデル、または自然言語処理のために Azure AI モデル推論 API でサポートされている任意の言語モデルを利用できます。
プロンプト フローには、以下のように、いくつかの異なる大規模言語モデル API が用意されています。
- 入力候補: OpenAI の入力候補モデルを使うと、指定されたプロンプトに基づいてテキストを生成できます。
- チャット: OpenAI のチャット モデルと Azure AI チャット モデルは、テキストベースの入力と応答を使用した対話型の会話を容易にします。
Note
LLM ツール API 設定から embedding オプションを削除しました。 埋め込み API は、 組み込みツールで使用できます。
Azure OpenAI 接続では、キーベースの認証のみがサポートされています。
Azure OpenAI リソースのリソース グループ名に ascii 以外の文字を使用しないでください。プロンプト フローではこのケースはサポートされていません。
前提条件
次の OpenAI のリソースを作成します。
OpenAI:
- OpenAI の Web サイトでアカウントをサインアップします。
- サインインして個人用 API キーを見つけます。
Azure OpenAI:
- これらの手順 使用して Azure OpenAI リソースを作成します。
サーバーレス API エンドポイントにデプロイされたモデル
- 対象のカタログからモデルを使用してエンドポイントを作成 、サーバーレス API エンドポイントを使用してデプロイします。
- Azure AI モデル推論 API でサポートされているサーバーレス API エンドポイントにデプロイされたモデルを使用するには Mistral、Cohere、Meta Llama、Microsoft ファミリのモデルなど)、プロジェクト内のエンドポイントへの接続を作成する必要があります。
つながり
プロビジョニングされたリソースへの接続をプロンプト フローで設定します。
| 型 | 名前 | API キー | [API の種類] | API バージョン |
|---|---|---|---|---|
| OpenAI | 必須 | 必須 | - | - |
| Azure OpenAI - API キー | 必須 | 必須 | 必須 | 必須 |
| Azure OpenAI - Microsoft Entra ID | 必須 | - | - | 必須 |
| サーバーレス モデル | Requred | 必須 | - | - |
ヒント
- Azure OpenAI 接続に Microsoft Entra ID 認証タイプを使用するには、ユーザーまたはユーザー割り当てマネージド ID に
Cognitive Services OpenAI UserまたはCognitive Services OpenAI Contributor roleを割り当てる必要があります。 - ユーザー ID を使用してフロー実行を送信するように指定する方法の詳細を確認します。
- 詳細については、「マネージド ID を使用して Azure OpenAI Service を構成する方法」を参照してください。
入力
次のセクションでは、さまざまな入力を示します。
テキスト入力候補
| Name | 種類 | 内容 | 必須 |
|---|---|---|---|
| prompt | string | 言語モデルのテキスト プロンプト。 | はい |
| model、deployment_name | string | 使用する言語モデル。 | はい |
| max_tokens | integer | 完了時に生成するトークンの最大数。 既定値は 16 です。 | いいえ |
| 温度 | float | 生成されるテキストのランダム性。 既定値は 1 です。 | いいえ |
| stop | list | 生成されるテキストの停止シーケンス。 既定値は Null です。 | いいえ |
| suffix | string | 入力候補の末尾に追加されたテキスト。 | いいえ |
| top_p | float | 生成されたトークンから一番上の選択肢を使う確率。 既定値は 1 です。 | いいえ |
| logprobs | integer | 生成するログ確率の数。 既定値は Null です。 | いいえ |
| echo | boolean | 応答でプロンプトをエコー バックするかどうかを示す値。 既定値は false です。 | いいえ |
| presence_penalty | float | 繰り返しフレーズのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| frequency_penalty | float | まれなフレーズを生成するためのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| best_of | integer | 生成する最適な完了の数。 既定値は 1 です。 | いいえ |
| logit_bias | ディクショナリ | 言語モデルの Logit バイアス。 既定値は空のディクショナリです。 | いいえ |
チャット
| Name | 種類 | 内容 | 必須 |
|---|---|---|---|
| prompt | string | 言語モデルが応答に使用するテキスト プロンプト。 | はい |
| model、deployment_name | string | 使用する言語モデル。 モデルがサーバーレス API エンドポイントにデプロイされている場合、このパラメーターは必要ありません。 | あり* |
| max_tokens | integer | 応答で生成するトークンの最大数。 既定は inf です。 | いいえ |
| 温度 | float | 生成されるテキストのランダム性。 既定値は 1 です。 | いいえ |
| stop | list | 生成されるテキストの停止シーケンス。 既定値は Null です。 | いいえ |
| top_p | float | 生成されたトークンから一番上の選択肢を使う確率。 既定値は 1 です。 | いいえ |
| presence_penalty | float | 繰り返しフレーズのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| frequency_penalty | float | まれなフレーズを生成するためのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| logit_bias | ディクショナリ | 言語モデルの Logit バイアス。 既定値は空のディクショナリです。 | いいえ |
出力
| API | 返り値の種類 | 説明 |
|---|---|---|
| Completion | string | 1 つの予測完了のテキスト |
| チャット | string | 会話の 1 つの応答のテキスト |
LLM ツールを使用する
- OpenAI リソースまたはサーバーレス API エンドポイントへの接続を設定して選択します。
- 大規模言語モデル API とそのパラメーターを構成します。
- ガイダンスを参考にしてプロンプトを準備します。