Azure OpenAI トークンの使用に関するメトリックを出力する

  • [アーティクル]

適用対象: すべての API Management レベル

azure-openai-emit-token-metric ポリシーは、Azure OpenAI Service API を介した大規模言語モデル トークンの使用に関するメトリックを Application Insights に送信します。 トークン数のメトリックには、合計トークン、プロンプト トークン、完了トークンが含まれます。

Note

ポリシーの要素と子要素を、ポリシー ステートメントで指定された順序で設定します。 API Management ポリシーを設定または編集する方法について説明します。

前提条件

ポリシー ステートメント

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

属性

属性 説明 必須 規定値
namespace 文字列。 メトリックの名前空間。 ポリシー式は使用できません。 いいえ API Management
値 double で表されるメトリックの値。 ポリシー式を使用できます。 いいえ 1

要素

要素 説明 必須
dimension メトリックに含まれるディメンションごとに、これらの要素を 1 つ以上追加します。 はい

dimension の属性

属性 説明 必須 既定値
name 文字列またはポリシー式。 ディメンションの名前。 はい 該当なし
value 文字列またはポリシー式。 ディメンションの値。 省略できるのは、name が既定のディメンションのいずれかと一致する場合のみです。 その場合、ディメンション名に従って値が指定されます。 いいえ 該当なし

値なしで使用できる既定のディメンション名

  • API ID
  • 操作 ID
  • Product ID
  • User ID
  • サブスクリプション ID
  • 場所
  • ゲートウェイ ID

使用方法

使用上の注意

  • このポリシーは、ポリシー定義ごとに複数回使用できます。
  • このポリシーには、最大 10 個のカスタム定義を構成できます。
  • このポリシーは、ポータルを使用して Azure OpenAI Service から API を追加するときに、必要に応じて構成できます。

例

次の例では、Azure OpenAI トークン数メトリックを、ユーザー ID、クライアント IP、API ID と共にディメンションとして Application Insights に送信します。

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

関連するコンテンツ

ポリシーに対する処理の詳細については、次のトピックを参照してください。