Azure OpenAI Studio でリスクと安全性の監視を使用する (プレビュー)

コンテンツ フィルターと共に Azure OpenAI モデル デプロイを使用する場合、フィルター処理アクティビティの結果を確認できます。 その情報を使用して、特定のビジネス ニーズと責任ある AI の原則に対応するように、フィルター構成をさらに調整できます。

Azure OpenAI Studio では、コンテンツ フィルター構成を使用するデプロイごとにリスクと安全性の監視ダッシュボードが提供されます。

リスクと安全性の監視にアクセスする

リスクと安全性の監視にアクセスするには、サポートされている Azure リージョン (米国東部、スイス北部、フランス中部、スウェーデン中部、カナダ東部) のいずれかに Azure OpenAI リソースが必要です。 また、コンテンツ フィルター構成を使用するモデル デプロイも必要です。

Azure OpenAI Studio にアクセスし、お使いの Azure OpenAI リソースに関連付けられた資格情報を使用してサインインします。 左側の [配置] タブを選択し、一覧からモデル デプロイを選択します。 デプロイのページで、上部にある [Risks & Safety] (リスクと安全性) タブを選択します。

コンテンツの検出

[Content detection] (コンテンツ検出) ウィンドウには、コンテンツ フィルター アクティビティに関する情報が表示されます。 コンテンツ フィルターの構成は、コンテンツ フィルターのドキュメントの説明に従って適用されます。

レポートの説明

コンテンツ フィルターのデータは、次の方法で表示されます。

• Total blocked request count and block rate (ブロックされた要求の合計数とブロック率): このビューには、フィルター処理されたコンテンツの量と割合の、時間の経過に伴うグローバル ビューが表示されます。 これは、ユーザーからの有害な要求の傾向を把握し、予期しないアクティビティを確認するのに役立ちます。
• Blocked requests by category (カテゴリ別のブロックされた要求): このビューには、ブロックされたコンテンツの量がカテゴリごとに表示されます。 これは、選択した時間範囲にわたる有害な要求のすべての統計です。 現在は、危害カテゴリとしてとしてヘイト、性的、自傷行為、暴力がサポートされています。
• Block rate over time by category (時間に経過に伴うカテゴリ別のブロック率): このビューには、時間の経過に伴うカテゴリごとのブロック率が表示されます。 現在は、危害カテゴリとしてとしてヘイト、性的、自傷行為、暴力がサポートされています。
• Severity distribution by category (カテゴリ別の重大度分布): このビューには、選択した時間範囲全体にわたる、各危害カテゴリで検出された重大度レベルが表示されます。 これは、"ブロックされた" コンテンツに限定されるのではなく、コンテンツ フィルターによってフラグが設定されたすべてのコンテンツが含まれます。
• Severity rate distribution over time by category (カテゴリ別の時間の経過に伴う重大度の割合の分布): このビューには、危害カテゴリごとの、時間の経過に伴って検出された重大度レベルの割合が表示されます。 タブを選択して、サポートされているカテゴリを切り替えます。

推奨アクション

ビジネス ニーズと責任ある AI の原則にさらに合うように、コンテンツ フィルターの構成を調整します。

Potentially abusive user detection (不正のおそれがあるユーザーの検出)

[Potentially abusive user detection] (不正のおそれがあるユーザーの検出) ウィンドウでは、ユーザー レベルの不正レポートを利用して、コンテンツがブロックされる原因となった動作を行ったユーザーに関する情報が表示されます。 このゴールは、有害なコンテンツのソースのビューを取得して、対応するアクションを実行できるようにし、モデルが責任ある方法で使用されるようにすることです。

不正のおそれがあるユーザーを検出する機能を利用するには、次のものが必要です。

• デプロイに適用されるコンテンツ フィルター構成。
• チャット完了要求でユーザー ID 情報を送信する必要があります (たとえば、Completions API のユーザー パラメーターを参照してください)。

  注意事項

  GUID 文字列を使って、個々のユーザーを識別します。 [ユーザー] フィールドに機密情報を含めないでください。

• ユーザー分析結果を保存するように設定された Azure Data Explorer データベース (設定手順は以下を参照してください)。

Azure Data Explorer データベースの設定

ユーザー情報のデータ プライバシーを保護し、データのアクセス許可を管理するために、お客様が独自のストレージを持ち込んで、不正のおそれがあるユーザー検出に関する詳細な分析情報 (ユーザー GUID やカテゴリ別の有害リクエスト統計など) を、コンプライアンス要件に準拠した方法で、かつ完全な制御の下で保存できるオプションを提供しています。 次の手順に従って、それを有効にします。

1. Azure OpenAI Studio で、ユーザーの不正利用分析を設定するモデル デプロイに移動し、[データ ストアの追加] を選択します。
2. 必要な情報を入力し、[保存] を選択 します。 分析結果を保存する新しいデータベースを作成することをお勧めします。
3. データ ストアを接続したら、次の手順を実行し、接続されたデータベースに分析結果を書き込むアクセス許可を付与します。
   1. Azure portal で Azure OpenAI リソースのページに移動し、[ID] タブを 選択します。
   2. システム割り当て ID の状態を [オン] にし、生成された ID をコピーします。
   3. Azure portal で Azure Data Explorer リソースに移動し、[データベース] を選択してから、ユーザー分析結果を保存するために作成した特定のデータベースを選択します。
   4. [アクセス許可] を選択し、データベースに管理者ロールを追加します。
   5. 前の手順で生成した Azure OpenAI ID を貼り付けて検索し、検索結果から該当するものを選択します。 これで、Azure OpenAI リソースの ID に、ストレージアカウントへの読み書き権限が付与されました。
4. 分析結果を確認する必要があるユーザーに対し、接続した Azure Data Explorer データベースへのアクセス権を付与します。
   1. 接続した Azure Data Explorer リソースに移動し、[アクセス制御] を選択して、結果にアクセスする必要があるユーザーに Azure Data Explorer クラスターの [閲覧者] ロールを追加します。
   2. [データベース] を選択し、ユーザー レベルの不正利用分析結果を保存先として接続されているデータベースを指定します。 [アクセス許可] を選択し、結果へのアクセス権が必要なユーザーに対して、データベースの [閲覧者] ロールを付与します。

レポートの説明

不正のおそれがあるユーザーの検出では、顧客が Azure OpenAI API 呼び出しで送信するユーザー情報を、要求の内容と共に利用します。 次の分析情報が表示されます。

• Total potentially abusive user count (不正のおそれがあるユーザーの合計数): このビューには、時間の経過に伴って検出された不正のおそれがあるユーザーの数が表示されます。 これらは、不正のパターンが検出されていて、高いリスクを招くおそれのあるユーザーです。
• 不正のおそれがあるユーザーの一覧: このビューは、検出された不正のおそれがあるユーザーの詳細な一覧です。 それぞれのユーザーに対して、次の情報が含まれます。
  • ユーザー GUID: これは、顧客が Azure OpenAI API の [ユーザー] フィールドを通じて送信する値です。
  • 不正利用スコア: 各ユーザーのリクエストと動作をモデルが分析して生成される数値です このスコアは 0 から 1 の範囲に正規化された値で示されます。 スコアが高いほど、不正利用リスクが高いことを示します。
  • 不正利用スコアの傾向: 選択した期間における [不正利用スコア] の変化。
  • 評価日: 結果が分析された日付。
  • 合計不正利用リクエストの割合/件数
  • カテゴリ別の不正利用の割合/件数

推奨アクション

このデータに、その他の関連情報を組み合わせることで、検出されたユーザーが実際に不正利用者なのかどうかを検証します。 不正利用者であることが確認できれば、アプリケーションを適正に利用してもらうため、そのユーザーに対して利用制限やアカウント停止などの是正措置を取る必要があります。

次のステップ

次に、Azure OpenAI Studio でコンテンツ フィルター構成を作成または編集します。

• Azure OpenAI Service でコンテンツ フィルターを構成する