コンテンツの安全性 (テキスト) ツール
Azure AI Content Safety は、さまざまなモダリティや言語から有害なコンテンツを検出するのに役立つ、Microsoft によって開発された conテント モードration サービスです。 Content Safety (Text) ツールは、Azure AI Content Safety Text API のラッパーです。これにより、テキスト コンテンツを検出し、モデレーションの結果を取得できます。 詳細については、Azure AI Content Safety をご覧ください。
前提条件
- Azure AI Content Safety リソースを作成します。
- プロンプト フローで
Azure Content Safety接続を追加します。 作成したリソースの [Keys and Endpoint] セクションのPrimary keyをAPI keyフィールドに入力します。
入力
次のパラメーターをこのツールの入力として使用できます。
| Name | 種類 | 内容 | 必須 |
|---|---|---|---|
| text | string | モデレートする必要があるテキスト。 | はい |
| hate_category | string | Hate カテゴリのモデレーション感度。 disable、low_sensitivity、medium_sensitivity、またはhigh_sensitivityの 4 つのオプションから選択します。 disable オプションは、Hate カテゴリのモデレートがないことを意味します。 他の 3 つのオプションは、ヘイト コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
| sexual_category | string | Sexual カテゴリのモデレーション感度。 disable、low_sensitivity、medium_sensitivity、またはhigh_sensitivityの 4 つのオプションから選択します。 disable オプションは、Sexual カテゴリのモデレートがないことを意味します。 他の 3 つのオプションは、性的コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
| self_harm_category | string | Self-harm カテゴリのモデレーション感度。 disable、low_sensitivity、medium_sensitivity、またはhigh_sensitivityの 4 つのオプションから選択します。 disable オプションは、Self-harm カテゴリのモデレートがないことを意味します。 他の 3 つのオプションは、自傷行為コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
| violence_category | string | Violence カテゴリのモデレーション感度。 disable、low_sensitivity、medium_sensitivity、またはhigh_sensitivityの 4 つのオプションから選択します。 disable オプションは、Violence カテゴリのモデレートがないことを意味します。 他の 3 つのオプションは、暴力コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
詳細については、Azure AI Content Safety をご覧ください。
出力
次の例は、ツールによって返される JSON 形式の応答の例です。
{
"action_by_category": {
"Hate": "Accept",
"SelfHarm": "Accept",
"Sexual": "Accept",
"Violence": "Accept"
},
"suggested_action": "Accept"
}
action_by_category フィールドには、カテゴリ (AcceptまたはReject) ごとにバイナリ値が表示されます。 この値は、テキストがそのカテゴリの要求パラメーターで設定した感度レベルを満たしているかどうかを示します。
suggested_action フィールドは、4 つのカテゴリに基づいた全体的な推奨事項を返します。 いずれかのカテゴリに Reject 値があれば、suggested_action も Reject になります。