內容安全 （文字） 工具

  • 發行項

Azure AI 內容安全性是Microsoft所開發的 con 帳篷模式 ration 服務，可協助您偵測不同形式和語言的有害內容。 內容安全（文字）工具是 Azure AI 內容安全文字 API 的包裝函式，可讓您偵測文字內容並取得仲裁結果。 如需詳細資訊，請參閱 Azure AI 內容安全。

必要條件

  • 建立 Azure AI Content Safety 資源。
  • Azure Content Safety在提示流程中新增連線。 從所建立資源的 區段填入API key欄位Primary keyKeys and Endpoint。

輸入

您可以使用下列參數作為此工具的輸入：

名稱 類型​​ 描述 必要
text 字串 需要仲裁的文字。 Yes
hate_category 字串 類別的 Hate 仲裁敏感度。 從四個選項中選擇：disable、、 medium_sensitivitylow_sensitivity或 high_sensitivity。 此選項 disable 表示類別沒有仲裁 Hate 。 其他三個選項代表篩選出仇恨內容的不同嚴格程度。 預設值為 medium_sensitivity。 Yes
sexual_category 字串 類別的 Sexual 仲裁敏感度。 從四個選項中選擇：disable、、 medium_sensitivitylow_sensitivity或 high_sensitivity。 此選項 disable 表示類別沒有仲裁 Sexual 。 其他三個選項代表篩選出性相關內容的不同嚴格程度。 預設值為 medium_sensitivity。 Yes
self_harm_category 字串 類別的 Self-harm 仲裁敏感度。 從四個選項中選擇：disable、、 medium_sensitivitylow_sensitivity或 high_sensitivity。 此選項 disable 表示類別沒有仲裁 Self-harm 。 其他三個選項代表篩選出「自我傷害」內容的不同嚴格程度。 預設值為 medium_sensitivity。 Yes
violence_category 字串 類別的 Violence 仲裁敏感度。 從四個選項中選擇：disable、、 medium_sensitivitylow_sensitivity或 high_sensitivity。 此選項 disable 表示類別沒有仲裁 Violence 。 其他三個選項代表篩選出暴力內容的不同嚴格程度。 預設值為 medium_sensitivity。 Yes

如需詳細資訊，請參閱 Azure AI 內容安全。

輸出

下列範例是工具所傳回的 JSON 格式回應範例：

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

欄位 action_by_category 會提供每個類別的二進位值： Accept 或 Reject。 這個值會顯示文字是否符合您在該類別的要求參數中設定的敏感度等級。

欄位 suggested_action 會根據四個類別提供整體建議。 如果有任何類別具有 Reject 值，則 suggested_action 也是 Reject。