Nástroj Content Safety (Text)

  • Článek

Azure AI Content Safety je kon režim stanu ration služba vyvinutá Microsoftem, která pomáhá detekovat škodlivý obsah z různých způsobů a jazyků. Nástroj Content Safety (Text) je obálka pro rozhraní API pro bezpečnost obsahu Azure AI, která umožňuje detekovat textový obsah a získávat výsledky moderování. Další informace najdete v tématu Zabezpečení obsahu Azure AI.

Požadavky

  • Vytvoření prostředku Azure AI Content Safety
  • Azure Content Safety Přidejte připojení do toku výzvy. API key Vyplňte pole Primary key z oddílu Keys and Endpoint vytvořeného prostředku.

Vstupy

Jako vstupy pro tento nástroj můžete použít následující parametry:

Name Typ Popis Povinní účastníci
text string Text, který je potřeba moderovat. Ano
hate_category string Citlivost moderování pro Hate kategorii. Vyberte si ze čtyř možností: disable, low_sensitivity, medium_sensitivitynebo high_sensitivity. Tato disable možnost znamená, že pro Hate kategorii není moderování. Další tři možnosti znamenají různé stupně striktnosti při filtrování obsahu nenávisti. Výchozí hodnota je medium_sensitivity. Ano
sexual_category string Citlivost moderování pro Sexual kategorii. Vyberte si ze čtyř možností: disable, low_sensitivity, medium_sensitivitynebo high_sensitivity. Tato disable možnost znamená, že pro Sexual kategorii není moderování. Další tři možnosti znamenají různé stupně striktnosti při filtrování sexuálního obsahu. Výchozí hodnota je medium_sensitivity. Ano
self_harm_category string Citlivost moderování pro Self-harm kategorii. Vyberte si ze čtyř možností: disable, low_sensitivity, medium_sensitivitynebo high_sensitivity. Tato disable možnost znamená, že pro Self-harm kategorii není moderování. Další tři možnosti znamenají různé stupně striktnosti při filtrování obsahu sebepoškozování. Výchozí hodnota je medium_sensitivity. Ano
violence_category string Citlivost moderování pro Violence kategorii. Vyberte si ze čtyř možností: disable, low_sensitivity, medium_sensitivitynebo high_sensitivity. Tato disable možnost znamená, že pro Violence kategorii není moderování. Další tři možnosti znamenají různé stupně striktnosti při filtrování obsahu násilí. Výchozí hodnota je medium_sensitivity. Ano

Další informace najdete v tématu Zabezpečení obsahu Azure AI.

Výstupy

Následující ukázka je ukázková odpověď formátu JSON vrácená nástrojem:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Pole action_by_category poskytuje binární hodnotu pro každou kategorii: Accept nebo Reject. Tato hodnota ukazuje, jestli text splňuje úroveň citlivosti, kterou jste nastavili v parametrech požadavku pro danou kategorii.

Pole suggested_action poskytuje celkové doporučení založené na čtyřech kategoriích. Pokud má některá kategorie Reject hodnotu, suggested_action je také Reject.