Strumento Content Safety (Text)

  • Articolo

Azure AI Content Safety è un servizio di con modalità tenda ration sviluppato da Microsoft che consente di rilevare contenuti dannosi da diverse modalità e linguaggi. Lo strumento Content Safety (Text) è un wrapper per l'API Text di Sicurezza dei contenuti di Azure per intelligenza artificiale, che consente di rilevare il contenuto di testo e ottenere risultati di moderazione. Per altre informazioni, vedere Sicurezza dei contenuti di Azure AI.

Prerequisiti

  • Creare una risorsa di Sicurezza del contenuto di Intelligenza artificiale di Azure.
  • Aggiungere una Azure Content Safety connessione nel flusso di richiesta. Compilare il API key campo con Primary key dalla Keys and Endpoint sezione della risorsa creata.

Input

È possibile usare i parametri seguenti come input per questo strumento:

Nome Tipo Descrizione Richiesto
Testo string Testo da moderare. Sì
hate_category string Riservatezza della moderazione per la Hate categoria. Scegliere tra quattro opzioni: disable, low_sensitivity, medium_sensitivityo high_sensitivity. L'opzione disable non indica alcuna moderazione per la Hate categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo a odio. Il valore predefinito è medium_sensitivity. Sì
sexual_category string Riservatezza della moderazione per la Sexual categoria. Scegliere tra quattro opzioni: disable, low_sensitivity, medium_sensitivityo high_sensitivity. L'opzione disable non indica alcuna moderazione per la Sexual categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo a contenuti sessuali. Il valore predefinito è medium_sensitivity. Sì
self_harm_category string Riservatezza della moderazione per la Self-harm categoria. Scegliere tra quattro opzioni: disable, low_sensitivity, medium_sensitivityo high_sensitivity. L'opzione disable non indica alcuna moderazione per la Self-harm categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo all'autolesionismo. Il valore predefinito è medium_sensitivity. Sì
violence_category string Riservatezza della moderazione per la Violence categoria. Scegliere tra quattro opzioni: disable, low_sensitivity, medium_sensitivityo high_sensitivity. L'opzione disable non indica alcuna moderazione per la Violence categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo alla violenza. Il valore predefinito è medium_sensitivity. Sì

Per altre informazioni, vedere Sicurezza dei contenuti di Azure AI.

Output

L'esempio seguente è una risposta in formato JSON di esempio restituita dallo strumento:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Il action_by_category campo fornisce un valore binario per ogni categoria: Accept o Reject. Questo valore indica se il testo soddisfa il livello di riservatezza impostato nei parametri della richiesta per tale categoria.

Il suggested_action campo offre una raccomandazione complessiva in base alle quattro categorie. Se una categoria ha un valore di Reject, anche suggested_action è Reject.