Filtri dei contenuti

Servizio OpenAI di Azure include un sistema di filtro dei contenuti che funziona insieme a modelli di base, inclusi i modelli di generazione immagini DALL-E. Questo sistema funziona eseguendo sia la richiesta che il completamento tramite un insieme di modelli di classificazione concepiti per rilevare e impedire l'output di contenuti dannosi. Il sistema di filtro del contenuto rileva e agisce su categorie specifiche di contenuto potenzialmente dannoso sia nelle richieste di input che nei completamenti di output. Le variazioni nelle configurazioni dell'API e nella progettazione dell'applicazione potrebbero influire sui completamenti e quindi sul comportamento di filtro.

I modelli di filtro dei contenuti testuali per le categorie odio, sesso, violenza e autolesionismo sono stati sottoposti a training specifico e testati nelle lingue seguenti: inglese, tedesco, giapponese, spagnolo, francese, italiano, portoghese e cinese. Il servizio, tuttavia, può funzionare in molte altre lingue, ma la qualità può variare. In tutti i casi, è necessario eseguire test personalizzati per assicurarsi che funzioni per l'applicazione.

Oltre al sistema di filtro dei contenuti, il Servizio OpenAI di Azure esegue il monitoraggio per rilevare contenuti e/o comportamenti che suggeriscono un uso del servizio che potrebbe violare le condizioni del prodotto vigenti. Per ulteriori informazioni su come comprendere e mitigare i rischi associati alla propria applicazione, consultare la nota sulla trasparenza per Azure OpenAI. Per altre informazioni su come vengono elaborati i dati per il filtro dei contenuti e il monitoraggio di abusi, vedere Dati, privacy e sicurezza per Servizio OpenAI di Azure.

Le seguenti sezioni forniscono informazioni sulle categorie di filtraggio del contenuto, i livelli di intensità del filtro e la relativa configurabilità, e gli scenari API da considerare nella progettazione e nell'implementazione dell'applicazione.

Tipi di filtro dei contenuti

Il sistema di filtro dei contenuti integrato in Servizio OpenAI di Azure include:

• Modelli di classificazione multiclasse neurali finalizzati all'individuazione e al filtro di contenuti dannosi; i modelli riguardano quattro categorie (odio, sesso, violenza e autolesionismo) in quattro livelli di gravità (sicuro, basso, medio e alto). Il contenuto rilevato a livello di gravità "sicuro" è etichettato nelle annotazioni, ma non è soggetto a filtri e non è configurabile.
• Altri modelli di classificazione facoltativi finalizzati a rilevare il rischi di jailbreak e contenuti noti per testo e codice; questi modelli sono classificatori binari che contrassegnano se il comportamento dell'utente o del modello è qualificato come attacco jailbreak o corrisponde a codice sorgente o testo noto. L'uso di questi modelli è facoltativo, ma può essere necessario usare il modello di codice materiale protetto può essere per la copertura dell'impegno relativo al copyright del cliente.

Categorie di rischio

¹ Se sei un proprietario del materiale di testo e vuoi inviare contenuto di testo per la protezione, invia una richiesta.

² Non disponibile in scenari non di streaming; disponibile solo per gli scenari di streaming. Le aree seguenti supportano il rilevamento della terra: Stati Uniti centrali, Stati Uniti orientali, Francia centrale e Canada orientale

Contenuto di testo

Contenuto immagine

Contenuto di Prompt Shield

Configurabilità

Servizio OpenAI di Azure include le impostazioni di sicurezza predefinita applicata a tutti i modelli, escluso Whisper di Azure OpenAI. Queste configurazioni offrono un'esperienza responsabile per impostazione predefinita, tra cui modelli di filtro dei contenuti, elenchi di elementi bloccati, trasformazione di prompt, credenziali del contenuto e altro ancora. Per altre informazioni, leggere qui.

Tutti i clienti possono anche configurare filtri di contenuto e creare criteri di sicurezza personalizzati in base ai requisiti dei casi d'uso. La funzionalità di configurabilità consente ai clienti di modificare le impostazioni (separatamente per prompt e completamenti) in modo da filtrare contenuto per ogni categoria di contenuto a livelli di gravità diversi, come descritto nella tabella seguente. Il contenuto rilevato con il livello di gravità "sicuro" è etichettato nelle annotazioni, ma non è soggetto al filtro e non è configurabile.

¹ Per i modelli di Azure OpenAI, solo i clienti che sono stati approvati per il filtro dei contenuti modificato hanno il controllo completo dei filtri dei contenuti e possono disattivarli. Applicare per i filtri di contenuto modificati tramite questo modulo: Verifica di accesso limitato di Azure OpenAI: Filtri di contenuto modificati. Per Azure per enti pubblici clienti, richiedere filtri di contenuto modificati tramite questo modulo: Azure per enti pubblici - Richiedi filtro contenuto modificato per il servizio OpenAI di Azure.

I filtri di contenuti configurabili per input (prompt) e output (completion) sono disponibili per i modelli Azure OpenAI seguenti:

• Serie di modelli GPT
• Disponibilità generale di Visione basata su GPT-4 Turbo^* (turbo-2024-04-09)
• GPT-4o
• GPT-4o mini
• DALL-E 2 e 3

I filtri di contenuto configurabili non sono disponibili per

• o1-preview
• o1-mini

^*Disponibile solo per GPT-4 Turbo Vision GA, non si applica all'anteprima di GPT-4 Turbo Vision

Le configurazioni di filtraggio del contenuto vengono create all'interno di una risorsa in Azure AI Studio e possono essere associate a distribuzioni. Ulteriori informazioni sulla configurabilità sono disponibili qui.

I clienti sono tenuti ad accertarsi che le applicazioni che integrano Azure OpenAI siano conformi al Codice di comportamento.

Dettagli dello scenario

Quando il sistema di filtro dei contenuti rileva contenuti dannosi, si riceverà un errore nella chiamata dell'API se il prompt è stato ritenuto inappropriato, oppure finish_reason nella risposta sarà content_filter in modo da indicare che parte del completion è stato filtrato. Durante la compilazione dell'applicazione o del sistema, è opportuno tenere conto degli scenari in cui il contenuto restituito dall'API Completion è filtrato, per cui i contenuti potrebbero essere incompleti. Le misure da prendere in base a questa informazione saranno specifiche all'applicazione. Il comportamento può essere riepilogato nei seguenti punti:

• I prompt classificati a livello di categoria e gravità filtrata restituiranno un errore HTTP 400.
• Quando il contenuto viene filtrato, le chiamate di completamento non in streaming non restituiscono alcun contenuto. Il valore finish_reason è impostato su content_filter. In rari casi di risposte più lunghe, è possibile restituire un risultato parziale. In questi casi, l'oggetto finish_reason viene aggiornato.
• Per le chiamate di completamento del flusso, i segmenti vengono restituiti all'utente man mano che vengono completati. Il servizio continua lo streaming fino a raggiungere un token o una lunghezza di arresto o fino a quando viene rilevato contenuto classificato in una categoria di filtraggio e a un livello di gravità.

Scenario: si invia una chiamata di completamento non in streaming che richiede più output; nessun contenuto è classificato a livello di categoria di filtraggio e di gravità

La tabella seguente illustra i vari modi in cui il filtraggio del contenuto può essere visualizzato:

Payload della richiesta di esempio:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: la chiamata dell'API richiede più risposte (N>1) e almeno una delle risposte viene filtrata

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: viene inviata una richiesta di input inappropriata all'API dei completamenti (sia per streaming che non streaming)

Payload della richiesta di esempio:

{
    "prompt":"Content that triggered the filtering model"
}

Esempio di risposta JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scenario: si effettua una chiamata di completamento del flusso; nessun contenuto di output viene classificato a livello di categoria di filtraggio e gravità

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Esempio di risposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: si effettua una chiamata di completamento del flusso che richiede più completamenti e almeno una parte del contenuto di output viene filtrata

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Esempio di risposta JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: il sistema di filtraggio del contenuto non viene eseguito al completamento

Payload della richiesta di esempio:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Esempio di risposta JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Annotazioni

Filtri di contenuto

Quando le annotazioni sono abilitate come illustrato nel frammento di codice seguente, le informazioni seguenti vengono restituite tramite l'API per le categorie odio ed equità, sesso, violenza e autolesionismo:

• categoria di filtro dei contenuti (odio, sesso, violenza, autolesionismo)
• livello di gravità (sicuro, basso, medio o alto) all'interno di ogni categoria di contenuto
• stato di filtro (true o false)

Modelli facoltativi

È possibile abilitare modelli facoltativi in annotazioni (restituzione di informazioni quando il contenuto è stato contrassegnato ma non filtrato) o la modalità filtro (restituzione di informazioni quando il contenuto è stato contrassegnato e filtrato).

Quando le annotazioni sono abilitate come illustrato nei frammenti di codice seguenti, le informazioni seguenti vengono restituite dall'API per i modelli facoltativi:

Quando viene visualizzato il codice nell'applicazione, è preferibile che l'applicazione visualizzi anche la citazione di esempio delle annotazioni. La conformità alla licenza citata può essere necessaria anche per la copertura dell'impegno per il copyright del cliente.

Vedere la tabella seguente per la disponibilità delle annotazioni in ogni versione dell'API:

¹ Non disponibile in scenari non di streaming; disponibile solo per gli scenari di streaming. Le aree seguenti supportano il rilevamento della terra: Stati Uniti centrali, Stati Uniti orientali, Francia centrale e Canada orientale

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Per informazioni dettagliate sugli endpoint dell'API REST di inferenza per Azure OpenAI e su come creare chat e completamenti, seguire le indicazioni di riferimento sulle API REST di Servizio OpenAI di Azure. Le annotazioni vengono restituite per tutti gli scenari quando si usa qualunque versione dell'API di anteprima a partire da 2023-06-01-preview, nonché la versione dell'API in disponibilità generale 2024-02-01.

Allineamento

Solo annotazione

Restituisce gli offset che fanno riferimento al contenuto di completamento non in primo piano.

{ 
  "ungrounded_material": { 
    "details": [ 
       { 
         "completion_end_offset": 127, 
         "completion_start_offset": 27 
       } 
   ], 
    "detected": true, 
    "filtered": false 
 } 
} 

Annotare e filtrare

Blocca il contenuto di completamento quando è stato rilevato contenuto di completamento non in primo piano.

{ "ungrounded_material": { 
    "detected": true, 
    "filtered": true 
  } 
} 

Scenario di esempio: un prompt di input contenente contenuto, classificato in una categoria di filtraggio e a un livello di gravità, viene inviato all'API dei completamenti

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Incorporamento di documenti in prompt

Un aspetto chiave delle misure di intelligenza artificiale responsabile di Azure OpenAI è il sistema di sicurezza dei contenuti. Questo sistema viene eseguito insieme al modello GPT principale per monitorare eventuali irregolarità nell'input e nell'output del modello. Le prestazioni sono migliorate quando è possibile distinguere i vari elementi del prompt utente, ad esempio l'input di sistema, l'input dell'utente e l'output dell'assistente di intelligenza artificiale.

Per le funzionalità di rilevamento avanzate, i prompt devono essere formattati in base ai metodi consigliati seguenti.

API Completion per chat

L'API Completion per chat è strutturata per definizione. Consiste in un elenco di messaggi, ognuno con un ruolo assegnato.

Il sistema di sicurezza analizza questo formato strutturato e applica il comportamento seguente:

• Nel contenuto "utente" più recente verranno rilevate le categorie di rischi RAI seguenti:
  • Odio
  • Sessuale
  • Violenza
  • Autolesionismo
  • Schermate prompt (facoltativo)

Di seguito è riportato un esempio di matrice di messaggi:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Incorporamento di documenti nel prompt

Oltre al rilevamento dei contenuti dell'ultimo utente, Azure OpenAI supporta anche il rilevamento di rischi specifici all'interno dei documenti contestuali tramite Prompt Shield e rilevamento di attacchi prompt indiretti. È opportuno identificare le parti dell'input che costituiscono un documento (ad esempio un sito Web recuperato, messaggio di posta elettronica e così via) con il delimitatore di documento seguente.

<documents> 
*insert your document content here* 
</documents>

In questo caso, sono disponibili le opzioni seguenti per il rilevamento nei documenti con tag:

• Nel contenuto di ogni "documento" con tag, rilevare le categorie seguenti:
  • Attacchi indiretti (facoltativo)

Di seguito è riportato un esempio di matrice di messaggi di completamento per chat:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

Escaping JSON

Quando si aggiungono tag a documenti non controllati per il rilevamento, il contenuto del documento deve essere preceduto da escape JSON per accertarsi che il sistema di sicurezza di Azure OpenAI esegua correttamente un'analisi.

Ad esempio, vedere il corpo dell'email seguente:

Hello Josè, 

I hope this email finds you well today.

Con l'escaping JSON, sarà:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Il testo preceduto da escape in un contesto di completion per chat sarà:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streaming di contenuti

Questa sezione descrive l'esperienza e le opzioni di streaming dei contenuti di Azure OpenAI. I clienti possono scegliere di ricevere contenuti dall'API durante la generazione anziché attendere blocchi di contenuto verificati per il passaggio di filtri di contenuto.

Predefiniti

Il sistema di filtro dei contenuti è integrato e abilitato per impostazione predefinita per tutti i clienti. Nello scenario di streaming predefinito, il contenuto di completion viene memorizzato nel buffer, il sistema di filtro dei contenuti viene eseguito sul contenuto memorizzato nel buffer e, a seconda della configurazione di filtro dei contenuti, il contenuto viene restituito all'utente se non viola i criteri di filtro dei contenuti (impostazione predefinita di Microsoft o una configurazione utente personalizzata) o viene immediatamente bloccato e restituisce un errore di filtro dei contenuti, senza restituire il contenuto di completion dannoso. Questo processo viene ripetuto fino alla fine del flusso. Il contenuto viene esaminato completamente in base ai criteri di filtro dei contenuti prima che venga restituito all'utente. In questo caso, il contenuto non viene restituito token per token, ma in "blocchi di contenuto" delle rispettive dimensioni del buffer.

Filtro asincrono

I clienti possono scegliere come opzione aggiuntiva il filtro asincrono che offre una nuova esperienza di streaming. In questo caso, i filtri di contenuto vengono eseguiti in modo asincrono e il contenuto di completion viene restituito immediatamente con un'esperienza di streaming token per token priva di problemi. Nessun contenuto viene memorizzato nel buffer, per cui l'esperienza di streaming è veloce, senza la latenza associata alla sicurezza dei contenuti.

I clienti devono tenere presente che, benché la funzionalità migliori la latenza, si tratta di un compromesso tra sicurezza e controllo in tempo reale di sezioni più piccole dell'output del modello. Poiché i filtri dei contenuti vengono eseguiti in modo asincrono, i messaggi di moderazione dei contenuti e i segnali di violazione dei criteri vengono ritardati, per cui alcune sezioni di contenuti dannosi che altrimenti sarebbero state filtrate immediatamente potrebbero essere visualizzate dall'utente.

Annotazioni: le annotazioni e i messaggi di moderazione dei contenuti vengono restituiti continuamente durante il flusso. È preferibile usare annotazioni nell'app e implementare altri meccanismi di sicurezza per i contenuti di intelligenza artificiale, ad esempio il redacting dei contenuti o la restituzione di altre informazioni di sicurezza all'utente.

Segnale di filtro dei contenuti: il segnale di errore di filtro dei contenuti viene ritardato. In caso di violazione dei criteri, viene restituito non appena è disponibile e il flusso viene arrestato. Il segnale di filtro dei contenuti è garantito all'interno di una finestra di circa 1.000 caratteri dei contenuti che violano i criteri.

Impegno per il copyright del cliente: il contenuto contrassegnato retroattivamente come materiale protetto potrebbe non essere idoneo per la copertura dell'impegno per il copyright del cliente.

Per abilitare il filtro asincrono in Azure AI Studio, seguire la guida pratica relativa al filtro contenuto per creare una nuova configurazione di filtro del contenuto e selezionare Filtro asincrono nella sezione Streaming.

Confronto tra le modalità di filtro dei contenuti

Annotazioni e risposte di esempio

Messaggio di annotazione prompt

Come le annotazioni predefinite.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Messaggio del token di completion

I messaggi di completion vengono inoltrati immediatamente. Non viene eseguita alcuna moderazione prima e inizialmente non vengono fornite annotazioni.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Messaggio di annotazione

Il campo di testo sarà sempre una stringa vuota, indicante l'assenza di nuovi token. Le annotazioni saranno pertinenti solo ai token già inviati. Potrebbero esistere più messaggi di annotazione che fanno riferimento agli stessi token.

"start_offset" e "end_offset" sono offset di granularità bassa nel testo (con 0 all'inizio del prompt) per contrassegnare il testo a cui è pertinente l'annotazione.

"check_offset" rappresenta la quantità di testo completamente moderata. È un limite inferiore esclusivo sui valori "end_offset" delle annotazioni future. Non diminuisce.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Flusso di risposta di esempio (passa filtri)

Di seguito è riportata una risposta di completion per chat usando il filtro asincrono. Tenere presente che le annotazioni dei prompt non vengono modificate, i token di completamento vengono inviati senza annotazioni e i nuovi messaggi di annotazione vengono inviati senza token, ma associati a determinati offset di filtri dei contenuti.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Flusso di risposta di esempio (bloccata da filtri)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Procedure consigliate

Nell'ambito della progettazione dell'applicazione, prendere in considerazione le seguenti procedure consigliate per offrire un'esperienza positiva con l'applicazione, riducendo al minimo i potenziali danni:

• Decidere come gestire gli scenari in cui gli utenti inviano richieste contenenti contenuto classificato a livello di categoria filtrata e gravità oppure usano in modo improprio l'applicazione.
• Verificare se finish_reason un completamento è filtrato.
• Verificare che non sia presente alcun oggetto errore in content_filter_result (a indicare che i filtri contenuto non sono stati eseguiti).
• Se si usa il modello di codice materiale protetto in modalità annotazione, visualizzare l'URL di citazione quando viene visualizzato il codice nell'applicazione.

Passaggi successivi

• Ulteriori informazioni sui modelli alla base di OpenAI di Azure.
• Applicare per i filtri di contenuto modificati tramite questo modulo.
• Il filtraggio dei contenuti OpenAI della piattaforma Azure è basato su Sicurezza dei contenuti di Azure AI.
• Ulteriori informazioni sulla comprensione e la mitigazione dei rischi associati alla propria applicazione: Panoramica delle procedure di intelligenza artificiale responsabili per i modelli OpenAI di Azure.
• Ulteriori informazioni sull'elaborazione dei dati in relazione al filtraggio dei contenuti e al monitoraggio di abusi: Dati, privacy e sicurezza per il servizio OpenAI di Azure.