Innehållsfiltrering

Azure OpenAI-tjänsten innehåller ett system för innehållsfiltrering som fungerar tillsammans med kärnmodeller, inklusive DALL-E-bildgenereringsmodeller. Det här systemet fungerar genom att köra både prompten och slutförandet genom en uppsättning klassificeringsmodeller som är utformade för att identifiera och förhindra utdata från skadligt innehåll. Systemet för innehållsfiltrering identifierar och vidtar åtgärder för specifika kategorier av potentiellt skadligt innehåll i både inkommande prompter och slutföranden av utdata. Variationer i API-konfigurationer och programdesign kan påverka slutföranden och därmed filtreringsbeteende.

Textinnehållsfiltreringsmodellerna för kategorierna hat, sexuellt, våld och självskadebeteende har tränats och testats specifikt på följande språk: engelska, tyska, japanska, spanska, franska, italienska, portugisiska och kinesiska. Tjänsten kan dock fungera på många andra språk, men kvaliteten kan variera. I samtliga fall bör du göra dina egna tester för att säkerställa att det fungerar för ditt program.

Utöver innehållsfiltreringssystemet utför Azure OpenAI Service övervakning för att identifiera innehåll och/eller beteenden som föreslår användning av tjänsten på ett sätt som kan bryta mot tillämpliga produktvillkor. Mer information om att förstå och minimera risker som är kopplade till ditt program finns i Transparensanteckning för Azure OpenAI. Mer information om hur data bearbetas för innehållsfiltrering och övervakning av missbruk finns i Data, sekretess och säkerhet för Azure OpenAI Service.

Följande avsnitt innehåller information om innehållsfiltreringskategorierna, allvarlighetsgraderna för filtrering och deras konfigurerbarhet samt API-scenarier som ska beaktas i programdesign och implementering.

Innehållsfiltertyper

Innehållsfiltreringssystemet som är integrerat i Azure OpenAI-tjänsten innehåller:

• Neurala klassificeringsmodeller med flera klasser som syftar till att identifiera och filtrera skadligt innehåll; modellerna omfattar fyra kategorier (hat, sexuellt, våld och självskadebeteende) över fyra allvarlighetsnivåer (säkra, låga, medelhöga och höga). Innehåll som identifieras på allvarlighetsnivå "säker" är märkt i anteckningar men är inte föremål för filtrering och kan inte konfigureras.
• Andra valfria klassificeringsmodeller som syftar till att upptäcka risk för jailbreak och känt innehåll för text och kod. dessa modeller är binära klassificerare som flaggar om användar- eller modellbeteende kvalificerar sig som en jailbreak-attack eller matchar känd text eller källkod. Användning av dessa modeller är valfritt, men användning av kodmodellen för skyddat material kan krävas för kundens upphovsrättsåtagande.

Riskkategorier

^* Om du äger textmaterial och vill skicka textinnehåll för skydd skickar du en begäran.

Textinnehåll

Avbildningsinnehåll

Fråga om skärminnehåll

Konfigurerbarhet

Azure OpenAI Service innehåller standardsäkerhetsinställningar som tillämpas på alla modeller, exklusive Azure OpenAI Whisper. De här konfigurationerna ger dig en ansvarsfull upplevelse som standard, inklusive modeller för innehållsfiltrering, blocklistor, prompttransformering, autentiseringsuppgifter för innehåll och andra. Läs mer om det här.

Alla kunder kan också konfigurera innehållsfilter och skapa anpassade säkerhetsprinciper som är skräddarsydda för deras användningsfallskrav. Med konfigurationsfunktionen kan kunderna justera inställningarna separat för frågor och slutföranden för att filtrera innehåll för varje innehållskategori på olika allvarlighetsnivåer enligt beskrivningen i tabellen nedan. Innehåll som identifieras på allvarlighetsnivå "säker" är märkt i anteckningar men är inte föremål för filtrering och kan inte konfigureras.

¹ För Azure OpenAI-modeller har endast kunder som har godkänts för modifierad innehållsfiltrering fullständig innehållsfiltreringskontroll och kan inaktivera innehållsfilter. Ansök om ändrade innehållsfilter via det här formuläret: Azure OpenAI Limited Access Review: Modified Content Filters (Begränsad åtkomstgranskning i Azure OpenAI: Ändrade innehållsfilter). För Azure Government-kunder kan du ansöka om ändrade innehållsfilter via det här formuläret: Azure Government – Begära ändrad innehållsfiltrering för Azure OpenAI-tjänsten.

Konfigurerbara innehållsfilter för indata (prompter) och utdata (slutföranden) är tillgängliga för följande Azure OpenAI-modeller:

• GPT-modellserie
• GPT-4 Turbo Vision GA^* (turbo-2024-04-09)
• GPT-4o
• GPT-4o mini
• DALL-E 2 och 3

Konfigurerbara innehållsfilter är inte tillgängliga för

• o1-preview
• o1-mini

^*Endast tillgängligt för GPT-4 Turbo Vision GA, gäller inte för GPT-4 Turbo Vision preview

Konfigurationer för innehållsfiltrering skapas i en resurs i Azure AI Studio och kan associeras med distributioner. Läs mer om konfigurerbarhet här.

Kunderna ansvarar för att säkerställa att program som integrerar Azure OpenAI följer uppförandekoden.

Information om scenario

När innehållsfiltreringssystemet identifierar skadligt innehåll får du antingen ett fel i API-anropet om uppmaningen bedömdes vara olämplig, eller finish_reason så är content_filter svaret ett tecken på att en del av slutförandet har filtrerats. När du skapar ditt program eller system vill du ta hänsyn till dessa scenarier där innehållet som returneras av API:et Completions filtreras, vilket kan resultera i ofullständigt innehåll. Hur du agerar på den här informationen är programspecifikt. Beteendet kan sammanfattas i följande punkter:

• Frågor som klassificeras på en filtrerad kategori och allvarlighetsgrad returnerar ett HTTP 400-fel.
• Icke-strömmande slutförandeanrop returnerar inget innehåll när innehållet filtreras. Värdet finish_reason är inställt på content_filter. I sällsynta fall med längre svar kan ett partiellt resultat returneras. I dessa fall finish_reason uppdateras.
• För strömningsavslutsanrop returneras segment tillbaka till användaren när de har slutförts. Tjänsten fortsätter att strömmas tills den antingen når en stopptoken, längd eller när innehåll som klassificeras på en filtrerad kategori och allvarlighetsgrad identifieras.

Scenario: Du skickar ett icke-strömmande slutförandeanrop och ber om flera utdata. inget innehåll klassificeras på en filtrerad kategori- och allvarlighetsnivå

Tabellen nedan beskriver de olika sätt som innehållsfiltrering kan visas på:

Exempel på nyttolast för begäran:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Exempel på JSON-svar:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: API-anropet ber om flera svar (N>1) och minst ett av svaren filtreras

Exempel på nyttolast för begäran:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Exempel på JSON-svar:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: En olämplig indataprompt skickas till API:et för slutförande (antingen för direktuppspelning eller icke-direktuppspelning)

Exempel på nyttolast för begäran:

{
    "prompt":"Content that triggered the filtering model"
}

Exempel på JSON-svar:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scenario: Du gör ett anrop för strömningsavslut; inget utdatainnehåll klassificeras på en filtrerad kategori och allvarlighetsgrad

Exempel på nyttolast för begäran:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exempel på JSON-svar:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario: Du gör ett anrop för att slutföra strömningen och ber om flera slutföranden och minst en del av utdatainnehållet filtreras

Exempel på nyttolast för begäran:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Exempel på JSON-svar:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario: Innehållsfiltreringssystemet körs inte när det är klart

Exempel på nyttolast för begäran:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Exempel på JSON-svar:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Kommentarer

Innehållsfilter

När anteckningar aktiveras enligt kodfragmentet nedan returneras följande information via API:et för kategorierna hat och rättvisa, sexuellt, våld och självskadebeteende:

• innehållsfiltreringskategori (hat, sexuellt, våld, self_harm)
• allvarlighetsgraden (säker, låg, medel eller hög) inom varje innehållskategori
• filtreringsstatus (sant eller falskt).

Valfria modeller

Valfria modeller kan aktiveras i anteckningar (returnerar information när innehållet flaggades, men inte filtrerades) eller filterläget (returnerar information när innehållet flaggades och filtrerades).

När anteckningar aktiveras enligt kodfragmenten nedan returneras följande information av API:et för valfria modeller:

När du visar kod i ditt program rekommenderar vi starkt att programmet även visar exempelcitationen från anteckningarna. Efterlevnad av den anförde licensen kan också krävas för kundens upphovsrättsåtagande.

Se följande tabell för anteckningstillgängligheten i varje API-version:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Mer information om slutsatsdragningen av REST API-slutpunkter för Azure OpenAI och hur du skapar chattar och slutföranden finns i referensvägledningen för REST API för Azure OpenAI-tjänsten. Anteckningar returneras för alla scenarier när du använder en förhandsversion av API från 2023-06-01-previewoch med , samt GA API-versionen 2024-02-01.

Exempelscenario: En indataprompt som innehåller innehåll som klassificeras på en filtrerad kategori och allvarlighetsgrad skickas till API:et för slutföranden

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Inbäddning av dokument i prompter

En viktig aspekt av Azure OpenAI:s ansvarsfulla AI-åtgärder är innehållssäkerhetssystemet. Det här systemet körs tillsammans med gpt-kärnmodellen för att övervaka eventuella oegentligheter i modellens indata och utdata. Dess prestanda förbättras när den kan skilja mellan olika element i din fråga, till exempel systemindata, användarindata och AI-assistentens utdata.

För förbättrade identifieringsfunktioner bör prompterna formateras enligt följande rekommenderade metoder.

API för chattens slutförande

API:et för chattens slutförande är uppbyggt per definition. Den består av en lista med meddelanden, var och en med en tilldelad roll.

Säkerhetssystemet parsar det här strukturerade formatet och tillämpar följande beteende:

• På det senaste användarinnehållet identifieras följande kategorier av RAI-risker:
  • Hata
  • Sexuell
  • Våld
  • Självskadebeteende
  • Promptsköldar (valfritt)

Det här är ett exempel på en meddelandematris:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Bädda in dokument i prompten

Förutom identifiering av senaste användarinnehåll har Azure OpenAI även stöd för identifiering av specifika risker i kontextdokument via Prompt Shields – Indirect Prompt Attack Detection. Du bör identifiera delar av indata som är ett dokument (till exempel hämtad webbplats, e-post osv.) med följande dokumentgränsare.

<documents> 
*insert your document content here* 
</documents>

När du gör det är följande alternativ tillgängliga för identifiering i taggade dokument:

• Identifiera följande kategorier för varje taggat dokumentinnehåll:
  • Indirekta attacker (valfritt)

Här är ett exempel på en matris med meddelanden om chattens slutförande:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

JSON-undflyende

När du taggar obevakade dokument för identifiering bör dokumentinnehållet vara JSON-undantaget för att säkerställa lyckad parsning av Azure OpenAI-säkerhetssystemet.

Se till exempel följande e-posttext:

Hello Josè, 

I hope this email finds you well today.

När JSON flyr skulle det läsas:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Den undantagna texten i en chattkompletteringskontext skulle läsa:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Innehållsströmning

I det här avsnittet beskrivs strömningsupplevelsen och alternativen för Azure OpenAI-innehållsströmning. Kunder kan ta emot innehåll från API:et när det genereras, i stället för att vänta på segment av innehåll som har verifierats för att skicka innehållsfiltren.

Standardvärde

Innehållsfiltreringssystemet är integrerat och aktiverat som standard för alla kunder. I standardscenariot för direktuppspelning buffrar slutförandeinnehållet, innehållsfiltreringssystemet körs på det buffrade innehållet och – beroende på konfigurationen för innehållsfiltrering – antingen returneras innehållet till användaren om det inte bryter mot innehållsfiltreringsprincipen (Microsofts standardinställning eller en anpassad användarkonfiguration) eller så blockeras det omedelbart och returnerar ett innehållsfiltreringsfel. utan att returnera det skadliga slutförandeinnehållet. Den här processen upprepas till slutet av strömmen. Innehållet granskas fullständigt enligt innehållsfiltreringsprincipen innan det returneras till användaren. Innehållet returneras inte token för token i det här fallet, utan i "innehållssegment" med respektive buffertstorlek.

Asynkront filter

Kunder kan välja det asynkrona filtret som ett extra alternativ, vilket ger en ny strömningsupplevelse. I det här fallet körs innehållsfilter asynkront och slutförandeinnehåll returneras omedelbart med en smidig strömningsupplevelse för token per token. Inget innehåll buffrad, vilket möjliggör en snabb direktuppspelning med noll svarstid som är associerad med innehållssäkerhet.

Kunderna måste förstå att även om funktionen förbättrar svarstiden är det en kompromiss mot säkerhet och realtidskontroll av mindre delar av modellutdata. Eftersom innehållsfilter körs asynkront fördröjs kon tältläge rationsmeddelanden och policyöverträdelsesignaler, vilket innebär att vissa delar av skadligt innehåll som annars skulle ha filtrerats omedelbart kan visas för användaren.

Anteckningar: Anteckningar och con tältläge rationsmeddelanden returneras kontinuerligt under strömmen. Vi rekommenderar starkt att du använder anteckningar i din app och implementerar andra säkerhetsmekanismer för AI-innehåll, till exempel redigera innehåll eller returnera annan säkerhetsinformation till användaren.

Signal för innehållsfiltrering: Felsignalen för innehållsfiltrering fördröjs. Om det finns en principöverträdelse returneras den så snart den är tillgänglig och strömmen stoppas. Innehållsfiltreringssignalen garanteras inom ett fönster på ~1 000 tecken för innehåll som bryter mot principen.

Kundens upphovsrättsåtagande: Innehåll som retroaktivt flaggas som skyddat material kanske inte är berättigat till täckning för kundens upphovsrättsåtagande.

Om du vill aktivera Asynkront filter i Azure AI Studio följer du instruktionsguiden för innehållsfilter för att skapa en ny konfiguration för innehållsfiltrering och väljer Asynkront filter i avsnittet Direktuppspelning.

Jämförelse av lägen för innehållsfiltrering

Anteckningar och exempelsvar

Meddelande om att fråga

Detta är samma som standardanteckningar.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Meddelande om slutförandetoken

Slutförandemeddelanden vidarebefordras omedelbart. Ingen moderering utförs först och inga anteckningar tillhandahålls från början.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Anteckningsmeddelande

Textfältet är alltid en tom sträng som anger inga nya token. Anteckningar är endast relevanta för token som redan har skickats. Det kan finnas flera anteckningsmeddelanden som refererar till samma token.

"start_offset" och "end_offset" är förskjutningar med låg kornighet i text (med 0 i början av prompten) för att markera vilken text kommentaren är relevant för.

"check_offset" representerar hur mycket text som har modererats helt. Det är en exklusiv lägre gräns för värdena för "end_offset" framtida anteckningar. Den minskar inte.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Exempel på svarsström (skickar filter)

Nedan visas ett verkligt svar på chattens slutförande med hjälp av Asynkront filter. Observera hur promptanteckningarna inte ändras, att slutförandetoken skickas utan anteckningar och att nya anteckningsmeddelanden skickas utan token. De associeras i stället med vissa förskjutningar av innehållsfilter.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Exempel på svarsström (blockeras av filter)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Bästa praxis

Som en del av din applikationsdesign, överväg följande bästa praxis för att leverera en positiv upplevelse med din applikation samtidigt som du minimerar potentiella skador:

• Besluta hur du vill hantera scenarier där dina användare skickar frågor med innehåll som klassificeras vid en filtrerad kategori och allvarlighetsgradsnivå eller på annat sätt missbrukar ditt program.
• Kontrollera finish_reason om ett slutförande har filtrerats.
• Kontrollera att det inte finns något felobjekt i content_filter_result (som anger att innehållsfilter inte kördes).
• Om du använder kodmodellen för skyddat material i kommentarsläge visar du källhänvisnings-URL:en när du visar koden i ditt program.

Nästa steg

• Läs mer om de underliggande modeller som driver Azure OpenAI.
• Använd för ändrade innehållsfilter via det här formuläret.
• Azure OpenAI-innehållsfiltrering drivs av Azure AI Content Safety.
• Läs mer om att förstå och minimera risker som är kopplade till ditt program: Översikt över ansvarsfulla AI-metoder för Azure OpenAI-modeller.
• Läs mer om hur data bearbetas i samband med innehållsfiltrering och övervakning av missbruk: Data, sekretess och säkerhet för Azure OpenAI Service.