Filtrování obsahu

Služba Azure OpenAI zahrnuje systém filtrování obsahu, který funguje společně s základními modely, včetně modelů generování imagí DALL-E. Tento systém funguje spuštěním výzvy i dokončení prostřednictvím souboru klasifikačních modelů navržených k detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu zjistí a provede akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu. Varianty konfigurací rozhraní API a návrhu aplikací můžou mít vliv na dokončená zadání a filtrování chování.

Modely filtrování obsahu textu pro kategorie nenávisti, sexuálního, násilí a sebepoškozování byly speciálně natrénovány a testovány na následujících jazycích: angličtina, němčina, japonština, španělština, francouzština, italština, portugalština a čínština. Služba ale může fungovat v mnoha dalších jazycích, ale kvalita se může lišit. Ve všech případech byste měli provést vlastní testování, abyste se ujistili, že to pro vaši aplikaci funguje.

Kromě systému filtrování obsahu služba Azure OpenAI provádí monitorování za účelem zjištění obsahu a/nebo chování, které navrhují použití služby způsobem, který by mohl porušit příslušné podmínky produktu. Další informace o pochopení a zmírnění rizik spojených s vaší aplikací najdete v poznámce transparentnosti pro Azure OpenAI. Další informace o tom, jak se data zpracovávají pro filtrování obsahu a monitorování zneužití, najdete v tématu Data, ochrana osobních údajů a zabezpečení pro službu Azure OpenAI.

Následující části obsahují informace o kategoriích filtrování obsahu, úrovních závažnosti filtrování a jejich konfigurovatelnosti a scénářích rozhraní API, které je potřeba zvážit při návrhu a implementaci aplikace.

Typy filtrů obsahu

Systém filtrování obsahu integrovaný ve službě Azure OpenAI obsahuje:

• Neurální klasifikační modely s více třídami zaměřené na detekci a filtrování škodlivého obsahu; modely pokrývají čtyři kategorie (nenávist, sexuální, násilí a sebepoškozování) ve čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké). Obsah zjištěný na úrovni závažnosti „bezpečný“ je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.
• Další volitelné klasifikační modely zaměřené na detekci rizika jailbreaku a známého obsahu pro text a kód; tyto modely jsou binární klasifikátory, které označují, jestli chování uživatele nebo modelu odpovídá útoku s jailbreakem nebo shodu se známým textem nebo zdrojovým kódem. Použití těchto modelů je volitelné, ale použití modelu kódu chráněného materiálu může být vyžadováno pro pokrytí závazku autorských práv zákazníka.

Kategorie rizik

^* Pokud jste vlastníkem textového materiálu a chcete odeslat textový obsah k ochraně, vytvořte žádost.

Textový obsah

Obsah obrázku

Zobrazení výzvy k obsahu štítu

Konfigurovatelnost

Služba Azure OpenAI zahrnuje výchozí nastavení zabezpečení použitá pro všechny modely s výjimkou Azure OpenAI Whisper. Tyto konfigurace poskytují ve výchozím nastavení zodpovědné prostředí, včetně modelů filtrování obsahu, seznamů blokovaných položek, transformace výzvy, přihlašovacích údajů k obsahu a dalších. Přečtěte si další informace o tom tady.

Všichni zákazníci můžou také nakonfigurovat filtry obsahu a vytvořit vlastní zásady zabezpečení, které jsou přizpůsobené požadavkům na případy použití. Funkce konfigurovatelnosti umožňuje zákazníkům upravit nastavení samostatně pro výzvy a dokončení a filtrovat obsah pro každou kategorii obsahu na různých úrovních závažnosti, jak je popsáno v následující tabulce. Obsah zjištěný na úrovni "bezpečné" závažnosti je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.

¹ Pro modely Azure OpenAI mají plnou kontrolu nad filtrováním obsahu jenom zákazníci, kteří byli schváleni pro filtrování upraveného obsahu, a můžou vypnout filtry obsahu. Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure OpenAI Limited Access Review: Upravené filtry obsahu. Pro zákazníky Azure Government platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure Government – Vyžádání upraveného filtrování obsahu pro službu Azure OpenAI.

Konfigurovatelné filtry obsahu pro vstupy (výzvy) a výstupy (dokončení) jsou k dispozici pro následující modely Azure OpenAI:

• Řada modelů GPT
• GPT-4 Turbo Vision GA^* (turbo-2024-04-09)
• GPT-4o
• GPT-4o mini
• DALL-E 2 a 3

Konfigurovatelné filtry obsahu nejsou k dispozici pro

• o1-preview
• o1-mini

^*Dostupná pouze pro GPT-4 Turbo Vision GA, nevztahuje se na GPT-4 Turbo Vision Preview.

Konfigurace filtrování obsahu se vytvářejí v rámci prostředku v Azure AI Studiu a dají se přidružit k nasazením. Další informace o možnosti konfigurace najdete tady.

Zákazníci zodpovídají za zajištění toho, aby aplikace integrující Azure OpenAI dodržovaly pravidla chování.

Podrobnosti scénáře

Když systém filtrování obsahu zjistí škodlivý obsah, zobrazí se při volání rozhraní API chyba, pokud byla výzva považována za nevhodnou, nebo finish_reason odpověď v content_filter odpovědi značí, že se některá z dokončení vyfiltrovala. Při vytváření aplikace nebo systému budete chtít zohlednit tyto scénáře, kdy se filtruje obsah vrácený rozhraním API pro dokončování, což může vést k neúplnosti obsahu. Způsob reakce na tyto informace bude specifický pro konkrétní aplikaci. Chování lze shrnout v následujících bodech:

• Výzvy klasifikované podle filtrované kategorie a úrovně závažnosti vrátí chybu HTTP 400.
• Volání nedokončící streamování nevrátí žádný obsah při filtrování obsahu. Hodnota je nastavena finish_reason na content_filter. Ve výjimečných případech s delšími odpověďmi je možné vrátit částečný výsledek. V těchto případech se aktualizuje finish_reason .
• U volání dokončení streamování se segmenty vrátí zpět uživateli, jakmile jsou dokončené. Služba pokračuje ve streamování, dokud nedosáhne tokenu stop, délky nebo zjištění obsahu klasifikovaného na filtrované kategorii a úrovně závažnosti.

Scénář: Odešlete volání bez streamování, které žádá o více výstupů; žádný obsah není klasifikován na filtrované kategorii a na úrovni závažnosti.

Následující tabulka popisuje různé způsoby, jak se může filtrování obsahu zobrazit:

Ukázková datová část požadavku:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénář: Vaše volání rozhraní API žádá o více odpovědí (N>1) a alespoň jedna z odpovědí je filtrovaná.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénář: Do rozhraní API pro dokončování se odešle nevhodný vstupní dotaz (buď pro streamování, nebo pro jiné streamování).

Ukázková datová část požadavku:

{
    "prompt":"Content that triggered the filtering model"
}

Příklad kódu JSON odpovědi:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scénář: Volání dokončení streamování; Žádný výstupní obsah není klasifikován na filtrované kategorii a na úrovni závažnosti.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Příklad kódu JSON odpovědi:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénář: Volání dokončení streamování s žádostí o více dokončení a alespoň část výstupního obsahu se filtruje.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Příklad kódu JSON odpovědi:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénář: Systém filtrování obsahu se po dokončení nespustí

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Poznámky

Filtry obsahu

Pokud jsou povoleny poznámky, jak je znázorněno v následujícím fragmentu kódu, vrátí se následující informace prostřednictvím rozhraní API pro kategorie nenávisti a nestrannosti, sexuálního, násilí a sebepoškozování:

• kategorie filtrování obsahu (nenávist, sexuální, násilí, self_harm)
• úroveň závažnosti (bezpečná, nízká, střední nebo vysoká) v rámci každé kategorie obsahu
• filtrování stavu (pravda nebo nepravda).

Volitelné modely

Volitelné modely je možné povolit v poznámkách (vrátí informace, když byl obsah označen příznakem, ale není filtrovaný) nebo režim filtru (vrátí informace, když byl obsah označen příznakem a filtrován).

Pokud jsou povoleny poznámky, jak je znázorněno v níže uvedených fragmentech kódu, rozhraní API vrátí následující informace pro volitelné modely:

Při zobrazování kódu ve vaší aplikaci důrazně doporučujeme, aby aplikace zobrazovala také ukázkové citace z poznámek. Pro pokrytí závazku autorských práv zákazníka může být vyžadována také shoda s citovanými licencemi.

Dostupnost poznámek v jednotlivých verzích rozhraní API najdete v následující tabulce:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Podrobnosti o koncových bodech rozhraní REST API pro odvozování pro Azure OpenAI a o vytváření chatů a dokončování najdete v referenčních materiálech k rozhraní REST API služby Azure OpenAI. Poznámky se vrátí pro všechny scénáře při použití jakékoli verze rozhraní API ve verzi Preview počínaje 2023-06-01-preview, a také verze 2024-02-01rozhraní GA API .

Ukázkový scénář: Do rozhraní API pro dokončování se odešle vstupní výzva obsahující obsah klasifikovaný na filtrované kategorii a úroveň závažnosti.

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Vkládání dokumentů do výzev

Klíčovým aspektem zodpovědných opatření umělé inteligence Azure OpenAI je systém zabezpečení obsahu. Tento systém běží společně s základním modelem GPT, který monitoruje případné nesrovnalosti ve vstupu a výstupu modelu. Jeho výkon se zlepší, když dokáže rozlišit různé prvky výzvy, jako je vstup systému, vstup uživatele a výstup asistenta AI.

U rozšířených možností detekce by měly být výzvy formátovány podle následujících doporučených metod.

Rozhraní API pro dokončování chatu

Rozhraní API pro dokončování chatu je strukturované podle definice. Skládá se ze seznamu zpráv, z nichž každá má přiřazenou roli.

Bezpečnostní systém analyzuje tento strukturovaný formát a používá následující chování:

• V nejnovějším obsahu "uživatel" budou zjištěny následující kategorie rizik RAI:
  • Nenávist
  • Sexuální
  • Násilí
  • Sebepoškozování
  • Vyzvání štítů (volitelné)

Toto je příklad pole zpráv:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Vložení dokumentů do výzvy

Kromě detekce v obsahu posledního uživatele podporuje Azure OpenAI také detekci konkrétních rizik v kontextových dokumentech prostřednictvím nástroje Prompt Shields – Indirect Prompt Attack Detection. Měli byste identifikovat části vstupu, které jsou dokumentem (například načtený web, e-mail atd.) s následujícím oddělovačem dokumentu.

<documents> 
*insert your document content here* 
</documents>

Když to uděláte, jsou pro detekci označených dokumentů k dispozici následující možnosti:

• Na každém označeném obsahu dokumentu detekujte následující kategorie:
  • Nepřímé útoky (volitelné)

Tady je příklad pole zpráv o dokončení chatu:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

Zapouzdření JSON

Když označíte neověřené dokumenty za účelem detekce, měl by být obsah dokumentu uchvácený do formátu JSON, aby se zajistilo úspěšné parsování bezpečnostním systémem Azure OpenAI.

Podívejte se například na následující text e-mailu:

Hello Josè, 

I hope this email finds you well today.

Při escapingu JSON by se to četlo:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Řídicí text v kontextu dokončení chatu by četl:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streamování obsahu

Tato část popisuje možnosti a možnosti streamování obsahu Azure OpenAI. Zákazníci můžou přijímat obsah z rozhraní API, protože se generuje, místo toho, aby čekali na bloky obsahu, které byly ověřeny, aby předaly filtry obsahu.

Výchozí

Systém filtrování obsahu je ve výchozím nastavení integrovaný a povolený pro všechny zákazníky. Ve výchozím scénáři streamování se obsah dokončení uloží do vyrovnávací paměti, systém filtrování obsahu běží na obsahu ve vyrovnávací paměti a v závislosti na konfiguraci filtrování obsahu se obsah vrátí uživateli, pokud neporuší zásady filtrování obsahu (výchozí nastavení Microsoftu nebo vlastní konfigurace uživatele), nebo se okamžitě zablokuje a vrátí chybu filtrování obsahu, bez vrácení škodlivého obsahu dokončení. Tento proces se opakuje až do konce datového proudu. Obsah je plně prověřený podle zásad filtrování obsahu, než se vrátí uživateli. Obsah v tomto případě nevrací token-by-token, ale v "blocích obsahu" odpovídající velikosti vyrovnávací paměti.

Asynchronní filtr

Zákazníci si můžou vybrat asynchronní filtr jako další možnost, která poskytuje nové prostředí streamování. V tomto případě se filtry obsahu spouští asynchronně a obsah dokončení se okamžitě vrátí s hladkým prostředím streamování tokenů po tokenech. Žádný obsah není uložen do vyrovnávací paměti, což umožňuje rychlé streamování s nulovou latencí spojenou s bezpečností obsahu.

Zákazníci musí vědět, že zatímco funkce zlepšuje latenci, je to kompromis proti bezpečnosti a prověřování menších částí výstupu modelu v reálném čase. Protože filtry obsahu se spouští asynchronně, zprávy o kon režim stanu race a signály porušení zásad jsou zpožděné, což znamená, že některé části škodlivého obsahu, které by jinak byly filtrovány okamžitě, by se uživateli mohly zobrazit.

Poznámky: Poznámky a con režim stanu ration messages are nepřetržitě vráceny během streamu. Důrazně doporučujeme používat poznámky ve vaší aplikaci a implementovat další mechanismy zabezpečení obsahu umělé inteligence, jako je redakce obsahu nebo vrácení dalších bezpečnostních informací uživateli.

Signál filtrování obsahu: Chybový signál filtrování obsahu je zpožděný. Pokud dojde k porušení zásad, vrátí se hned, jak je k dispozici, a stream se zastaví. Signál filtrování obsahu je zaručen v intervalu přibližně 1 000 znaků porušení obsahu zásad.

Závazek autorských práv zákazníka: Obsah, který je zpětně označený jako chráněný materiál, nemusí mít nárok na pokrytí závazku autorských práv zákazníka.

Pokud chcete v Azure AI Studiu povolit asynchronní filtr, postupujte podle pokynů k vytvoření nové konfigurace filtrování obsahu a v části Streamování vyberte Asynchronní filtr .

Porovnání režimů filtrování obsahu

Poznámky a ukázkové odpovědi

Výzva k poznámce

Je to stejné jako výchozí poznámky.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Zpráva tokenu dokončení

Zprávy o dokončení se přeposílají okamžitě. Nejprve se neprovádí žádný moderování a na začátku nejsou k dispozici žádné poznámky.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Zpráva poznámky

Textové pole bude vždy prázdný řetězec označující žádné nové tokeny. Poznámky budou relevantní pouze pro již odeslané tokeny. Může existovat několik zpráv poznámek odkazujících na stejné tokeny.

"start_offset" a "end_offset" jsou posuny s nízkou členitostí textu (s hodnotou 0 na začátku výzvy), aby označily, pro který text je poznámka relevantní.

"check_offset" představuje, kolik textu bylo plně moderováno. Jedná se o výhradní dolní mez "end_offset" hodnot budoucích poznámek. Nespadá.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Ukázkový stream odpovědí (předá filtry)

Níže je skutečná odpověď na dokončení chatu pomocí asynchronního filtru. Všimněte si, že se poznámky výzvy nezměnily, tokeny dokončení se odesílají bez poznámek a nové zprávy poznámek se odesílají bez tokenů – místo toho jsou přidružené k určitým posunům filtru obsahu.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Ukázkový stream odpovědí (blokovaný filtry)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Osvědčené postupy

Jako součást návrhu aplikace zvažte následující osvědčené postupy, které zajistí pozitivní zkušenosti s aplikací a minimalizují potenciální škody:

• Rozhodněte se, jak chcete zpracovávat scénáře, kdy vaši uživatelé posílají výzvy obsahující obsah klasifikovaný na filtrovanou kategorii a úroveň závažnosti nebo jinak zneužívají vaši aplikaci.
• Zkontrolujte, finish_reason jestli je dokončení filtrované.
• Zkontrolujte, jestli v objektu content_filter_result není žádný chybový objekt (což znamená, že se nespustí filtry obsahu).
• Pokud používáte model chráněného kódu materiálu v režimu poznámek, při zobrazení kódu v aplikaci zobrazte adresu URL citace.

Další kroky

• Přečtěte si další informace o základních modelech, které power Azure OpenAI.
• Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře.
• Filtrování obsahu Azure OpenAI využívá Zabezpečení obsahu Azure AI.
• Přečtěte si další informace o porozumění a zmírnění rizik spojených s vaší aplikací: Přehled zodpovědných postupů AI pro modely Azure OpenAI.
• Přečtěte si další informace o tom, jak se data zpracovávají v souvislosti s filtrováním obsahu a monitorováním zneužití: Data, ochrana osobních údajů a zabezpečení pro službu Azure OpenAI.