İçerik filtrelemesi

Azure OpenAI Hizmeti, DALL-E görüntü oluşturma modelleri de dahil olmak üzere çekirdek modellerle birlikte çalışan bir içerik filtreleme sistemi içerir. Bu sistem, zararlı içeriğin çıkışını algılamak ve önlemek için tasarlanmış sınıflandırma modellerinin bir grubu aracılığıyla hem istem hem de tamamlama işlemini çalıştırarak çalışır. İçerik filtreleme sistemi, hem giriş istemlerinde hem de çıkış tamamlamalarında zararlı olabilecek belirli içerik kategorilerini algılar ve üzerinde işlem gerçekleştirir. API yapılandırmalarındaki ve uygulama tasarımındaki varyasyonlar, tamamlanmaları ve dolayısıyla filtreleme davranışını etkileyebilir.

Nefret, cinsel, şiddet ve kendine zarar verme kategorilerine yönelik metin içeriği filtreleme modelleri özellikle şu dillerde eğitilmiş ve test edilmiştir: İngilizce, Almanca, Japonca, İspanyolca, Fransızca, İtalyanca, Portekizce ve Çince. Ancak, hizmet başka birçok dilde çalışabilir, ancak kalite değişebilir. Her durumda, uygulamanız için çalıştığından emin olmak için kendi testinizi yapmalısınız.

Azure OpenAI Hizmeti, içerik filtreleme sistemine ek olarak, hizmetin geçerli ürün koşullarını ihlal eden bir şekilde kullanılmasını öneren içeriği ve/veya davranışları algılamak için izleme gerçekleştirir. Uygulamanızla ilişkili riskleri anlama ve azaltma hakkında daha fazla bilgi için bkz . Azure OpenAI için Saydamlık Notu. İçerik filtreleme ve kötüye kullanım izleme için verilerin nasıl işlendiği hakkında daha fazla bilgi için bkz . Azure OpenAI Hizmeti için veriler, gizlilik ve güvenlik.

Aşağıdaki bölümlerde içerik filtreleme kategorileri, filtreleme önem düzeyleri ve bunların yapılandırılabilirliği ile uygulama tasarımı ve uygulamasında dikkate alınması gereken API senaryoları hakkında bilgi sağlanır.

İçerik filtresi türleri

Azure OpenAI Hizmeti ile tümleştirilmiş içerik filtreleme sistemi aşağıdakileri içerir:

• Zararlı içeriği algılamayı ve filtrelemeyi hedefleyen sinirsel çok sınıflı sınıflandırma modelleri; modeller dört önem düzeyi (güvenli, düşük, orta ve yüksek) genelinde dört kategoriyi (nefret, cinsel, şiddet ve kendine zarar verme) kapsar. 'Güvenli' önem düzeyinde algılanan içerik, ek açıklamalarda etiketlenmiştir ancak filtrelemeye tabi değildir ve yapılandırılamaz.
• Metin ve kod için jailbreak riskini ve bilinen içeriği algılamayı hedefleyen diğer isteğe bağlı sınıflandırma modelleri; bu modeller, kullanıcı veya model davranışının jailbreak saldırısı olarak nitelenip nitelenmediğini veya bilinen metin veya kaynak koduyla eşleşip eşleşmediğini işaretleyen ikili sınıflandırıcılardır. Bu modellerin kullanımı isteğe bağlıdır, ancak Müşteri Telif Hakkı Taahhüdü kapsamı için korumalı malzeme kodu modelinin kullanılması gerekebilir.

Risk kategorileri

¹ Metin malzemesinin sahibiyseniz ve koruma için metin içeriği göndermek istiyorsanız, bir istekte bulunun.

² Akış dışı senaryolarda kullanılamaz; yalnızca akış senaryolarında kullanılabilir. Aşağıdaki bölgeler Topraklama Algılamayı destekler: Orta ABD, Doğu ABD, Orta Fransa ve Doğu Kanada

Metin içeriği

Resim içeriği

Kalkan içeriği iste

Yapılandırılabilirlik

Azure OpenAI Hizmeti, Azure OpenAI Whisper hariç tüm modellere uygulanan varsayılan güvenlik ayarlarını içerir. Bu yapılandırmalar, içerik filtreleme modelleri, blok listeleri, istem dönüştürme, içerik kimlik bilgileri ve diğerleri dahil olmak üzere varsayılan olarak sorumlu bir deneyim sunar. Bu konuda daha fazla bilgiyi burada bulabilirsiniz.

Ayrıca tüm müşteriler içerik filtrelerini yapılandırabilir ve kullanım örneği gereksinimlerine göre uyarlanmış özel güvenlik ilkeleri oluşturabilir. Yapılandırılabilirlik özelliği, müşterilerin aşağıdaki tabloda açıklandığı gibi her içerik kategorisinin içeriğini farklı önem düzeylerinde filtrelemek üzere istemler ve tamamlamalar için ayrı olarak ayarları yapmasına olanak tanır. 'Güvenli' önem düzeyinde algılanan içerik ek açıklamalarda etiketlenmiştir, ancak filtrelemeye tabi değildir ve yapılandırılamaz.

¹ Azure OpenAI modellerinde yalnızca değiştirilmiş içerik filtrelemesi için onaylanan müşteriler tam içerik filtreleme denetimine sahiptir ve içerik filtrelerini kapatabilir. Değiştirilen içerik filtreleri için şu form aracılığıyla uygulayın: Azure OpenAI Sınırlı Erişim gözden geçirmesi: Değiştirilen İçerik Filtreleri. Azure Kamu müşteriler için şu form aracılığıyla değiştirilmiş içerik filtreleri için uygulayın: Azure Kamu - Azure OpenAI Hizmeti için Değiştirilmiş İçerik Filtreleme İsteği.

Girişler (istemler) ve çıkışlar (tamamlamalar) için yapılandırılabilir içerik filtreleri aşağıdaki Azure OpenAI modelleri için kullanılabilir:

• GPT model serisi
• GPT-4 Turbo Vision GA^* (turbo-2024-04-09)
• GPT-4o
• GPT-4o mini
• DALL-E 2 ve 3

Yapılandırılabilir içerik filtreleri

• o1-önizleme
• o1-mini

^*Yalnızca GPT-4 Turbo Vision GA için kullanılabilir, GPT-4 Turbo Görüntü İşleme önizlemesi için geçerli değildir

İçerik filtreleme yapılandırmaları Azure AI Studio'daki bir Kaynak içinde oluşturulur ve Dağıtımlarla ilişkilendirilebilir. Yapılandırılabilirlik hakkında daha fazla bilgiyi burada bulabilirsiniz.

Müşteriler, Azure OpenAI'yi tümleştiren uygulamaların Kullanım Kuralları ile uyumlu olduğundan emin olmakla sorumludur.

Senaryo ayrıntıları

İçerik filtreleme sistemi zararlı içerik algıladığında, istem uygunsuz olarak kabul edilirse API çağrısında bir hata alırsınız veya finish_reason yanıtta content_filter tamamlama işleminin bir bölümünün filtrelendiğini belirten bir hata alırsınız. Uygulamanızı veya sisteminizi oluştururken, Tamamlamalar API'sinin döndürdüğü içeriğin filtrelendiği ve eksik içeriğe neden olabilecek bu senaryoları hesaba eklemek istersiniz. Bu bilgiler üzerinde nasıl davranacağınız uygulamaya özgü olacaktır. Davranış aşağıdaki noktalarda özetlenebilir:

• Filtrelenmiş kategori ve önem düzeyinde sınıflandırılan istemler HTTP 400 hatası döndürür.
• Akış dışı tamamlama çağrıları, içerik filtrelendiğinde hiçbir içerik döndürmez. finish_reason Değer content_filter olarak ayarlanır. Daha uzun yanıtlara sahip nadir durumlarda kısmi sonuç döndürülebilir. Bu gibi durumlarda, finish_reason güncelleştirilir.
• Akış tamamlama çağrıları için segmentler tamamlandıklarında kullanıcıya geri döndürülür. Hizmet, durdurma belirteci, uzunluğuna ulaşana veya filtrelenmiş bir kategori ve önem derecesi düzeyinde sınıflandırılan içerik algılanana kadar akışa devam eder.

Senaryo: Birden çok çıkış isteyen akış dışı tamamlama çağrısı gönderirsiniz; hiçbir içerik filtrelenmiş kategori ve önem derecesi düzeyinde sınıflandırılmamıştır

Aşağıdaki tabloda, içerik filtrelemenin görüntülenebileceği çeşitli yollar özetlenmiştir:

Örnek istek yükü:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Örnek yanıt JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Senaryo: API çağrınız birden çok yanıt ister (N>1) ve yanıtlardan en az biri filtrelenmiştir

Örnek istek yükü:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Örnek yanıt JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Senaryo: TamamlamaLAR API'sine uygunsuz bir giriş istemi gönderilir (akış veya akış dışı için)

Örnek istek yükü:

{
    "prompt":"Content that triggered the filtering model"
}

Örnek yanıt JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Senaryo: Akış tamamlama çağrısı yaparsınız; hiçbir çıkış içeriği filtrelenmiş kategori ve önem derecesi düzeyinde sınıflandırılmamıştır

Örnek istek yükü:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Örnek yanıt JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Senaryo: Birden çok tamamlama isteyen bir akış tamamlama çağrısı yaparsınız ve çıktı içeriğinin en az bir bölümü filtrelenmiş

Örnek istek yükü:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Örnek yanıt JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Senaryo: İçerik filtreleme sistemi tamamlandığında çalışmıyor

Örnek istek yükü:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Örnek yanıt JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Ek Açıklamalar

İçerik filtreleri

Aşağıdaki kod parçacığında gösterildiği gibi ek açıklamalar etkinleştirildiğinde, nefret ve eşitlik, cinsel, şiddet ve kendine zarar kategorileri için API aracılığıyla aşağıdaki bilgiler döndürülür:

• içerik filtreleme kategorisi (nefret, cinsel, şiddet, self_harm)
• her içerik kategorisi içindeki önem düzeyi (güvenli, düşük, orta veya yüksek)
• filtreleme durumu (true veya false).

İsteğe bağlı modeller

İsteğe bağlı modeller açıklama ekleme (içeriğe bayrak eklendiğinde bilgileri döndürür, ancak filtrelenmez) veya filtre modunda etkinleştirilebilir (içeriğe bayrak eklendiğinde ve filtrelendiğinde bilgileri döndürür).

Aşağıdaki kod parçacıklarında gösterildiği gibi ek açıklamalar etkinleştirildiğinde, isteğe bağlı modeller için API tarafından aşağıdaki bilgiler döndürülür:

Uygulamanızda kod görüntülerken, uygulamanın ek açıklamalardan örnek alıntıyı da görüntülemesini kesinlikle öneririz. Belirtilen lisansla uyumluluk, Müşteri Telif Hakkı Taahhüdü kapsamı için de gerekli olabilir.

Her API sürümünde ek açıklama kullanılabilirliği için aşağıdaki tabloya bakın:

¹ Akış dışı senaryolarda kullanılamaz; yalnızca akış senaryolarında kullanılabilir. Aşağıdaki bölgeler Topraklama Algılamayı destekler: Orta ABD, Doğu ABD, Orta Fransa ve Doğu Kanada

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Azure OpenAI için ÇıKARıM REST API uç noktaları ve Sohbet ve Tamamlama oluşturma hakkında ayrıntılı bilgi için Azure OpenAI Hizmeti REST API başvuru kılavuzunu izleyin. sürümünden başlayarak 2023-06-01-previewherhangi bir önizleme API sürümü ve GA API 2024-02-01sürümü kullanılırken tüm senaryolar için ek açıklamalar döndürülür.

Temellilik

Yalnızca açıklama ekle

Planlanmamış tamamlama içeriğine başvuran uzaklıkları döndürür.

{ 
  "ungrounded_material": { 
    "details": [ 
       { 
         "completion_end_offset": 127, 
         "completion_start_offset": 27 
       } 
   ], 
    "detected": true, 
    "filtered": false 
 } 
} 

Açıklama ekleme ve filtreleme

Planlanmamış tamamlama içeriği algılandığında tamamlanma içeriğini engeller.

{ "ungrounded_material": { 
    "detected": true, 
    "filtered": true 
  } 
} 

Örnek senaryo: TamamlanmaLAR API'sine filtrelenmiş kategori ve önem derecesi düzeyinde sınıflandırılmış içerik içeren bir giriş istemi gönderilir

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

İstemlere belge ekleme

Azure OpenAI'nin Sorumlu yapay zeka ölçümlerinin önemli özelliklerinden biri içerik güvenliği sistemidir. Bu sistem, model giriş ve çıkışındaki düzensizlikleri izlemek için çekirdek GPT modeliyle birlikte çalışır. Sistem girişi, kullanıcı girişi ve yapay zeka yardımcısı çıkışı gibi isteminizin çeşitli öğelerini ayırt ettiğinde performansı iyileştirilir.

Gelişmiş algılama özellikleri için istemler aşağıdaki önerilen yöntemlere göre biçimlendirilmelidir.

Sohbet Tamamlamaları API'si

Sohbet Tamamlama API'si tanıma göre yapılandırılmıştır. Her biri atanmış bir role sahip olan iletilerin bir listesinden oluşur.

Güvenlik sistemi bu yapılandırılmış biçimi ayrıştırarak aşağıdaki davranışı uygular:

• En son "kullanıcı" içeriğinde aşağıdaki RAI Riskleri kategorileri algılanır:
  • Nefret
  • Seksüel
  • Şiddet
  • Kendine Zarar Verme
  • İstem kalkanları (isteğe bağlı)

Bu örnek bir ileti dizisidir:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

belgeleri isteminize ekleme

Azure OpenAI, son kullanıcı içeriğinde algılamaya ek olarak, prompt Shields – Indirect Prompt Attack Detection aracılığıyla bağlam belgeleri içindeki belirli risklerin algılanması için de destek sağlar. Girdinin belge olan bölümlerini (örneğin, alınan web sitesi, e-posta vb.) aşağıdaki belge sınırlayıcısıyla tanımlamanız gerekir.

<documents> 
*insert your document content here* 
</documents>

Bunu yaptığınızda, etiketli belgelerde algılama için aşağıdaki seçenekler kullanılabilir:

• Etiketli her "belge" içeriğinde aşağıdaki kategorileri algılayın:
  • Dolaylı saldırılar (isteğe bağlı)

Aşağıda örnek bir sohbet tamamlama iletileri dizisi verilmiştir:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

JSON kaçışı

Kaldırılmamış belgeleri algılama için etiketlediğinizde, Azure OpenAI güvenlik sistemi tarafından başarılı ayrıştırma yapıldığından emin olmak için belge içeriğinin JSON kaçışı olmalıdır.

Örneğin, aşağıdaki e-posta gövdesine bakın:

Hello Josè, 

I hope this email finds you well today.

JSON kaçtığı zaman şu şekilde görünür:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Sohbet tamamlama bağlamındaki kaçış metni şu şekilde görünür:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

İçerik akışı

Bu bölümde Azure OpenAI içerik akışı deneyimi ve seçenekleri açıklanmaktadır. Müşteriler, içerik filtrelerinizi geçirmek için doğrulanmış içerik öbeklerini beklemek yerine api'den oluşturulan içerikten içerik alabilir.

Varsayılan

İçerik filtreleme sistemi tüm müşteriler için varsayılan olarak tümleştirilmiş ve etkindir. Varsayılan akış senaryosunda tamamlama içeriği arabelleğe alınıyor, içerik filtreleme sistemi arabelleğe alınan içerik üzerinde çalışıyor ve içerik filtreleme yapılandırmasına bağlı olarak içerik, içerik filtreleme ilkesini (Microsoft'un varsayılan veya özel kullanıcı yapılandırması) ihlal etmiyorsa kullanıcıya döndürülür ya da hemen engellenir ve bir içerik filtreleme hatası döndürür, zararlı tamamlama içeriğini döndürmeden. Bu işlem akışın sonuna kadar yinelenir. İçerik, kullanıcıya döndürülmeden önce içerik filtreleme ilkesine göre tam olarak izlenmiştir. İçerik bu durumda belirteç tarafından değil, ilgili arabellek boyutunun "içerik öbeklerinde" döndürülür.

Zaman Uyumsuz Filtre

Müşteriler ek seçenek olarak Zaman Uyumsuz Filtre'yi seçerek yeni bir akış deneyimi sağlayabilir. Bu durumda, içerik filtreleri zaman uyumsuz olarak çalıştırılır ve tamamlama içeriği belirteçlere göre sorunsuz bir akış deneyimiyle hemen döndürülür. Hiçbir içerik arabelleğe alınmaz ve bu da içerik güvenliğiyle ilişkili sıfır gecikme süresiyle hızlı bir akış deneyimi sağlar.

Müşteriler, özelliğin gecikme süresini iyileştirse de model çıktısının daha küçük bölümlerinin güvenliğine ve gerçek zamanlı incelemeye karşı bir denge oluşturduğunu anlamalıdır. İçerik filtreleri zaman uyumsuz olarak çalıştırıldığından, con çadır modu ration iletileri ve ilke ihlali sinyalleri gecikir, bu da zararlı içeriğin hemen filtrelenmiş olabilecek bazı bölümlerinin kullanıcıya görüntülenebileceği anlamına gelir.

Ek Açıklamalar: Ek açıklamalar ve con çadır modu ration iletileri akış sırasında sürekli olarak döndürülür. Uygulamanızda ek açıklamaları kullanmanızı ve içeriği yeniden işleme veya kullanıcıya diğer güvenlik bilgilerini döndürme gibi diğer yapay zeka içerik güvenliği mekanizmalarını uygulamanızı kesinlikle öneririz.

İçerik filtreleme sinyali: İçerik filtreleme hata sinyali gecikiyor. İlke ihlali varsa, kullanılabilir olduğu anda döndürülür ve akış durdurulur. İçerik filtreleme sinyali, ilkeyi ihlal eden içeriğin yaklaşık 1.000 karakterlik bir penceresinde garanti edilir.

Müşteri Telif Hakkı Taahhüdü: Geçmişe dönük olarak korumalı malzeme olarak işaretlenmiş içerik, Müşteri Telif Hakkı Taahhüdü kapsamına uygun olmayabilir.

Azure AI Studio'da Zaman Uyumsuz Filtreyi etkinleştirmek için İçerik filtresi nasıl yapılır kılavuzunu izleyerek yeni bir içerik filtreleme yapılandırması oluşturun ve Akış bölümünde Zaman Uyumsuz Filtre'yi seçin.

İçerik filtreleme modlarının karşılaştırması

Ek açıklamalar ve örnek yanıtlar

Ek açıklama iletisi iste

Bu, varsayılan ek açıklamalarla aynıdır.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Tamamlanma belirteci iletisi

Tamamlanma iletileri hemen iletilir. İlk önce denetim yapılmaz ve başlangıçta ek açıklama sağlanmadı.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Ek açıklama iletisi

Metin alanı her zaman boş bir dize olur ve yeni belirteç olmadığını gösterir. Ek açıklamalar yalnızca önceden gönderilmiş belirteçlerle ilgili olacaktır. Aynı belirteçlere başvuran birden çok ek açıklama iletisi olabilir.

"start_offset" ve "end_offset" ek açıklamanın hangi metne uygun olduğunu işaretlemek için metindeki (istemin başında 0 ile) düşük ayrıntı uzaklıklarıdır.

"check_offset" , tam olarak ne kadar metnin yönetildiğini temsil eder. Bu, gelecekteki ek açıklamaların değerlerine "end_offset" özel bir alt sınırdır. Azalan bir şey değil.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Örnek yanıt akışı (filtreleri geçirir)

Zaman Uyumsuz Filtre kullanılarak gerçek bir sohbet tamamlama yanıtı aşağıdadır. İstem ek açıklamalarının değiştirilmediğine, tamamlama belirteçlerinin ek açıklama olmadan gönderildiğine ve yeni ek açıklama iletilerinin belirteçsiz gönderildiğine, bunun yerine belirli içerik filtresi uzaklıklarıyla ilişkilendirildiğine dikkat edin.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Örnek yanıt akışı (filtreler tarafından engellendi)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

En iyi yöntemler

Uygulama tasarımınızın bir parçası olarak, olası zararları en aza indirirken uygulamanızla olumlu bir deneyim sunmak için aşağıdaki en iyi yöntemleri göz önünde bulundurun:

• Kullanıcılarınızın filtrelenmiş kategori ve önem düzeyinde sınıflandırılmış içerik içeren istemler gönderdiği veya uygulamanızı başka bir şekilde kötüye kullandığı senaryoları nasıl işlemek istediğinize karar verin.
• Bir tamamlamanın filtrelenip filtrelenmediğini görmek için finish_reason ögesini denetleyin.
• content_filter_result içinde hata nesnesi olup olmadığını denetleyin (içerik filtrelerinin çalışmadığını gösterir).
• Korumalı malzeme kodu modelini açıklama modunda kullanıyorsanız, kodu uygulamanızda görüntülerken alıntı URL'sini görüntüleyin.

Sonraki adımlar

• Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.
• Bu form aracılığıyla değiştirilmiş içerik filtreleri için uygulayın.
• Azure OpenAI içerik filtreleme, Azure AI İçerik Güvenliği tarafından desteklenir.
• Uygulamanızla ilişkili riskleri anlama ve azaltma hakkında daha fazla bilgi edinin: Azure OpenAI modelleri için sorumlu yapay zeka uygulamalarına genel bakış.
• verilerin içerik filtreleme ve kötüye kullanım izleme ile bağlantılı olarak nasıl işlendiği hakkında daha fazla bilgi edinin: Azure OpenAI Hizmeti için veriler, gizlilik ve güvenlik.