Cache de respostas às solicitações da API do OpenAI do Azure

  • Artigo

APLICA-SE A: todas as camadas do Gerenciamento de API

A política de azure-openai-semantic-cache-store armazena em cache as respostas às solicitações da API de conclusão do Chat do OpenAI do Azure e da API de conclusão em um cache externo configurado. O armazenamento em cache das respostas reduz os requisitos de largura de banda e processamento impostos à API do OpenAI do Azure de back-end e diminui a latência percebida pelos consumidores da API.

Observação

Observação

Defina os elementos da política e os elementos filho na ordem fornecida na declaração da política. Saiba mais sobre como definir e editar as políticas de Gerenciamento de API.

Declaração de política

<azure-openai-semantic-cache-store duration="seconds"/>

Atributos

Atributo Descrição Obrigatório Padrão
duration Vida útil das entradas armazenadas em cache, especificada em segundos. Expressões de política são permitidas. Sim N/D

Uso

Observações de uso

  • Essa política só pode ser usada uma vez em uma seção de política.
  • Se a pesquisa de cache falhar, a chamada à API que usa a operação relacionada ao cache não gerará um erro e a operação de cache será concluída com sucesso.

Exemplos

Exemplo com a política correspondente azure-openai-semantic-cache-lookup

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Conteúdo relacionado

Para obter mais informações sobre como trabalhar com políticas, consulte: