Получение кэшированных ответов запросов API Azure OpenAI

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

azure-openai-semantic-cache-lookup Используйте политику для поиска ответов на запросы API завершения чата Azure OpenAI и API завершения из настроенного внешнего кэша в зависимости от векторной близости запроса к предыдущим запросам и заданного порогового значения оценки сходства. Кэширование ответов снижает требования к пропускной способности и обработке, введенные серверной частью API OpenAI, и снижает задержку, воспринимаемую потребителями API.

Примечание.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели службы OpenAI Azure

Политика используется с API- интерфейсами, добавленными в Управление API из службы Azure OpenAI следующих типов:

Тип API Поддерживаемые модели
Завершение чата gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Внедрение text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Для получения дополнительной информации см. Модели Службы Azure OpenAI.

Правило политики

<azure-openai-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

Атрибуты

Атрибут Description Обязательное поле По умолчанию.
пороговое значение оценки Пороговое значение оценки сходства, используемое для определения того, следует ли возвращать кэшированный ответ в запрос. Значение равно десятичному значению от 0,0 до 1.0. Подробнее. Да Н/П
embeddings-backend-id Внутренний идентификатор для вызова API внедрения OpenAI. Да Н/П
embeddings-backend-auth Проверка подлинности, используемая для серверной части API Внедрения Azure OpenAI. Да. Должен иметь значениеsystem-assigned. Н/П
ignore-system-messages Логическое значение. Если задано значение true, удаляет системные сообщения из запроса завершения чата GPT перед оценкой сходства кэша. No false
max-message-count Если задано, количество оставшихся диалоговых сообщений, после которых кэширование пропускается. No Н/П

Элементы

Имя Описание Обязательное поле
vary-by Пользовательское выражение, определенное во время выполнения, кэширование значений которого секционирует. Если добавляются несколько vary-by элементов, значения объединяются для создания уникальной комбинации. No

Использование

Примечания об использовании

  • Эту политику можно использовать только один раз в разделе политики.

Примеры

Пример с соответствующей политикой azure-openai-semantic-cache-store

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.