Кэширование ответов на запросы API большой языковой модели

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика llm-semantic-cache-store кэширует ответы на API завершения чата и запросы API завершения в настроенный внешний кэш. Кэширование ответов снижает требования к пропускной способности и обработке, введенные серверной частью API OpenAI, и снижает задержку, воспринимаемую потребителями API.

Примечание.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели

Используйте политику с API LLM, добавленными в Azure Управление API, которые доступны через API вывода модели ИИ Azure.

Правило политики

<llm-semantic-cache-store duration="seconds"/>

Атрибуты

Атрибут Description Обязательное поле По умолчанию.
duration Срок жизни кэшированных записей (в секундах). Допустимы выражения политики. Да Н/П

Использование

Примечания об использовании

  • Эту политику можно использовать только один раз в разделе политики.
  • Если поиск кэша завершается сбоем, вызов API, использующий операцию, связанную с кэшем, не вызывает ошибку, и операция кэша успешно завершается.

Примеры

Пример с соответствующей политикой поиска llm-semantic-cache-lookup

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.