Získání odpovědí rozhraní API Azure OpenAI uložených v mezipaměti

  • Článek

PLATÍ PRO: Všechny úrovně služby API Management

azure-openai-semantic-cache-lookup Pomocí zásad můžete provádět vyhledávání odpovědí na rozhraní API pro dokončování chatu Azure OpenAI a požadavky rozhraní API pro dokončování z nakonfigurované externí mezipaměti na základě vektorové blízkosti výzvy k předchozím požadavkům a zadané prahové hodnoty skóre podobnosti. Ukládání odpovědí do mezipaměti snižuje požadavky na šířku pásma a zpracování uložené na back-endovém rozhraní Api OpenAI a snižuje latenci vnímanou příjemci rozhraní API.

Poznámka:

Poznámka:

Nastavte prvky zásad a podřízené prvky v pořadí uvedeném v prohlášení o zásadách. Přečtěte si další informace o tom, jak nastavit nebo upravit zásady služby API Management.

Podporované modely služby Azure OpenAI

Zásady se používají s rozhraními API přidanými do služby API Management ze služby Azure OpenAI s následujícími typy:

Typ rozhraní API Podporované modely
Dokončení chatu gpt-3.5

gpt-4
Dokončení gpt-3.5-turbo-instruct
Vkládání text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Další informace najdete v tématu Modely Azure OpenAI Service.

Prohlášení o zásadách

<azure-openai-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

Atributy

Atribut Popis Požaduje se Výchozí
prahová hodnota skóre Prahová hodnota skóre podobnosti použitá k určení, jestli se má vrátit odpověď uložená v mezipaměti na výzvu. Hodnota je desítková hodnota mezi 0,0 a 1,0. Další informace. Yes –
embeddings-back-end-id ID back-endu pro volání rozhraní API pro vkládání OpenAI Yes –
embeddings-back-end-auth Ověřování používané pro back-end rozhraní API pro vkládání Azure OpenAI Ano. Musí být nastavena na system-assignedhodnotu . –
ignore-system-messages Logický. Pokud je nastavená hodnota true, odebere systémové zprávy z výzvy k dokončení chatu GPT před posouzením podobnosti mezipaměti. No false (nepravda)
max-message-count Pokud je zadáno, počet zbývajících dialogových zpráv, po kterých se přeskočí ukládání do mezipaměti. No –

Elementy

Název Popis Povinní účastníci
vary-by Vlastní výraz určený za běhu, jehož hodnoty se ukládají do mezipaměti. Pokud se přidá více vary-by prvků, hodnoty se zřetědí a vytvoří jedinečnou kombinaci. No

Využití

Poznámky k využití

  • Tuto zásadu je možné v oddílu zásad použít jenom jednou.

Příklady

Příklad s odpovídajícími zásadami azure-openai-smantic-cache-store

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Související obsah

Další informace o práci se zásadami najdete v tématech: