Zwischenspeichern von Antworten auf API-Anforderungen von Azure OpenAI
GILT FÜR: Alle API Management-Ebenen
Mit der azure-openai-semantic-cache-store-Richtlinie werden Antworten auf Anforderungen der Chat-Vervollständigungs-API und der Vervollständigungs-API von Azure OpenAI in einem konfigurierten externen Cache zwischengespeichert. Das Zwischenspeichern von Antworten senkt die Bandbreitennutzung und die Prozessoranforderungen auf der Back-End-API von Azure OpenAI und verringert die Wartezeit für API-Consumer.
Hinweis
- Diese Richtlinie muss über eine entsprechende Richtlinie für Zwischengespeicherte Antworten auf API-Anforderungen von Azure OpenAI abrufen verfügen.
- Voraussetzungen und Schritte zum Aktivieren der semantischen Zwischenspeicherung finden Sie unter Aktivieren der semantischen Zwischenspeicherung für Azure OpenAI-APIs in Azure API Management.
- Derzeit befindet sich diese Richtlinie in der Vorschau.
Hinweis
Legen Sie die Elemente und untergeordneten Elemente einer Richtlinie in der Reihenfolge fest, die in der Richtlinienanweisung angegeben ist. Erfahren Sie mehr darüber, wie Sie API Management-Richtlinien festlegen oder bearbeiten.
Unterstützte Azure OpenAI Service-Modelle
Die Richtlinie wird mit APIs der folgenden Typen verwendet, die dem API Management aus dem Azure OpenAI Service hinzugefügt werden:
| API-Typ | Unterstützte Modelle |
|---|---|
| Chatvervollständigung | gpt-3.5 gpt-4 |
| Completion | gpt-3.5-turbo-instruct |
| Einbettungen | text-embedding-3-large text-embedding-3-small text-embedding-ada-002 |
Weitere Informationen finden Sie unter Azure OpenAI Service-Modelle.
Richtlinienanweisung
<azure-openai-semantic-cache-store duration="seconds"/>
Attribute
| Attribut | BESCHREIBUNG | Erforderlich | Standard |
|---|---|---|---|
| duration | Lebensdauer der zwischengespeicherten Einträge, angegeben in Sekunden. Richtlinienausdrücke sind zulässig. | Ja | – |
Verwendung
- Richtlinienabschnitte: outbound
- Richtlinienbereiche: global, product, API, operation
- Gateways: V2
Hinweise zur Verwendung
- Diese Richtlinie kann nur einmal in einem Richtlinienabschnitt verwendet werden.
- Wenn das Cache-Lookup fehlschlägt, löst der API-Aufruf, der den cachebezogenen Vorgang verwendet, keinen Fehler aus, und der Cachevorgang wird erfolgreich abgeschlossen.
Beispiele
Beispiel mit entsprechender Richtlinie „azure-openai-semantic-cache-lookup“
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
Verwandte Richtlinien
Zugehöriger Inhalt
Weitere Informationen zum Arbeiten mit Richtlinien finden Sie hier:
- Tutorial: Transformieren und Schützen Ihrer API
- Unter Richtlinien für die API-Verwaltung finden Sie eine komplette Liste der Richtlinienanweisungen und der zugehörigen Einstellungen.
- Richtlinienausdrücke
- Festlegen oder Bearbeiten von Richtlinien
- Wiederverwenden von Richtlinienkonfigurationen
- Repository für Richtliniencodeausschnitte
- Erstellen von Richtlinien mit Microsoft Copilot in Azure