Generare metriche per l'utilizzo dei token Azure OpenAI

  • Articolo

SI APPLICA A: Tutti i livelli di Gestione API

I criteri azure-openai-emit-token-metric inviano metriche ad Application Insights sul consumo dei token del modello linguistico di grandi dimensioni tramite le API del Servizio Azure OpenAI. Le metriche del numero di token includono: Token totali, Token di richiesta e Token di completamento.

Nota

Impostare gli elementi e gli elementi figlio del criterio nell'ordine specificato nell'istruzione del criterio. Altre informazioni su come impostare o modificare i criteri di Gestione API.

Modelli del Servizio OpenAI di Azure supportati

Il criterio viene usato usati con le API aggiunte a Gestione API dal Servizio OpenAI di Azure dei tipi seguenti:

Tipo di API Modelli supportati
Completamento della chat gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporamenti text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Per maggiori informazioni, vedere Modelli di servizio OpenAI di Azure..

Prerequisiti

Istruzione del criterio

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributi

Attributo Descrizione Richiesto Valore predefinito
namespace Stringa . Spazio dei nomi della metrica. Le espressioni di criteri non sono consentite. No Gestione API
value Valore della metrica espressa come double. Le espressioni di criteri sono consentite. No 1

Elementi

Elemento Descrizione Richiesto
dimension Aggiungere uno o più di questi elementi per ogni dimensione inclusa nella metrica. Sì

attributi dimensione

Attributo Descrizione Richiesto Valore predefinito
name Una stringa o espressione di criteri. Nome della dimensione. Sì N/D
value Una stringa o espressione di criteri. Valore della dimensione. Può essere omesso solo se name corrisponde a una delle dimensioni predefinite. In tal caso, il valore viene fornito in base al nome della dimensione. No N/D

Nomi di dimensione predefiniti che possono essere usati senza valore

  • ID API
  • ID operazione
  • ID prodotto
  • ID utente
  • ID sottoscrizione
  • Ufficio
  • ID gateway

Utilizzo

Note sull'utilizzo

  • Questi criteri possono essere usato più volte per ogni definizione di criteri.
  • È possibile configurare al massimo 10 dimensioni personalizzate per questo criterio.
  • Questi criteri possono essere configurato facoltativamente quando si aggiunge un'API dal Servizio Azure OpenAI usando il portale.
  • Se disponibili, i valori nella sezione relativa all'utilizzo della risposta dall'API del Servizio OpenAI di Azure vengono usati per determinare le metriche dei token.
  • Certi endpoint di OpenAI di Azure supportano il flusso di risposte. Quando stream è impostato su true nella richiesta API per abilitare lo streaming, vengono stimate le metriche dei token.

Esempio

L'esempio seguente invia le metriche del numero di token Azure OpenAI ad Application Insights insieme a ID utente, IP client e ID API come dimensioni.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenuto correlato

Per ulteriori informazioni sull'utilizzo dei criteri, vedere: