Generare metriche per l'utilizzo dei token Azure OpenAI

  • Articolo

SI APPLICA A: Tutti i livelli di Gestione API

I azure-openai-emit-token-metric criteri inviano metriche personalizzate ad Application Insights sull'utilizzo di token del modello linguistico di grandi dimensioni tramite le API del servizio OpenAI di Azure. Le metriche del numero di token includono: Token totali, Token di richiesta e Token di completamento.

Nota

Impostare gli elementi e gli elementi figlio del criterio nell'ordine specificato nell'istruzione del criterio. Altre informazioni su come impostare o modificare i criteri di Gestione API.

Modelli del Servizio OpenAI di Azure supportati

Il criterio viene usato usati con le API aggiunte a Gestione API dal Servizio OpenAI di Azure dei tipi seguenti:

Tipo di API Modelli supportati
Completamento della chat gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporamenti text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Per maggiori informazioni, vedere Modelli di servizio OpenAI di Azure..

Limiti per le metriche personalizzate

Monitoraggio di Azure impone limiti di utilizzo per le metriche personalizzate che possono influire sulla capacità di emettere metriche da Gestione API. Ad esempio, Monitoraggio di Azure imposta attualmente un limite di 10 chiavi di dimensione per metrica e un limite di 50.000 serie temporali attive totali per area in una sottoscrizione (in un periodo di 12 ore).

Questi limiti hanno le implicazioni seguenti per la configurazione di metriche personalizzate in un criterio di Gestione API, emit-metric ad esempio o azure-openai-emit-token-metric:

  • È possibile configurare un massimo di 10 dimensioni personalizzate per criterio .

  • Il numero di serie temporali attive generate dal criterio entro un periodo di 12 ore è il prodotto del numero di valori univoci di ogni dimensione configurata durante quel periodo. Ad esempio, se nel criterio sono state configurate tre dimensioni personalizzate e ogni dimensione ha 10 valori possibili all'interno del periodo, il criterio contribuirà con 1.000 (10 x 10 x 10) serie temporali attive.

  • Se si configura il criterio in più istanze di Gestione API che si trovano nella stessa area di una sottoscrizione, tutte le istanze possono contribuire al limite di serie temporali attive a livello di area.

Altre informazioni sulle limitazioni e sulle considerazioni sulla progettazione per le metriche personalizzate in Monitoraggio di Azure.

Prerequisiti

Istruzione del criterio

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributi

Attributo Descrizione Richiesto Valore predefinito
namespace Stringa . Spazio dei nomi della metrica. Le espressioni di criteri non sono consentite. No Gestione API

Elementi

Elemento Descrizione Richiesto
dimension Aggiungere uno o più di questi elementi per ogni dimensione inclusa nella metrica. Sì

attributi dimensione

Attributo Descrizione Richiesto Valore predefinito
name Una stringa o espressione di criteri. Nome della dimensione. Sì N/D
value Una stringa o espressione di criteri. Valore della dimensione. Può essere omesso solo se name corrisponde a una delle dimensioni predefinite. In tal caso, il valore viene fornito in base al nome della dimensione. No N/D

Nomi di dimensione predefiniti che possono essere usati senza valore

  • ID API
  • ID operazione
  • ID prodotto
  • ID utente
  • ID sottoscrizione
  • Ufficio
  • ID gateway

Utilizzo

Note sull'utilizzo

  • Questi criteri possono essere usato più volte per ogni definizione di criteri.
  • È possibile configurare al massimo 10 dimensioni personalizzate per questo criterio.
  • Questi criteri possono essere configurato facoltativamente quando si aggiunge un'API dal Servizio Azure OpenAI usando il portale.
  • Se disponibili, i valori nella sezione relativa all'utilizzo della risposta dall'API del Servizio OpenAI di Azure vengono usati per determinare le metriche dei token.
  • Certi endpoint di OpenAI di Azure supportano il flusso di risposte. Quando stream è impostato su true nella richiesta API per abilitare lo streaming, vengono stimate le metriche dei token.

Esempio

L'esempio seguente invia le metriche del conteggio dei token OpenAI di Azure ad Application Insights insieme all'ID API come dimensione personalizzata.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenuto correlato

Per ulteriori informazioni sull'utilizzo dei criteri, vedere: