Generare metriche per l'utilizzo di token del modello linguistico di grandi dimensioni

  • Articolo

SI APPLICA A: Tutti i livelli di Gestione API

I llm-emit-token-metric criteri inviano metriche personalizzate ad Application Insights sull'utilizzo di token LLM (Large Language Model) tramite LE API LLM. Le metriche del numero di token includono: Token totali, Token di richiesta e Token di completamento.

Nota

Attualmente, questi criteri sono in anteprima.

Nota

Impostare gli elementi e gli elementi figlio del criterio nell'ordine specificato nell'istruzione del criterio. Altre informazioni su come impostare o modificare i criteri di API Management.

Modelli supportati

Usare i criteri con le API LLM aggiunte a Gestione API di Azure disponibili tramite l'API di inferenza del modello di intelligenza artificiale di Azure.

Limiti per le metriche personalizzate

Monitoraggio di Azure impone limiti di utilizzo per le metriche personalizzate che possono influire sulla capacità di emettere metriche da Gestione API. Ad esempio, Monitoraggio di Azure imposta attualmente un limite di 10 chiavi di dimensione per metrica e un limite di 50.000 serie temporali attive totali per area in una sottoscrizione (in un periodo di 12 ore).

Questi limiti hanno le implicazioni seguenti per la configurazione di metriche personalizzate in un criterio di Gestione API, emit-metric ad esempio o azure-openai-emit-token-metric:

  • È possibile configurare un massimo di 10 dimensioni personalizzate per criterio .

  • Il numero di serie temporali attive generate dal criterio entro un periodo di 12 ore è il prodotto del numero di valori univoci di ogni dimensione configurata durante quel periodo. Ad esempio, se nel criterio sono state configurate tre dimensioni personalizzate e ogni dimensione ha 10 valori possibili all'interno del periodo, il criterio contribuirà con 1.000 (10 x 10 x 10) serie temporali attive.

  • Se si configura il criterio in più istanze di Gestione API che si trovano nella stessa area di una sottoscrizione, tutte le istanze possono contribuire al limite di serie temporali attive a livello di area.

Altre informazioni sulle limitazioni e sulle considerazioni sulla progettazione per le metriche personalizzate in Monitoraggio di Azure.

Prerequisiti

Istruzione del criterio

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributi

Attributo Descrizione Richiesto Valore predefinito
namespace Stringa . Spazio dei nomi della metrica. Le espressioni di criteri non sono consentite. No Gestione API

Elementi

Elemento Descrizione Richiesto
dimension Aggiungere uno o più di questi elementi per ogni dimensione inclusa nella metrica. Sì

attributi dimensione

Attributo Descrizione Richiesto Valore predefinito
name Una stringa o espressione di criteri. Nome della dimensione. Sì N/D
value Una stringa o espressione di criteri. Valore della dimensione. Può essere omesso solo se name corrisponde a una delle dimensioni predefinite. In tal caso, il valore viene fornito in base al nome della dimensione. No N/D

Nomi di dimensione predefiniti che possono essere usati senza valore

  • ID API
  • ID operazione
  • ID prodotto
  • ID utente
  • ID sottoscrizione
  • Ufficio
  • ID gateway

Utilizzo

Note sull'utilizzo

  • Questi criteri possono essere usato più volte per ogni definizione di criteri.
  • È possibile configurare al massimo 10 dimensioni personalizzate per questo criterio.
  • Se disponibili, i valori nella sezione relativa all'utilizzo della risposta dall'API LLM vengono usati per determinare le metriche dei token.
  • Certi endpoint LLM supportano il flusso di risposte. Quando stream è impostato su true nella richiesta API per abilitare lo streaming, vengono stimate le metriche dei token.

Esempio

L'esempio seguente invia le metriche del numero di token LLM ad Application Insights insieme all'ID API come dimensione personalizzata.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenuto correlato

Per ulteriori informazioni sull'utilizzo dei criteri, vedere: