Pianificare la gestione dei costi per il Servizio OpenAI di Azure
Questo articolo descrive come pianificare e gestire i costi per il servizio OpenAI di Azure. Prima di distribuire il servizio, usare il calcolatore prezzi di Azure per stimare i costi per Azure OpenAI. In seguito, durante la distribuzione delle risorse di Azure, esaminare i costi stimati. Dopo aver iniziato a usare le risorse Azure OpenAI, usare le funzionalità di Gestione dei costi per impostare i budget e monitorare i costi.
È inoltre possibile esaminare i costi previsti e identificare le tendenze di spesa per individuare le aree in cui si potrebbe agire. I costi per i servizi di Azure AI OpenAI sono solo una parte dei costi mensili inclusi nella fattura di Azure. Anche se questo articolo riguarda la pianificazione e la gestione dei costi per Azure OpenAI, vengono fatturati tutti i servizi e le risorse di Azure usati nella sottoscrizione di Azure, inclusi i servizi di terze parti.
Prerequisiti
L'analisi dei costi in Gestione dei costi supporta la maggior parte dei tipi di account di Azure, ma non tutti. Per visualizzare l'elenco completo dei tipi di account supportati, vedere Informazioni sui dati di Gestione costi. Per visualizzare i dati relativi ai costi è necessario disporre almeno dell'accesso in lettura per un account Azure. Per informazioni sull'assegnazione dell'accesso ai dati di Gestione costi di Azure, vedere Assegnare l'accesso ai dati.
Stimare i costi prima di usare Azure OpenAI
Usare il calcolatore prezzi di Azure per stimare i costi dell'uso di Azure OpenAI.
Informazioni sul modello di fatturazione completo di Azure OpenAI
Il servizio OpenAI di Azure viene eseguito nell'infrastruttura di Azure che accumula costi quando si distribuiscono nuove risorse. Potrebbero essere addebitati altri costi dell'infrastruttura. Le sezioni seguenti descrivono come vengono addebitati i costi per il servizio OpenAI di Azure.
Modelli serie base e codex
Per le serie di base di OpenAI di Azure e i modelli di serie Codex, vengono addebitati 1.000 token. I costi variano a seconda della serie di modelli scelti: Ada, Babbage, Curie, Davinci o Code-Cushman.
I modelli di Azure OpenAI riconoscono ed elaborano il testo suddividendolo in token. Per riferimento, ogni token consiste approssimativamente in quattro caratteri per il testo tipico in inglese.
I costi dei token si applicano sia all'input che all'output. Si supponga, ad esempio, di avere un esempio di codice JavaScript di 1.000 token che richiede a un modello di Azure OpenAI di eseguire la conversione in Python. Verranno addebitati circa 1.000 token per la richiesta di input iniziale inviata e 1.000 token per l'output ricevuto in risposta per un totale di 2.000 token.
In pratica, per questo tipo di chiamata di completamento, l'input/output del token non sarebbe perfettamente 1:1. La conversione da un linguaggio di programmazione a un altro potrebbe comportare un output più lungo o più breve a seconda di molti fattori. Uno di questi fattori è il valore assegnato al parametro max_tokens.
Serie di base e modelli di serie Codex ottimizzati
I costi dei modelli ottimizzati per OpenAI di Azure vengono addebitati in base a tre fattori:
- Ore di training
- Ore di hosting
- Inferenza per 1.000 token
È importante essere consapevoli del costo delle ore di hosting, perché dopo la distribuzione, un modello ottimizzato continua a comportare un costo orario a prescindere dal fatto che venga o meno usato. Monitorare attentamente i costi dei modelli ottimizzati.
Importante
Dopo la distribuzione di un modello personalizzato, se in qualsiasi momento la distribuzione rimane inattiva per più di quindici (15) giorni, la distribuzione verrà eliminata. La distribuzione di un modello personalizzato è inattiva se il modello è stato distribuito più di quindici (15) giorni prima e non sono stati effettuati completamenti o chiamate di completamento della chat per un periodo continuativo di 15 giorni.
L'eliminazione di una distribuzione inattiva non elimina o influisce sul modello personalizzato sottostante e il modello personalizzato può essere ridistribuito in qualsiasi momento.
Ogni modello personalizzato (ottimizzato) distribuito comporta un costo di hosting orario indipendentemente dal fatto che vengano effettuate chiamate di completamento o di completamento delle chat al modello. .
Altri costi che potrebbero maturare con il Servizio OpenAI di Azure
L'abilitazione di funzionalità come l'invio di dati ai log di Monitoraggio di Azure e l'invio di avvisi comporta costi aggiuntivi per tali servizi. Questi costi sono visibili sotto questi altri servizi e a livello di sottoscrizione, ma non sono visibili quando l'ambito è impostato solo sulla risorsa OpenAI di Azure.
Uso del pagamento anticipato di Azure con il servizio Azure OpenAI
È possibile pagare gli addebiti del servizio Azure OpenAI con il credito di pagamento anticipato di Azure. Tuttavia, non è possibile usare il credito del pagamento anticipato di Azure per pagare gli addebiti di prodotti e servizi di terze parti, inclusi quelli disponibili in Azure Marketplace.
Codice di risposta dell'errore HTTP e stato di fatturazione nel servizio OpenAI di Azure
Se il servizio esegue l'elaborazione, verrà addebitato anche se il codice di stato non riesce (non 200). Ad esempio, un errore con codice 400 a causa di un filtro di contenuto o di un limite di input o un errore con codice 408 a causa di un timeout.
Se il servizio non esegue l'elaborazione, non verrà addebitato alcun addebito. Ad esempio, un errore 401 dovuto all'autenticazione o un errore 429 dovuto al superamento del limite di velocità.
Monitorare i costi
Quando si usano le risorse di Azure con OpenAI di Azure, si incorre in costi. I costi unitari dell'utilizzo di risorse di Azure variano in base agli intervalli di tempo, come secondi, minuti, ore e giorni, o in base all'utilizzo per unità, come byte, megabyte e così via. Non appena si inizia a usare Azure OpenAI, vengono addebitati i costi ed è possibile visualizzarli in Analisi dei costi
Quando si usa l'analisi dei costi, i costi di Azure OpenAI vengono visualizzati in grafici e tabelle per intervalli di tempo diversi. Ad esempio per giorno, mese corrente e precedente e anno. È possibile visualizzare i costi anche in base ai budget e ai costi previsti. Passare a visualizzazioni con intervalli di tempo più lunghi consente di identificare le tendenze di spesa. e individuare i servizi che hanno generato una spesa eccessiva. Se sono stati creati budget, è possibile vedere facilmente anche in punti in cui vengono superati.
Per visualizzare i costi di Azure OpenAI nell'analisi dei costi:
- Accedere al portale di Azure.
- Selezionare una delle risorse OpenAI di Azure.
- In Gestione risorse selezionare Analisi dei costi
- Per impostazione predefinita, l'analisi dei costi ha come ambito la singola risorsa Azure OpenAI.
Per informazioni sulla scomposizione degli addebiti che formano tale costo, può essere utile modificare Raggruppa per in Contatore e impostare il tipo di grafico su A linee. È ora possibile notare che per questa particolare risorsa l'origine dei costi proviene da tre diverse serie di modelli con token Text-Davinci che rappresentano la maggior parte dei costi.
È importante comprendere l'ambito quando si valutano i costi associati ad Azure OpenAI. Se le risorse fanno parte dello stesso gruppo di risorse, è possibile definire l'ambito analisi dei costi a tale livello per comprendere l'effetto sui costi. Se le risorse vengono distribuite tra più gruppi di risorse, è possibile definire l'ambito a livello di sottoscrizione.
Tuttavia, quando l'ambito è definito a un livello superiore, spesso è necessario aggiungere altri filtri per circoscrivere l'utilizzo di Azure OpenAI. Quando l'ambito è definito a livello di sottoscrizione, vengono visualizzate molte altre risorse che potrebbero non interessare nel contesto della gestione dei costi di Azure OpenAI. Quando si definisce l'ambito a livello di sottoscrizione, è consigliabile passare allo strumento di analisi dei costi completo nel servizio Gestione dei costi.
Ecco un esempio di come usare lo strumento di analisi dei costi per visualizzare i costi sostenuti per una sottoscrizione o un gruppo di risorse:
- Cercare Gestione dei costi nella barra di ricerca di Azure in alto per passare all'esperienza completa del servizio, che include altre opzioni, ad esempio la creazione di budget.
- Se necessario, selezionare modifica se Ambito: non punta al gruppo di risorse o alla sottoscrizione da analizzare.
- A sinistra selezionare Report e analisi>Analisi dei costi.
- Nella scheda Tutte le visualizzazioni selezionare Costi accumulati.
Il dashboard di analisi dei costi mostra i costi accumulati analizzati in base a quanto specificato per Ambito.
Se si tenta di aggiungere un filtro in base al servizio, si noterà che non è possibile trovare Azure OpenAI nell'elenco. Questa situazione si verifica perché Azure OpenAI condivide un subset di servizi di Azure AI in cui il filtro a livello di servizio è Servizi cognitivi. Per visualizzare tutte le risorse Azure OpenAI in una sottoscrizione senza altri tipi di risorse dei servizi di Azure AI, limitare l'ambito a Livello di servizio: Azure OpenAI:
Creare i budget
È possibile creare budget per gestire i costi e creare avvisi per informare gli stakeholder delle anomalie di spesa e dei rischi di spesa in eccesso. Gli avvisi si basano sul confronto tra la spesa e le soglie definite budget e costi. I budget e gli avvisi vengono creati per sottoscrizioni e gruppi di risorse di Azure. Sono utili come parte di una strategia complessiva di monitoraggio dei costi.
È possibile creare budget con filtri per risorse o servizi specifici in Azure se si vuole una maggiore granularità nel monitoraggio. I filtri consentono di evitare la creazione accidentale di nuove risorse che comportano costi aggiuntivi. Per altre informazioni sulle opzioni di filtro disponibili quando si crea un budget, vedere Opzioni di raggruppamento e filtro.
Importante
Anche se OpenAI offre un'opzione per limiti rigidi che impediscono di superare il budget, Azure OpenAI attualmente non fornisce questa funzionalità. È possibile avviare l'automazione dai gruppi di azioni come parte delle notifiche di budget per eseguire azioni più avanzate, ma ciò richiede un ulteriore sviluppo personalizzato da parte dell'utente.
Esportare i dati relativi ai costi
Si possono inoltre esportare i dati sui costi in un account di archiviazione, una scelta utile quando occorre rivolgersi ad altri utenti per eseguire ulteriori analisi dei dati per i costi. Ad esempio, un team finanziario può analizzare i dati usando Excel o Power BI. È possibile esportare i costi in base a una pianificazione giornaliera, settimanale o mensile e impostare un intervallo di date personalizzato. L'esportazione dei dati sui costi è il modo consigliato per recuperare i set di dati dei costi.
Passaggi successivi
- Informazioni su come ottimizzare gli investimenti per il cloud con Gestione costi di Azure.
- Altre informazioni sulla gestione dei costi con l'analisi dei costi.
- Informazioni su come evitare costi imprevisti.
- Seguire il corso di apprendimento guidato sulla Gestione dei costi.