Prospettiva di Azure Well-Architected Framework nel servizio Azure OpenAI

Resilienza: scegliere l'opzione di distribuzione appropriata della velocità effettiva con pagamento in base al consumo o con provisioning in base al caso d'uso. Poiché la capacità riservata aumenta la resilienza, scegliere la velocità effettiva con provisioning per le soluzioni di produzione. L'approccio con pagamento in base al consumo è ideale per ambienti di sviluppo/test.

Ridondanza: aggiungere i gateway appropriati davanti alle distribuzioni openAI di Azure. Il gateway deve avere la possibilità di resistere a errori temporanei, ad esempio la limitazione delle richieste e l'indirizzamento a più istanze di OpenAI di Azure. Prendere in considerazione il routing alle istanze in aree diverse per creare ridondanza a livello di area.

Resilienza: se si usa la velocità effettiva con provisioning, è consigliabile distribuire anche un'istanza con pagamento in base al consumo per gestire l'overflow. È possibile instradare le chiamate all'istanza con pagamento in base al consumo tramite il gateway quando il modello di velocità effettiva con provisioning è limitato.

Resilienza: monitorare l'utilizzo della capacità per assicurarsi di non superare i limiti di velocità effettiva. Esaminare regolarmente l'utilizzo della capacità per ottenere previsioni più accurate e prevenire interruzioni del servizio a causa di vincoli di capacità.

Resilienza: seguire le indicazioni per ottimizzare i file di dati di grandi dimensioni e importare i dati da un archivio BLOB di Azure. I file di grandi dimensioni, 100 MB o superiori, possono diventare instabili quando vengono caricati tramite moduli multipart perché le richieste sono atomiche e non possono essere ritentate o riprese.

Ripristino: definire una strategia di ripristino che includa un piano di ripristino per i modelli ottimizzati e per i dati di training caricati in Azure OpenAI. Poiché Azure OpenAI non dispone di failover automatico, è necessario progettare una strategia che includa l'intero servizio e tutte le dipendenze, ad esempio l'archiviazione che contiene i dati di training.

Proteggere la riservatezza: Se si caricano dati di training in Azure OpenAI, usare chiavi gestite dal cliente per la crittografia dei dati, implementare una strategia a rotazione delle chiavi ed eliminare i dati di training, convalida e i risultati del training. Se si usa un archivio dati esterno per i dati di training, seguire le procedure consigliate per la sicurezza di tale archivio. Ad esempio, per Archiviazione BLOB di Azure, usare chiavi gestite dal cliente per la crittografia e implementare una strategia di rotazione delle chiavi. Usare l'accesso basato sull’identità gestita, implementare un perimetro di rete usando endpoint privati e abilitare i log di accesso.

Proteggere la riservatezza: Proteggersi dall'esfiltrazione di dati limitando gli URL in uscita a cui le risorse OpenAI di Azure possono accedere.

Proteggere l'integrità: Implementare i controlli di accesso per autenticare e autorizzare l'accesso degli utenti al sistema usando il principio dei privilegi minimi e impiegando singole identità anziché chiavi.

Proteggere l'integrità: Implementare il rilevamento del rischio di jailbreak per proteggere le distribuzioni del modello linguistico da attacchi prompt injection.

Proteggere la disponibilità: Usare i controlli di sicurezza per evitare attacchi che potrebbero esaurire le quote di utilizzo del modello. È possibile configurare i controlli per isolare il servizio su una rete. Se il servizio deve essere accessibile da Internet, valutare l'uso di un gateway per bloccare l'uso improprio sospetto tramite il routing o la limitazione.

Gestione costi: sviluppare il modello di costo, considerando le dimensioni delle richieste. Comprendere le dimensioni di input e risposta delle richieste e il modo in cui il testo viene convertito in token consente di creare un modello di costo praticabile.

Ottimizzazione dell'utilizzo: iniziare con i prezzi con pagamento in base al consumo per Azure OpenAI fino a quando l'utilizzo dei token non è prevedibile.

Ottimizzazione della velocità: quando l'utilizzo dei token è sufficientemente elevato e prevedibile per un periodo di tempo, usare il modello di determinazione prezzi della velocità effettiva con provisioning per ottimizzare meglio i costi.

Ottimizzazione dell'utilizzo: prendere in considerazione i prezzi e le funzionalità del modello quando si scelgono i modelli. Iniziare con modelli meno costosi per attività meno complesse, ad esempio la generazione di testo o le attività di completamento. Per attività più complesse, ad esempio la traduzione della lingua o la comprensione del contenuto, è consigliabile usare modelli più avanzati. Prendere in considerazione diverse funzionalità del modello e limiti di utilizzo massimo dei token quando si sceglie un modello appropriato per casi d'uso come incorporamento di testo, generazione di immagini o scenari di trascrizione. Selezionando attentamente il modello più adatto alle proprie esigenze, è possibile ottimizzare i costi mantenendo al tempo stesso le prestazioni desiderate dell'applicazione.

Ottimizzazione dell'utilizzo: usare i vincoli di limitazione dei token offerti dalle chiamate API, ad esempio max_tokens e n, che indicano il numero di completamenti da generare.

Ottimizzazione dell'utilizzo: ottimizzare i punti di interruzione dei prezzi di Azure OpenAI, ad esempio l'ottimizzazione e i punti di interruzione del modello, ad esempio la generazione di immagini. Poiché l'ottimizzazione viene addebitata all'ora, usare il tempo disponibile per ogni ora per migliorare i risultati di ottimizzazione evitando di passare al periodo di fatturazione successivo. Analogamente, il costo per la generazione di 100 immagini corrisponde al costo per 1 immagine. Massimizzare i punti di interruzione dei prezzi per il vantaggio.

Ottimizzazione dell'utilizzo: rimuovere i modelli ottimizzati non usati quando non vengono più utilizzati per evitare di incorrere in costi di hosting continui.

Regolare l'utilizzo: ottimizzare la lunghezza di input e risposta del prompt. Le richieste più lunghe aumentano i costi usando più token. Tuttavia, i prompt che mancano un contesto sufficiente non aiutano i modelli a produrre buoni risultati. Creare richieste concise che forniscono contesto sufficiente per il modello per generare una risposta utile. Assicurarsi anche di ottimizzare il limite della lunghezza della risposta.

Efficienza dei costi: richieste batch laddove possibile per ridurre al minimo il sovraccarico per chiamata, che può ridurre i costi complessivi. Assicurarsi di ottimizzare le dimensioni del batch.

Efficienza dei costi: poiché i modelli hanno costi di ottimizzazione diversi, prendere in considerazione questi costi se la soluzione richiede l'ottimizzazione.

Monitorare e ottimizzare: configurare un sistema di rilevamento dei costi che monitora l'utilizzo del modello. Usare queste informazioni per informare le scelte del modello e le dimensioni delle richieste.

Impostazioni cultura di Azure DevOps: assicurarsi che la distribuzione delle istanze OpenAI di Azure nei vari ambienti, ad esempio sviluppo, test e produzione. Assicurarsi di disporre di ambienti per supportare l'apprendimento continuo e la sperimentazione durante il ciclo di sviluppo.

Osservabilità: monitorare, aggregare e visualizzare le metriche appropriate.

Osservabilità: se la diagnostica OpenAI di Azure non è sufficiente per le proprie esigenze, prendere in considerazione l'uso di un gateway come Azure Gestione API davanti ad Azure OpenAI per registrare le richieste in ingresso e le risposte in uscita, se consentite. Queste informazioni consentono di comprendere l'efficacia del modello per le richieste in ingresso.

Distribuire con sicurezza: usare l'infrastruttura come codice (IaC) per distribuire Azure OpenAI, distribuzioni di modelli e altre infrastrutture necessarie per ottimizzare i modelli.

Eseguire la distribuzione con fiducia: seguire le procedure LLMOps (Large Language Model Operations) per rendere operativa la gestione delle VM OpenAI di Azure, tra cui la distribuzione, l'ottimizzazione e la progettazione dei prompt.

Automatizzare l'efficienza: se si usa l'autenticazione basata su chiave, implementare una strategia di rotazione delle chiavi automatizzata.

Capacità: stimare le esigenze di elasticità dei consumatori. Identificare il traffico ad alta priorità che richiede risposte sincrone e traffico con priorità bassa che può essere asincrono e in batch.

Capacità: requisiti di consumo dei token benchmark in base alle richieste stimate dei consumer. Prendere in considerazione l'uso dello strumento di benchmarking OpenAI di Azure per convalidare la velocità effettiva se si usano distribuzioni PTU (Provisioned Throughput Unit).

Capacità: usare la velocità effettiva con provisioning per i carichi di lavoro di produzione. La velocità effettiva con provisioning offre memoria e calcolo dedicati, capacità riservata e latenza massima coerente per la versione del modello specificata. L'offerta con pagamento in base al consumo può risentire di problemi di prossimità rumorosi, ad esempio una maggiore latenza e una limitazione nelle aree in uso elevato. Inoltre, l'approccio con pagamento in base al consumo non offre capacità garantita.

Capacità: aggiungere i gateway appropriati davanti alle distribuzioni OpenAI di Azure. Assicurarsi che il gateway possa instradarsi a più istanze nella stessa area o in aree diverse.

Capacità: allocare PTU per coprire l'utilizzo stimato e integrare queste PTU con una distribuzione TPM per gestire l'elasticità al di sopra di tale limite. Questo approccio combina la velocità effettiva di base con la velocità effettiva elastica per garantire l'efficienza. Analogamente ad altre considerazioni, questo approccio richiede un'implementazione del gateway personalizzata per instradare le richieste alla distribuzione TPM quando vengono raggiunti i limiti PTU.

Capacità: inviare richieste ad alta priorità in modo sincrono. Accoda le richieste con priorità bassa e le invia in batch quando la domanda è bassa.

Capacità: selezionare un modello allineato ai requisiti di prestazioni, considerando il compromesso tra la complessità della velocità e dell'output. Le prestazioni del modello possono variare in modo significativo in base al tipo di modello scelto. I modelli progettati per offrire tempi di risposta più rapidi, che possono essere utili per le applicazioni che richiedono interazioni rapide. Al contrario, i modelli più sofisticati potrebbero offrire output di qualità superiore a scapito di un maggiore tempo di risposta.

Ottenere prestazioni: per applicazioni come chatbot o interfacce conversazionali, è consigliabile implementare lo streaming. Lo streaming può migliorare le prestazioni percepite delle applicazioni OpenAI di Azure offrendo risposte agli utenti in modo incrementale, migliorando l'esperienza utente.

Ottenere prestazioni: determinare quando usare l'ottimizzazione fine prima di eseguire il commit per l'ottimizzazione. Anche se esistono casi d'uso validi per l'ottimizzazione, ad esempio quando le informazioni necessarie per orientare il modello sono troppo lunghe o complesse da adattare al prompt, assicurarsi che gli approcci di generazione avanzata e recupero della generazione aumentata non funzionino o siano incredibilmente più costosi.

Ottenere prestazioni: prendere in considerazione l'uso di distribuzioni di modelli dedicate per gruppo di consumer per fornire l'isolamento dell'utilizzo per modello che può contribuire a evitare vicini rumorosi tra i gruppi di consumer.