Informazioni su come distribuire modelli OpenAI di Azure con Studio AI della piattaforma Azure

  • Articolo

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente disponibili in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Questo articolo illustra come creare distribuzioni di modelli OpenAI di Azure in Studio AI della piattaforma Azure.

Il servizio Azure OpenAI offre un set diversificato di modelli con funzionalità e punti di prezzo diversi. Quando si distribuiscono modelli OpenAI di Azure in Studio AI della piattaforma Azure, è possibile usare le distribuzioni usando il prompt flow o un altro strumento. La disponibilità del modello varia in base all'area geografica. Per altre informazioni sui dettagli di ogni modello, vedere modelli del servizio Azure OpenAI.

Per modificare e interagire con un modello OpenAI di Azure nel playground dello studio AI della piattaforma Azure, è prima necessario distribuire un modello di Azure OpenAI di base nel progetto. Quando il modello è distribuito e disponibile nel progetto, è possibile usare l'endpoint dell'API REST così com'è o personalizzarlo ulteriormente con i propri dati e altri componenti (incorporamenti, indici e così via).

Distribuire un modello OpenAI di Azure dal catalogo dei modelli

Seguire la procedura seguente per distribuire un modello OpenAI di Azure, ad esempio gpt-4 in un endpoint in tempo reale dal catalogo dei modelli di Studio AI:

  1. Accedere a Studio AI e passare alla home page.

  2. Selezionare Catalogo modelli nella barra laterale sinistra.

  3. Nel filtro Raccolte selezionare OpenAI di Azure.

    Screenshot che mostra come filtrare in base ai modelli OpenAI di Azure nel catalogo.

  4. Selezionare un modello, ad gpt-4 esempio dalla raccolta OpenAI di Azure.

  5. Selezionare Distribuisci per aprire la finestra di distribuzione.

  6. Selezionare l'hub in cui si vuole distribuire il modello. Se non è ancora stato creato, è possibile crearne uno.

  7. Specificare il nome della distribuzione e modificare le altre impostazioni predefinite a seconda dei requisiti.

  8. Seleziona Distribuisci.

  9. Si arriva alla pagina dei dettagli della distribuzione. Selezionare Apri in playground.

  10. Selezionare Visualizza codice per ottenere esempi di codice che possono essere usati per utilizzare il modello distribuito nell'applicazione.

Distribuire un modello OpenAI di Azure dal progetto

In alternativa, è possibile avviare la distribuzione partendo dal progetto in Studio AI.

  1. Passare al progetto in Studio AI.
  2. Selezionare Componenti>Distribuzioni.
  3. Selezionare + Distribuisci modello.
  4. Nel filtro Raccolte selezionare OpenAI di Azure.
  5. Selezionare un modello, ad gpt-4 esempio dalla raccolta OpenAI di Azure.
  6. Selezionare Conferma per aprire la finestra di distribuzione.
  7. Specificare il nome della distribuzione e modificare le altre impostazioni predefinite a seconda dei requisiti.
  8. Seleziona Distribuisci.
  9. Si arriva alla pagina dei dettagli della distribuzione. Selezionare Apri in playground.
  10. Selezionare Visualizza codice per ottenere esempi di codice che possono essere usati per utilizzare il modello distribuito nell'applicazione.

Eseguire l’inferenza del modello OpenAI di Azure

Per eseguire l'inferenza nel modello distribuito, è possibile usare il playground o gli esempi di codice. Il playground è un'interfaccia b asata sul Web che consente di interagire con il modello in tempo reale. È possibile usare il playground per testare il modello con prompt diversi e visualizzare le risposte del modello.

Per altri esempi di come usare il modello distribuito nell'applicazione, vedere le guide introduttive di OpenAI di Azure seguenti:

Limiti di disponibilità e quota a livello di area di un modello

Per i modelli OpenAI di Azure, la quota predefinita per i modelli varia in base al modello e all'area. Alcuni modelli potrebbero essere disponibili solo in alcune aree. Per altre informazioni sui limiti di disponibilità e quote, vedere Quote e limiti del servizio OpenAI di Azure.

Quota per la distribuzione e l'inferenza di un modello

Per i modelli OpenAI di Azure, la distribuzione e l'inferenza utilizzano la quota assegnata alla sottoscrizione in base all'area, in base al modello in unità di token per minuto (TPM). Quando si effettua l'iscrizione a Studio AI della piattaforma Azure, si riceve la quota predefinita per la maggior parte dei modelli disponibili. Quindi, si assegna un TPM a ogni distribuzione durante la creazione, riducendo così la quota disponibile per tale modello in base al valore assegnato. È possibile continuare a creare distribuzioni e assegnare loro un TPM fino a raggiungere il limite di quota.

Dopo aver raggiunto il limite di quota, l'unico modo per creare nuove distribuzioni di tale modello consiste nel:

Per altre informazioni sulla quota, vedere quota di Studio AI della piattaforma Azure e Gestire la quota del servizio OpenAI di Azure.

Contenuto correlato