Personalizzare un modello con l'ottimizzazione

Prerequisiti

• Leggere la Guida Quando usare l'ottimizzazione di Azure OpenAI.
• Una sottoscrizione di Azure. Crearne una gratuitamente.
• Una risorsa Azure OpenAI che si trova in un'area che supporta l'ottimizzazione del modello Azure OpenAI. Controllare la tabella di riepilogo del modello e la disponibilità dell'area per l'elenco dei modelli disponibili in base all'area e alla funzionalità supportata. Per altre informazioni, vedere Creare una risorsa e distribuire un modello con Azure OpenAI.
• Per ottimizzare l'accesso è necessario il Collaboratore OpenAI di Servizi cognitivi.
• Se non si ha già accesso alla quota di visualizzazione e si distribuiscono modelli in Azure AI Studio, saranno necessarie autorizzazioni aggiuntive.

Modelli

I modelli seguenti supportano l'ottimizzazione:

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (2024-07-18)

^* L'ottimizzazione per questo modello è attualmente disponibile in anteprima pubblica.

In alternativa, è possibile ottimizzare un modello ottimizzato in precedenza, formattato come base-model.ft-{jobid}.

Consultare la pagina dei modelli per verificare quali aree supportano attualmente l'ottimizzazione.

Esaminare il flusso di lavoro per Studio AI della piattaforma Azure

Esaminare il flusso di lavoro di ottimizzazione per l'uso di Studio AI della piattaforma Azure:

1. Preparare i dati di training e convalida.
2. Usare la procedura guidata Crea modello personalizzato in Azure AI Studio per eseguire il training del modello personalizzato.
   1. Selezionare un modello di base.
   2. Scegliere i dati del training.
   3. Facoltativamente, scegliere i dati di convalida.
   4. Facoltativamente, configurare i parametri delle attività per il processo di ottimizzazione.
   5. Esaminare le scelte ed eseguire il training del nuovo modello personalizzato.
3. Controllare lo stato del modello personalizzato ottimizzato.
4. Distribuire il modello personalizzato da usare.
5. Usare il modello personalizzato.
6. Facoltativamente, analizzare prestazioni e adattamento del modello personalizzato.

Preparare i dati di training e convalida

I dati di training e i set di dati di convalida sono costituiti da esempi di input e output per il modo in cui si vuole eseguire il modello.

Diversi tipi di modello richiedono un formato dei dati di training differente.

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Usare la procedura guidata Crea modello personalizzato

Azure AI Studio offre la procedura guidata Crea modello personalizzato, in modo da poter creare ed eseguire il training interattivo di un modello ottimizzato per la risorsa di Azure.

1. Aprire Azure AI Studio all'indirizzo https://oai.azure.com/ e accedere con le credenziali che hanno accesso alla risorsa OpenAI di Azure. Durante il flusso di lavoro di accesso selezionare la directory appropriata, la sottoscrizione di Azure e la risorsa Azure OpenAI.

2. In Azure AI Studio passare al riquadro Strumenti > Ottimizzazione e selezionare Ottimizza modello.

   

Verrà visualizzata la procedura guidata Crea modello personalizzato.

Selezionare il modello di base

Il primo passaggio per la creazione di un modello personalizzato consiste nella scelta di un modello di base. Il riquadro modello di base consente di scegliere un modello di base da usare per il modello personalizzato. La scelta influisce sia sulle prestazioni che sul costo del modello.

Selezionare un modello di base dall'elenco a discesa Tipo di modello di base, quindi selezionare Avanti per continuare.

È possibile creare un modello personalizzato da uno dei modelli di base disponibili seguenti:

• babbage-002

• davinci-002

• gpt-35-turbo (0613)

• gpt-35-turbo (1106)

• gpt-35-turbo (0125)

• gpt-4 (0613)

• In alternativa, è possibile ottimizzare un modello ottimizzato in precedenza, formattato come base-model.ft-{jobid}.

Per altre informazioni sui modelli di base che possono essere ottimizzati, vedere Modelli.

Scegliere i dati del training

Il passaggio successivo consiste nella scelta dei dati di training preparati esistenti o nel caricamento di nuovi dati di training preparati da usare durante la personalizzazione del modello. Il riquadro Dati di training visualizza tutti i set di dati esistenti caricati in precedenza e fornisce opzioni in base alle quali è possibile caricare nuovi dati di training.

• Se i dati di training sono già caricati nel servizio, selezionare File da Connessione OpenAI di Azure.

  • Selezionare il file dall'elenco a discesa visualizzato.

• Per caricare nuovi dati di training, usare una delle opzioni seguenti:

  • Selezionare File locale per caricare i dati di training da un file locale.

  • Selezionare BLOB di Azure o altri percorsi Web condivisi per importare i dati di training dal BLOB di Azure o da un altro percorso Web condiviso.

Per i file di dati di grandi dimensioni, è consigliabile eseguire l'importazione da un archivio BLOB di Azure. I file di grandi dimensioni possono diventare instabili quando vengono caricati tramite moduli in più parti, perché le richieste sono atomiche e non possono essere ritentate o riprese. Per altre informazioni su Archiviazione BLOB di Azure, vedere Che cos'è l'archiviazione BLOB di Azure?

Caricare i dati di training da un file locale

È possibile caricare un nuovo set di dati di training nel servizio da un file locale usando uno dei metodi seguenti:

• Trascinare e rilasciare il file nell'area client del riquadro Dati di training, quindi selezionare Carica file.

• Selezionare Sfoglia file nell'area client del riquadro Dati di training, scegliere il file da caricare nella finestra di dialogo Apri e quindi selezionare Carica file.

Dopo aver selezionato e caricato il set di dati di training, selezionare Avanti per continuare.

Importare dati di training da un archivio BLOB di Azure

È possibile importare un set di dati di training da BLOB di Azure o da un altro percorso Web condiviso specificando il nome e il percorso del file.

1. Immettere il nome file per il file.

2. Per il percorso del file specificare l'URL del BLOB di Azure, la firma di accesso condiviso di Archiviazione di Azure o un altro collegamento a un percorso Web condiviso accessibile.

3. Selezionare Importa per importare il set di dati di training nel servizio.

Dopo aver selezionato e caricato il set di dati di training, selezionare Avanti per continuare.

Scegliere i dati di convalida

Il passaggio successivo offre opzioni per configurare il modello in modo da usare i dati di convalida nel processo di training. Se non si desidera usare i dati di convalida, è possibile scegliere Avanti per andare alle opzioni avanzate per il modello. In caso contrario, se si dispone di un set di dati di convalida, è possibile scegliere i dati di convalida preparati esistenti o caricare nuovi dati di convalida preparati da usare durante la personalizzazione del modello.

Il riquadro Dati di convalida visualizza tutti i set di dati di training e convalida esistenti caricati in precedenza e fornisce opzioni in base alle quali è possibile caricare nuovi dati di convalida.

• Se i dati di convalida sono già caricati nel servizio, selezionare Scegli set di dati.

  • Selezionare il file nell'elenco visualizzato nel riquadro Dati di convalida.

• Per caricare nuovi dati di convalida, usare una delle opzioni seguenti:

  • Selezionare File locale per caricare i dati di convalida da un file locale.

  • Selezionare BLOB di Azure o altri percorsi Web condivisi per importare i dati di convalida dal BLOB di Azure o da un altro percorso Web condiviso.

Per i file di dati di grandi dimensioni, è consigliabile eseguire l'importazione da un archivio BLOB di Azure. I file di grandi dimensioni possono diventare instabili quando vengono caricati tramite moduli in più parti, perché le richieste sono atomiche e non possono essere ritentate o riprese.

Caricare i dati di convalida da un file locale

È possibile caricare un nuovo set di dati di convalida nel servizio da un file locale usando uno dei metodi seguenti:

• Trascinare e rilasciare il file nell'area client del riquadro Dati di convalida, quindi selezionare Carica file.

• Selezionare Sfoglia file nell'area client del riquadro Dati di convalida, scegliere il file da caricare nella finestra di dialogo Apri e quindi selezionare Carica file.

Dopo aver selezionato e caricato il set di dati di convalida, selezionare Avanti per continuare.

Importare dati di convalida da un archivio BLOB di Azure

È possibile importare un set di dati di convalida da BLOB di Azure o da un altro percorso Web condiviso specificando il nome e il percorso del file.

1. Immettere il nome file per il file.

2. Per il percorso del file specificare l'URL del BLOB di Azure, la firma di accesso condiviso di Archiviazione di Azure o un altro collegamento a un percorso Web condiviso accessibile.

3. Selezionare Importa per importare il set di dati di training nel servizio.

Dopo aver selezionato e caricato il set di dati di convalida, selezionare Avanti per continuare.

Configurare i parametri dei task

La procedura guidata Crea modello personalizzato mostra i parametri per il training del modello ottimizzato nel riquadro Parametri attività. Sono disponibili i parametri seguenti:

Selezionare Predefinito per usare i valori predefiniti per il processo di ottimizzazione fine oppure selezionare Personalizzato per visualizzare e modificare i valori degli iperparametri. Quando si selezionano le impostazioni predefinite, viene determinato il valore corretto in modo algoritmico in base ai dati di training.

Dopo aver configurato le opzioni avanzate, selezionare Avanti per esaminare le scelte ed eseguire il training del modello ottimizzato.

Esaminare le scelte ed eseguire il training del modello

Nel riquadro Revisione della procedura guidata sono visualizzate informazioni sulle scelte di configurazione.

Se si è pronti per eseguire il training del modello, selezionare Avvia processo di training per avviare il processo di ottimizzazione e tornare al riquadro Modelli.

Controllare lo stato del modello personalizzato

Nel riquadro Modelli sono visualizzate informazioni sul modello personalizzato nella scheda Modelli personalizzati. La scheda include informazioni sullo stato e sull'ID processo del processo di ottimizzazione per il modello personalizzato. Al termine del processo, nella scheda viene visualizzato l'ID file del file di risultato. Potrebbe essere necessario selezionare Aggiorna per visualizzare uno stato aggiornato del processo di training del modello.

Dopo aver avviato un processo di ottimizzazione, il completamento può richiedere del tempo. Il processo potrebbe essere in coda dietro altri processi nel sistema. Il training del modello può richiedere minuti o ore, a seconda delle dimensioni del modello e del set di dati.

Di seguito sono elencate alcune delle attività disponibili nel riquadro Modelli:

• Controllare lo stato del processo di ottimizzazione per il modello personalizzato nella colonna Stato della scheda Modelli personalizzati.

• Nella colonna Nome modello selezionare il nome del modello per visualizzare altre informazioni sul modello personalizzato. È possibile visualizzare lo stato del processo di ottimizzazione, dei risultati del training, degli eventi di training e degli iperparametri usati nel processo.

• Selezionare Scarica file di training per scaricare i dati di training usati per il modello.

• Selezionare Scarica risultati per scaricare il file di risultato allegato al processo di ottimizzazione per il modello e analizzare il modello personalizzato per ottenere le prestazioni del training e della convalida.

• Selezionare Aggiorna per aggiornare le informazioni sulla pagina.

Checkpoint

Al completamento di ogni epoca di training viene generato un checkpoint. Un checkpoint è una versione completamente funzionale di un modello che può essere distribuita e usata come modello di destinazione per i processi di ottimizzazione successivi. I checkpoint possono essere particolarmente utili, in quanto possono fornire uno snapshot del modello prima dell'overfitting. Al termine di un processo di ottimizzazione, le tre versioni più recenti del modello saranno disponibili per la distribuzione.

Ottimizzazione della valutazione di sicurezza di GPT-4, GPT-4o e GPT-4o mini - Anteprima pubblica

GPT-4o, GPT-4o-mini e GPT-4 sono i nostri modelli più avanzati, che è possibile ottimizzare in base alle proprie esigenze. Come per i modelli OpenAI di Azure in generale, le funzionalità avanzate dei modelli ottimizzati presentano maggiori sfide in materia di intelligenza artificiale responsabile correlate a contenuto dannoso, manipolazione, comportamento simile a quello umano, problemi di privacy e altro ancora. Altre informazioni su rischi, funzionalità e limitazioni sono disponibili nella Panoramica delle procedure di IA responsabili e nella Nota sulla trasparenza. Per attenuare i rischi associati ai modelli ottimizzati avanzati abbiamo implementato ulteriori passaggi di valutazione per rilevare e prevenire contenuto dannoso nel training e negli output dei modelli ottimizzati. Questi passaggi sono basati sullo Standard di intelligenza artificiale responsabile di Microsoft e sul filtro del contenuto del Servizio OpenAI di Azure.

• Le valutazioni vengono eseguite in aree di lavoro private e dedicate, specifiche del cliente;
• Gli endpoint di valutazione si trovano nella stessa area geografica della risorsa OpenAI di Azure;
• I dati di training non vengono archiviati in relazione all'esecuzione di valutazioni; solo la valutazione finale del modello (distribuibile o non distribuibile) viene salvata; e

I filtri di valutazione dei modelli ottimizzati di GPT-4o, e GPT-4o-mini e GPT-4 sono impostati su soglie predefinite e non possono essere modificati dai clienti; non sono associati a alcuna configurazione di filtro del contenuto personalizzata creata.

Valutazione dei dati

Prima dell'inizio del training, i dati vengono valutati per individuare contenuto potenzialmente dannoso, ad esempio violenza, sesso, odio e equità, autolesionismo. Le definizioni delle categorie sono disponibili qui. Se viene rilevato contenuto dannoso con livello di gravità superiore a quello specificato, il processo di training avrà esito negativo e verrà visualizzato un messaggio che indica delle categorie di errore.

Messaggio di esempio:

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

I dati di training vengono valutati automaticamente nell'ambito del processo di importazione dei dati come parte della funzionalità di ottimizzazione.

Se il processo di ottimizzazione non riesce a causa del rilevamento di contenuto dannoso nei dati di training, non verrà applicato alcun addebito.

Valutazione del modello

Al termine del training, ma prima che il modello ottimizzato sia disponibile per la distribuzione, il modello risultante viene valutato per rilevare le risposte potenzialmente dannose usando le metriche di rischio e di sicurezza predefinite di Azure. Usando lo stesso approccio ai test applicato ai modelli linguistici di grandi dimensioni di base, la funzionalità di valutazione simula una conversazione con il modello ottimizzato per valutare il potenziale output di contenuto dannoso, sempre usando le categorie di contenuto dannoso specificate (violenza, sesso, odio e equità, autolesionismo).

Se risulta che un modello genera output con contenuto dannoso oltre un livello accettabile, si verrà informati che il modello non è disponibile per la distribuzione, con indicazioni sulle specifiche categorie di danni rilevate:

Messaggio di esempio:

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

Come per la valutazione dei dati, il modello viene valutato automaticamente nell'ambito del processo di ottimizzazione come parte della funzionalità di ottimizzazione. Solo la valutazione risultante (distribuibile o non distribuibile) viene registrata dal servizio. Se la distribuzione del modello ottimizzato non riesce a causa del rilevamento di contenuto dannoso negli output del modello, non verrà applicato alcun addebito per l'esecuzione del training.

Distribuire un modello ottimizzato

Quando il processo di ottimizzazione va a buon fine, è possibile distribuire il modello personalizzato dal riquadro Modelli. È necessario distribuire il modello personalizzato per renderlo disponibile per l'uso con le chiamate di completamento.

Per distribuire il modello personalizzato, selezionarlo, quindi selezionare Distribuisci modello.

Verrà visualizzata la finestra di dialogo Distribuisci modello. Nella finestra di dialogo, immettere un nome in Nome distribuzione, quindi selezionare Crea per avviare la distribuzione del modello personalizzato.

È possibile monitorare lo stato di avanzamento della distribuzione nel riquadro Distribuzioni in Azure AI Studio.

Distribuzione tra aree

L'ottimizzazione consente di distribuire un modello ottimizzato in un'area diversa da quella in cui il modello è stato originariamente ottimizzato. È anche possibile eseguire la distribuzione in una sottoscrizione o un'area diversa.

Le uniche limitazioni sono che la nuova area deve supportare anche l'ottimizzazione e quando si distribuisce una sottoscrizione incrociata, l'account che genera il token di autorizzazione per la distribuzione deve avere accesso sia alle sottoscrizioni di origine che a quella di destinazione.

La distribuzione tra sottoscrizioni/aree può essere eseguita tramite Python o REST.

Usare un modello personalizzato distribuito

Dopo la distribuzione del modello personalizzato, è possibile usarlo come qualsiasi altro modello distribuito. È possibile usare Playgrounds in Azure AI Studio per sperimentare la nuova distribuzione. È possibile continuare a usare gli stessi parametri con il modello personalizzato, ad esempio temperature e max_tokens, come è possibile con altri modelli distribuiti. Per i modelli babbage-002 e davinci-002 ottimizzati si useranno il playground Completamenti e l'API Completamenti. Per i modelli ottimizzati gpt-35-turbo-0613 si useranno il playground Chat e l'API Completamento della chat.

Analizzare il modello personalizzato

Azure OpenAI collega un file di risultato, denominato results.csv a ogni processo di ottimizzazione dopo il completamento. È possibile usare il file dei risultati per analizzare le prestazioni del training e convalidare del modello personalizzato. L'ID file per il file di risultato è elencato per ogni modello personalizzato nella colonna ID file risultato nel riquadro Modelli per Azure AI Studio. È possibile usare l'ID file per identificare e scaricare il file di risultato dal riquadro File di dati di Azure AI Studio.

Il file dei risultati è un file CSV contenente una riga di intestazione e una riga per ogni passaggio di training eseguito dal processo di ottimizzazione. Il file dei risultati contiene le colonne seguenti:

È anche possibile visualizzare i dati nel file results.csv come tracciati in Azure AI Studio. Selezionare il collegamento per il modello sottoposto a training; verranno visualizzati tre grafici: perdita, accuratezza del token media e accuratezza del token. Se sono stati forniti dati di convalida, entrambi i set di dati verranno visualizzati nello stesso tracciato.

Cercare la perdita da ridurre nel tempo e l'accuratezza da aumentare. Se viene visualizzata una divergenza tra i dati di training e di convalida, ciò potrebbe indicare un overfitting. Provare a eseguire il training con meno periodi o a un moltiplicatore di frequenza di trading più piccolo.

Pulire le distribuzioni, i modelli personalizzati e i file di training

Al termine del modello personalizzato, è possibile eliminare la distribuzione e il modello. È anche possibile eliminare i file di training e convalida caricati nel servizio, se necessario.

Eliminare la distribuzione del modello

È possibile eliminare la distribuzione per il modello personalizzato nel riquadro Distribuzioni in Azure AI Studio. Selezionare la distribuzione da eliminare, quindi selezionare Elimina per eliminare la distribuzione.

Eliminare il modello personalizzato

È possibile eliminare un modello personalizzato nel riquadro Modelli in Azure AI Studio. Selezionare il modello personalizzato da eliminare dalla scheda Modelli personalizzati, quindi selezionare Elimina per eliminare il modello personalizzato.

Eliminare i file di training

Facoltativamente, è possibile eliminare i file di training e convalida caricati per il training e i file dei risultati generati durante il training nel riquadro File di dati di gestione>in Azure AI Studio. Selezionare il file da eliminare, quindi selezionare Elimina per eliminare il file.

Ottimizzazione continua

Dopo aver creato un modello ottimizzato, è possibile continuare a perfezionare il modello nel tempo tramite un'ulteriore ottimizzazione. L'ottimizzazione continua è il processo iterativo per selezionare un modello già ottimizzato come modello di base e ottimizzarlo ulteriormente sui nuovi set di esempi di training.

Per eseguire l'ottimizzazione su un modello ottimizzato in precedenza, è necessario usare lo stesso processo descritto in Creare un modello personalizzato, ma invece di specificare il nome di un modello di base generico, è necessario specificare il modello già ottimizzato. Un modello personalizzato ottimizzato sarà simile al seguente gpt-35-turbo-0613.ft-5fd1918ee65d4cd38a5dcf6835066ed7

È anche consigliabile includere il parametro suffix per semplificare la distinzione tra iterazioni differenti del modello ottimizzato. suffix accetta una stringa ed è impostato per identificare il modello ottimizzato. Con l'API Python OpenAI è supportata una stringa di un massimo di 18 caratteri che verrà aggiunta al nome del modello ottimizzato.

Prerequisiti

• Leggere la Guida Quando usare l'ottimizzazione di Azure OpenAI.

• Una sottoscrizione di Azure: crearne una gratuitamente.

• Una risorsa dell'hub di Azure per intelligenza artificiale.

• Un progetto di Azure per intelligenza artificiale in Studio AI della piattaforma Azure.

• Una connessione Azure OpenAI a una risorsa in un' area in cui è supportata l'ottimizzazione.

  Nota

  Le aree supportate possono variare se si usano modelli OpenAI di Azure in un progetto di AI Studio rispetto all'esterno di un progetto.

• Per ottimizzare l'accesso è necessario il Collaboratore OpenAI di Servizi cognitivi nella risorsa Azure OpenAI.

• Se non si ha già accesso per visualizzare la quota e distribuire modelli in Studio AI della piattaforma Azure, sono necessarie ulteriori autorizzazioni.

Modelli

I modelli seguenti supportano l'ottimizzazione:

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (2024-07-18)

^* L'ottimizzazione per questo modello è attualmente disponibile in anteprima pubblica.

In alternativa, è possibile ottimizzare un modello ottimizzato in precedenza, formattato come base-model.ft-{jobid}.

Consultare la pagina dei modelli per verificare quali aree supportano attualmente l'ottimizzazione.

Esaminare il flusso di lavoro per Studio AI della piattaforma Azure

Esaminare il flusso di lavoro di ottimizzazione per l'uso di Studio AI della piattaforma Azure:

1. Preparare i dati di training e convalida.
2. Usare la procedura guidata Ottimizza modello in Studio AI della piattaforma Azure per eseguire il training del modello personalizzato.
   1. Selezionare un modello.
   2. Scegliere i dati del training.
   3. Facoltativamente, scegliere i dati di convalida.
   4. Facoltativamente, configurare i parametri per il processo di ottimizzazione.
   5. Esaminare le scelte ed eseguire il training del nuovo modello personalizzato.
3. Controllare lo stato del modello ottimizzato.
4. Facoltativamente, analizzare prestazioni e adattamento del modello ottimizzato.
5. Distribuire il modello ottimizzato per l'uso.
6. Usare il modello ottimizzato.

Preparare i dati di training e convalida

I dati di training e i set di dati di convalida sono costituiti da esempi di input e output per il modo in cui si vuole eseguire il modello.

Diversi tipi di modello richiedono un formato dei dati di training differente.

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Creare il modello ottimizzato

Per ottimizzare un modello Azure OpenAI in un progetto esistente di Studio AI della piattaforma Azure, seguire questa procedura:

1. Accedere a Studio AI della piattaforma Azure e selezionare il progetto. Se non si ha già un progetto, crearne prima di tutto uno.

2. Nel menu a scomparsa a sinistra selezionare Ottimizzazione>+ Ottimizza modello.

   

Selezionare il modello di base

1. Selezionare un modello di base da ottimizzare. La scelta influisce sia sulle prestazioni che sul costo del modello. In questo esempio si sceglie il modello gpt-35-turbo. Selezionare quindi Conferma.

   

2. Per gpt-35-turbo sono disponibili diverse versioni per l'ottimizzazione; scegliere la versione che si desidera ottimizzare. Sceglieremo (0301).

3. È anche consigliabile includere il parametro suffix per semplificare la distinzione tra iterazioni differenti del modello ottimizzato. suffix accetta una stringa ed è impostato per identificare il modello ottimizzato. Con l'API Python OpenAI è supportata una stringa di un massimo di 18 caratteri che verrà aggiunta al nome del modello ottimizzato.

Se sono abilitate più connessioni Azure OpenAI per l'ottimizzazione, scegliere la risorsa da usare. Si noti che tutti gli utenti con accesso alla risorsa Azure OpenAI avranno accesso a questo modello ottimizzato.

1. Quindi seleziona Avanti.

   

Scegliere i dati del training

Il passaggio successivo consiste nella scelta dei dati di training preparati esistenti o nel caricamento di nuovi dati di training preparati da usare durante la personalizzazione del modello. Il riquadro Dati di training visualizza tutti i set di dati esistenti caricati in precedenza e fornisce opzioni in base alle quali è possibile caricare nuovi dati di training.

• Se i dati di training sono già presenti nel progetto, selezionare Dati in Studio AI della piattaforma Azure.

  • Selezionare il file nell'elenco visualizzato nel riquadro Dati di training.

• Se i dati di training sono già stati caricati nel servizio Azure OpenAI, selezionare la connessione Azure OpenAI in Connessione Azure OpenAI.

• Per caricare i dati di training per ottimizzare il modello, selezionare Carica dati seguito da Carica file.

  • Assicurarsi che tutti gli esempi di training seguano il formato previsto per l'inferenza. Per ottimizzare i modelli in modo efficace, assicurarsi di usare un set di dati bilanciato e diversificato. Ciò comporta mantenere un equilibrio dei dati, inclusi vari scenari, nonché affinare periodicamente i dati di training per allinearsi alle aspettative del mondo reale, portando infine a risposte del modello più accurate e bilanciate. Per altre informazioni, vedere Preparazione dei dati.
  • Per i file di dati di grandi dimensioni, è consigliabile eseguire l'importazione da un archivio BLOB di Azure. I file di grandi dimensioni possono diventare instabili quando vengono caricati tramite moduli in più parti, perché le richieste sono atomiche e non possono essere ritentate o riprese. Per altre informazioni su Archiviazione BLOB di Azure, vedere Che cos'è l'archiviazione BLOB di Azure?

Dopo il caricamento dei file, verrà visualizzata un'anteprima dei dati di training. Selezionare Avanti per continuare.

Scegliere i dati di convalida

Facoltativamente, è possibile scegliere di fornire dati di convalida per ottimizzare il modello. Se non si desidera usare i dati di convalida, è possibile selezionare Nessuno e selezionare Avanti per continuare con le opzioni avanzate per il modello.

In caso contrario, se si dispone di un set di dati di convalida, è possibile scegliere dai dati caricati in precedenza o caricare dati di convalida appena preparati da usare per l'ottimizzazione del modello.

Configurare i parametri

Facoltativamente, configurare i parametri per il processo di ottimizzazione. Sono disponibili le funzioni seguenti:

È possibile scegliere di lasciare la configurazione predefinita o personalizzare i valori in base alle preferenze. Al termine dell'esecuzione delle configurazioni, selezionare Avanti.

Esaminare le scelte ed eseguire il training del modello

Esaminare le scelte effettuate e selezionare Invia per avviare il training del nuovo modello ottimizzato.

Controllare lo stato del modello ottimizzato

Dopo aver inviato il processo di ottimizzazione, viene visualizzata una pagina con i dettagli sul modello ottimizzato. È possibile trovare lo stato e altre informazioni sul modello ottimizzato nella pagina Ottimizzazione>Modelli in Studio AI della piattaforma Azure.

Il processo potrebbe essere in coda dietro altri processi nel sistema. Il training del modello può richiedere minuti o ore, a seconda delle dimensioni del modello e del set di dati.

Analizzare il modello ottimizzato

Al termine dell'ottimizzazione, è possibile scaricare un file di risultati denominato results.csv dalla pagina del modello ottimizzato nella scheda Dettagli. È possibile usare il file dei risultati per analizzare le prestazioni del training e convalidare del modello personalizzato.

Il file dei risultati è un file CSV contenente una riga di intestazione e una riga per ogni passaggio di training eseguito dal processo di ottimizzazione. Il file dei risultati contiene le colonne seguenti:

È anche possibile visualizzare i dati nel file results.csv come tracciati in Studio AI della piattaforma Azure nella scheda Metriche del modello ottimizzato. Selezionare il collegamento per il modello sottoposto a training; verranno visualizzati due grafici: perdita e accuratezza del token. Se sono stati forniti dati di convalida, entrambi i set di dati verranno visualizzati nello stesso tracciato.

Cercare la perdita da ridurre nel tempo e l'accuratezza da aumentare. Se viene visualizzata una divergenza tra i dati di training e di convalida, ciò potrebbe indicare un overfitting. Provare a eseguire il training con meno periodi o a un moltiplicatore di frequenza di trading più piccolo.

Checkpoint

Al completamento di ogni epoca di training viene generato un checkpoint. Un checkpoint è una versione completamente funzionale di un modello che può essere distribuita e usata come modello di destinazione per i processi di ottimizzazione successivi. I checkpoint possono essere particolarmente utili, in quanto possono fornire uno snapshot del modello prima dell'overfitting. Al termine di un processo di ottimizzazione, le tre versioni più recenti del modello saranno disponibili per la distribuzione.

Ottimizzazione della valutazione di sicurezza di GPT-4, GPT-4o e GPT-4o mini - Anteprima pubblica

GPT-4o, GPT-4o-mini e GPT-4 sono i nostri modelli più avanzati, che è possibile ottimizzare in base alle proprie esigenze. Come per i modelli OpenAI di Azure in generale, le funzionalità avanzate dei modelli ottimizzati presentano maggiori sfide in materia di intelligenza artificiale responsabile correlate a contenuto dannoso, manipolazione, comportamento simile a quello umano, problemi di privacy e altro ancora. Altre informazioni su rischi, funzionalità e limitazioni sono disponibili nella Panoramica delle procedure di IA responsabili e nella Nota sulla trasparenza. Per attenuare i rischi associati ai modelli ottimizzati avanzati abbiamo implementato ulteriori passaggi di valutazione per rilevare e prevenire contenuto dannoso nel training e negli output dei modelli ottimizzati. Questi passaggi sono basati sullo Standard di intelligenza artificiale responsabile di Microsoft e sul filtro del contenuto del Servizio OpenAI di Azure.

• Le valutazioni vengono eseguite in aree di lavoro private e dedicate, specifiche del cliente;
• Gli endpoint di valutazione si trovano nella stessa area geografica della risorsa OpenAI di Azure;
• I dati di training non vengono archiviati in relazione all'esecuzione di valutazioni; solo la valutazione finale del modello (distribuibile o non distribuibile) viene salvata; e

I filtri di valutazione dei modelli ottimizzati di GPT-4o, e GPT-4o-mini e GPT-4 sono impostati su soglie predefinite e non possono essere modificati dai clienti; non sono associati a alcuna configurazione di filtro del contenuto personalizzata creata.

Valutazione dei dati

Prima dell'inizio del training, i dati vengono valutati per individuare contenuto potenzialmente dannoso, ad esempio violenza, sesso, odio e equità, autolesionismo. Le definizioni delle categorie sono disponibili qui. Se viene rilevato contenuto dannoso con livello di gravità superiore a quello specificato, il processo di training avrà esito negativo e verrà visualizzato un messaggio che indica delle categorie di errore.

Messaggio di esempio:

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

I dati di training vengono valutati automaticamente nell'ambito del processo di importazione dei dati come parte della funzionalità di ottimizzazione.

Se il processo di ottimizzazione non riesce a causa del rilevamento di contenuto dannoso nei dati di training, non verrà applicato alcun addebito.

Valutazione del modello

Al termine del training, ma prima che il modello ottimizzato sia disponibile per la distribuzione, il modello risultante viene valutato per rilevare le risposte potenzialmente dannose usando le metriche di rischio e di sicurezza predefinite di Azure. Usando lo stesso approccio ai test applicato ai modelli linguistici di grandi dimensioni di base, la funzionalità di valutazione simula una conversazione con il modello ottimizzato per valutare il potenziale output di contenuto dannoso, sempre usando le categorie di contenuto dannoso specificate (violenza, sesso, odio e equità, autolesionismo).

Se risulta che un modello genera output con contenuto dannoso oltre un livello accettabile, si verrà informati che il modello non è disponibile per la distribuzione, con indicazioni sulle specifiche categorie di danni rilevate:

Messaggio di esempio:

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

Come per la valutazione dei dati, il modello viene valutato automaticamente nell'ambito del processo di ottimizzazione come parte della funzionalità di ottimizzazione. Solo la valutazione risultante (distribuibile o non distribuibile) viene registrata dal servizio. Se la distribuzione del modello ottimizzato non riesce a causa del rilevamento di contenuto dannoso negli output del modello, non verrà applicato alcun addebito per l'esecuzione del training.

Distribuire un modello ottimizzato

Dopo aver ottimizzato il modello, è possibile distribuirlo e usarlo nella propria applicazione. Non è possibile distribuire un modello ottimizzato dalla pagina delle distribuzioni o del playground in Studio AI della piattaforma Azure. L'unico modo attualmente disponibile per distribuire un modello ottimizzato è dalla pagina dei dettagli del modello in questione.

Quando si distribuisce il modello, il suddetto viene reso disponibile per l'inferenza e viene addebitato un addebito orario per l'hosting. Tuttavia, è possibile archiviare i modelli ottimizzati in Studio AI della piattaforma Azure senza costi finché non si è pronti per usarli.

È possibile monitorare lo stato di avanzamento della distribuzione nella pagina Distribuzioni di Studio AI della piattaforma Azure.

Usare un modello ottimizzato per la distribuzione

Dopo la distribuzione del modello ottimizzato, è possibile usarlo come qualsiasi altro modello distribuito. È possibile usare Playground in Studio AI della piattaforma Azure per sperimentare la nuova distribuzione. È anche possibile usare l'API REST per chiamare il modello ottimizzato dall'applicazione. È anche possibile iniziare a usare questo nuovo modello ottimizzato nel prompt flow per compilare l'applicazione di intelligenza artificiale generativa.

Pulire le distribuzioni, i modelli ottimizzati e i file di training

Al termine del modello ottimizzato, è possibile eliminare la distribuzione e il modello. È anche possibile eliminare i file di training e convalida caricati nel servizio, se necessario.

Eliminare la distribuzione del modello ottimizzato

È possibile eliminare la distribuzione per il modello ottimizzato nella pagina Distribuzioni per Studio AI della piattaforma Azure. Selezionare la distribuzione da eliminare, quindi selezionare Elimina per eliminare la distribuzione.

Eliminare il modello ottimizzato

È possibile eliminare un modello ottimizzato nella pagina Ottimizzazione in studio AI della piattaforma Azure. Selezionare il modello ottimizzato da eliminare, quindi selezionare Elimina per eliminarlo.

Eliminare i file di training

Facoltativamente, è possibile eliminare i file di training e convalida caricati per il training e i file di risultato generati durante il training. Per questo è necessario andare a Azure OpenAI Studio e al riquadro Gestione>File di dati. Selezionare il file da eliminare, quindi selezionare Elimina per eliminare il file.

I dati di training e convalida usati devono essere formattati come documento JSON Lines (JSONL). Per gpt-35-turbo-0613 l'ottimizzazione il set di dati deve essere formattato nel formato di conversazione usato dall'API Completamento chat.

Per una procedura dettagliata sull'ottimizzazione, gpt-35-turbo-0613 vedere l'esercitazione sull'ottimizzazione di Azure OpenAI

Formato file di esempio

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Formato di file chat multiturn

Sono inoltre supportati diversi turn di una conversazione in una singola riga del file di training jsonl. Per ignorare l'ottimizzazione su messaggi di assistente specifici, aggiungere la coppia di valori di chiave weight facoltativa. Attualmente è possibile impostare weight su 0 o 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Oltre al formato JSONL, i file di dati di training e convalida devono essere codificati in UTF-8 e includere un byte order mark (BOM). Il file deve avere dimensioni inferiori a 512 MB.

Creare i set di dati di training e convalida

Più esempi di training sono disponibili, meglio è. L'ottimizzazione dei processi non procederà senza almeno 10 esempi di training; tuttavia, un numero così ridotto non è sufficiente per influenzare notevolmente le risposte del modello. È consigliabile fornire centinaia, se non migliaia, di esempi di training per avere successo.

In generale, il raddoppio delle dimensioni del set di dati può comportare un aumento lineare della qualità del modello. Tenere tuttavia presente che gli esempi di bassa qualità possono influire negativamente sulle prestazioni. Se si esegue il training del modello su una grande quantità di dati interni, senza prima eliminare il set di dati solo degli esempi di qualità più elevati, è possibile ottenere un modello che comporta prestazioni molto peggiori del previsto.

I dati di training usati devono essere formattati come documento JSONL Lines (JSONL) in cui ogni riga rappresenta una singola coppia prompt-completamento. L'interfaccia della riga di comando OpenAI include uno strumento di preparazione dei dati che convalida, fornisce suggerimenti e riformatta i dati di training in un file JSONL pronto per l'ottimizzazione.

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Oltre al formato JSONL, i file di dati di training e convalida devono essere codificati in UTF-8 e includere un byte order mark (BOM). Il file deve avere dimensioni inferiori a 512 MB.

Creare i set di dati di training e convalida

La progettazione di richieste e completamenti per l'ottimizzazione è diversa dalla progettazione delle richieste di utilizzo con uno dei modelli GPT-3 di base. Le richieste di completamento delle chiamate spesso usano istruzioni dettagliate o tecniche di apprendimento con pochi scatti e sono costituite da più esempi. Per l'ottimizzazione, ogni esempio di training dovrebbe essere costituito da un singolo prompt di input e dal relativo output di completamento desiderato. Non è necessario fornire istruzioni dettagliate o più esempi di completamento per la stessa richiesta.

Più esempi di training sono disponibili, meglio è. L'ottimizzazione dei processi non procederà senza almeno 10 esempi di training; tuttavia, un numero così ridotto non è sufficiente per influenzare notevolmente le risposte del modello. È consigliabile fornire centinaia, se non migliaia, di esempi di training per avere successo.

In generale, il raddoppio delle dimensioni del set di dati può comportare un aumento lineare della qualità del modello. Tenere tuttavia presente che gli esempi di bassa qualità possono influire negativamente sulle prestazioni. Se si esegue il training del modello su una grande quantità di dati interni, senza prima eliminare il set di dati solo degli esempi di qualità più elevati, è possibile ottenere un modello che comporta prestazioni molto peggiori del previsto.

Strumento di preparazione dei dati dell'interfaccia della riga di comando OpenAI

Lo strumento di preparazione dei dati dell'interfaccia della riga di comando di OpenAI è stato sviluppato per la generazione precedente di modelli di ottimizzazione per facilitare molti dei passaggi di preparazione dei dati. Lo strumento funzionerà solo per la preparazione dei dati per i modelli che funzionano con l'API di completamento come babbage-002 e davinci-002. Lo strumento convalida, fornisce suggerimenti e riformatta i dati in un file JSONL pronto per l'ottimizzazione.

Per installare l'interfaccia della riga di comando di OpenAI, eseguire il comando Python seguente:

pip install openai==0.28.1

Per analizzare i dati di training con lo strumento di preparazione dei dati, eseguire il comando Python seguente. Sostituire l'argomento <LOCAL_FILE> con il percorso completo e il nome file del file di dati di training da analizzare:

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Questo strumento accetta i file nei formati di dati seguenti, se contengono una richiesta e una colonna/chiave di completamento:

• Valori delimitati da virgole (CSV)
• Valori delimitati da tabulazioni (TSV)
• Cartella di lavoro di Microsoft Excel (XLSX)
• JavaScript Object Notation (JSON)
• Righe JSON (JSONL)

Lo strumento riformatta i dati di training e salva l'output in un file JSONL pronto per l'ottimizzazione, dopo aver illustrato il processo di implementazione delle modifiche suggerite.

# Upload fine-tuning files

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-05-01-preview"  # This API version or later is required to access seed/events/checkpoint capabilities
)

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = client.files.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response.id

validation_response = client.files.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response.id

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

# Upload fine-tuning files

import openai
import os

openai.api_key = os.getenv("AZURE_OPENAI_API_KEY") 
openai.api_base =  os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2024-02-01' # This API version or later is required to access fine-tuning for turbo/babbage-002/davinci-002

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune", user_provided_filename="training_set.jsonl"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune", user_provided_filename="validation_set.jsonl"
)
validation_file_id = validation_response["id"]

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

In questo esempio viene passato anche il parametro per il inizializzazione. Il valore di inizializzazione controlla la riproducibilità del processo. Il passaggio degli stessi parametri di inizializzazione e processo dovrebbe produrre gli stessi risultati, ma in rari casi può differire. Se non viene specificato un valore di inizializzazione, ne verrà generato uno automaticamente.

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613", # Enter base model name. Note that in Azure OpenAI the model name contains dashes and cannot contain dot/period characters. 
    seed = 105  # seed parameter controls reproducibility of the fine-tuning job. If no seed is specified one will be generated automatically.
)

job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print("Status:", response.id)
print(response.model_dump_json(indent=2))

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613",
)

job_id = response["id"]

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

response = client.fine_tuning.jobs.retrieve(job_id)

print("Job ID:", response.id)
print("Status:", response.status)
print(response.model_dump_json(indent=2))

#Retrieve training job ID

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

Per eseguire questo comando può essere necessario aggiornare la libreria client OpenAI all'ultima versione con pip install openai --upgrade.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Questo comando non è disponibile nella libreria Python OpenAI 0.28.1. Eseguire l'aggiornamento all'ultima versione.

Per eseguire questo comando può essere necessario aggiornare la libreria client OpenAI all'ultima versione con pip install openai --upgrade.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Questo comando non è disponibile nella libreria Python OpenAI 0.28.1. Eseguire l'aggiornamento all'ultima versione.

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-02-01"
)

response = client.chat.completions.create(
    model="gpt-35-turbo-ft", # model = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response.choices[0].message.content)

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-02-01"
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.ChatCompletion.create(
    engine="gpt-35-turbo-ft", # engine = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response)
print(response['choices'][0]['message']['content'])

# Retrieve the file ID of the first result file from the fine-tuning job
# for the customized model.
response = client.fine_tuning.jobs.retrieve(job_id)
if response.status == 'succeeded':
    result_file_id = response.result_files[0]

retrieve = client.files.retrieve(result_file_id)

# Download the result file.
print(f'Downloading result file: {result_file_id}')

with open(retrieve.filename, "wb") as file:
    result = client.files.content(result_file_id).read()
    file.write(result)

# Retrieve the file ID of the first result file from the fine-tune job
# for the customized model.
response = openai.FineTuningJob.retrieve(job_id)
if response["status"] == 'succeeded':
    result_file_id = response.result_files[0].id
    result_file_name = response.result_files[0].filename

# Download the result file.
print(f'Downloading result file: {result_file_id}')
# Write the byte array returned by the File.download() method to 
# a local file in the working directory.
with open(result_file_name, "wb") as file:
    result = openai.File.download(id=result_file_id)
    file.write(result)

I dati di training e convalida usati devono essere formattati come documento JSON Lines (JSONL). Per gpt-35-turbo-0613 e altri modelli correlati, il set di dati di ottimizzazione deve essere formattato nel formato di conversazione usato dall'API Completamento chat.

Per una procedura dettagliata sull'ottimizzazione di un modello gpt-35-turbo-0613, vedere l'esercitazione sull'ottimizzazione di OpenAI di Azure.

Formato file di esempio

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Formato di file chat multiturn

Sono inoltre supportati diversi turn di una conversazione in una singola riga del file di training jsonl. Per ignorare l'ottimizzazione su messaggi di assistente specifici, aggiungere la coppia di valori di chiave weight facoltativa. Attualmente è possibile impostare weight su 0 o 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Oltre al formato JSONL, i file di dati di training e convalida devono essere codificati in UTF-8 e includere un byte order mark (BOM). Il file deve avere dimensioni inferiori a 512 MB.

Creare i set di dati di training e convalida

Più esempi di training sono disponibili, meglio è. L'ottimizzazione dei processi non procederà senza almeno 10 esempi di training; tuttavia, un numero così ridotto non è sufficiente per influenzare notevolmente le risposte del modello. È consigliabile fornire centinaia, se non migliaia, di esempi di training per avere successo.

In generale, il raddoppio delle dimensioni del set di dati può comportare un aumento lineare della qualità del modello. Tenere tuttavia presente che gli esempi di bassa qualità possono influire negativamente sulle prestazioni. Se si esegue il training del modello su una grande quantità di dati interni, senza prima eliminare il set di dati solo degli esempi di qualità più elevati, è possibile ottenere un modello che comporta prestazioni molto peggiori del previsto.

I dati di training usati devono essere formattati come documento JSONL Lines (JSONL) in cui ogni riga rappresenta una singola coppia prompt-completamento. L'interfaccia della riga di comando OpenAI include uno strumento di preparazione dei dati che convalida, fornisce suggerimenti e riformatta i dati di training in un file JSONL pronto per l'ottimizzazione.

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Oltre al formato JSONL, i file di dati di training e convalida devono essere codificati in UTF-8 e includere un byte order mark (BOM). Il file deve avere dimensioni inferiori a 512 MB.

Creare i set di dati di training e convalida

La progettazione di richieste e completamenti per l'ottimizzazione è diversa dalla progettazione delle richieste di utilizzo con uno dei modelli GPT-3 di base. Le richieste di completamento delle chiamate spesso usano istruzioni dettagliate o tecniche di apprendimento con pochi scatti e sono costituite da più esempi. Per l'ottimizzazione, ogni esempio di training dovrebbe essere costituito da un singolo prompt di input e dal relativo output di completamento desiderato. Non è necessario fornire istruzioni dettagliate o più esempi di completamento per la stessa richiesta.

Più esempi di training sono disponibili, meglio è. L'ottimizzazione dei processi non procederà senza almeno 10 esempi di training; tuttavia, un numero così ridotto non è sufficiente per influenzare notevolmente le risposte del modello. È consigliabile fornire centinaia, se non migliaia, di esempi di training per avere successo.

In generale, il raddoppio delle dimensioni del set di dati può comportare un aumento lineare della qualità del modello. Tenere tuttavia presente che gli esempi di bassa qualità possono influire negativamente sulle prestazioni. Se si esegue il training del modello su una grande quantità di dati interni, senza prima eliminare il set di dati solo degli esempi di qualità più elevati, è possibile ottenere un modello che comporta prestazioni molto peggiori del previsto.

Strumento di preparazione dei dati dell'interfaccia della riga di comando OpenAI

Lo strumento di preparazione dei dati dell'interfaccia della riga di comando di OpenAI è stato sviluppato per la generazione precedente di modelli di ottimizzazione per facilitare molti dei passaggi di preparazione dei dati. Lo strumento funzionerà solo per la preparazione dei dati per i modelli che funzionano con l'API di completamento come babbage-002 e davinci-002. Lo strumento convalida, fornisce suggerimenti e riformatta i dati in un file JSONL pronto per l'ottimizzazione.

Per installare l'interfaccia della riga di comando di OpenAI, eseguire il comando Python seguente:

pip install openai==0.28.1

Per analizzare i dati di training con lo strumento di preparazione dei dati, eseguire il comando Python seguente. Sostituire l'argomento <LOCAL_FILE> con il percorso completo e il nome file del file di dati di training da analizzare:

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Questo strumento accetta i file nei formati di dati seguenti, se contengono una richiesta e una colonna/chiave di completamento:

• Valori delimitati da virgole (CSV)
• Valori delimitati da tabulazioni (TSV)
• Cartella di lavoro di Microsoft Excel (XLSX)
• JavaScript Object Notation (JSON)
• Righe JSON (JSONL)

Lo strumento riformatta i dati di training e salva l'output in un file JSONL pronto per l'ottimizzazione, dopo aver illustrato il processo di implementazione delle modifiche suggerite.