Usare i dati delle immagini per Azure OpenAI usando GPT-4 Turbo with Vision (anteprima) in Studio di Azure OpenAI

Usare questo articolo per informazioni su come fornire dati di immagini personalizzati per GPT-4 Turbo con Visione, il modello di visione in Servizio OpenAI di Azure. GPT-4 Turbo con Visione sui dati consente al modello di generare risposte più personalizzate e mirate usando la Generazione aumentata di recupero (RAG) in base alle proprie immagini e ai metadati delle immagini.

Prerequisiti

• Una sottoscrizione di Azure: crearne una gratuitamente.
• Una risorsa OpenAI di Azure con il modello GPT-4 Turbo con Visione distribuito. Per altre informazioni sulla distribuzione del modello, vedere la guida alla distribuzione delle risorse.

• Almeno il ruolo Collaboratore Servizi cognitivi assegnato all'utente per la risorsa OpenAI di Azure.

Aggiungere l'origine dati

Andare a Studio di Azure OpenAI e accedere con le credenziali di accesso alla risorsa OpenAI di Azure. Durante o dopo il flusso di lavoro di accesso, selezionare la directory appropriata, la sottoscrizione di Azure e la risorsa OpenAI di Azure.

Nel riquadro Configurazione assistente, selezionare Aggiungi dati (anteprima)>+ Aggiungi un'origine dati.

Nel riquadro visualizzato dopo aver selezionato Aggiungere un'origine dati sono disponibili tre opzioni per la selezione di un'origine dati:

• Azure AI Search
• Archiviazione BLOB di Azure
• File di immagine e metadati dell'immagine personalizzati

Tutte e tre le opzioni usano un indice di Azure AI Search per eseguire una ricerca da immagine a immagine e recuperare i primi risultati della ricerca per l'immagine della richiesta di input. Per le opzioni Archiviazione BLOB di Azure e Caricare file, Azure OpenAI genera automaticamente un indice di ricerca di immagini. Per Azure AI Search, è necessario avere un indice di ricerca delle immagini. Le sezioni seguenti contengono informazioni dettagliate su come creare l'indice di ricerca.

Attivare CORS

Quando si aggiunge un'origine dati per la prima volta, è possibile che venga visualizzato un avviso rosso che chiede di attivare la condivisione di risorse tra le origini (CORS). Per arrestare l'avviso, selezionare Attiva CORS in modo che Azure OpenAI possa accedere all'origine dati.

Aggiungere i dati caricando i file

È possibile caricare manualmente i file di immagine e immettere manualmente i metadati usando OpenAI di Azure. Questa funzionalità è particolarmente utile se si sta sperimentando un piccolo set di immagini e si desidera creare l'origine dati.

1. Andare a e selezionare il pulsante Aggiungi un'origine dati in Azure OpenAI come descritto in precedenza. Selezionare quindi Carica file.

2. Selezionare la propria sottoscrizione. Selezionare un account di archiviazione BLOB in cui archiviare i file di immagine caricati. Selezionare una risorsa di Ricerca intelligenza artificiale di Azure che conterrà l'indice di ricerca immagini appena creato. Immettere il nome dell'indice di ricerca immagini desiderato.

   Dopo aver compilato tutti i valori, selezionare le due caselle di controllo nella parte inferiore per confermare l'utilizzo e quindi selezionare Avanti.

   

   Per i file di immagine sono supportati i tipi di file seguenti:

   • JPG
   • .png
   • .gif
   • .bmp
   • TIFF

3. Selezionare Naviga a un file per selezionare i file di immagine da usare dalla directory locale.

4. Dopo aver selezionato i file di immagine, questi vengono visualizzati nella tabella. Selezionare Upload files (Carica file). Dopo aver caricato i file, verificare che lo stato di ogni file sia Caricato. Quindi seleziona Avanti.

   

5. Per ogni file di immagine, immettere i metadati nelle caselle di descrizione specificate. Quindi seleziona Avanti.

   

6. Esaminare tutte le informazioni per assicurarsi che siano corrette. Successivamente, selezionare Salva e chiudi.

Aggiungere i dati usando Ricerca intelligenza artificiale di Azure

Se si ha un indice di Azure AI Search esistente, è possibile usarlo come origine dati. Se non è già stato creato un indice di ricerca per le immagini, è possibile crearne uno usando il repository di ricerca vettoriale di AI Search in GitHub. Questo repository fornisce script per creare un indice con i file di immagine.

Questa opzione è utile anche se si desidera creare l'origine dati usando file personalizzati come l'opzione precedente e quindi tornare all'esperienza playground per selezionare l'origine dati creata ma non ancora aggiunta.

1. Andare a e selezionare il pulsante Aggiungi un'origine dati in Azure OpenAI come descritto in precedenza. Successivamente, selezionare Azure AI Search.

   Suggerimento

   È possibile selezionare un indice di ricerca di immagini creato usando l'opzione Archiviazione BLOB di Azure o Carica file.

2. Selezionare la sottoscrizione e il servizio Ricerca intelligenza artificiale di Azure usati per creare l'indice di ricerca immagini.

3. Selezionare l'indice di Ricerca intelligenza artificiale di Azure creato con le immagini.

4. Dopo aver compilato tutti i valori, selezionare le due caselle di controllo nella parte inferiore per confermare gli addebiti sostenuti dall'uso di GPT-4 Turbo con incorporamenti vettoriali di Visione artificiale e Ricerca di intelligenza artificiale di Azure. Quindi seleziona Avanti.

   

5. Esaminare i dettagli, quindi selezionare Salva e chiudi.

Aggiungere i dati usando Archiviazione BLOB di Azure

Se si dispone di un contenitore di Archiviazione BLOB di Azure esistente, è possibile usarlo per creare un indice di ricerca delle immagini. Per creare un nuovo contenitore, vedere la documentazione sull'avvio rapido di Archiviazione BLOB.

L'opzione di usare un contenitore di archiviazione BLOB è particolarmente utile se si dispone di un numero elevato di file di immagine e non si desidera caricarli manualmente.

Se non si ha già un contenitore di archiviazione BLOB popolato con questi file e si desidera caricare i file uno alla volta, è possibile caricare i file usando Studio di Azure OpenAI.

Prima di iniziare ad aggiungere il contenitore di archiviazione BLOB come origine dati, assicurarsi che contenga tutte le immagini da inserire. Assicurarsi anche che contenga un file JSON che include i percorsi e i metadati dei file di immagine.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Dopo aver compilato un contenitore di archiviazione BLOB con file di immagine e almeno un file JSON di metadati, è possibile aggiungere il contenitore come origine dati:

1. Andare a e selezionare il pulsante Aggiungi un'origine dati in Azure OpenAI come descritto in precedenza. Successivamente, selezionare Archivio BLOB di Azure.

2. Selezionare la sottoscrizione, l'archiviazione BLOB di Azure e un contenitore di archiviazione. È anche necessario selezionare una risorsa di Ricerca intelligenza artificiale di Azure, perché in questo gruppo di risorse verrà creato un nuovo indice di ricerca immagini. Se non si ha una risorsa di Ricerca intelligenza artificiale di Azure, è possibile crearne una nuova usando il collegamento sotto l'elenco a discesa.

3. Nella casella Nome indice immettere un nome per l'indice di ricerca.

   Nota

   Il nome dell'indice è suffisso con –v, per indicare che questo indice contiene vettori di immagine estratti dalle immagini fornite. La descrizione archiviata in metadata.json verrà aggiunta come metadati di testo nell'indice.

4. Dopo aver compilato tutti i valori, selezionare le due caselle di controllo nella parte inferiore per confermare gli addebiti derivanti dall'uso di GPT-4 Turbo con incorporamenti vettoriali di Visione artificiale e Ricerca di intelligenza artificiale di Azure. Quindi seleziona Avanti.

   

5. Esaminare i dettagli, quindi selezionare Salva e chiudi.

Usare i dati inseriti con il modello GPT-4 Turbo con Visione

Dopo aver connesso l'origine dati usando uno dei tre metodi elencati in precedenza, il processo di inserimento dati richiede tempo per completare. Un'icona e un messaggio Inserimento in corso vengono visualizzati mentre il processo procede.

Al termine dell'inserimento, verificare che venga creata un'origine dati. Vengono visualizzati i dettagli dell'origine dati, insieme al nome dell'indice di ricerca immagini.

Ora questi dati inseriti sono pronti per essere usati come dati di base per il modello GPT-4 Turbo distribuito con Vision. Il modello userà i dati di recupero principali dall'indice di ricerca delle immagini e genererà una risposta specificatamente conforme ai dati inseriti.

Suggerimenti aggiuntivi

Aggiungere e rimuovere origini dati

OpenAI di Azure consente attualmente l'uso di una sola origine dati per ogni sessione di chat. Se si desidera aggiungere una nuova origine dati, è necessario rimuovere prima l'origine dati esistente. Rimuoverla selezionando Rimuovi origine dati nelle informazioni sull'origine dati.

Quando si rimuove un'origine dati, viene visualizzato un messaggio di avviso. La rimozione di un'origine dati cancella la sessione di chat e reimposta tutte le impostazioni del playground.

Contenuto correlato

• Azure OpenAI On Your Data
• Avvio rapido: Usare le immagini nelle chat di intelligenza artificiale
• Domande frequenti su GPT-4 Turbo con Visione
• Riferimento API di GPT-4 Turbo con Visione