Collegare una risorsa multiservizio di Azure per intelligenza artificiale a un set di competenze in Azure AI Search

Articolo
10/22/2024

Quando si configura una pipeline di arricchimento tramite intelligenza artificiale facoltativa in Ricerca di intelligenza artificiale di Azure, è possibile arricchire gratuitamente un numero ridotto di documenti, limitato a 20 transazioni giornaliere per ogni indice. Per carichi di lavoro più grandi e più frequenti, è consigliabile collegare una risorsa multiservizio di Azure AI fatturabile.

Un account multiservizio fornisce una raccolta di servizi di intelligenza artificiale di Azure, anziché di singoli servizi. L'account ha una chiave di risorsa associata. Questa chiave viene specificata in un set di competenze di Ricerca intelligenza artificiale di Azure e consente a Microsoft di pagare l'uso di questi servizi:

Visione artificiale di Azure per l'analisi delle immagini, il riconoscimento ottico dei caratteri (OCR) e il testo e l'incorporamento diimmaginii.
Lingua di Azure AI per il rilevamento del linguaggio, il riconoscimento delle entità, l'analisi valutazione e l'estrazione di frasi chiave
Voce di Azure AI per il riconoscimento vocale e la sintesi vocale
Traduttore per Azure AI per la traduzione testuale automatica

La chiave viene usata per la fatturazione, non per le connessioni. È necessario fornire una chiave nel set di competenze anche se si usano altri meccanismi, ad esempio assegnazioni di ruolo e identità gestite, nella connessione.

Suggerimento

Azure offre un'infrastruttura che consente di monitorare la fatturazione e i budget. Per altre informazioni sul monitoraggio dei Servizi di Azure AI, vedere Pianificare e gestire i costi per i Servizi di Azure AI.

Ottenere la chiave di risorsa per un account multiservizio di Intelligenza artificiale di Azure

Accedere al portale di Azure.
Creare una risorsa multiservizio di Azure per intelligenza artificiale nella stessa area del servizio di ricerca.
Ottenere la chiave di risorsa dalla pagina Chiavi>risorse ed endpoint.

Aggiungere la chiave di risorsa a un set di competenze

È possibile usare il portale di Azure, l'API REST o azure SDK per aggiungere la chiave a un set di competenze.

Se la proprietà non viene specificata, il servizio di ricerca tenta di usare gli arricchimenti gratuiti disponibili per l'indicizzatore su base giornaliera. L'esecuzione di competenze fatturabili si arresta a 20 transazioni per ogni chiamata dell'indicizzatore e viene visualizzato un messaggio "TimeOut" nella cronologia di esecuzione dell'indicizzatore.

Aggiungere la chiave a una definizione del set di competenze:

Se si usa una procedura guidata Importa dati, creare o selezionare l'account azure per intelligenza artificiale. La procedura guidata aggiunge la chiave di risorsa alla definizione del set di competenze.
Per un set di competenze nuovo o esistente, fornire la chiave nella definizione del set di competenze.

Usare l'API Crea o Aggiorna set di competenze specificando cognitiveServices la sezione nel corpo della richiesta:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

Il frammento di codice seguente proviene da azure-search-dotnet-samples, tagliato per brevità.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Rimuovere la chiave

Gli arricchimenti sono operazioni fatturabili. Se non è più necessario chiamare i servizi di intelligenza artificiale di Azure, seguire queste istruzioni per rimuovere la chiave multiservizio e impedire l'uso della risorsa esterna. Senza la chiave, il set di competenze torna all'allocazione predefinita di 20 transazioni gratuite per indicizzatore al giorno. L'esecuzione di competenze fatturabili si arresta a 20 transazioni e viene visualizzato un messaggio "TimeOut" nella cronologia di esecuzione dell'indicizzatore quando viene usata l'allocazione.

Azure portal
REST

Accedere al portale di Azure.
In Set di competenze di gestione della ricerca > selezionare un set di competenze dall'elenco.
Scorrere fino alla sezione nel file contenente "cognitiveServices".
Eliminare il valore della chiave dal codice JSON e salvare il set di competenze.

Ottenere il set di competenze in modo da avere la definizione completa.
Formulare una richiesta di aggiornamento del set di competenze, fornendo la definizione JSON del set di competenze.

Rimuovere la chiave nel corpo della definizione e quindi inviare la richiesta:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

In alternativa, è possibile impostare "cognitiveServices" su null:

"cognitiveServices": null,

Come viene usata la chiave

La fatturazione basata su chiave si applica quando le chiamate API alle risorse dei Servizi di Azure AI superano 20 chiamate API per indicizzatore al giorno. È possibile reimpostare l'indicizzatore per reimpostare il numero di API.

La chiave viene usata per la fatturazione, ma non per le connessioni delle operazioni di arricchimento. Per le connessioni, un servizio di ricerca si connette tramite la rete interna a una risorsa dei Servizi di Azure AI che si trova nella stessa area fisica. La maggior parte delle aree che offrono Azure AI Search offre anche altri servizi di intelligenza artificiale di Azure, ad esempio Language. Se si tenta l'arricchimento tramite intelligenza artificiale in un'area che non dispone di entrambi i servizi, verrà visualizzato questo messaggio: "La chiave fornita non è una chiave di tipo CognitiveServices valida per l'area del servizio di ricerca".

Attualmente, la fatturazione per competenze predefinite richiede una connessione pubblica da Azure AI Search a un altro servizio di Azure per intelligenza artificiale. La disabilitazione dell'accesso alla rete pubblica interrompe la fatturazione. Se la disabilitazione delle reti pubbliche è un requisito, è possibile configurare una competenza dell'API Web personalizzata implementata con una funzione di Azure che supporta endpoint privati e aggiungere la risorsa Servizi di Azure AI alla stessa rete virtuale. In questo modo, è possibile chiamare la risorsa dei Servizi di Azure AI direttamente dalla competenza personalizzata usando endpoint privati.

Nota

Alcune competenze predefinite si basano su servizi di intelligenza artificiale di Azure non a livello di area, ad esempio la competenza traduzione testuale. L'uso di una competenza non a livello di area significa che la richiesta potrebbe essere usata in un'area diversa da quella di Azure AI Search. Per altre informazioni sui servizi non a livello di area, vedere la pagina Prodotto Servizi di Azure AI in base all'area.

Casi speciali di requisiti chiave

La Ricerca di entità personalizzate viene misurata da Azure AI Search, non dai Servizi di Azure AI, ma richiede una chiave di risorsa multiservizio di Azure per sbloccare le transazioni successive a 20 per indicizzatore al giorno. Solo per questa competenza, la chiave della risorsa sblocca il numero di transazioni, ma non è correlata alla fatturazione.

Arricchimenti gratuiti

L'arricchimento tramite intelligenza artificiale offre una piccola quantità di elaborazione gratuita di arricchimenti fatturabili in modo da poter completare brevi esercizi senza dover collegare una risorsa multiservizio di Azure AI. Gli arricchimenti gratuiti sono 20 documenti al giorno, per indicizzatore. È possibile reimpostare l'indicizzatore per reimpostare il contatore se si vuole ripetere un esercizio.

Alcuni arricchimenti sono sempre gratuiti:

Le competenze dell'utilità che non chiamano i Servizi di Azure AI (vale a dire Condizionale, Estrazione documenti, Shaper, Unione di testoe competenze di Suddivisione del testo) non sono fatturabili.
L'estrazione di testo da documenti PDF e altri file dell'applicazione non è fatturabile. L'estrazione del testo, che si verifica durante il cracking di documenti, non è un arricchimento tramite intelligenza artificiale, ma si verifica durante l'arricchimento tramite intelligenza artificiale ed è quindi indicato qui.

Arricchimenti fatturabili

Durante l'arricchimento tramite intelligenza artificiale, Azure AI Search chiama le API dei Servizi di Azure AI per le competenze predefinite basate su Visione artificiale di Azure, Traduttore e Azure AI Language.

Le competenze predefinite fatturabili che effettuano chiamate back-end ai Servizi di Azure AI includono Collegamento delle entità, Riconoscimento di entità, Analisi delle immagini, Estrazione frasi chiave, Rilevamento lingua, OCR, Informazioni personali, Valutazionee Traduzione testo.

L'estrazione di immagini è un'operazione di Azure AI Search che si verifica quando i documenti vengono decifrati prima dell'arricchimento. L'estrazione delle immagini è fatturabile in tutti i livelli, ad eccezione di 20 estrazioni giornaliere gratuite nel livello gratuito. I costi di estrazione delle immagini si applicano ai file di immagine all'interno di BLOB, immagini incorporate in altri file (file PDF e altri file dell'app) e per le immagini estratte usando Estrazione documenti. Per i prezzi dell'estrazione di immagini, vedere la pagina dei prezzi di Azure AI Search.

Suggerimento

Per ridurre il costo dell'elaborazione del set di competenze, abilitare l'arricchimento incrementale per memorizzare nella cache e riutilizzare eventuali arricchimenti non interessati dalle modifiche apportate a un set di competenze. La memorizzazione nella cache richiede Archiviazione di Azure (vedere prezzi, ma il costo cumulativo dell'esecuzione del set di competenze è inferiore se è possibile riutilizzare gli arricchimenti esistenti, soprattutto per i set di competenze che usano l'estrazione e l'analisi delle immagini.

Esempio: Stimare i costi

Per stimare i costi associati all'indicizzazione di Azure AI Search, iniziare con un'idea dell'aspetto di un documento medio in modo da poter vedere i primi numeri. Ad esempio, è possibile approssimare:

1.000 PDF.
Sei pagine ognuno.
Un'immagine per pagina (6.000 immagini).
3.000 caratteri per pagina.

Si supponga di avere una pipeline costituita dall'individuazione del documento di ogni file PDF con estrazione di testo e immagini, riconoscimento ottico dei caratteri (OCR) delle immagini e riconoscimento di entità delle organizzazioni.

I prezzi illustrati in questo articolo sono illustrativi e vengono usati per spiegare il processo di stima. I costi potrebbero essere inferiori. Per il prezzo effettivo delle transazioni, vedere Prezzi dei Servizi di Azure AI.

Per l'individuazione di documenti con contenuto di testo e immagini, attualmente l'estrazione di testo è gratuita. Per 6,000 immagini, si supponga un costo di 1 dollaro per ogni 1.000 immagini estratte. Si tratta di un costo di $ 6,00 per questo passaggio.
Per il riconoscimento ottico dei caratteri di 6.000 immagini in inglese, la competenza cognitiva OCR usa l'algoritmo migliore (DescribeText). Supponendo un costo di 2,50 dollari per l’analisi di 1.000 immagini, il costo raggiunto in questo passaggio sarebbe di 15 dollari.
Per l'estrazione delle entità, abbiamo un totale di 3 record di testo per ogni pagina. (ogni record è composto da 1.000 caratteri). Tre record di testo per pagina moltiplicati per 6.000 pagine uguali a 18.000 record di testo. Supponendo un prezzo di 2 dollari ogni 1.000 record di testo, in questo passaggio si raggiungerebbe un costo di 36 dollari.

Unendo i due passaggi, si arriverebbe a pagare circa 57 dollari per inserire 1.000 documenti PDF di questo tipo con il set di competenze descritto.

Condividi tramite