Attacher une ressource multiservices Azure AI à un ensemble de compétences dans Azure AI Search

Article
10/25/2024

Lors de la configuration d’un pipeline d’enrichissement par IA facultatif dans Recherche Azure AI, vous pouvez enrichir un petit nombre de documents gratuitement, limité à 20 transactions quotidiennes par index. Pour les charges de travail plus volumineuses et plus fréquentes, vous devez attacher une ressource multiservices Azure AI.

Un compte multiservices fournit une collection de Azure AI services, plutôt que des services individuels. Le compte a une clé de ressource associée. Cette clé est spécifiée dans un ensemble de compétences Recherche Azure AI et permet à Microsoft de vous facturer l’utilisation de ces services :

Azure AI Vision pour l’analyse d’images, la reconnaissance optique de caractères (OCR) et le texte modal et l’incorporation d’images.
Azure AI Language pour la détection de langage, la reconnaissance d’entité, l’analyse des sentiments et l’extraction d’expressions clés
Azure AI Speech pour la reconnaissance vocale et la synthèse vocale
Azure AI Traducteur pour la traduction de texte de l’ordinateur

La clé est utilisée pour la facturation, et non pour les connexions. Vous devez fournir une clé dans l’ensemble de compétences même si vous utilisez d’autres mécanismes, tels que les attributions de rôles et les identités managées, sur la connexion.

Conseil

Azure propose une infrastructure pour contrôler la facturation et les budgets. Pour plus d’informations sur la surveillance des services Azure AI, consultez Planifier et gérer les coûts des services Azure AI.

Obtenir la clé de ressource d’un compte multiservices Azure AI

Connectez-vous au portail Azure.
Créez une ressource multiservices Azure AI dans la même région que votre service de recherche.
Obtenez la clé de ressource à partir de la page Ressources>Clés et point de terminaison.

Ajouter la clé de ressource à un ensemble de compétences

Vous pouvez utiliser le portail Azure, l’API REST ou un Kit de développement logiciel (SDK) Azure pour ajouter la clé à un ensemble de compétences.

Si vous laissez la propriété non spécifiée, votre service de recherche tente d’utiliser quotidiennement les enrichissements gratuits disponibles pour votre indexeur. L’exécution de compétences facturables s’arrête à 20 transactions par appel d’indexeur et un message « Délai d’attente » s’affiche dans l’historique d’exécution de l’indexeur.

Ajoutez la clé à une définition d’ensemble de compétences :

Si vous utilisez un Assistant Importation de données, créez ou sélectionnez le compte Azure AI. L’Assistant ajoute la clé de ressource à votre définition d’ensemble de compétences.
Pour un ensemble de compétences nouveau ou existant, fournissez la clé dans la définition de l’ensemble de compétences.

Utilisez l’API Créer ou mettre à jour un ensemble de compétences , en spécifiant la section cognitiveServices dans le corps de la requête :

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

L’extrait de code suivant provient de azure-search-dotnet-samples, ajusté par souci de concision.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Supprimer la clé

Les enrichissements sont des opérations facturables. Si vous n’avez plus besoin d’appeler des services Azure AI, suivez ces instructions pour supprimer la clé multiservices et empêcher l’utilisation de la ressource externe. Sans la clé, l’ensemble de compétences rétablit l’allocation par défaut de 20 transactions gratuites par indexeur, par jour. L’exécution de compétences facturables s’arrête à 20 transactions et un message «expiration du délai d’attente » s’affiche dans l’historique d’exécution de l’indexeur lorsque l’allocation est utilisée.

Azure portal
REST

Connectez-vous au portail Azure.
Sous gestion de recherche > ensembles de compétences, sélectionnez un ensemble de compétences dans la liste.
Faites défiler jusqu’à la section du fichier contenant "cognitiveServices".
Supprimez la valeur de clé du json et enregistrez l’ensemble de compétences.

Obtenez l’ensemble de compétences pour que vous ayez la définition complète.
Formulez une requête Mettre à jour un ensemble de compétences , en fournissant la définition JSON de l’ensemble de compétences.

Supprimez la clé dans le corps de la définition, puis envoyez la requête :

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

Vous pouvez également définir « cognitiveServices » sur null :

"cognitiveServices": null,

Utilisation de la clé

La facturation basée sur des clés s’applique lorsque les appels d’API aux ressources des services Azure AI dépassent 20 appels d’API par indexeur, par jour. Vous pouvez réinitialiser l’indexeur pour réinitialiser le nombre d’API.

La clé est utilisée pour la facturation, mais pas pour les connexions des opérations d’enrichissement. Pour les connexions, un service de recherche se connecte via le réseau interne à une ressource Azure AI services localisée dans la même région physique. La plupart des régions qui offrent Azure AI Search offrent également d’autres services Azure AI tels que Langage. Si vous essayez l’enrichissement par IA dans une région qui ne présente pas les deux services, le message suivant s’affiche : « La clé fournie n’est pas une clé de type CognitiveServices valide pour la région de votre service de recherche ».

Actuellement, la facturation de compétences intégrées nécessite une connexion publique d’Azure AI Search à un autre service Azure AI. La désactivation de la facturation de l’accès au réseau public interrompt la facturation. Si la désactivation des réseaux publics est requise, vous pouvez configurer une compétence d’API web personnalisée implémentée avec un Azure Function prenant en charge points de terminaison privés et ajouter la ressource services Azure AI au même réseau virtuel. De cette façon, vous pouvez appeler la ressource des services Azure AI directement à partir de la compétence personnalisée à l’aide de points de terminaison privés.

Remarque

Certaines compétences intégrées sont basées sur des services Azure AI non régionaux (par exemple, la compétence de traduction de texte ). L’utilisation d’une compétence non régionale signifie que votre requête peut être prise en charge dans une région autre que la région Azure AI Search. Pour plus d’informations sur les services non régionaux, consultez la page produit par région des services Azure AI.

Cas particuliers pour les exigences de clé

La recherche d’entité personnalisée est mesurée par Azure AI Search, et non par les services Azure AI, mais elle nécessite une clé de ressource multiservices Azure AI pour déverrouiller les transactions au-delà de 20 par indexeur, par jour. Pour cette compétence uniquement, même si la clé de ressource permet de débloquer le nombre de transactions, elle n’est pas liée à la facturation.

Enrichissements libres

L’enrichissement par IA offre une petite quantité de traitement libre d’enrichissements facturables, ce qui vous permet d’effectuer des opérations courtes sans avoir à joindre une ressource multi-service Azure AI . Les enrichissements libres sont de 20 documents par jour, par indexeur. Vous pouvez réinitialiser l’indexeur pour réinitialiser le compteur si vous souhaitez répéter une opération.

Certains enrichissements sont toujours gratuits :

Les compétences utilitaires qui n’appellent pas les services Azure AI (à savoir, conditionnel, extraction de documents, Modélisateur, fusion de texteet compétences de fractionnement de texte) ne sont pas facturables.
L’extraction de texte à partir de documents PDF et d’autres fichiers d’application n’est pas facturable. L’extraction de texte, qui a lieu pendant le craquage de document, n’est pas un enrichissement par IA, mais elle a lieu pendant l’enrichissement par IA et est donc mentionnée ici.

Enrichissements facturables

Pendant l’enrichissement par IA, Azure AI Search appelle les API des services Azure AI pour compétences intégrées basées sur Azure AI Vision, Translator et Azure AI Language.

Les compétences intégrées facturables qui effectuent des appels principaux aux services Azure AI incluent la liaison d’entités, la reconnaissance d’entité, l’Analyse des images, l’extraction d’expressions clés, la Détection de langue, l’OCR, la détection d’informations d’identification personnelle (PII), le Sentimentet la traduction de texte.

L’extraction d’images est une opération de Azure AI Search qui se produit lorsque les documents sont décodés avant l’enrichissement. L’extraction d’images est facturable pour tous les niveaux, sauf pour les 20 extractions quotidiennes gratuites du niveau Gratuit. Les coûts d’extraction d’images s’appliquent aux fichiers image contenus dans les objets blob, aux images incorporées dans d’autres fichiers (fichiers PDF et autres fichiers d’application) ainsi qu’aux images extraites à l’aide de l’extraction de documents. Pour connaître les prix appliqués à l’extraction d’images, voir la page de tarification du service Azure AI Search.

Conseil

Pour réduire le coût du traitement des ensembles de compétences, activez l’enrichissement incrémentiel afin de mettre en cache et de réutiliser les enrichissements non affectés par les changements apportés à un ensemble de compétences. La mise en cache nécessite Stockage Azure (consultez les tarifs). Toutefois, le coût cumulé de l’exécution des ensembles de compétences est moindre si les enrichissements existants peuvent être réutilisés, en particulier pour les ensembles de compétences qui utilisent l’analyse et l’extraction d’images.

Exemple : Estimer les coûts

Pour estimer les coûts associés à l’indexation Azure AI Search, commencez par une idée de l’apparence d’un document moyen afin de pouvoir exécuter des nombres. Par exemple, vous pourriez faire une approximation :

1 000 fichiers PDF.
Six pages par fichier.
Une image par page (6 000 images).
3 000 caractères par page.

Supposons un pipeline consistant en un craquage de document PDF, une extraction d’image et de texte, une reconnaissance optique de caractères (OCR) d’images, et une reconnaissance d’entités d’organisations.

Les prix indiqués dans cet article sont hypothétiques. Ils sont utilisés pour illustrer le processus d’estimation. Vos coûts peuvent être inférieurs. Pour connaître le prix réel des transactions, consultez latarification des services Azure AI.

Pour le décodage de documents avec contenu de texte et d’image, l’extraction de texte est actuellement gratuite. Pour 6 000 images, supposez un prix de 1 USD pour chaque tranche de 1 000 images extraites. Cela revient à un coût de 6,00 USD pour cette étape.
Pour la reconnaissance optique de caractères (OCR) de 6 000 images en anglais, la qualification cognitive OCR utilise le meilleur algorithme (DescribeText). À raison de 2,50 $ par lot de 1 000 images à analyser, cette étape vous coûterait 15 $.
Pour l’extraction d’entité, vous auriez un total de trois enregistrements texte par page. Chaque enregistrement contient 1 000 caractères. Trois enregistrements texte par page multipliés par 6 000 pages équivalent à 18 000 enregistrements texte. À raison de 2 $ par lot de 1 000 enregistrements texte, cette étape vous coûterait 36 $.

En additionnant tout cela, l’ingestion de 1 000 documents PDF de ce type avec l’ensemble de qualifications décrit vous reviendrait à environ 57 USD.

Partager via