Anexar um recurso de vários serviços de IA do Azure a um conjunto de habilidades na IA do Azure Search

Artigo
10/23/2024

Ao configurar um pipeline de enriquecimento de IA opcional no IA do Azure Search, você pode enriquecer um pequeno número de documentos gratuitamente, limitado a 20 transações diárias por índice. Para cargas de trabalho maiores e mais frequentes, anexe um recurso de vários serviços de IA do Azure faturável.

Uma conta multisserviço fornece uma coleção de serviços de IA do Azure, em vez de serviços individuais. A conta tem uma chave de recurso associada. Essa chave é especificada em um conjunto de habilidades do IA do Azure Search e permite que a Microsoft cobre pelo uso desses serviços:

IA do Azure Vision para análise de imagens, reconhecimento óptico de caracteres (OCR) e incorporação de texto e imagem multimodal.
Linguagem de IA do Azure para detecção de idioma, reconhecimento de entidade, análise de sentimentos e extração de frases-chave
Fala de IA do Azure para conversão de fala em texto e conversão de texto em fala
Tradutor de IA do Azure para tradução de texto do computador

A chave é usada para cobrança, não para conexões. Você deve fornecer uma chave no conjunto de habilidades, mesmo se estiver usando outros mecanismos, como atribuições de funções e identidades gerenciadas, na conexão.

Dica

O Azure fornece infraestrutura para monitorar a cobrança e os orçamentos. Para obter mais informações sobre como monitorar os serviços de IA do Azure, confira Planejar e gerenciar custos para os serviços de IA do Azure.

Obtenha a chave de recurso para uma conta multisserviço do IA do Azure

Entre no portal do Azure.
Crie um recurso de vários serviços de IA do Azure na mesma região que seu serviço de pesquisa.
Obtenha a chave de recurso na página Recursos>Chaves e ponto de extremidade.

Adicione a chave de recurso a um conjunto de habilidades

Você pode usar o portal do Azure, a API REST ou um SDK do Azure para adicionar a chave a um conjunto de habilidades.

Caso deixe a propriedade não especificada, seu serviço de pesquisa tenta usar os enriquecimentos gratuitos disponíveis para o indexador diariamente. A execução de habilidades faturáveis é parada em 20 transações por invocação do indexador, e uma mensagem “Tempo Limite Atingido” é exibida no histórico de execução do indexador.

Adicione a chave a uma definição de conjunto de habilidades:

Se estiver usando um Assistente de importação de dados, crie ou selecione a conta do IA do Azure. O assistente adiciona a chave de recurso à sua definição de conjunto de habilidades.
Para um conjunto de habilidades novo ou existente, forneça a chave na definição do conjunto de habilidades.

Use a API Criar ou atualizar conjunto de habilidades, especificando a seçãocognitiveServices no corpo da solicitação:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": "<your key goes here>"
    }
}

O snippet de código a seguir é de azure-search-dotnet-samples, cortado para ter brevidade.

IConfigurationBuilder builder = new ConfigurationBuilder().AddJsonFile("appsettings.json");
IConfigurationRoot configuration = builder.Build();

string searchServiceUri = configuration["SearchServiceUri"];
string adminApiKey = configuration["SearchServiceAdminApiKey"];
string cognitiveServicesKey = configuration["CognitiveServicesKey"];

SearchIndexerClient indexerClient = new SearchIndexerClient(new Uri(searchServiceUri), new AzureKeyCredential(adminApiKey));

// Create the skills
Console.WriteLine("Creating the skills...");
OcrSkill ocrSkill = CreateOcrSkill();
MergeSkill mergeSkill = CreateMergeSkill();

// Create the skillset
Console.WriteLine("Creating or updating the skillset...");
List<SearchIndexerSkill> skills = new List<SearchIndexerSkill>();
skills.Add(ocrSkill);
skills.Add(mergeSkill);

SearchIndexerSkillset skillset = CreateOrUpdateDemoSkillSet(indexerClient, skills, cognitiveServicesKey);

Remova a chave

Enriquecimentos são operações faturáveis. Se você não precisar mais chamar os serviços de IA do Azure, siga essas instruções para remover a chave multisserviço e impedir o uso do recurso externo. Sem a chave, o conjunto de habilidades é revertido para a alocação padrão de 20 transações gratuitas por indexador, por dia. A execução de habilidades faturáveis é parada em 20 transações e uma mensagem "Tempo Limite Atingido" é exibida no histórico de execução do indexador quando a alocação é esgotada.

Portal do Azure
REST

Entre no portal do Azure.
Em Gerenciamento de pesquisa >Conjuntos de habilidades, selecione um conjunto de habilidades na lista.
Vá até a seção no arquivo que contém "cognitiveServices".
Exclua o valor da chave do JSON e salve o conjunto de habilidades.

Obtenha o Conjunto de Habilidades para ter a definição completa.
Formular uma solicitação do Conjunto de habilidades de atualização, fornecendo a definição JSON do conjunto de habilidades.

Remova a chave no corpo da definição e envie a solicitação:

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2024-07-01
api-key: [admin key]
Content-Type: application/json
{
    "name": "skillset name",
    "skills": 
    [
      {
        "@odata.type": "#Microsoft.Skills.Text.V3.EntityRecognitionSkill",
        "categories": [ "Organization" ],
        "defaultLanguageCode": "en",
        "inputs": [
          {
            "name": "text", "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "organizations", "targetName": "organizations"
          }
        ]
      }
    ],
    "cognitiveServices": {
        "@odata.type": "#Microsoft.Azure.Search.CognitiveServicesByKey",
        "description": "mycogsvcs",
        "key": ""
    }
}

Como alternativa, defina “cognitiveServices” como nulo:

"cognitiveServices": null,

Como a chave é usada

A cobrança baseada em chave se aplica quando as chamadas de API para os recursos de serviços de IA do Azure excedem 20 chamadas de API por indexador, por dia. Você pode redefinir o indexador para redefinir a contagem da API.

A chave é usada para cobrança, mas não para conexões de operações de enriquecimento. Para conexões, um serviço de pesquisa seconecta a uma rede interna para um recurso de serviços de IA do Azure que está localizado na mesma região física. A maioria das regiões que oferecem a IA do Azure Search também oferece outros serviços de IA do Azure, como Idioma. Se você tentar enriquecer o IA em uma região que não tem os dois serviços, verá esta mensagem: "A chave fornecida não é uma chave do tipo CognitiveServices válida para a região do seu serviço de pesquisa".

Atualmente, a cobrança por habilidades internas requer uma conexão pública de IA do Azure Search com outro serviço de IA do Azure. Desabilitar o acesso à rede pública interrompe a cobrança. Se desabilitar redes públicas for um requisito, você poderá configurar uma habilidade de API Web Personalizada implementada com uma Função do Azure que dá suporte a pontos de extremidade privados e adicionar o recurso de serviços de IA do Azure à mesma VNET. Dessa forma, é possível chamar o recurso de serviços de IA do Azure, diretamente da habilidade personalizada usando pontos de extremidade privados.

Observação

Algumas habilidades internas se baseiam em serviços de IA do Azure não regionais (por exemplo, a Habilidade de Tradução de Texto). Usar uma habilidade não regional significa que sua solicitação pode ser atendida em uma região diferente da região da IA do Azure Search. Para obter mais informações sobre serviços não regionais, confira a página Produtos de serviços de IA do Azure por região.

Casos especiais de requisitos de chave

A Pesquisa de entidade personalizada é medida pela IA do Azure Search, não pelos serviços de IA do Azure, mas requer uma chave de recurso de vários serviços da IA do Azure para desbloquear transações além de 20 por indexador, por dia. Somente para essa habilidade, a chave de recurso desbloqueia o número de transações, mas não está relacionada à cobrança.

Enriquecimentos gratuitos

O enriquecimento de IA oferece uma pequena quantidade de processamento gratuito de enriquecimentos faturáveis para que você possa concluir exercícios curtos sem precisar anexar um recurso de vários serviços de IA do Azure. Enriquecimentos gratuitos são 20 documentos por dia, por indexador. Você poderá redefinir o indexador para redefinir o contador, se quiser repetir um exercício.

Alguns enriquecimentos são sempre gratuitos:

As habilidades do utilitário que não chamam os serviços de IA do Azure (ou seja, Condicional, Extração do Documento, Formador, Mesclagem de Texto e Divisão de Texto) não são faturáveis.
A extração de texto de documentos PDF e outros arquivos de aplicativo não é faturável. A extração de texto, que ocorre durante a quebra de documento, não é um enriquecimento de IA, mas ocorre durante o enriquecimento de IA e, portanto, é observada aqui.

Enriquecimentos faturáveis

Durante o enriquecimento de IA, a IA do Azure Search chama as APIs de serviços de IA do Azure para habilidades integradas que são baseadas na Visão de IA do Azure, Tradutor e Linguagem de IA do Azure.

Habilidades integradas faturáveis que fazem chamadas de back-end para os serviços de IA do Azure incluem Vinculação de Entidade, Reconhecimento de Entidade, Análise de Imagem, Extração de Frases-chave, Detecção de Idioma, OCR, Detecção de PII (Informações de identificação pessoal), Sentimento e Tradução de Texto.

A extração de imagem é uma operação de IA do Azure Search que ocorre quando os documentos são decifrados antes do enriquecimento. A extração de imagens é cobrada em todas as camadas, com exceção de 20 extrações diárias gratuitas na camada gratuita. Os custos de extração de imagem se aplicam a arquivos de imagem dentro de blobs, imagens inseridas em outros arquivos (PDF e outros arquivos de aplicativo) e para imagens extraídas usando através da Extração de Documentos. Para p preço da extração de imagem, consulte a Página de preços da IA do Azure Search.

Dica

Para reduzir o custo do processamento do conjunto de habilidades, habilite o enriquecimento incremental para armazenar em cache e reutilizar os enriquecimentos que não são afetados pelas alterações feitas em um conjunto de habilidades. O cache requer o Armazenamento do Microsoft Azure (consulte preços, mas o custo cumulativo da execução do conjunto de habilidades será menor se os enriquecimentos existentes puderem ser reutilizados, especialmente para os conjunto de habilidades que usam extração e análise de imagem.

Exemplo: Estimar custos

Para estimar os custos associados à indexação de IA do Azure Search, comece com uma ideia de como é um documento comum de modo que você possa realizar alguns cálculos. Por exemplo, você pode aproximar:

1.000 PDFs.
Seis páginas cada.
Uma imagem por página (6 mil imagens).
3 mil caracteres por página.

Suponha um pipeline que consiste em quebra de documento de cada PDF, extração de imagem e texto, reconhecimento óptico de caracteres (OCR) de imagens e reconhecimento de entidade de organizações.

Os preços mostrados neste artigo são hipotéticos. Eles são usados para ilustrar o processo de estimativa. Seus custos podem ser menores. Para obter o preço real das transações, consulte Preços de serviços de IA do Azure.

Para decifração de documento com conteúdo de texto e imagem, a extração de texto atualmente é gratuita. Para 6 mil imagens, suponha $1 para cada 1.000 imagens extraídas. Esse é um custo de $6 para esta etapa.
Para OCR de 6.000 imagens em inglês, a habilidade cognitiva do OCR usa o melhor algoritmo (DescribeText). Supondo um custo de US$ 2,50 por 1.000 imagens a serem analisadas, pagaríamos US$ 15,00 para essa etapa.
Para extração de entidades, você teria um total de três registros de texto por página. Cada registro tem 1.000 caracteres. Três registros de texto por página multiplicados por 6 mil páginas = 18 mil registros de texto. Supondo US$ 2,00 por 1.000 registros de texto, essa etapa custaria US$36,00.

Juntando as peças, pagaríamos cerca de US$ 57,00 para ingerir 1.000 documentos PDF dessa natureza com o conjunto de habilidades descrito.

Compartilhar via