O que é a IA do Azure Search?

A Pesquisa de IA do Azure (anteriormente conhecido como "Azure Cognitive Search") é um sistema de pesquisa e recuperação pronto para uso empresarial, com um conjunto abrangente de tecnologia de pesquisa avançada, criada para aplicativos de alto desempenho em qualquer escala.

A Pesquisa de IA do Azure é o principal sistema de recuperação recomendado ao criar aplicativos baseados em RAG no Azure, com integrações de LLM nativas entre o Serviço OpenAI do Azure e o Azure Machine Learning.

A Pesquisa de IA do Azure pode ser usado em cenários tradicionais como em cenários GenAI. Os casos de uso comuns incluem insights da base de dados de conhecimento (pesquisa de catálogos ou documentos), descoberta de informações (exploração de dados), RAG (geração aumentada por recuperação) e automação.

Ao criar um serviço de pesquisa, você trabalhará com os seguintes recursos:

• Um mecanismo de pesquisa da busca em vetores, texto completo e pesquisa híbrida em um índice de pesquisa
• Indexação avançada com agrupamento e vetorização de dados integrados, análise lexical para texto e IA aplicada opcional para extração e transformação de conteúdo
• Sintaxe de consulta avançada para consultas de vetor, pesquisa de texto, consultas híbridas, pesquisa difusa, preenchimento automático, pesquisa geográfica e outros
• Ajuste de relevância e desempenho de consulta com classificação semântica, perfis de pontuação, quantização para consultas vetoriais e parâmetros para controlar comportamentos de consulta em tempo de execução
• Escala, segurança e alcance do Azure
• Integração do Azure na camada de dados, na camada de aprendizado de máquina, nos serviços de IA do Azure e no Azure OpenAI

Em termos de arquitetura, um serviço de pesquisa reside entre os armazenamentos de dados externos que contêm seus dados não indexados e o seu aplicativo cliente que envia solicitações de consulta para um índice de pesquisa e processa a resposta.

No aplicativo cliente, a experiência de pesquisa é definida usando APIs da IA do Azure Search e pode incluir ajuste de relevância, classificação semântica, preenchimento automático, correspondência de sinônimos, correspondência difusa, correspondência de padrões, filtro e classificação.

Na plataforma do Azure, a IA do Azure Search pode se integrar a outros serviços do Azure na forma de indexadores que automatizam a ingestão/recuperação de dados de fontes de dados do Azure e conjuntos de habilidades que incorporam a IA consumível por meio de serviços de IA do Azure, como análise de imagem e processamento de idioma natural, ou a IA personalizada criada por você no Azure Machine Learning ou encapsula no Azure Functions.

Dentro de um serviço de pesquisa

No próprio serviço de pesquisa, as duas principais cargas de trabalho são indexação e consulta.

• Indexação é um processo de entrada que carrega o conteúdo no seu serviço de pesquisa e o torna pesquisável. Internamente, o texto de entrada é processado em tokens e armazenado em índices invertidos, enquanto os vetores de entrada são armazenados em índices de vetor. O formato de documento que a IA do Azure Search pode indexar é o JSON. Você pode carregar documentos JSON que você montou ao usar um indexador para recuperar e serializar seus dados em JSON.

  A IA aplicada por meio de um conjunto de habilidades estende a indexação com modelos de imagem e linguagem. Se você tiver imagens ou grandes blocos de texto não estruturados no documento de origem, pode anexar habilidades que realizam OCR, analisam e descrevem imagens, inferem estruturas, traduzem textos e muito mais. A saída é um texto que pode ser serializado em JSON e ingerido em um índice de pesquisa.

  Os conjuntos de habilidades também podem realizar a fragmentação de dados e vetorização durante a indexação. Habilidades que se conectam ao OpenAI do Azure, ao catálogo de modelos no Estúdio de IA do Azure ou habilidades personalizadas que se conectam a qualquer modelo externo de segmentação e codificação podem ser usadas durante a indexação para criar dados vetoriais. A saída é um conteúdo vetorizado fragmentado que pode ser ingerido em um índice de pesquisa.

• A Consulta pode ocorrer depois que um índice é preenchido com conteúdo pesquisável, quando seu aplicativo cliente envia solicitações de consulta para um serviço de pesquisa e processa as respostas. Todas as execuções de consulta são feitas sobre um índice de pesquisa que você controla.

  A classificação semântica é uma extensão da execução da consulta. Ele adiciona classificação secundária, usando o entendimento de linguagem para reavaliar um conjunto de resultados, promovendo os resultados mais semanticamente relevantes para o topo.

  Vetorização integrada também é uma extensão da execução de consultas. Se você tiver campos vetoriais no seu índice de pesquisa, poderá enviar consultas vetoriais brutas ou textos que serão vetorizados no momento da consulta.

Por que usar a IA do Azure Search?

A IA do Azure Search é adequada para os seguintes cenários de aplicação:

• Use-a para pesquisa de texto completo tradicional e pesquisa de similaridade de vetor de última geração. Volte seus aplicativos de IA generativos com a recuperação de informações que aproveita os pontos fortes da palavra-chave e da pesquisa de similaridade. Use ambas as modalidades para recuperar os resultados mais relevantes.

• Consolide o conteúdo heterogêneo em um índice de pesquisa definido pelo usuário e preenchido composto por vetores e texto. Você mantém a propriedade e o controle sobre o que é pesquisável.

• Integrar agrupamento de dados e vetorização para IA generativa e aplicativos RAG.

• Aplicar controle de acesso granular no nível do documento.

• Descarregue as cargas de trabalho de indexação e consulta em um serviço de pesquisa dedicado.

• Implemente facilmente recursos relacionados a pesquisa: ajuste de relevância, faceted navigation, filtros (incluindo pesquisa geoespacial), mapeamento de sinônimos e preenchimento automático.

• Transforme grandes arquivos de texto ou de imagem não diferenciados ou arquivos de aplicativo armazenados no Armazenamento de Blobs do Azure ou no Azure Cosmos DB em partes pesquisáveis. Isso é alcançado durante a indexação através de habilidades de IA que adicionam processamento externo da IA do Azure.

• Adicione análise linguística ou de texto personalizado. Se você tiver conteúdo que não está em inglês, a IA do Azure Search oferecerá suporte aos analisadores Lucene e aos processadores de linguagem natural da Microsoft. Você também pode configurar analisadores para obter processamento especializado de conteúdo bruto, como filtragem de sinais diacríticos ou reconhecimento e preservação de padrões em cadeias de caracteres.

Para obter mais informações sobre funcionalidades específicas, confira Recursos da IA do Azure Search

Como começar

A funcionalidade é exposta por meio do portal do Azure, de APIs REST simples ou de SDKs do Azure, como o SDK do Azure para .NET. O portal do Azure dá suporte à administração de serviços e ao gerenciamento de conteúdos, com ferramentas para prototipagem e consulta de seus índices e conjuntos de habilidades.

Use o Portal do Azure

Uma exploração de ponta a ponta dos principais recursos de pesquisa pode ser realizada em quatro etapas:

1. Decida sobre uma camada e região. É permitido somente um serviço de pesquisa gratuito por assinatura. Todos os inícios rápidos podem ser concluídos na camada gratuita. Para ter mais capacidade e mais recursos, você precisará de uma camada paga.

2. Criar um serviço de pesquisa no portal do Azure.

3. Iniciar o Assistente para Importação de Dados. Escolha um exemplo interno ou uma fonte de dados com suporte para criar, carregar e consultar um índice em minutos.

4. Concluir o Gerenciador de Pesquisa, usando um cliente do portal para consultar o índice de pesquisa que foi criado.

Usar APIs

Como alternativa, você pode criar, carregar e consultar um índice de pesquisa em etapas atômicas:

1. Crie um índice de pesquisa usando o portal, a API REST, o SDK do .NET ou outro SDK. O esquema de índice define a estrutura do conteúdo pesquisável.

2. Carregue conteúdo usando o modelo de "push" para efetuar push de documentos JSON de qualquer origem ou use o modelo de "pull" (indexadores) se os seus dados de origem forem de um tipo com suporte.

3. Consulte um índice usando o Gerenciador de pesquisa no portal, na API REST, no SDK do .NET ou em outro SDK.

Usar aceleradores

Ou, experimente os aceleradores de soluções:

• O acelerador de solução Converse com seus dados ajuda você a criar uma solução de RAG personalizada com base no seu conteúdo.

• A solução aceleradora Mineração de Conhecimento Conversacional ajuda você a criar uma solução interativa para extrair insights práticos das transcrições pós-contato do centro.

• O acelerador de solução Crie seu copiloto aproveita o serviço OpenAI do Azure, a Pesquisa de IA do Azure e o Microsoft Fabric para criar soluções de copiloto personalizadas.

  • O copiloto genérico ajuda você a criar seu próprio copiloto para identificar documentos relevantes, resumir informações não estruturadas e gerar modelos de documento do Word usando seus próprios dados.

  • O Client Advisor copiloto personalizado tudo em um capacita o Client Advisor a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajude nossos clientes a otimizar as tarefas diárias e proporcione melhores interações com mais clientes

  • O Assistente de Pesquisa ajuda a criar seu próprio Assistente de IA para identificar documentos relevantes, resumir e categorizar grandes quantidades de informações não estruturadas e acelerar a revisão geral de documentos e a geração de conteúdo.

Comparar opções de pesquisa

Os clientes frequentemente perguntam como a IA do Azure Search se compara com outras soluções relacionadas à pesquisa. A tabela a seguir resume as principais diferenças.

As principais vantagens incluem:

• Suporte para indexação e consultas vetoriais e não vetoriais (texto). Com a pesquisa de similaridade de vetor, você pode encontrar informações semanticamente semelhantes às consultas de pesquisa, mesmo que os termos da pesquisa não sejam correspondências exatas. Use a pesquisa híbrida para obter o melhor da palavra-chave e da busca em vetores.
• Classificação e ajuste de relevância através da classificação semântica e perfis de pontuação. A sintaxe de consulta é compatível com o aumento de termos e priorização de campo.
• Integração dos dados do Azure (rastreadores) na camada de indexação.
• Integração da IA do Azure para transformações que tornam o conteúdo pesquisável em texto e vetor.
• Segurança do Microsoft Entra para conexões confiáveis e Link Privado do Azure para conexões privadas nos cenários sem internet.
• Experiência de pesquisa completa: análise linguística e de texto personalizado em 56 idiomas. Faceting, consultas de preenchimento automático e resultados sugeridos, além de sinônimos.
• Escala, confiabilidade e alcance global do Azure.