O que é o Azure AI Search?

O Azure AI Search (anteriormente conhecido como "Azure Cognitive Search") é um sistema de pesquisa e recuperação pronto para empresas, com um conjunto abrangente de tecnologia de pesquisa avançada, criado para aplicativos de alto desempenho em qualquer escala.

O Azure AI Search é o principal sistema de recuperação recomendado ao criar aplicativos baseados em RAG no Azure, com integrações LLM nativas entre o Serviço OpenAI do Azure e o Azure Machine Learning.

O Azure AI Search pode ser usado em cenários tradicionais e GenAI. Os casos de uso comuns incluem insights da base de conhecimento (pesquisa de catálogo ou documento), descoberta de informações (exploração de dados), geração aumentada de recuperação (RAG) e automação.

Ao criar um serviço de pesquisa, você trabalha com os seguintes recursos:

• Um motor de busca para pesquisa vetorial e texto completo e pesquisa híbrida sobre um índice de pesquisa
• Indexação avançada com fragmentação e vetorização de dados integradas, análise lexical para texto e IA aplicada opcional para extração e transformação de conteúdo
• Sintaxe de consulta rica para consultas vetoriais, pesquisa de texto, consultas híbridas, pesquisa difusa, preenchimento automático, pesquisa geográfica e outros
• Ajuste de relevância e desempenho de consulta com classificação semântica, perfis de pontuação, quantização para consultas vetoriais e parâmetros para controlar comportamentos de consulta em tempo de execução
• Escala, segurança e alcance do Azure
• Integração do Azure na camada de dados, camada de aprendizado de máquina, serviços de IA do Azure e Azure OpenAI

Arquitetonicamente, um serviço de pesquisa fica entre os armazenamentos de dados externos que contêm seus dados não indexados e seu aplicativo cliente que envia solicitações de consulta para um índice de pesquisa e lida com a resposta.

Em seu aplicativo cliente, a experiência de pesquisa é definida usando APIs do Azure AI Search e pode incluir ajuste de relevância, classificação semântica, preenchimento automático, correspondência de sinônimos, correspondência difusa, correspondência de padrões, filtro e classificação.

Em toda a plataforma Azure, o Azure AI Search pode integrar-se com outros serviços do Azure na forma de indexadores que automatizam a ingestão/recuperação de dados de fontes de dados do Azure e conjuntos de habilidades que incorporam IA consumível de serviços de IA do Azure, como processamento de imagem e linguagem natural, ou IA personalizada que você cria no Azure Machine Learning ou encapsula dentro do Azure Functions.

Dentro de um serviço de pesquisa

No próprio serviço de pesquisa, as duas principais cargas de trabalho são indexação e consulta.

• A indexação é um processo de admissão que carrega conteúdo no seu serviço de pesquisa e o torna pesquisável. Internamente, o texto de entrada é processado em tokens e armazenado em índices invertidos, e os vetores de entrada são armazenados em índices vetoriais. O formato de documento que o Azure AI Search pode indexar é JSON. Você pode carregar documentos JSON montados ou usar um indexador para recuperar e serializar seus dados em JSON.

  A IA aplicada através de um conjunto de habilidades estende a indexação com modelos de imagem e linguagem. Se você tiver imagens ou texto não estruturado grande no documento de origem, você pode anexar habilidades que executam OCR, analisar e descrever imagens, inferir estrutura, traduzir texto e muito mais. Saída é texto que pode ser serializado em JSON e ingerido em um índice de pesquisa.

  Os conjuntos de habilidades também podem executar fragmentação e vetorização de dados durante a indexação. As habilidades que se conectam ao Azure OpenAI, ao catálogo de modelos no Azure AI Studio ou às habilidades personalizadas que se conectam a qualquer modelo externo de fragmentação e incorporação podem ser usadas durante a indexação para criar dados vetoriais. A saída é um conteúdo vetorial fragmentado que pode ser ingerido em um índice de pesquisa.

• A consulta pode acontecer quando um índice é preenchido com conteúdo pesquisável, quando seu aplicativo cliente envia solicitações de consulta para um serviço de pesquisa e lida com respostas. Toda a execução da consulta é feita sobre um índice de pesquisa que você controla.

  A classificação semântica é uma extensão da execução de consultas. Ele adiciona classificação secundária, usando a compreensão da linguagem para reavaliar um conjunto de resultados, promovendo os resultados semanticamente mais relevantes para o topo.

  A vetorização integrada também é uma extensão da execução de consultas. Se você tiver campos vetoriais em seu índice de pesquisa, poderá enviar consultas vetoriais brutas ou texto vetorizado no momento da consulta.

Por que usar o Azure AI Search?

O Azure AI Search é adequado para os seguintes cenários de aplicativos:

• Use-o para pesquisa tradicional de texto completo e pesquisa de semelhança vetorial de próxima geração. Apoie seus aplicativos de IA generativa com recuperação de informações que aproveita os pontos fortes da pesquisa de palavras-chave e similaridade. Use ambas as modalidades para obter os resultados mais relevantes.

• Consolide conteúdo heterogêneo em um índice de pesquisa definido e preenchido pelo usuário composto por vetores e texto. Você mantém a propriedade e o controle sobre o que pode ser pesquisado.

• Integre fragmentação e vetorização de dados para aplicativos generativos de IA e RAG.

• Aplique controle de acesso granular no nível do documento.

• Descarregue as cargas de trabalho de indexação e consulta para um serviço de pesquisa dedicado.

• Implemente facilmente recursos relacionados à pesquisa: ajuste de relevância, navegação facetada, filtros (incluindo pesquisa geoespacial), mapeamento de sinônimos e preenchimento automático.

• Transforme grandes arquivos de texto ou imagem indiferenciados, ou arquivos de aplicativo armazenados no Armazenamento de Blobs do Azure ou no Azure Cosmos DB, em partes pesquisáveis. Isso é alcançado durante a indexação por meio de habilidades de IA que adicionam processamento externo da IA do Azure.

• Adicione análise de texto linguística ou personalizada. Se você tiver conteúdo diferente do inglês, o Azure AI Search oferece suporte aos analisadores Lucene e aos processadores de linguagem natural da Microsoft. Você também pode configurar analisadores para obter processamento especializado de conteúdo bruto, como filtrar diacríticos ou reconhecer e preservar padrões em cadeias de caracteres.

Para obter mais informações sobre funcionalidades específicas, consulte Recursos do Azure AI Search

Como começar

A funcionalidade é exposta por meio do portal do Azure, APIs REST simples ou SDKs do Azure, como o SDK do Azure para .NET. O portal do Azure dá suporte à administração de serviços e gerenciamento de conteúdo, com ferramentas para prototipar e consultar seus índices e conjuntos de habilidades.

Utilizar o portal do Azure

Uma exploração completa dos principais recursos de pesquisa pode ser realizada em quatro etapas:

1. Decida um nível e uma região. É permitido um serviço de pesquisa gratuito por subscrição. Todos os inícios rápidos podem ser concluídos no nível gratuito. Para obter mais capacidade e recursos, você precisará de um nível faturável.

2. Crie um serviço de pesquisa no portal do Azure.

3. Comece com o assistente Importar dados. Escolha um exemplo interno ou uma fonte de dados suportada para criar, carregar e consultar um índice em minutos.

4. Termine com o Search Explorer, usando um cliente de portal para consultar o índice de pesquisa que você acabou de criar.

Utilizar APIs

Como alternativa, você pode criar, carregar e consultar um índice de pesquisa em etapas atômicas:

1. Crie um índice de pesquisa usando o portal, a API REST, o SDK do .NET ou outro SDK. O esquema de índice define a estrutura do conteúdo pesquisável.

2. Carregue conteúdo usando o modelo "push" para enviar documentos JSON de qualquer fonte ou use o modelo "pull" (indexadores) se os dados de origem forem de um tipo suportado.

3. Consulte um índice usando o explorador de pesquisa no portal, API REST, SDK .NET ou outro SDK.

Usar aceleradores

Ou experimente os aceleradores de solução:

• O bate-papo com seu acelerador de solução de dados ajuda você a criar uma solução RAG personalizada sobre seu conteúdo.

• O acelerador de solução Conversational Knowledge Mining ajuda você a criar uma solução interativa para extrair insights acionáveis de transcrições pós-contact center.

• Crie seu próprio acelerador de solução de copiloto, aproveite o Serviço OpenAI do Azure, o Azure AI Search e o Microsoft Fabric para criar soluções de copiloto personalizadas.

  • O copiloto genérico ajuda você a criar seu próprio copiloto para identificar documentos relevantes, resumir informações não estruturadas e gerar modelos de documentos do Word usando seus próprios dados.

  • O copiloto personalizado tudo-em-um do Client Advisor capacita o Client Advisor a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajudar os nossos clientes a otimizar as tarefas diárias e promover melhores interações com mais clientes

  • O Assistente de Pesquisa ajuda a criar seu próprio Assistente de IA para identificar documentos relevantes, resumir e categorizar grandes quantidades de informações não estruturadas e acelerar a revisão geral de documentos e a geração de conteúdo.

Comparar opções de pesquisa

Os clientes geralmente perguntam como o Azure AI Search se compara a outras soluções relacionadas à pesquisa. A tabela seguinte resume as diferenças principais.

As principais vantagens incluem:

• Suporte para indexação vetorial e não vetorial (texto) e consultas. Com a pesquisa de semelhança vetorial, você pode encontrar informações semanticamente semelhantes às consultas de pesquisa, mesmo que os termos de pesquisa não sejam correspondências exatas. Use a pesquisa híbrida para obter o melhor da pesquisa por palavras-chave e vetores.
• Classificação e ajuste de relevância através de classificação semântica e perfis de pontuação. A sintaxe da consulta suporta o impulsionamento de termos e a priorização de campos.
• Integração de dados do Azure (rastreadores) na camada de indexação.
• Integração de IA do Azure para transformações que tornam o conteúdo, o texto e o vetor pesquisáveis.
• Segurança do Microsoft Entra para conexões confiáveis e Azure Private Link para conexões privadas em cenários sem internet.
• Experiência de pesquisa completa: Análise linguística e de texto personalizado em 56 idiomas. Faceting, preenchimento automático de consultas e sugestões de resultados e sinónimos.
• Escala, confiabilidade e alcance global do Azure.