O que há de novo no Azure AI Search
O Azure Cognitive Search agora é o IA do Azure Search. Saiba mais sobre as atualizações mais recentes da funcionalidade, dos documentos e exemplos do Azure AI Search.
Observação
As versões prévias são anunciadas aqui, mas também mantemos uma lista de versões prévias dos recursos para que seja possível encontrá-los em um só lugar.
Outubro de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Reduza os requisitos de dimensão para modelos de incorporação de texto treinados por MRL no Azure OpenAI | Recurso | Text-embedding-3-small e Text-embedding-3-large são treinados usando Matryoshka Representation Learning (MRL). Isso permite que você trunque os vetores de incorporação para menos dimensões e ajuste o equilíbrio entre o uso do tamanho do índice do vetor e a qualidade da recuperação. Um novo truncationDimension na visualização de 01/09/2024 permite acesso à compactação MRL em modelos de incorporação de texto. Isso só pode ser configurado para novos campos vetoriais. |
Descompacte @search.score para visualizar subpontuações em resultados de pesquisa híbrida |
Recurso | Você pode investigar os resultados classificados do Reciprocal Rank Fusion (RRF) visualizando as subpontuações de consulta individuais do resultado final mesclado e pontuado. Uma nova propriedade debug descompacta a pontuação da pesquisa. QueryResultDocumentSubscores, QueryResultDocumentRerankerInput, e QueryResultDocumentSemanticField forneça detalhes extras. Essas definições estão disponíveis em 2024-09-01-preview. |
| Filtros de destino em uma pesquisa híbrida para apenas as consultas vetoriais | Recurso | Um filtro em uma consulta híbrida envolve todas as subconsultas na solicitação, independentemente do tipo. Você pode substituir o filtro global para aplicar o filtro a uma subconsulta específica. O novo parâmetro filterOverride está disponível em consultas híbridas usando o 2024-09-01-preview. |
| Habilidade de divisão de texto (fragmentação de tokens) | IA aplicada (habilidades) | Essa habilidade tem novos parâmetros que melhoram a fragmentação de dados para incorporação de modelos. Um novo parâmetro unit permite que você especifique o agrupamento de tokens. Agora você pode dividir por tamanho de token, definindo o tamanho para um valor que faça sentido para seu modelo de incorporação. Você também pode especificar o tokenizador e quaisquer tokens que não devem ser divididos durante o agrupamento de dados. As novas definições de subpontuação de parâmetro unit e consulta são encontradas em 2024-09-01-preview. |
| 2024-09-01-preview | API | Versão prévia de APIs REST para dimensões truncadas em modelos text-embedding-3, filtragem vetorial direcionada para consultas híbridas, detalhes de subpontuação RRF para depuração e agrupamento de tokens para a habilidade Text Split. |
| Suporte de portal para criptografia de chave gerenciada pelo cliente (CMK) | Recurso | Ao criar novos objetos no portal do Azure, agora você pode especificar a criptografia CMK e selecionar um Azure Key Vault para fornecer a chave. |
Agosto de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Melhorias na sessão de depuração | recurso | Há duas melhorias importantes. Primeiro, agora você pode depurar cargas de trabalho integradas de vetorização e agrupamento de dados. Em segundo lugar, as Sessões de Depuração foram redesenhadas para uma apresentação mais simplificada de habilidades e mapeamentos. Você pode selecionar um objeto no fluxo e visualizar ou editar seus detalhes em um painel lateral. O layout com guias anterior é totalmente substituído por informações mais confidenciais de contexto na página. |
| 01-07-2024 | API | Versão estável das APIs REST para tipos de dados vetoriais disponíveis, compressão vetorial e vetorização integrada durante a indexação e consultas. |
| Vetorização integrada | Recurso | Anunciando a disponibilidade geral. Agrupamento e incorporação de dados orientado por habilidades durante a indexação. |
| Vetorizadores | Recurso | Anunciando a disponibilidade geral. Conversão de texto em vetor durante a execução da consulta. Tanto o vetorizador do Serviço OpenAI do Azure quanto o vetorizador API Web personalizado estão disponíveis. |
| Habilidade AzureOpenAIEmbedding | Recurso | Anunciando a disponibilidade geral. Um tipo de habilidade que chama um modelo de incorporação do OpenAI do Azure para gerar incorporações durante indexações. |
| Projeções de índice | Recurso | Anunciando a disponibilidade geral. Um componente de uma definição de conjunto de habilidades que define a forma de um índice secundário, dando suporte a um padrão de índice um-para-muitos em que o conteúdo de um pipeline de enriquecimento pode ter vários índices como destino. |
| Compartimentalização binária e escalar | Recurso | Anunciando a disponibilidade geral. Compacta o tamanho do índice vetorial na memória e no disco usando a compartimentalização interna. |
| Tipos de dados estreitos | Recurso | Anunciando a disponibilidade geral. Atribua um tipo de dados menor em campos vetoriais, assumindo que os dados recebidos sejam desse tipo de dados. |
| Assistente de importação e vetorização de dados | Portal do Azure | Anunciando a disponibilidade geral. Um assistente que cria um pipeline de indexação completo que inclui divisão de dados em partes e vetorização. O assistente cria todos os objetos e configurações necessários. Esta versão adiciona suporte ao assistente para o Azure Data Lake no Armazenamento do Microsoft Azure. |
| propriedade armazenada | Recurso | Anunciando a disponibilidade geral. Booleano que reduz o armazenamento de índices vetoriais ao não armazenar vetores recuperáveis. |
| Propriedade vectorQueries.Weight | Recurso | Anunciando a disponibilidade geral. Especifica o peso relativo de cada consulta em vetores nas operações de pesquisa. |
Julho de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Converse com seus dados | Acelerador | Um acelerador de solução para o padrão RAG em execução no Azure, que usa a Pesquisa de IA do Azure para recuperação e os grandes modelos de linguagem do OpenAI do Azure para criar experiências de pesquisa conversacional. O código com dados de exemplo está disponível para cenários de uso, como consultoria financeira e revisão e sumarização de contratos. |
| Mineração de conhecimento conversacional | Acelerador | Um acelerador de solução desenvolvido com base nos serviços Pesquisa de IA do Azure, Fala do Azure e OpenAI do Azure, que permite aos clientes extrair insights acionáveis de conversas com a central de pós-contatos. |
| Crie seu próprio copiloto | Acelerador | Crie sua própria solução de copilot personalizado que capacite o Assistente do Cliente a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajude nossos clientes a otimizar as tarefas diárias e proporcione melhores interações com mais clientes. |
Junho de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Pesquisa de imagem no portal do Azure | Recurso | O Gerenciador de Pesquisa agora dá suporte à pesquisa de imagem. Em um índice vetorial que tenha conteúdo de imagem vetorizada, você pode arrastar imagens para o Gerenciador de Pesquisa para realizar consultas em busca de correspondências. |
Maio de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Maior capacidade e mais cota de vetor em cada camada (mesma taxa de cobrança) | Infraestrutura | Para a maioria das regiões, os tamanhos de partição agora são ainda maiores para Standard 2 (S2), Standard 3 (S3) e Standard 3 High Density (S3 HD) para todos os serviços criados após 3 de abril de 2024. Para obter as partições maiores, crie um novo serviço em uma região que forneça uma infraestrutura mais recente. As camadas otimizadas para armazenamento (L1 e L2) também têm mais capacidade. Os clientes das camadas L1 e L2 precisam criar um serviço para se beneficiar da maior capacidade. Não há nenhuma atualização in-loco no momento. A capacidade extra agora está disponível em mais regiões: Norte da Alemanha, Centro-Oeste da Alemanha, Norte da África do Sul, o Oeste da Suíçae o Azure Governamental (Texas, Arizona e Virgínia). |
| Integração do OneLake (versão prévia) | Recurso | Novo indexador para arquivos e atalhos do OneLake. Se você usar o Microsoft Fabric e o OneLake para acesso a dados para fontes de dados do Amazon Web Services (AWS) e do Google, use este indexador para importar dados externos para um índice de pesquisa. Este indexador está disponível por meio do portal do Azure, da API REST 2024-05-01-preview e dos pacotes beta do SDK do Azure. |
| Relevância do vetor relevância da consulta híbrida |
Recurso | Quatro aprimoramentos melhoram a relevância da pesquisa híbrida e vetor. Primeiro, agora você pode definir limites nos resultados da busca em vetores para excluir resultados de baixa pontuação. Em segundo lugar, as alterações na arquitetura de consulta aplicam perfis de pontuação no final do pipeline de consulta para cada tipo de consulta. O aumento de documentos é um perfil de pontuação comum e agora funciona conforme o esperado em consultas vetoriais e híbridas. Em terceiro lugar, você pode definir MaxTextRecallSize e countAndFacetMode em consultas híbridas para controlar a quantidade de resultados de pesquisa classificados por BM25 que fluem para o modelo de classificação híbrida. Em quarto lugar, para busca em vetores e híbrida, você pode ponderar uma consulta vetorial para aumentar ou diminuir sua importância em uma solicitação multiconsulta. |
| Suporte a vetores binários | Recurso | Collection(Edm.Byte) é um novo tipo de dados com suporte. Esse tipo de dados torna acessível a integração aos modelos de inserção binária do Cohere v3 e a compartimentalização binária personalizada. Tipos de dados estreitos reduzem o custo de conjuntos de dados de vetores grandes. Confira Indexar dados binários para a busca em vetores para obter mais informações. |
| Habilidade de inserções multimodal da Visão de IA do Azure (versão prévia) | Habilidade | Nova habilidade associada à API de inserções multimodal da Visão de IA do Azure. Você pode gerar inserções para texto ou imagens durante a indexação. Essa habilidade está disponível pelo portal do Azure e pela API REST 2024-05-01-preview. |
| Vetorizador da Visão de IA do Azure (versão prévia) | Vetorizador | O novo vetorizador se conecta a um recurso da Visão de IA do Azure usando a API de inserções multimodal para gerar inserções no momento da consulta. Esse vetor está disponível pelo portal do Azure e pela API REST 2024-05-01-preview. |
| Vetorizador do catálogo de modelos do Estúdio de IA do Azure (versão prévia) | Vetorizador | O novo vetor se conecta a um modelo de inserção implantado no catálogo de modelos do Estúdio de IA do Azure. Esse vetor está disponível pelo portal do Azure e pela API REST 2024-05-01-preview. Como implementar a vetorização integrada usando modelos do Estúdio de IA do Azure. |
| A habilidade AzureOpenAIEmbedding (versão prévia) dá suporte a mais modelos no OpenAI do Azure | Habilidade | Agora dá suporte a text-embedding-3-large e text-embedding-3-small, juntamente com text-embedding-ada-002 da atualização anterior. Novas propriedades dimensions e modelName possibilitam especificar os vários modelos de inserção no Azure OpenAI. Anteriormente, os limites de dimensões eram fixos em 1.536 dimensões, aplicáveis somente a text-embedding-ada-002. A habilidade atualizada está disponível pelo portal do Azure e pela API REST 2024-05-01-preview. |
| Atualizações do portal do Azure | Portal | Assistente de importação e vetorização de dados agora dá suporte a indexadores OneLake como uma fonte de dados. Para inserções, ele também dá suporte a conexões com o Azure AI Vision multimodal, o catálogo de modelos do Azure AI Studio e mais modelos de inserção no Azure OpenAI. Ao adicionar um campo a um índice, você pode escolher um tipo de dados binário. Gerenciador de Pesquisa agora usa o padrão 2024-05-01-preview e dá suporte aos novos recursos de visualização para consultas híbridas e vetoriais. |
| 2024-05-01-preview | API | A nova versão prévia das APIs REST de Pesquisa fornece novas habilidades e vetores, novo tipo de dados binário, indexador de arquivos do OneLake e novos parâmetros de consulta para resultados mais relevantes. Confira Atualizar as APIs REST se você tiver um código existente escrito na 2023-07-01-preview e precisar migrar para essa versão. |
| Pacotes beta do SDK do Azure | API | Analise os logs de alterações dos seguintes pacotes beta do SDK do Azure para obter suporte a novos recursos: SDK do Azure para Python, SDK do Azure para .NET e SDK do Azure para Java |
| Exemplos de código do Python | Amostras | Novos exemplos de ponta a ponta demonstram integração com o Cohere Embed v3, integração com o OneLake e plataformas de dados de nuvem no Google e no AWSe integração com as APIs multimodal da Visão de IA do Azure. |
Abril de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Atualização de segurança que aborda a divulgação de informações | API | As respostas GET não retornam mais chaves ou cadeias de conexão. Aplica-se a GET Skillset, GET Index e GET Indexer. Essa alteração ajuda a proteger seus ativos do Azure integrados à Pesquisa de IA contra acesso não autorizado. |
| Mais armazenamento nas camadas Básica e Standard | Infraestrutura | A Básica agora dá suporte a até três partições e três réplicas. As camadas Básica e Standard (S1, S2, S3) têm significativamente mais armazenamento por partição, na mesma taxa de cobrança por partição. A capacidade extra está sujeita à disponibilidade regional e se aplica aos novos serviços de pesquisa criados após 3 de abril de 2024. Atualmente, não há nenhuma atualização in-loco; portanto, você deve criar um novo serviço de pesquisa para obter o armazenamento extra. |
| Mais cota para vetores | Infraestrutura | As cotas de vetor também são mais altas em novos serviços criados após 3 de abril de 2024, em regiões selecionadas. |
Compartimentalização de vetor, tipos de dados vetoriais estreitos e uma nova propriedade stored (versão prévia) |
Recurso | Coletivamente, esses três recursos adicionam compactação de vetor e opções de armazenamento mais inteligentes. Primeiro, o Compartimentalização escalar reduz o tamanho do índice vetor na memória e no disco. Em segundo lugar, os tipos de dados estreitos reduzem o armazenamento por campo armazenando valores menores. Em terceiro lugar, você pode usar stored para optar por não armazenar a cópia extra de um vetor usado apenas para resultados de pesquisa. Se você não precisar de vetores em uma resposta de consulta, poderá definir stored como “false” para economizar espaço. |
| API REST de Pesquisa 01/03/2024-versão prévia | API | Nova versão prévia das APIs REST de Pesquisa para os novos tipos de dados, propriedades de compactação de vetor e opções de armazenamento de vetor. |
| API REST de Gerenciamento 01/03/2024-versão prévia | API | Nova versão prévia das APIs REST do Gerenciamento para operações do plano de controle. |
| Anúncio de preterição de versão prévia 01/07/2023 | API | Preterição anunciada em 8 de abril de 2024. Não haverá mais suporte em 8 de julho de 2024. Essa foi a primeira API REST que ofereceu suporte à busca em vetores. As versões de API mais recentes têm uma configuração de vetores diferente. Você deve migrar para uma versão mais recente assim que possível. |
Fevereiro de 2024
| Item | Tipo | Descrição |
|---|---|---|
| Novos limites de dimensão | Recurso | Para campos de vetor, os limites máximos de dimensão agora são 3072, em comparação ao valor anterior 2048. |
Comunicados de 2023
| Mês | Tipo | Comunicado |
|---|---|---|
| Novembro | Recurso | Busca em vetores, em disponibilidade geral A restrição anterior sobre CMK (chaves gerenciadas pelo cliente) foi removida. A Pré-filtragem e o algoritmo exaustivo de K-vizinhos mais próximos também estão em disponibilidade geral. |
| Novembro | Recurso | Classificador semântico, em disponibilidade geral |
| Novembro | Recurso | A Vetorização integrada (versão prévia) adiciona conversões de agrupamento de dados e conversões de texto para vetor durante a indexação e também adiciona conversões de texto para vetor no momento da consulta. |
| Novembro | Recurso | O Assistente de importação e vetorização de dados (versão prévia) automatiza o agrupamento e a vetorização de dados. Ele tem como alvo a API REST 2023-10-01-Preview. |
| Novembro | Recurso | As Projeções de índice (versão prévia) definem a forma de um índice secundário, usado para um padrão de índice um-para-muitos, em que o conteúdo de um pipeline de enriquecimento pode ser direcionado a vários índices. |
| Novembro | API | A API REST de Pesquisa 2023-11-01 é uma versão estável das APIs REST de Pesquisa da busca em vetores e classificação semântica. Para saber como migrar para os recursos que já estão em disponibilidade geral, veja as instruções em Atualizar APIs REST. |
| Novembro | API | A API REST de Gerenciamento 2023-11-01 adiciona APIs que habilitam ou desabilitam o classificador semântico. |
| Novembro | Habilidade | A Habilidade de Inserção do Azure OpenAI (versão prévia) se conecta a um modelo de inserção implantado no recurso do Azure OpenAI para gerar inserções durante a execução do conjunto de habilidades. |
| Novembro | Habilidade | Habilidade de Divisão de Texto (versão prévia) atualizada no 2023-10-01-Preview para dar suporte ao agrupamento de dados nativos. |
| Novembro | Vídeo | Como a busca em vetores e a classificação semântica melhoram seus prompts de GPT explica como a recuperação híbrida lhe fornece dados de base ideais para gerar respostas úteis de IA e permite a pesquisa de conceitos e palavras-chave. |
| Novembro | Amostra | O Controle de acesso baseado em função nos aplicativos de IA generativos explica como usar o Microsoft Entra ID e a API do Microsoft Graph para implementar permissões de usuário granulares em conteúdo fragmentado no seu índice. |
| Outubro | Amostra | Acelerador de solução "Conversar com seus dados" Padrão RAG de ponta a ponta que usa o Azure AI Search como um recuperador. Ele fornece indexação, agrupamento de dados e orquestração. |
| Outubro | Recurso | Algoritmo de pontuação Vizinhos K-Mais Próximos (KNN) Exaustivos para pesquisa de similaridade no espaço de vetor. Disponível apenas na API REST 2023-10-01-Preview. |
| Outubro | Recurso | Os Pré-filtros na busca em vetores avaliam os critérios de filtro antes de a consulta ser executada, reduzindo a quantidade de conteúdo que precisa ser pesquisada. Disponível apenas na API REST 2023-10-01-Preview, por meio de uma nova propriedade vectorFilterMode na consulta que pode ser definida como preFilter (padrão) ou postFilter, dependendo de seus requisitos. |
| Outubro | API | API REST da Pesquisa 2023-10-01-Preview, alterando a definição dos campos de vetor e das consultas vetoriais. |
| Agosto | Recurso | Classificação semântica aprimorada. Os modelos atualizados estão sendo implantados para reclassificado semântico e a disponibilidade é estendida para mais regiões. A contagem máxima de tokens exclusivos dobrou de 128 para 256. |
| Julho | Amostra | Demonstração de vetor (SDK do Azure para JavaScript). Usa a biblioteca Azure.Search.Documents 12.0.0-beta.2 para gerar incorporações, criar e carregar um índice e executar várias consultas de vetor. |
| Julho | Amostra | Demonstração de vetor (SDK do Azure para .NET). Usa a biblioteca Azure.Search.Documents 11.5.0-beta.3 para gerar incorporações, criar e carregar um índice e executar várias consultas de vetor. Você também pode experimentar este exemplo na equipe do SDK do Azure. |
| Julho | Amostra | Demonstração de vetor (SDK do Azure para Python) Usa a versão beta mais recente do azure.search.documents para gerar inserções, criar e carregar um índice e executar várias consultas de vetor. Visite azure-search-vector-samples/demo-python para explorar mais demonstrações de busca em vetores. |
| Junho | Recurso | Visualização pública da busca em vetores. |
| Junho | Recurso | Disponibilidade de pesquisa semântica, disponível na camada Básica. |
| Junho | API | API REST de Pesquisa 2023-07-01-Preview Suporte da busca em vetores. |
| Maio | Recurso | RBAC do Azure (controle de acesso baseado em função, geralmente disponível). |
| Maio | API | API REST do Gerenciamento 2022-09-01, com suporte para configurar a pesquisa para usar as funções do Azure. O módulo Az.Search do Azure PowerShell e o módulo Az search da CLI do Azure são atualizados para dar suporte às opções de autenticação do serviço de pesquisa. Você também pode usar o provedor Terraform para configurar opções de autenticação (confira este Início rápido do Terraform para obter detalhes). |
| Abril | Amostra | Implantação de várias regiões da Pesquisa de IA do Azure para continuidade dos negócios e recuperação de desastres. Scripts de implantação que configuram totalmente uma solução multirregional para o Azure AI Search, com opções para sincronizar conteúdos e solicitar redirecionamento se um ponto de extremidade falhar. |
| Março | Amostra | ChatGPT + Dados Corporativos com o OpenAI do Azure e a Pesquisa de IA do Azure (GitHub) Código Python e um modelo para combinar o Azure AI Search com os modelos de linguagem grandes no OpenAI. Para saber mais, confira esta postagem no blog da Tech Community: Revolucione seus Dados Corporativos com o ChatGPT. Pontos principais: Use o Azure AI Search para consolidar e indexar conteúdo pesquisável. Confira o índice para obter resultados iniciais da pesquisa. Monte prompts desses resultados e envie para o modelo gpt-35-turbo (versão prévia) no OpenAI do Azure. Retorne uma resposta entre documentos e forneça citações e transparência em seu aplicativo voltado para o cliente para que os usuários possam avaliar a resposta. |
Comunicados do ano anterior
Reformulação da marca de serviço
Este serviço já teve vários nomes ao longo dos anos. Vamos relembrá-los, começando pelo mais recente:
- Pesquisa de IA do Azure (novembro de 2023): renomeado para se alinhar aos serviços de IA do Azure e às expectativas do cliente.
- Azure Cognitive Search (outubro de 2019): renomeado para refletir o uso expandido (ainda que opcional) de habilidades cognitivas e o processamento de IA na operação de serviço.
- Azure Search (março de 2015) O nome original.
Atualizações de serviço
Os comunicados de atualização de serviço para o Azure AI Search podem ser encontrados no site do Azure.
Renomeação do recurso
A pesquisa semântica foi renomeada como classificador semântico em novembro de 2023 para descrever melhor o recurso, que fornece classificação L2 de um conjunto de resultados existente.