Como implementar vetorização integrada usando modelos do Azure AI Studio

  • Artigo

Importante

Esta funcionalidade está em pré-visualização pública em Termos de Utilização Suplementares. A API REST 2024-05-01-Preview suporta esse recurso.

Neste artigo, saiba como acessar os modelos de incorporação no catálogo de modelos do Azure AI Studio para conversões vetoriais durante a indexação e em consultas no Azure AI Search.

O fluxo de trabalho inclui etapas de implantação do modelo. O catálogo de modelos inclui a incorporação de modelos do Azure OpenAI, Cohere, Facebook e OpenAI. A implantação de um modelo é faturável de acordo com a estrutura de faturamento de cada provedor.

Depois que o modelo for implantado, você poderá usá-lo para vetorização integrada durante a indexação ou com o vetorizador do AI Studio para consultas.

Implantar um modelo de incorporação a partir do catálogo de modelos do Azure AI Studio

  1. Abra o catálogo de modelos do Azure AI Studio.

  2. Aplique um filtro para mostrar apenas os modelos de incorporação. Em Tarefas de inferência, selecione Incorporações:

    Captura de ecrã da página do catálogo de modelos do Azure AI Studio que realça como filtrar por incorporação de modelos.

  3. Selecione o modelo com o qual você gostaria de vetorizar seu conteúdo. Em seguida, selecione Implantar e escolha uma opção de implantação.

    Captura de ecrã da implementação de um ponto de extremidade através do catálogo de modelos do Azure AI Studio.

  4. Preencha os dados solicitados. Selecione ou crie um novo projeto de IA e, em seguida, selecione Implantar. Os detalhes da implantação variam dependendo do modelo selecionado.

  5. Aguarde até que o modelo termine a implantação monitorando o Estado de Provisionamento. Ele deve mudar de "Provisionamento" para "Atualização" para "Êxito". Talvez seja necessário selecionar Atualizar a cada poucos minutos para ver a atualização de status.

  6. Copie os campos URL, Chave primária e ID do modelo e reserve-os para mais tarde. Você precisa desses valores para a definição do vetorizador em um índice de pesquisa e para o conjunto de habilidades que chama os pontos de extremidade do modelo durante a indexação.

    Opcionalmente, você pode alterar seu ponto de extremidade para usar a autenticação de token em vez da autenticação de chave. Se você habilitar a autenticação de token, só precisará copiar a URL e a ID do modelo e também anotar em qual região o modelo está implantado.

    Captura de tela de um ponto de extremidade implantado no AI Studio destacando os campos a serem copiados e salvos para mais tarde.

  7. Agora você pode configurar um índice de pesquisa e um indexador para usar o modelo implantado.

Amostra de cargas úteis de habilidades AML

Ao implantar modelos de incorporação do catálogo de modelos do Azure AI Studio, você se conecta a eles usando a habilidade AML na Pesquisa de IA do Azure para indexação de cargas de trabalho.

Esta seção descreve a definição de habilidade AML e mapeamentos de índice. Ele inclui cargas úteis de exemplo que já estão configuradas para trabalhar com seus pontos de extremidade implantados correspondentes. Para obter mais detalhes técnicos sobre como essas cargas úteis funcionam, leia sobre o contexto de habilidade e a linguagem de anotação de entrada.

Esta carga útil de habilidade AML funciona com os seguintes modelos do AI Studio:

  • OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
  • OpenAI-CLIP-Imagem-Texto-Embeddings-ViT-Large-Patch14-336

Ele pressupõe que você está fragmentando seu conteúdo usando a habilidade Divisão de texto e que o texto a ser vetorizado está no /document/pages/* caminho. Se o texto vier de um caminho diferente, atualize todas as referências ao /document/pages/* caminho de acordo.

O URI e a chave são gerados quando você implanta o modelo a partir do catálogo. Para obter mais informações sobre esses valores, consulte Como implantar modelos de linguagem grandes com o Azure AI Studio.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

Amostra de carga útil do vetorizador AI Studio

O vetorizador do AI Studio, ao contrário da habilidade AML, é adaptado para trabalhar apenas com os modelos de incorporação que podem ser implantados por meio do catálogo de modelos do AI Studio. A principal diferença é que você não precisa se preocupar com a carga útil de solicitação e resposta, mas precisa fornecer o modelName, que corresponde ao "ID do modelo" que você copiou depois de implantar o modelo no AI Studio.

Aqui está um exemplo de carga útil de como você configuraria o vetorizador em sua definição de índice, dadas as propriedades copiadas do AI Studio.

Para modelos Cohere, você NÃO deve adicionar o /v1/embed caminho para o final do seu URL como fez com a habilidade.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Conectar-se usando autenticação de token

Se você não puder usar a autenticação baseada em chave, poderá configurar a habilidade AML e a conexão do vetorizador do AI Studio para autenticação de token por meio do controle de acesso baseado em função no Azure. O serviço de pesquisa deve ter uma identidade gerenciada atribuída pelo sistema ou pelo usuário, e a identidade deve ter permissões de Proprietário ou Colaborador para o espaço de trabalho do projeto AML. Em seguida, você pode remover o campo chave da sua definição de habilidade e vetorizador, substituindo-o pelo campo resourceId. Se o seu projeto AML e serviço de pesquisa estiverem em regiões diferentes, forneça também o campo região.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Próximos passos