Azure AI 스튜디오의 모델을 사용하여 통합 벡터화를 구현하는 방법

이 AML 기술 페이로드는 AI 스튜디오의 다음 모델에서 작동합니다.

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

텍스트 분할 기술을 사용하여 콘텐츠를 청크하고 벡터화할 텍스트가 /document/pages/* 경로에 있다고 가정합니다. 텍스트가 다른 경로에서 오는 경우 /document/pages/* 경로에 대한 모든 참조를 적절하게 업데이트합니다.

URI 및 키는 카탈로그에서 모델을 배포할 때 생성됩니다. 이러한 값에 대한 자세한 내용은 Azure AI 스튜디오를 사용하여 대규모 언어 모델을 배포하는 방법을 참조하세요.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

이 AML 기술 페이로드는 AI 스튜디오의 다음 모델에서 작동합니다.

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

이미지가 기본 제공 이미지 추출을 사용하도록 설정하여 만든 /document/normalized_images/* 경로에서 온 것으로 가정합니다. 이미지가 다른 경로에서 오거나 URL로 저장된 경우 /document/normalized_images/* 경로에 대한 모든 참조를 적절하게 업데이트합니다.

URI 및 키는 카탈로그에서 모델을 배포할 때 생성됩니다. 이러한 값에 대한 자세한 내용은 Azure AI 스튜디오를 사용하여 대규모 언어 모델을 배포하는 방법을 참조하세요.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

이 AML 기술 페이로드는 AI 스튜디오의 다음 모델에서 작동합니다.

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

SplitSkill을 사용하여 콘텐츠를 청크하고 벡터화할 텍스트가 /document/pages/* 경로에 있다고 가정합니다. 텍스트가 다른 경로에서 오는 경우 /document/pages/* 경로에 대한 모든 참조를 적절하게 업데이트합니다.

AI 스튜디오 배포에서 복사한 URL의 끝에 /v1/embed 경로를 추가해야 합니다. 사용 사례에 맞게 input_type, truncate 및 embedding_types 입력 값을 변경할 수도 있습니다. 사용 가능한 옵션에 대한 자세한 내용은 Cohere Embed API 참조를 검토하세요.

URI 및 키는 카탈로그에서 모델을 배포할 때 생성됩니다. 이러한 값에 대한 자세한 내용은 Azure AI 스튜디오를 사용하여 Cohere Embed 모델을 배포하는 방법을 참조하세요.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>/v1/embed",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

또한 Cohere 모델의 출력은 포함 배열이 아니라 이를 포함하는 JSON 개체입니다. indexProjections 또는 outputFieldMappings를 통해 인덱스 정의에 매핑할 때 적절하게 선택해야 합니다. 다음은 이 매핑을 구현할 수 있는 샘플 indexProjections 페이로드입니다.

기술 정의에서 다른 embedding_types를 선택한 경우 대신 source 경로의 float를 선택한 적절한 형식으로 변경해야 합니다.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}