Azure AI Vision マルチモーダル埋め込みスキル

Azure AI Vision マルチモーダル埋め込みは、Azure AI Vision のマルチモーダル埋め込みの API を使用して、画像またはテキスト入力用の埋め込みを生成するスキルです。

このスキルは、Azure AI Vision Multimodal embeddings API をサポートするリージョンに配置された検索サービスでのみサポートされます。 マルチモーダル埋め込みのリージョンの可用性を確認 します。 データは、モデルがデプロイされている geo で処理されます。

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

データ制限

スキルの入力制限は、画像とテキストに関する Azure AI Vision ドキュメントにそれぞれ記載されています。 テキスト入力のデータ チャンク化が必要な場合は、テキスト分割スキルの使用を検討してください。

スキルのパラメーター

パラメーターの大文字と小文字は区別されます。

スキルの入力

スキルの 1 つのインスタンスに対して構成できるのは、text、image、または url/queryString のいずれか 1 つだけです。 同じスキルセット内の画像とテキストの両方をベクトル化する場合は、スキルセット定義にこのスキルの 2 つのインスタンスを含めます。使用する入力の種類ごとに 1 つずつです。

スキルの出力

定義例

テキスト入力の場合は、次のフィールドを持つレコードを検討します。

{
    "content": "Microsoft released Windows 10."
}

スキル定義は次のようになります。

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector"
        } 
    ] 
} 

画像入力の場合、スキル定義は次のようになります。

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector"
        }
    ]
}

BLOB ストレージ データソースから画像を直接ベクトル化する場合、スキル定義は次のようになります。

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector"
        }
    ]
}

サンプル出力

指定された入力テキストに対して、ベクター化された埋め込み出力が生成されます。

{
  "vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

出力はメモリ内に存在します。 この出力を検索インデックスのフィールドに送信するには、ベクトル化された埋め込み出力 (配列) をベクトル フィールドにマップする outputFieldMapping を定義する必要があります。 スキルの出力がドキュメントの vector ノードに存在し、content_vector が検索インデックスのフィールドであると仮定すると、インデクサーの outputFieldMapping は次のようになります。

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

画像の埋め込みをインデックスにマッピングするには、インデックスのプロジェクション機能を使用する必要があります。 indexProjections のペイロードは次のようになります。

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

関連項目

• 組み込みのスキル
• スキルセットの定義方法
• 画像からのテキストと情報の抽出
• 出力フィールドのマッピングを定義する方法
• インデックスのプロジェクション
• Azure AI Vision マルチモーダル埋め込みの API