Azure AI 検索内のクエリにセマンティックランクを追加する

[アーティクル]
09/24/2024

検索ドキュメントに文字列フィールドが含まれ、検索ドキュメントのベクトルクエリにテキスト表現が含まれている場合、セマンティックランク付けを、テキストクエリ、ハイブリッドクエリ、ベクトルクエリに適用できます。

この記事では、クエリでセマンティックランカーを呼び出す方法について説明します。

前提条件

セマンティックランカーが有効になっている Basic レベル以上の検索サービス。
セマンティック構成とリッチテキストコンテンツを使用する既存の検索インデックス。
機能の概要情報が必要な場合は、セマンティックランク付けを確認してください。

Note

キャプションと回答は、検索ドキュメント内のテキストから逐語的に抽出されます。セマンティックサブシステムは、コンピューター読み取りの理解を使用してキャプションまたは回答の特性を持つコンテンツを認識しますが、新しい文やフレーズは作成されません。このため、セマンティックランク付けには、説明または定義を含むコンテンツが最も適しています。生成された応答とチャットスタイルの対話を行う場合は、取得拡張生成 (RAG) に関する記事を参照してください。

クライアントを選択する

次のツールおよび SDK のいずれかを使用して、セマンティックランク付けを使用するクエリを作成できます。

インデックスデザイナーを使用してセマンティック構成を追加する Azure portal。
REST クライアントを使用した Visual Studio Code
Azure SDK for .NET
Azure SDK for Python
Azure SDK for Java
Azure SDK for JavaScript

クエリを設定する

この手順では、クエリ要求にパラメーターを追加します。正常に実行するには、クエリはフルテキスト検索 (search パラメーターを使用して文字列を渡す) またはベクトルクエリである必要があり、インデックスにはリッチセマンティックコンテンツとセマンティック構成を含むテキストフィールドが含まれている必要があります。

検索エクスプローラーには、セマンティックの順位付けのオプションが含まれています。

Azure portal にサインインします。
検索インデックスを開き、[検索エクスプローラー] を選択します。
[クエリオプション] を選択します。セマンティック構成を既に定義している場合は、既定で選択されています。定義していない場合は、インデックスのセマンティック構成を作成します。
クエリ (例: "historic hotel with good food") を入力し、[検索] を選択します。

または、[JSON ビュー] を選択し、クエリエディターに定義を貼り付けます。

ビューに貼り付けることができる JSON の例を次に示します。

{
  "search": "funky or interesting hotel with good food on site",
  "count": true,
  "queryType": "semantic",
  "semanticConfiguration": "my-semantic-config",
  "captions": "extractive|highlight-true",
  "answers": "extractive|count-3",
  "queryLanguage": "en-us",
  "highlightPreTag": "<strong>",
  "highlightPostTag": "</strong>",
  "select": "HotelId,HotelName,Description,Category"
}

[ドキュメントの検索] を使用して要求を作成します。

応答には @search.rerankerScore が自動的に含められます。応答でキャプションまたは回答が必要な場合は、captions および answers を要求に追加します。

このセクションの次の例では、hotels-sample-index を使用してセマンティック回答およびキャプションを使用したセマンティックランク付けのデモを行います。

次の要求をテンプレートとして Web クライアントに貼り付けます。 search-service-name は実際の検索サービス名に置き換え、インデックス名が異なる場合は hotels-sample-index も置き換えてください。

POST https://[search-service-name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2024-07-01      
{
      "search": "interesting hotel with restaurant on site and cozy lobby or shared area",
      "count": true,
      "queryType": "semantic",
      "semanticConfiguration": "semantic-config",
      "captions": "extractive|highlight-true",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "highlightPreTag": "<strong>",
      "highlightPostTag": "</strong>",
      "select": "HotelId,HotelName,Description,Category"
}

"queryType" を "semantic" に設定します。
"search" をフルテキスト検索クエリに設定します。検索文字列は、simple 構文または完全な Lucene 構文をサポートできます。セマンティックランク付けはフルテキスト検索の拡張機能であるため、"search" は必須ではありませんが、空の検索 ("search": "*") の場合は期待される結果は得られません。
"semanticConfiguration" を、インデックスに埋め込まれた定義済みのセマンティック構成に設定します。
"answers" を設定して、セマンティック回答を結果に含めるかどうかを指定します。現在、このパラメーターの有効な値は extractive だけです。回答は、最大 10 個を返すように構成できます。既定値は 1 です。 extractive|count-3 という例は、回答の数が 3 であることを示しています。

回答は、すべての要求で保証されるわけではありません。回答を得るには、クエリを質問のようにする必要があり、コンテンツには回答のようなテキストを含める必要があります。
"captions" を設定して、セマンティックキャプションを結果に含めるかどうかを指定します。現在、このパラメーターの有効な値は extractive だけです。キャプションは、ハイライトの有無に関係なく、結果を返すように構成できます。既定では、ハイライトが返されます。この例では、ハイライトのないキャプション extractive|highlight-false が返されます。

キャプションと回答の基本は、"semanticConfiguration" で参照されるフィールドです。これらのフィールドにかけられている結合制限は、2,000 個のトークン (あるいは約 20,000 の文字数) の範囲です。トークン数がこの限度を超えそうな場合は、テキスト分割スキルを使用したデータチャンキング手順を検討してください。この方法では、AI エンリッチメントパイプラインとインデクサーへの依存が取り入れられます。
キャプションに適用される既定の強調表示の書式をオーバーライドする場合は、"highlightPreTag" と "highlightPostTag" を設定します。

キャプションでは、ドキュメント内の重要な一説 (応答を要約する部分) に強調の書式設定が適用されます。既定値は、<em> です。書式設定の種類 (黄色の背景など) を指定する場合は、highlightPreTag と highlightPostTag を設定できます。
応答でどのフィールドが返されるかを指定するために "select" を設定し、インデックス内の一致数を返す "count" を設定します。これらのパラメーターを使用すると、要求の品質と応答の読みやすさが向上します。
クエリを実行して結果を返す要求を送信します。

QueryType または SemanticQuery を使用して、セマンティッククエリでセマンティックランカーを呼び出します。次の例は、Azure SDK チームの例です。

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "interesting hotel with restaurant on site and cozy lobby or shared area",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive)
        },
        QueryLanguage = QueryLanguage.EnUs,
        QueryType = SearchQueryType.Semantic
    });

int count = 0;
Console.WriteLine($"Semantic Search Results:");

Console.WriteLine($"\nQuery Answer:");
foreach (QueryAnswerResult result in response.SemanticSearch.Answers)
{
    Console.WriteLine($"Answer Highlights: {result.Highlights}");
    Console.WriteLine($"Answer Text: {result.Text}");
}

await foreach (SearchResult<Hotel> result in response.GetResultsAsync())
{
    count++;
    Hotel doc = result.Document;
    Console.WriteLine($"{doc.HotelId}: {doc.HotelName}");

    if (result.SemanticSearch.Captions != null)
    {
        var caption = result.SemanticSearch.Captions.FirstOrDefault();
        if (caption.Highlights != null && caption.Highlights != "")
        {
            Console.WriteLine($"Caption Highlights: {caption.Highlights}");
        }
        else
        {
            Console.WriteLine($"Caption Text: {caption.Text}");
        }
    }
}
Console.WriteLine($"Total number of search results:{count}");

応答を評価する

最初の結果の上位 50 件の一致のみを意味的にランク付けすることができます。すべてのクエリと同様に、応答は、取得可能としてマークされているすべてのフィールド、または select パラメーターに指定されているフィールドのみで構成されます。応答には、元の関連性スコアが含まれます。また、要求の作成方法に応じて、カウントまたはバッチ結果が含まれる場合もあります。

セマンティックランカーでは、意味的にランク付けされた新しい関連性スコア、強調表示されたプレーンテキストでの省略可能なキャプション、省略可能な回答という追加の要素が応答に含められます。結果にこれらの追加の要素が含まれていない場合は、クエリが正しく構成されていない可能性があります。問題のトラブルシューティングの最初の手順として、セマンティック構成をチェックし、それがインデックス定義とクエリの両方で指定されていることを確認します。

クライアントアプリでは、特定のフィールドの内容全体ではなく、キャプションを一致の説明として含めるように、検索ページを構成することができます。このアプローチは、検索結果ページにおいて個々のフィールドの密度が高すぎる場合に役立ちます。

上記のクエリ例 ("サイトにレストランがある興味深いホテルと居心地の良いロビーまたは共有エリア") の応答は、3 つの回答 ("answers": "extractive|count-e") を返します。 "captions" プロパティがプレーンテキストと強調表示の各バージョンで設定されているため、キャプションが返されます。回答を特定できない場合は、応答から省略されます。簡潔にするために、この例では 3 つの回答と、クエリの最もスコア付けの高い結果 3 つのみを示しています。

{
  "@odata.count": 29,
  "@search.answers": [
    {
      "key": "24",
      "text": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "highlights": "Chic hotel near the city. <strong>High-rise hotel in downtown, </strong>within<strong> walking distance to </strong>theaters, art<strong> galleries, restaurants and shops.</strong> Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "score": 0.9340000152587891
    },
    {
      "key": "40",
      "text": "Only 8 miles from Downtown. On-site bar/restaurant, Free hot breakfast buffet, Free wireless internet, All non-smoking hotel. Only 15 miles from airport.",
      "highlights": "Only 8 miles from Downtown. <strong>On-site bar/restaurant, Free hot breakfast buffet, Free wireless internet, </strong>All non-smoking<strong> hotel.</strong> Only 15 miles from airport.",
      "score": 0.9210000038146973
    },
    {
      "key": "38",
      "text": "Nature is Home on the beach. Explore the shore by day, and then come home to our shared living space to relax around a stone fireplace, sip something warm, and explore the library by night. Save up to 30 percent. Valid Now through the end of the year. Restrictions and blackouts may apply.",
      "highlights": "Nature is Home on the beach. Explore the shore by day, and then come home to our<strong> shared living space </strong>to relax around a stone fireplace, sip something warm, and explore the library by night. Save up to 30 percent. Valid Now through the end of the year. Restrictions and blackouts may apply.",
      "score": 0.9200000166893005
    }
  ],
  "value": [
    {
      "@search.score": 3.2328331,
      "@search.rerankerScore": 2.575303316116333,
      "@search.captions": [
        {
          "text": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our penthouse suites offer views for miles and the rooftop plaza is open to all guests from sunset to 10 p.m. Enjoy a complimentary continental breakfast in the lobby, and free Wi-Fi throughout the hotel.",
          "highlights": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our<strong> penthouse </strong>suites offer views for miles and the rooftop<strong> plaza </strong>is open to all guests from sunset to 10 p.m. Enjoy a<strong> complimentary continental breakfast in the lobby, </strong>and free Wi-Fi<strong> throughout </strong>the hotel."
        }
      ],
      "HotelId": "50",
      "HotelName": "Head Wind Resort",
      "Description": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our penthouse suites offer views for miles and the rooftop plaza is open to all guests from sunset to 10 p.m. Enjoy a complimentary continental breakfast in the lobby, and free Wi-Fi throughout the hotel.",
      "Category": "Suite"
    },
    {
      "@search.score": 0.632956,
      "@search.rerankerScore": 2.5425150394439697,
      "@search.captions": [
        {
          "text": "Every stay starts with a warm cookie. Amenities like the Counting Sheep sleep experience, our Wake-up glorious breakfast buffet and spacious workout facilities await.",
          "highlights": "Every stay starts with a warm cookie. Amenities like the<strong> Counting Sheep sleep experience, </strong>our<strong> Wake-up glorious breakfast buffet and spacious workout facilities </strong>await."
        }
      ],
      "HotelId": "34",
      "HotelName": "Lakefront Captain Inn",
      "Description": "Every stay starts with a warm cookie. Amenities like the Counting Sheep sleep experience, our Wake-up glorious breakfast buffet and spacious workout facilities await.",
      "Category": "Budget"
    },
    {
      "@search.score": 3.7076726,
      "@search.rerankerScore": 2.4554927349090576,
      "@search.captions": [
        {
          "text": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
          "highlights": "Chic hotel near the city. <strong>High-rise hotel in downtown, </strong>within<strong> walking distance to </strong>theaters, art<strong> galleries, restaurants and shops.</strong> Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance."
        }
      ],
      "HotelId": "24",
      "HotelName": "Uptown Chic Hotel",
      "Description": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "Category": "Suite"
    },
   . . .
  ]
}

予測されるワークロード

セマンティックランク付けでは、検索サービスがレプリカあたり最大 10 個の同時クエリをサポートすることを想定しておく必要があります。

量が多すぎる場合、サービスによってセマンティックランク付け要求が調整されます。エラーメッセージに次の語句が含まれる場合、サービスがセマンティックランク付けのキャパシティに達していることを示します。

Error in search query: Operation returned an invalid status 'Partial Content'`
@search.semanticPartialResponseReason`
CapacityOverloaded

これに近い、またはそれ以上のレベルの一貫したスループット要件が予想される場合は、私たちが皆さまのワークロードに合わせてプロビジョニングできるように、サポートチケットを提出してください。

次のステップ

セマンティックの順位付けは、キーワード検索とベクトル検索を 1 つの要求と統合された応答に結合するハイブリッドクエリで使用できます。

セマンティックランカーを使用するハイブリッドクエリ

次の方法で共有

Azure AI 検索内のクエリにセマンティックランクを追加する

前提条件

クライアントを選択する

関連性スコアリングをバイパスする機能を回避する

クエリを設定する

応答を評価する

予測されるワークロード

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure AI 検索内のクエリにセマンティック ランクを追加する

前提条件

クライアントを選択する

関連性スコアリングをバイパスする機能を回避する

クエリを設定する

応答を評価する

予測されるワークロード

次のステップ

フィードバック

その他のリソース

Azure AI 検索内のクエリにセマンティックランクを追加する