Vytvoření vektorového indexu

2024-07-01 je obecně k dispozici. Podporuje konfiguraci vektoru, která má:

• vectorSearch.algorithms podpora sítě HNSW a vyčerpávající síť KNN.
• vectorSearch.compressions podporuje skalární a binární kvantování, převzorkování a opětovné řazení pomocí původních vektorů.
• vectorSearch.profiles poskytuje více kombinací konfigurací algoritmů a komprese.

Nezapomeňte mít strategii pro vektorizaci obsahu. Pro integrované kódování doporučujeme integrované vektorizace a vektorizátory doby dotazu.

1. K vytvoření indexu použijte rozhraní API pro vytvoření nebo aktualizaci indexu .

2. vectorSearch Do indexu přidejte oddíl, který určuje vyhledávací algoritmy použité k vytvoření prostoru pro vložení.

    "vectorSearch": {
        "compressions": [
            {
                "name": "scalar-quantization",
                "kind": "scalarQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0,
                    "scalarQuantizationParameters": {
                        "quantizedDataType": "int8"
                    }
            },
            {
                "name": "binary-quantization",
                "kind": "binaryQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0,
            }
        ],
        "algorithms": [
            {
                "name": "hnsw-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "hnsw-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "hamming"
                }
            },
            {
                "name": "eknn",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "euclidean"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "vector-profile-hnsw-scalar",
            "compression": "scalar-quantization",
            "algorithm": "hnsw-1"
          }
        ]
    }
   

   Klíčové body:

   • Názvy pro každou konfiguraci komprese, algoritmu a profilu musí být jedinečné pro jeho typ v rámci indexu.

   • vectorSearch.compressions.kind může být scalarQuantization nebo binaryQuantization.

   • vectorSearch.compressions.rerankWithOriginalVectors používá původní nekomprimované vektory k přepočtu podobnosti a opětovnému seřazení nejlepších výsledků vrácených počátečním vyhledávacím dotazem. Nekomprimované vektory existují v indexu vyhledávání, i když stored jsou false. Tato vlastnost je nepovinná. Výchozí hodnota je true.

   • vectorSearch.compressions.defaultOversampling považuje širší sadu potenciálních výsledků k posunu snížení informací od kvantování. Vzorec pro potenciální výsledky se skládá z k dotazu s násobitelem převzorkování. Pokud například dotaz určuje k 5 a převzorkování je 20, dotaz efektivně požaduje 100 dokumentů pro použití při opětovném řazení pomocí původního nekomprimovaného vektoru pro tento účel. Vrátí se pouze nejlépe k seřazené výsledky. Tato vlastnost je nepovinná. Výchozí hodnota je 4.

   • vectorSearch.compressions.scalarQuantizationParameters.quantizedDataType musí být nastavena na int8hodnotu . V tuto chvíli se jedná o jediný primitivní datový typ podporovaný. Tato vlastnost je nepovinná. Výchozí hodnota je int8.

   • vectorSearch.algorithms.kind jsou buď "hnsw" nebo "exhaustiveKnn". Jedná se o přibližné algoritmy ANN (Nearest Neighbors) sloužící k uspořádání vektorového obsahu během indexování.

   • vectorSearch.algorithms.m je obousměrný počet propojení. Výchozí hodnota je 4. Rozsah je 4 až 10. Nižší hodnoty by měly ve výsledcích vracet méně šumu.

   • vectorSearch.algorithms.efConstruction je počet nejbližších sousedů použitých při indexování. Výchozí hodnota je 400. Rozsah je 100 až 1 000.

   • "vectorSearch.algorithms.fSearch je počet nejbližších sousedů použitých při hledání. Výchozí hodnota je 500. Rozsah je 100 až 1 000.

   • vectorSearch.algorithms.metric pokud používáte Azure OpenAI, měla by být kosinus, jinak použijte metriku podobnosti přidruženou k modelu vkládání, který používáte. Podporované hodnoty jsou cosine, dotProduct, euclidean, hamming (používá se pro indexování binárních dat).

   • vectorSearch.profiles přidejte vrstvu abstrakce pro zajištění širších definic. Profil je definován v vectorSearcha potom odkazuje podle názvu u každého vektorového pole. Jedná se o kombinaci komprese a konfigurace algoritmů. Toto je vlastnost, kterou přiřadíte k vektorovým polím, a určuje algoritmus a kompresi polí.

2024-05-01-preview je nejnovější verze Preview.

• vectorSearch.algorithms s podporou HNSW a vyčerpávající sítě KNN.
• vectorSearch.compressions s vlastnostmi skalárního (ale ne binárního) kvantování, převzorkováním a opětovným řazením s původními vektory.
• vectorSearch.profiles pro více kombinací algoritmů a konfigurací komprese.
• Včetně verze 2024-03-01-preview.
• Včetně verze 2023-10-01-preview.
• Včetně roku 2023-11-01 vectorSearch.algorithms a vectorSearch.profiles.

1. K vytvoření indexu použijte rozhraní REST API pro vytvoření nebo aktualizaci indexu ve verzi Preview.

2. vectorSearch Do indexu přidejte oddíl, který určuje nastavení komprese a vyhledávací algoritmy použité k vytvoření prostoru pro vložení. Další informace naleznete v tématu Konfigurace vektorové kvantování a omezeného úložiště.

    "vectorSearch": {
        "compressions": [
            {
                "name": "my-scalar-quantization",
                "kind": "scalarQuantization",
                "rerankWithOriginalVectors": true,
                "defaultOversampling": 10.0,
                    "scalarQuantizationParameters": {
                        "quantizedDataType": "int8"
                    }
            }
        ],
        "algorithms": [
            {
                "name": "hnsw-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            },
            {
                "name": "hnsw-2",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 8,
                    "efConstruction": 800,
                    "efSearch": 800,
                    "metric": "hamming"
                }
            },
            {
                "name": "eknn",
                "kind": "exhaustiveKnn",
                "exhaustiveKnnParameters": {
                    "metric": "euclidean"
                }
            }
   
        ],
        "profiles": [
          {
            "name": "vector-profile-hnsw-1",
            "algorithm": "hnsw-1"
          }
        ]
    }
   

   Klíčové body:

   • vectorSearch.compressions.kind musí být scalarQuantization.

   • vectorSearch.compressions.rerankWithOriginalVectors používá původní nekomprimované vektory k přepočtu podobnosti a opětovnému seřazení nejlepších výsledků vrácených počátečním vyhledávacím dotazem. Nekomprimované vektory existují v indexu vyhledávání, i když stored jsou false. Tato vlastnost je nepovinná. Výchozí hodnota je true.

   • vectorSearch.compressions.defaultOversampling považuje širší sadu potenciálních výsledků k posunu snížení informací od kvantování. Vzorec pro potenciální výsledky se skládá z k dotazu s násobitelem převzorkování. Pokud například dotaz určuje k 5 a převzorkování je 20, dotaz efektivně požaduje 100 dokumentů pro použití při opětovném řazení pomocí původního nekomprimovaného vektoru pro tento účel. Vrátí se pouze nejlépe k seřazené výsledky. Tato vlastnost je nepovinná. Výchozí hodnota je 4.

   • vectorSearch.compressions.scalarQuantizationParameters.quantizedDataType musí být nastavena na int8hodnotu . V tuto chvíli se jedná o jediný primitivní datový typ podporovaný. Tato vlastnost je nepovinná. Výchozí hodnota je int8.

   • vectorSearch.algorithms.kind jsou buď "hnsw" nebo "exhaustiveKnn". Jedná se o přibližné algoritmy ANN (Nearest Neighbors) sloužící k uspořádání vektorového obsahu během indexování.

   • vectorSearch.algorithms.m je obousměrný počet propojení. Výchozí hodnota je 4. Rozsah je 4 až 10. Nižší hodnoty by měly ve výsledcích vracet méně šumu.

   • vectorSearch.algorithms.efConstruction je počet nejbližších sousedů použitých při indexování. Výchozí hodnota je 400. Rozsah je 100 až 1 000.

   • "vectorSearch.algorithms.fSearch je počet nejbližších sousedů použitých při hledání. Výchozí hodnota je 500. Rozsah je 100 až 1 000.

   • vectorSearch.algorithms.metric pokud používáte Azure OpenAI, měla by být kosinus, jinak použijte metriku podobnosti přidruženou k modelu vkládání, který používáte. Podporované hodnoty jsou cosine, dotProduct, euclidean, hamming (používá se pro indexování binárních dat).

   • vectorSearch.profiles přidejte vrstvu abstrakce pro zajištění širších definic. Profil je definován v vectorSearcha potom odkazuje podle názvu u každého vektorového pole. Jedná se o kombinaci komprese a konfigurace algoritmů. Toto je vlastnost, kterou přiřadíte k vektorovým polím, a určuje algoritmus a kompresi polí.

Další informace o nových funkcích ve verzi Preview najdete v tématu Co je nového ve službě Azure AI Search.

2024-07-01 je obecně k dispozici.

1. K vytvoření indexu použijte funkci Vytvořit nebo aktualizovat index .

2. Definujte vektorové pole s následujícími atributy. Pro každé pole můžete uložit jedno vygenerované vkládání. Pro každé vektorové pole:

   • typemusí být datovými typy vektorů. Collection(Edm.Single) je nejběžnější pro vkládání modelů.
   • dimensions je počet dimenzí vygenerovaných modelem vkládání. U text-embedding-ada-002 je to 1536.
   • vectorSearchProfile je název profilu definovaného jinde v indexu.
   • searchable musí být pravdivé.
   • retrievable může být true nebo false. True vrátí nezpracované vektory (1536 z nich) jako prostý text a spotřebovává úložný prostor. Pokud předáváte výsledek vektoru podřízené aplikaci, nastavte na hodnotu true.
   • stored může být true nebo false. Určuje, zda je pro načtení uložena další kopie vektorů. Další informace naleznete v tématu Zmenšení velikosti vektoru.
   • filterable, facetablesortable musí být false.

3. Pokud chcete vyvolat předfiltrování nebo postfiltering v vektorovém dotazu, přidejte do kolekce filtrovatelná nevectorová pole, například "title" s filterable nastavenou hodnotou true.

4. Přidejte další pole, která definují látku a strukturu textového obsahu, který indexujete. Minimálně potřebujete klíč dokumentu.

   Měli byste také přidat pole, která jsou užitečná v dotazu nebo v odpovědi. Následující příklad ukazuje vektorová pole pro název a obsah ("titleVector", "contentVector"), které jsou ekvivalentní vektorům. Poskytuje také pole pro ekvivalentní textový obsah ("title", "content") užitečný pro řazení, filtrování a čtení ve výsledku hledání.

   Následující příklad ukazuje kolekci polí:

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2024-07-01&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "title",
               "type": "Edm.String",
               "searchable": true,
               "filterable": true,
               "sortable": true,
               "retrievable": true
           },
           {
               "name": "titleVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": true,
               "stored": true,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "content",
               "type": "Edm.String",
               "searchable": true,
               "retrievable": true
           },
           {
               "name": "contentVector",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "hnsw-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "vector-profile-1",
                   "algorithm": "hnsw-1"
               }
           ]
       }
   }
   

• Podporuje všechny datové typy vektorů.
• 2024-03-01-previewVčetně , s novou podporou indexování binárních dat pro vektorové vyhledávání.

1. K definování kolekce polí indexu indexu použijte rozhraní REST API pro vytvoření nebo aktualizaci indexu.

2. Přidejte do kolekce polí vektorová pole. Můžete uložit jedno vygenerované vkládání na pole dokumentu. Pro každé vektorové pole:

   • typemůže být Collection(Edm.Single), , Collection(Edm.Half), Collection(Edm.Int16)Collection(Edm.SByte)
   • dimensions je počet dimenzí vygenerovaných modelem vkládání. U text-embedding-ada-002 je to 1536.
   • vectorSearchProfile je název profilu definovaného jinde v indexu.
   • searchable musí být pravdivé.
   • retrievable může být true nebo false. True vrátí nezpracované vektory (1536 z nich) jako prostý text a spotřebovává úložný prostor. Pokud předáváte výsledek vektoru podřízené aplikaci, nastavte na hodnotu true. False je vyžadováno, pokud stored je false.
   • stored je nová logická vlastnost, která se vztahuje pouze na vektorová pole. True ukládá kopii vektorů vrácených ve výsledcích hledání. Tato kopie se během indexování zahodí. Ve výsledcích můžete vyhledávat vektory, ale ve výsledcích nevrátíte vektory.
   • filterable, facetablesortable musí být false.

3. Pokud chcete vyvolat předfiltrování nebo postfiltering v vektorovém dotazu, přidejte do kolekce filtrovatelná nevectorová pole, například "title" s filterable nastavenou hodnotou true.

4. Přidejte další pole, která definují látku a strukturu textového obsahu, který indexujete. Minimálně potřebujete klíč dokumentu.

   Měli byste také přidat pole, která jsou užitečná v dotazu nebo v odpovědi. Následující příklad ukazuje vektorová pole pro název a obsah ("titleVector", "contentVector"), které jsou ekvivalentní vektorům. Poskytuje také pole pro ekvivalentní textový obsah ("title", "content") užitečný pro řazení, filtrování a čtení ve výsledku hledání.

5. Následující příklad ukazuje kolekci polí:

   PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2024-05-01-preview&allowIndexDowntime=true
   Content-Type: application/json
   api-key: {{admin-api-key}}
   {
       "name": "{{index-name}}",
       "fields": [
           {
               "name": "id",
               "type": "Edm.String",
               "key": true,
               "filterable": true
           },
           {
               "name": "firstVectorfield-float32-embeddings",
               "type": "Collection(Edm.Single)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "secondVectorfield-float16-embeddings",
               "type": "Collection(Edm.Half)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "thirdVectorfield-int8-embeddings-for-my-custom-quantization-output",
               "type": "Collection(Edm.SByte)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           },
           {
               "name": "fourthVectorfield-for-binary-data",
               "type": "Collection(Edm.Byte)",
               "searchable": true,
               "retrievable": false,
               "stored": false,
               "dimensions": 1536,
               "vectorSearchProfile": "vector-profile-1"
           }
       ],
       "vectorSearch": {
           "algorithms": [
               {
                   "name": "hnsw-1",
                   "kind": "hnsw",
                   "hnswParameters": {
                       "m": 4,
                       "efConstruction": 400,
                       "efSearch": 500,
                       "metric": "cosine"
                   }
               }
           ],
           "profiles": [
               {
                   "name": "vector-profile-1",
                   "algorithm": "hnsw-1"
               }
           ]
       }
   }
   

Použití dokumentů – Index k načtení vektorových a nevectorových dat do indexu. Rozhraní API nabízených oznámení pro indexování jsou stejná napříč všemi stabilními verzemi a verzemi Preview. K načtení dokumentů použijte některá z následujících rozhraní API:

• 2024-07-01
• 2024-05-01-preview

POST https://{{search-service-name}}.search.windows.net/indexes/{{index-name}}/docs/index?api-version=2024-07-01

{
    "value": [
        {
            "id": "1",
            "title": "Azure App Service",
            "content": "Azure App Service is a fully managed platform for building, deploying, and scaling web apps. You can host web apps, mobile app backends, and RESTful APIs. It supports a variety of programming languages and frameworks, such as .NET, Java, Node.js, Python, and PHP. The service offers built-in auto-scaling and load balancing capabilities. It also provides integration with other Azure services, such as Azure DevOps, GitHub, and Bitbucket.",
            "category": "Web",
            "titleVector": [
                -0.02250031754374504,
                 . . . 
                        ],
            "contentVector": [
                -0.024740582332015038,
                 . . .
            ],
            "@search.action": "upload"
        },
        {
            "id": "2",
            "title": "Azure Functions",
            "content": "Azure Functions is a serverless compute service that enables you to run code on-demand without having to manage infrastructure. It allows you to build and deploy event-driven applications that automatically scale with your workload. Functions support various languages, including C#, F#, Node.js, Python, and Java. It offers a variety of triggers and bindings to integrate with other Azure services and external services. You only pay for the compute time you consume.",
            "category": "Compute",
            "titleVector": [
                -0.020159931853413582,
                . . .
            ],
            "contentVector": [
                -0.02780858241021633,
                 . . .
            ],
            "@search.action": "upload"
        }
        . . .
    ]
}

Rozhraní API pro vyžádání obsahu odkazují na indexery, které automatizují několik kroků indexování od načítání a aktualizace dat až po integrovanou vektorizaci , která kóduje obsah pro vektorové vyhledávání.

• Zdroje dat musí být podporovaným typem.

• Sady dovedností poskytují dovednosti rozdělení textu pro vytváření bloků dat a dovednosti, které se připojují k vložených modelů. Některé jsou obecně dostupné, jiné jsou stále ve verzi Preview. Dovednosti a vektorizátory se používají ke generování vložených objektů. Dovednost, kterou zvolíte pro indexování, by měla být spárována s ekvivalentní vektorizátorem pro dotazy. Pro vektorizaci během indexování si vyberte z následujících dovedností:

  • Dovednost AzureOpenAIEmbedding
  • Vlastní dovednosti webového rozhraní API
  • Dovednosti s vícemodálními vkládáními ve službě Azure AI Vision (Preview)
  • Dovednost AML (Preview) k vygenerování vkládání pro modely hostované v katalogu modelů Azure AI Studio Podrobnosti najdete v tématu Implementace integrované vektorizace pomocí modelů z Azure AI Studia .

• Indexy poskytují definice vektorových polí a konfigurace vektorového vyhledávání. Tyto definice jsou popsány v tomto článku.

• Indexery řídí kanál indexování. Další informace naleznete v tématu Vytvoření indexeru.

Pokud znáte indexery a sady dovedností:

• Mapování polí, mapování výstupních polí a nastavení detekce odstranění platí pro vektorová a nevectorová pole stejně.

• Pokud jsou vektorová data zdrojem v souborech, doporučujeme nedefaultovat parsingMode , například json, jsonLinesnebo csv na základě tvaru dat.

• U zdrojů dat byly indexery objektů blob Azure a indexery Azure Cosmos DB for NoSQL s jednou z výše uvedených parsingModes testovány a potvrzeny, aby fungovaly.

• Dimenze všech vektorů ze zdroje dat musí být stejné a musí odpovídat definici indexu pro pole, na které mapují. Indexer vyvolá chybu u všech dokumentů, které se neshodují.

• Zkontrolujte indexy v indexech správy>vyhledávání a zobrazte velikost indexu all-up a vector index. Velikost indexu kladného vektoru označuje, že jsou přítomny vektory.

• K dotazování indexu použijte Průzkumníka služby Search. Průzkumník služby Search má dvě zobrazení: zobrazení dotazu (výchozí) a zobrazení JSON.

  • Nastavte možnosti>dotazu Skrýt vektorové hodnoty ve výsledcích hledání pro čitelnější výsledky.

  • Použití zobrazení JSON pro vektorové dotazy. Můžete vložit definici JSON vektorového dotazu, který chcete provést, nebo použít předdefinovaný převod textu na vektor nebo převod obrázku na vektor, pokud má index přiřazení vektorizátoru. Další informace o hledání obrázků najdete v tématu Rychlý start: Hledání obrázků v Průzkumníku služby Search.

  • Pro rychlé potvrzení, že index obsahuje vektory, použijte výchozí zobrazení dotazu. Zobrazení dotazu je určené pro fulltextové vyhledávání. I když ho nemůžete použít pro vektorové dotazy, můžete odeslat prázdné vyhledávání (search=*) a zkontrolovat obsah. Obsah všech polí, včetně vektorových polí, se vrátí jako prostý text.

  • Další podrobnosti najdete v tématu Vytvoření vektorového dotazu .

Následující příklad rozhraní REST API je vektorový dotaz, ale vrací pouze nevectorová pole (title, content, category). Ve výsledcích hledání se dají vrátit jenom pole označená jako "retrievable".

POST https://my-search-service.search.windows.net/indexes/my-index/docs/search?api-version=2024-07-01
Content-Type: application/json
api-key: {{admin-api-key}}
{
    "vector": {
        "value": [
            -0.009154141,
            0.018708462,
            . . . 
            -0.02178128,
            -0.00086512347
        ],
        "fields": "contentVector",
        "k": 5
    },
    "select": "title, content, category"
}