Vector Storage ve službě Azure AI Search

Pole z indexu chatu, která podporují možnosti generování vyhledávání:

"name": "example-index-from-accelerator",
"fields": [
  { "name": "id", "type": "Edm.String", "searchable": false, "filterable": true, "retrievable": true },
  { "name": "content", "type": "Edm.String", "searchable": true, "filterable": false, "retrievable": true },
  { "name": "content_vector", "type": "Collection(Edm.Single)", "searchable": true, "retrievable": true, "dimensions": 1536, "vectorSearchProfile": "my-vector-profile"},
  { "name": "metadata", "type": "Edm.String", "searchable": true, "filterable": false, "retrievable": true },
  { "name": "title", "type": "Edm.String", "searchable": true, "filterable": true, "retrievable": true, "facetable": true },
  { "name": "source", "type": "Edm.String", "searchable": true, "filterable": true, "retrievable": true  },
  { "name": "chunk", "type": "Edm.Int32", "searchable": false, "filterable": true, "retrievable": true },
  { "name": "offset", "type": "Edm.Int32", "searchable": false, "filterable": true, "retrievable": true }
]

Pole z indexu konverzací, která podporují orchestraci a historii chatu:

"fields": [
    { "name": "id", "type": "Edm.String", "key": true, "searchable": false, "filterable": true, "retrievable": true, "sortable": false, "facetable": false },
    { "name": "conversation_id", "type": "Edm.String", "searchable": false, "filterable": true, "retrievable": true, "sortable": false, "facetable": true },
    { "name": "content", "type": "Edm.String", "searchable": true, "filterable": false, "retrievable": true },
    { "name": "content_vector", "type": "Collection(Edm.Single)", "searchable": true, "retrievable": true, "dimensions": 1536, "vectorSearchProfile": "default-profile" },
    { "name": "metadata", "type": "Edm.String", "searchable": true, "filterable": false, "retrievable": true },
    { "name": "type", "type": "Edm.String", "searchable": false, "filterable": true, "retrievable": true, "sortable": false, "facetable": true },
    { "name": "user_id", "type": "Edm.String", "searchable": false, "filterable": true, "retrievable": true, "sortable": false, "facetable": true },
    { "name": "sources", "type": "Collection(Edm.String)", "searchable": false, "filterable": true, "retrievable": true, "sortable": false, "facetable": true },
    { "name": "created_at", "type": "Edm.DateTimeOffset", "searchable": false, "filterable": true, "retrievable": true },
    { "name": "updated_at", "type": "Edm.DateTimeOffset", "searchable": false, "filterable": true, "retrievable": true }
]

Tady je snímek obrazovky zobrazující výsledky hledání v Průzkumníku služby Search pro index konverzací. Skóre hledání je 1,00, protože hledání bylo nekvalifikované. Všimněte si polí, která existují pro podporu orchestrace a toků výzvy. ID konverzace identifikuje konkrétní chat. "type" určuje, zda je obsah od uživatele nebo asistenta. Kalendářní data se používají k oddálit chatům z historie.

Fyzická struktura a velikost

Ve službě Azure AI Search je fyzická struktura indexu z velké části interní implementací. Ke svému schématu, načtení a dotazování na jeho obsah můžete přistupovat, monitorovat jeho velikost a spravovat kapacitu, ale samotné clustery (invertované a vektorové indexy) a další soubory a složky spravuje Microsoft interně.

Velikost a látka indexu jsou určeny takto:

• Množství a složení dokumentů
• Atributy pro jednotlivá pole Například pro filtrovatelná pole je vyžadováno více úložiště.
• Konfigurace indexu, včetně konfigurace vektoru, která určuje způsob vytváření interních navigačních struktur na základě toho, jestli zvolíte HNSW nebo vyčerpávající KNN pro vyhledávání podobnosti.

Azure AI Search omezuje úložiště vektorů, což pomáhá udržovat vyvážený a stabilní systém pro všechny úlohy. Abychom vám pomohli zůstat pod limity, využití vektorů se sleduje a hlásí samostatně na webu Azure Portal a programově prostřednictvím statistik služby a indexu.

Následující snímek obrazovky ukazuje službu S1 nakonfigurovanou s jedním oddílem a jednou replikou. Tato konkrétní služba má v průměru 24 malých indexů s jedním vektorovým polem, přičemž každé pole se skládá z 1536 vkládání. Druhá dlaždice zobrazuje kvótu a využití vektorových indexů. Vektorový index je interní datová struktura vytvořená pro každé vektorové pole. Úložiště pro vektorové indexy je proto vždy zlomkem úložiště, které index celkově používá. Ostatní nevectorová pole a datové struktury spotřebovávají zbytek.

Omezení a odhady vektorového indexu jsou popsány v jiném článku, ale dva body, které je potřeba zdůraznit předem, je to, že maximální úložiště se liší podle úrovně služby a také podle toho, kdy byla vyhledávací služba vytvořena. Novější služby stejné vrstvy mají výrazně větší kapacitu pro indexy vektorů. Z těchto důvodů proveďte následující akce:

• Zkontrolujte datum nasazení vyhledávací služby. Pokud byla vytvořena před 3. dubnem 2024, zvažte vytvoření nové vyhledávací služby pro větší kapacitu.

• Pokud očekáváte kolísání požadavků na vektorové úložiště, zvolte škálovatelnou úroveň . Úroveň Basic je pevná na jednom oddílu ve starších vyhledávacích službách. Zvažte standard 1 (S1) a vyšší, abyste měli větší flexibilitu a rychlejší výkon, nebo vytvořte novou vyhledávací službu, která používá vyšší limity a více oddílů na každé úrovni.

Základní operace a interakce

Tato část představuje operace doby spuštění vektoru, včetně připojení a zabezpečení jednoho indexu.

Nepřetržitě dostupný

Index je okamžitě k dispozici pro dotazy hned po indexování prvního dokumentu, ale nebude plně funkční, dokud nebudou indexovány všechny dokumenty. Interně se index distribuuje mezi oddíly a spouští se na replikách. Fyzický index se spravuje interně. Logický index spravujete vy.

Index je nepřetržitě dostupný a není možné ho pozastavit nebo převést do offline režimu. Vzhledem k tomu, že je určená pro průběžné operace, probíhají všechny aktualizace obsahu nebo přidání samotného indexu v reálném čase. V důsledku toho můžou dotazy dočasně vrátit neúplné výsledky, pokud se požadavek shoduje s aktualizací dokumentu.

Všimněte si, že kontinuita dotazů existuje pro operace dokumentů (aktualizace nebo odstranění) a pro úpravy, které neovlivňují stávající strukturu a integritu aktuálního indexu (například přidání nových polí). Pokud potřebujete provést strukturální aktualizace (změna existujících polí), ty se obvykle spravují pomocí pracovního postupu vyřazení a opětovného sestavení ve vývojovém prostředí nebo vytvořením nové verze indexu v produkční službě.

Aby se zabránilo opětovnému sestavení indexu, někteří zákazníci, kteří provádějí malé změny, zvolí pole "verze" vytvořením nového, který společně s předchozí verzí existuje. V průběhu času to vede k osamocenému obsahu ve formě zastaralých polí nebo zastaralých definic vlastních analyzátorů, zejména v produkčním indexu, který je nákladný k replikaci. Tyto problémy můžete vyřešit u plánovaných aktualizací indexu v rámci správy životního cyklu indexu.

Připojení koncového bodu

Všechny vektorové indexování a požadavky dotazu cílí na index. Koncové body jsou obvykle jedním z následujících způsobů:

Jak se připojit ke službě Azure AI Search

1. Ujistěte se, že máte oprávnění nebo přístupový klíč rozhraní API. Pokud se dotazujete na existující index, potřebujete oprávnění správce nebo přiřazení role přispěvatele ke správě a zobrazení obsahu ve vyhledávací službě.

2. Začněte s webem Azure Portal. Osoba, která vytvořila vyhledávací službu, může zobrazit a spravovat vyhledávací službu, včetně udělení přístupu ostatním prostřednictvím stránky Řízení přístupu (IAM).

3. Přejděte k dalším klientům pro programový přístup. Pro první kroky doporučujeme rychlé starty a ukázky:

   • Rychlý start: REST
   • Vektorové vzorky

Zabezpečený přístup k vektorům dat

Azure AI Search implementuje šifrování dat, privátní připojení pro scénáře bez internetu a přiřazení rolí pro zabezpečený přístup prostřednictvím ID Microsoft Entra. Úplný rozsah podnikových funkcí zabezpečení je popsaný v části Zabezpečení ve službě Azure AI Search.

Správa úložišť vektorů

Azure poskytuje monitorovací platformu, která zahrnuje protokolování diagnostiky a upozorňování. Doporučujeme následující osvědčené postupy:

• Povolení protokolování diagnostiky
• Nastavení upozornění
• Analýza výkonu dotazů a indexů

Viz také

• Vytvoření vektorového úložiště pomocí rozhraní REST API (rychlý start)
• Vytvoření úložiště vektorů
• Dotazování vektorového indexu