Rychlý start: Vektorizace textu a obrázků pomocí webu Azure Portal

Tento rychlý start vám pomůže začít s integrovanou vektorizací pomocí Průvodce importem a vektorizací dat na webu Azure Portal. Průvodce zablokuje váš obsah a volá model vkládání, který vektorizuje obsah během indexování a pro dotazy.

Klíčové body o průvodci:

• Podporované zdroje dat jsou Azure Blob Storage, Azure Data Lake Storage (ADLS) Gen2 nebo soubory a klávesové zkratky OneLake.

• Podporované modely vkládání jsou hostované v Azure OpenAI, katalogu modelů Azure AI Studio, multimodálním prostředí Azure AI Vision.

• Schéma indexu poskytuje vektorová a nevectorová pole pro blokovaná data.

• Můžete přidat pole, ale nemůžete odstranit ani upravit vygenerovaná pole.

• Režim analýzy dokumentů vytváří bloky dat (jeden vyhledávací dokument na jeden blok dat).

• Blok dat je nekonfigurovatelný. Platná nastavení jsou:

  "textSplitMode": "pages",
  "maximumPageLength": 2000,
  "pageOverlapLength": 500,
  "maximumPagesToTake": 0, #unlimited
  "unit": "characters",
  

Požadavky

• Předplatné Azure. Vytvořte si ho zdarma.

• Azure AI Search ve stejné oblasti jako Azure AI. Doporučujeme úroveň Basic nebo vyšší.

• Azure Blob Storage, Azure Data Lake Storage (ADLS) Gen2 (účet úložiště s hierarchickým oborem názvů) nebo OneLake Lakehouse.

  Azure Storage musí být účet standardního výkonu (pro obecné účely verze 2). Úrovně přístupu můžou být horké, studené a studené.

• Model vkládání na platformu Azure AI ve stejné oblasti jako Azure AI Search. Pokyny k nasazení najdete v tomto článku.

  Poskytovatel	Podporované modely
  Služba Azure OpenAI	text-embedding-ada-002, text-embedding-3-large, or text-embedding-3-small.
  Katalog modelů Azure AI Studio	Modely vkládání do Azure, Cohere a Facebooku
  Účet služeb Azure AI s více službami	Multimodální azure AI Vision pro vektorizaci obrázků a textu Multimodální prostředí Azure AI Vision je dostupné ve vybraných oblastech. V dokumentaci najdete aktualizovaný seznam. Pokud chcete tento prostředek použít, musí být účet v dostupné oblasti a ve stejné oblasti jako Azure AI Search.

Pokud používáte službu Azure OpenAI, musí mít přidruženou vlastní subdoménu. Pokud byla služba vytvořená prostřednictvím webu Azure Portal, tato subdoména se automaticky vygeneruje jako součást nastavení služby. Před použitím s integrací služby Azure AI Search se ujistěte, že vaše služba obsahuje vlastní subdoménu.

Prostředky služby Azure OpenAI (s přístupem k modelům vkládání) vytvořené v AI Studiu se nepodporují. S integrací dovedností Azure OpenAI Embedding jsou kompatibilní pouze prostředky služby Azure OpenAI vytvořené na webu Azure Portal.

Požadavky na veřejný koncový bod

Všechny předchozí prostředky musí mít povolený veřejný přístup, aby k nim měly uzly portálu přístup. Jinak průvodce selže. Po spuštění průvodce můžete pro zabezpečení povolit brány firewall a privátní koncové body. Další informace naleznete v tématu Zabezpečené připojení v průvodcích importem.

Pokud už existují privátní koncové body a nemůžete je zakázat, je alternativní možností spuštění příslušného kompletního toku ze skriptu nebo programu na virtuálním počítači. Virtuální počítač musí být ve stejné virtuální síti jako privátní koncový bod. Tady je ukázka kódu Pythonu pro integrovanou vektorizaci. Stejné úložiště GitHub obsahuje ukázky v jiných programovacích jazycích.

Požadavky na řízení přístupu na základě role

Doporučujeme přiřazení rolí pro připojení vyhledávací služby k jiným prostředkům.

1. Ve službě Azure AI Search povolte role.

2. Nakonfigurujte vyhledávací službu tak, aby používala spravovanou identitu.

3. Na platformě zdroje dat a poskytovateli modelu pro vložení vytvořte přiřazení rolí, která vyhledávací službě umožňují přístup k datům a modelům. Příprava ukázkových dat poskytuje pokyny pro nastavení rolí.

Bezplatná vyhledávací služba podporuje RBAC u připojení ke službě Azure AI Search, ale nepodporuje spravované identity u odchozích připojení ke službě Azure Storage nebo Azure AI Vision. Tato úroveň podpory znamená, že pro připojení mezi bezplatnou vyhledávací službou a dalšími službami Azure musíte použít ověřování založené na klíči.

Bezpečnější připojení:

• Použijte úroveň Basic nebo vyšší.
• Nakonfigurujte spravovanou identitu a použijte role pro autorizovaný přístup.

Kontrola místa

Pokud začínáte s bezplatnou službou, jste omezeni na tři indexy, zdroje dat, sady dovedností a indexery. Základní omezení na 15. Než začnete, ujistěte se, že máte místo pro další položky. Tento rychlý start vytvoří jeden z každého objektu.

Kontrola sémantického rankeru

Průvodce podporuje sémantické řazení, ale pouze na úrovni Basic a vyšší a pouze v případě, že je ve vyhledávací službě již povolený sémantický ranker. Pokud používáte fakturovatelnou úroveň, zkontrolujte, jestli je povolený sémantický ranker.

Příprava ukázkových dat

Tato část vás odkazuje na data, která fungují pro účely tohoto rychlého startu.

Nastavení modelů vkládání

Průvodce může používat modely vkládání nasazené z Azure OpenAI, Azure AI Vision nebo z katalogu modelů v Azure AI Studiu.

Spuštění průvodce

1. Přihlaste se k webu Azure Portal pomocí svého účtu Azure a přejděte na Search Azure AI.

2. Na stránce Přehled vyberte Importovat a vektorizovat data.

   

Připojení k datům

Dalším krokem je připojení ke zdroji dat, který se má použít pro index vyhledávání.

Vektorizace textu

V tomto kroku zadejte model vkládání pro vektorizaci dat v bloku dat.

1. Na stránce Vektorizace textu zvolte zdroj modelu vkládání:

   • Azure OpenAI
   • Katalog modelů Azure AI Studio
   • Existující multimodální prostředek Azure AI Vision ve stejné oblasti jako Azure AI Search. Pokud ve stejné oblasti není žádný účet azure AI Services s více službami, tato možnost není dostupná.

2. Zvolte předplatné Azure.

3. Proveďte výběry podle prostředku:

   • V případě Azure OpenAI zvolte existující nasazení vkládání textu ada-002, vkládání textu-3-large nebo text-embedding-3-small.

   • V katalogu AI Studio zvolte existující nasazení modelu vkládání do Azure, Cohere a Facebooku.

   • U multimodálních vkládání AI Vision vyberte účet.

   Další informace najdete v tématu Nastavení modelů vkládání dříve v tomto článku.

4. Určete, jestli se má vyhledávací služba ověřovat pomocí klíče rozhraní API nebo spravované identity.

   • Identita by měla mít roli uživatele OpenAI služeb Cognitive Services v účtu Azure AI s více službami.

5. Zaškrtněte políčko, které potvrzuje dopad fakturace používání těchto prostředků.

6. Vyberte Další.

Vektorizace a rozšiřování obrázků

Pokud váš obsah obsahuje obrázky, můžete AI použít dvěma způsoby:

• Použijte podporovaný model vkládání obrázků z katalogu nebo zvolte multimodální rozhraní API služby Azure AI Vision pro vložení obrázků.

• K rozpoznávání textu v obrázcích použijte optické rozpoznávání znaků (OCR). Tato možnost vyvolá dovednost OCR ke čtení textu z obrázků.

Azure AI Search a prostředek Azure AI musí být ve stejné oblasti.

1. Na stránce Vektorizace obrázků zadejte typ připojení, které má průvodce vytvořit. V případě vektorizace obrázků se průvodce může připojit k vkládání modelů v Azure AI Studiu nebo Azure AI Vision.

2. Zadejte předplatné.

3. Pro katalog modelů Azure AI Studio zadejte projekt a nasazení. Další informace najdete v tématu Nastavení modelů vkládání dříve v tomto článku.

4. Volitelně můžete prolomit binární obrázky (například naskenované soubory dokumentů) a použít OCR k rozpoznávání textu.

5. Zaškrtněte políčko, které potvrzuje dopad fakturace používání těchto prostředků.

6. Vyberte Další.

Přidání sémantického řazení

Na stránce Upřesnit nastavení můžete volitelně přidat sémantické řazení, aby se výsledky na konci provádění dotazu přeřadily. Přehodnocování podporuje nejvíce séanticky relevantní shody na vrcholu.

Mapování nových polí

Na stránce Upřesnit nastavení můžete volitelně přidat nová pole. Ve výchozím nastavení průvodce vygeneruje následující pole s těmito atributy:

Vygenerovaná pole ani jejich atributy nemůžete upravovat, ale pokud je zdroj dat poskytuje, můžete přidat nová pole. Azure Blob Storage například poskytuje kolekci polí metadat.

1. Vyberte Přidat nový.

2. Ze seznamu dostupných polí zvolte zdrojové pole, zadejte název pole pro index a podle potřeby přijměte výchozí datový typ nebo přepsání.

   Pole metadat jsou prohledávatelná, ale nedají se načíst, filtrovatelná, fasetová nebo řaditelná.

3. Pokud chcete obnovit schéma do původní verze, vyberte Obnovit .

Plánování indexování

Na stránce Upřesnit nastavení můžete volitelně zadat plán spuštění indexeru.

1. Až budete hotovi se stránkou Upřesnit nastavení, vyberte Další.

Dokončení průvodce

1. Na stránce Kontrola konfigurace zadejte předponu pro objekty, které průvodce vytvoří. Běžná předpona vám pomůže udržet si přehled.

2. Vyberte Vytvořit.

Po dokončení konfigurace průvodce vytvoří následující objekty:

• Připojení ke zdroji dat

• Indexujte pomocí vektorových polí, vektorizátorů, vektorových profilů a vektorových algoritmů. Během pracovního postupu průvodce nemůžete navrhnout ani upravit výchozí index. Indexy odpovídají rozhraní REST API verze 2024-05-01-preview.

• Sada dovedností s dovedností Rozdělení textu pro blokování dat a vloženou dovedností pro vektorizaci. Dovednost vkládání je dovednost AzureOpenAIEmbeddingModel pro Azure OpenAI nebo dovednost AML pro katalog modelů Azure AI Studio. Sada dovedností má také konfiguraci projekcí indexu , která umožňuje mapování dat z jednoho dokumentu ve zdroji dat na odpovídající bloky dat v indexu "child".

• Indexer s mapováním polí a mapováním výstupních polí (pokud je to možné).

Kontrola výsledků

Průzkumník služby Search přijímá textové řetězce jako vstup a pak vektorizuje text pro provádění vektorového dotazu.

1. Na webu Azure Portal přejděte do indexů správy>vyhledávání a vyberte index, který jste vytvořili.

2. Volitelně můžete vybrat možnosti dotazu a skrýt vektorové hodnoty ve výsledcích hledání. Tento krok usnadňuje čtení výsledků hledání.

   

3. V nabídce Zobrazení vyberte zobrazení JSON, abyste do parametru vektorového text dotazu mohli zadat text pro vektorový dotaz.

   

   Průvodce nabízí výchozí dotaz, který vydá vektorový dotaz v vector poli a vrátí pět nejbližších sousedů. Pokud jste se rozhodli skrýt vektorové hodnoty, váš výchozí dotaz obsahuje select příkaz, který pole vylučuje vector z výsledků hledání.

   {
      "select": "chunk_id,parent_id,chunk,title",
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "vector"
          }
       ]
   }
   

4. text Pro hodnotu nahraďte hvězdičku (*) otázkou související se zdravotními plány, například Which plan has the lowest deductible?.

5. Výběrem možnosti Hledat spusťte dotaz.

   

   Mělo by se zobrazit pět shod. Každý dokument je blokem původního souboru PDF. Pole title ukazuje, ze kterého souboru PDF blok pochází.

6. Pokud chcete zobrazit všechny bloky dat z konkrétního dokumentu, přidejte filtr pro title pole pro konkrétní PDF:

   {
      "select": "chunk_id,parent_id,chunk,title",
      "filter": "title eq 'Benefit_Options.pdf'",
      "count": true,
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "vector"
          }
       ]
   }
   
   

Vyčištění

Azure AI Search je fakturovatelný prostředek. Pokud ho už nepotřebujete, odstraňte ho z předplatného, abyste se vyhnuli poplatkům.

Další krok

V tomto rychlém startu jste se seznámili s průvodcem importem a vektorizací dat , který vytvoří všechny potřebné objekty pro integrovanou vektorizaci. Pokud chcete podrobně prozkoumat jednotlivé kroky, vyzkoušejte integrovaný vektorizační vzorek.