Katalog modelů a kolekce v Azure AI Studiu

Katalog modelů v Azure AI Studiu je centrem pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Katalog modelů obsahuje stovky modelů napříč poskytovateli modelů, jako je Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA a Hugging Face, včetně modelů, které Microsoft natrénoval. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft definované v podmínkách produktů společnosti Microsoft a podléhají podmínkám poskytovaným s modely.

Kolekce modelů

Katalog modelů uspořádá modely do tří kolekcí:

• Kurátorované službou Azure AI: Nejoblíbenější opensourcové a proprietární modely bez microsoftu zabalené a optimalizované tak, aby bez problémů fungovaly na platformě Azure AI. Použití těchto modelů podléhá licenčním podmínkám poskytovatelů modelů. Když nasadíte tyto modely v Azure AI Studiu, jejich dostupnost podléhá příslušné smlouvě o úrovni služeb Azure (SLA) a Microsoft poskytuje podporu problémů s nasazením.

  Modely od partnerů, jako je Meta, NVIDIA a Mistral AI, jsou příklady modelů dostupných v této kolekci v katalogu. Tyto modely můžete identifikovat vyhledáním zelené značky zaškrtnutí na dlaždicích modelu v katalogu. Nebo můžete filtrovat podle kurátorované kolekce Azure AI .

• Modely Azure OpenAI dostupné výhradně v Azure: Vlajkové modely Azure OpenAI dostupné prostřednictvím integrace se službou Azure OpenAI. Microsoft tyto modely a jejich použití podporuje podle podmínek produktů a smlouvy SLA pro službu Azure OpenAI.

• Otevřete modely z centra Hugging Face: Stovky modelů z centra Hugging Face hub pro odvozování spravovaných výpočetních prostředků v reálném čase. Hugging Face vytváří a udržuje modely uvedené v této kolekci. Pokud potřebujete pomoc, použijte fórum Hugging Face nebo podporu Hugging Face. Další informace najdete v tématu Nasazení otevřených modelů pomocí Azure AI Studia.

Pomocí tohoto formuláře můžete odeslat žádost o přidání modelu do katalogu modelů.

Přehled možností katalogu modelů

Některé modely můžete nasadit ve kurátorovaných modelech Azure AI a Open z kolekcí centra Hugging Face Hub s možností spravovaného výpočetního prostředí. Některé modely je možné nasadit prostřednictvím bezserverových rozhraní API s průběžnými platbami.

Tyto modely můžete zjišťovat, porovnávat, vyhodnocovat, vyladit (pokud jsou podporované) a nasazovat je ve velkém měřítku. Modely pak můžete integrovat do generovaných aplikací umělé inteligence s podnikovým zabezpečením a zásadami správného řízení dat. Následující seznam podrobně popisuje aktivity:

• Objevte: Zkontrolujte karty modelu, vyzkoušejte ukázkové odvozování a projděte si ukázky kódu a vyhodnoťte, vylaďte nebo nasaďte model.
• Porovnání: Porovnání srovnávacích testů napříč modely a datovými sadami dostupnými v odvětví za účelem posouzení toho, která z nich vyhovuje vašemu obchodnímu scénáři.
• Vyhodnocení: Vyhodnoťte, jestli je model vhodný pro vaši konkrétní úlohu, a to poskytnutím vlastních testovacích dat. Pomocí metrik vyhodnocení můžete vizualizovat, jak dobře vybraný model funguje ve vašem scénáři.
• Vyladění: Přizpůsobte si jemně vyladěné modely pomocí vlastních trénovacích dat a vyberte si nejlepší model porovnáním metrik napříč všemi vašimi jemně vyladěnými úlohami. Integrované optimalizace urychlují vyladění a snižují požadovanou paměť a výpočetní prostředky.
• Nasazení: Nasaďte předem natrénované modely nebo jemně vyladěné modely pro odvozování. Můžete si také stáhnout modely, které je možné nasadit do spravovaného výpočetního prostředí.

Další informace o modelech Azure OpenAI najdete v tématu Co je služba Azure OpenAI?.

Nasazení modelu: Spravované výpočetní a bezserverové rozhraní API (průběžné platby)

Katalog modelů nabízí dva různé způsoby nasazení modelů pro vaše použití: spravovaná výpočetní a bezserverová rozhraní API.

Možnosti nasazení a funkce dostupné pro každý model se liší, jak je popsáno v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.

Možnosti nasazení modelu

Dostupné modely pro podporované možnosti nasazení

Spravované výpočetní prostředky

Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Learning, která umožňuje bezproblémovou integraci široké kolekce modelů v katalogu modelů v celém životním cyklu velkých operací jazykového modelu (LLM).

Dostupnost modelů pro nasazení jako spravované výpočetní prostředky

Modely jsou dostupné prostřednictvím registrů služby Azure Machine Learning. Tyto registry umožňují první přístup strojového učení k hostování a distribuci prostředků služby Azure Machine Learning. Mezi tyto prostředky patří váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datové sady pro srovnávací testy a ukázky.

Registry vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:

• Poskytuje artefakty modelu s nízkou latencí do všech oblastí Azure s integrovanou geografickou replikací.

• Podporuje podnikové požadavky na zabezpečení, jako je omezení přístupu k modelům pomocí služby Azure Policy a zabezpečené nasazení pomocí spravovaných virtuálních sítí.

Nasazení modelů pro odvozování se spravovanými výpočetními prostředky

Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do spravovaného výpočetního prostředí Azure Machine Learning pro odvozování v reálném čase. Nasazení do spravovaného výpočetního prostředí vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní produkty, které potřebujete k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelů.

Další informace o nasazování modelů:

• Nasazení modelů Meta Llama
• Nasazení otevřených modelů Azure AI Studio

Vytváření aplikací generující AI se spravovanými výpočetními prostředky

Funkce toku výzvy ve službě Azure Machine Learning nabízí skvělé prostředí pro vytváření prototypů. Pomocí nástroje Open Model LLM můžete použít modely nasazené se spravovanými výpočetními prostředky v toku výzvy. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Learning.

Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky

Služba Azure AI Content Safety je k dispozici pro použití se spravovanými výpočetními prostředky pro zobrazení různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a sebepoškozování. Službu můžete použít také k zobrazení pokročilých hrozeb, jako je detekce rizik jailbreaku a detekce chráněného textu materiálu.

V tomto poznámkovém bloku najdete referenční integraci s Azure AI Content Safety for Llama 2. Nebo můžete použít nástroj Pro bezpečnost obsahu (Text) v toku výzvy k předání odpovědí z modelu do Azure AI Content Safety pro blokování. Za takové použití se vám účtuje samostatně, jak je popsáno v cenách azure AI Content Safety.

Bezserverová rozhraní API s průběžnými platbami

Určité modely můžete v katalogu modelů nasadit jako bezserverová rozhraní API s průběžnými platbami. Tato metoda nasazení, která se někdy označuje jako model jako služba (MaaS), poskytuje způsob, jak modely využívat jako rozhraní API, aniž byste je hostovali ve vašem předplatném. Modely jsou hostované v infrastruktuře spravované Microsoftem, která umožňuje přístup založený na rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a zjednodušit prostředí zřizování.

Modely, které jsou k dispozici pro nasazení jako bezserverová rozhraní API s fakturací s průběžnými platbami, nabízejí poskytovatel modelů, ale hostují se v infrastruktuře Azure spravované Microsoftem a používají se přes rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů. Služba Azure Machine Learning:

• Spravuje infrastrukturu hostování.
• Zpřístupní rozhraní API pro odvození.
• Funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených prostřednictvím MaaS.

Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů.

Fakturace

Prostředí zjišťování, předplatného a spotřeby pro modely nasazené prostřednictvím MaaS je v Azure AI Studiu a studio Azure Machine Learning. Uživatelé přijímají licenční podmínky pro použití modelů. Informace o cenách pro spotřebu se poskytují během nasazování.

Modely od poskytovatelů jiných společností než Microsoft se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití komerčního marketplace Microsoftu.

Modely od Microsoftu se účtují prostřednictvím měřičů Azure jako služby consumption první strany. Jak je popsáno v podmínkách produktu, zakoupíte služby Consumption Services první strany pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá zadaným licenčním podmínkám.

Jemně dolaďovací modely

Některé modely podporují také jemné ladění bez serveru. U těchto modelů můžete využít hostované vyladění s průběžnými platbami a přizpůsobit modely pomocí dat, která poskytnete. Další informace najdete v přehledu vyladění.

RAG s modely nasazenými jako bezserverová rozhraní API

V Azure AI Studiu můžete použít vektorové indexy a načítání rozšířené generace (RAG). K vygenerování vkládání a odvozování na základě vlastních dat můžete použít modely, které je možné nasadit prostřednictvím bezserverových rozhraní API. Tyto vkládání a odvozování pak můžou generovat odpovědi specifické pro váš případ použití. Další informace najdete v tématu Vytváření a využívání vektorových indexů v Azure AI Studiu.

Regionální dostupnost nabídek a modelů

Fakturace průběžných plateb je dostupná jenom uživatelům, jejichž předplatné Azure patří do fakturačního účtu v zemi, kde poskytovatel modelu nabídku zpřístupnil. Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel v oblasti Azure centrum nebo projekt, ve které je model dostupný pro nasazení nebo vyladění podle potřeby. Viz Dostupnost oblastí pro modely v koncových bodech bezserverového rozhraní API | Podrobné informace najdete v Nástroji Azure AI Studio .

Bezpečnost obsahu pro modely nasazené prostřednictvím bezserverových rozhraní API

U jazykových modelů nasazených prostřednictvím bezserverových rozhraní API azure AI implementuje výchozí konfiguraci filtrů moderování obsahu Azure AI , které detekují škodlivý obsah, jako je nenávist, sebeškodné, sexuální a násilné obsah. Další informace o filtrování obsahu (Preview) najdete v tématu Kategorie Poškození v Azure AI Content Safety.

Filtrování obsahu (Preview) probíhá synchronně, protože služba vyzve k vygenerování obsahu. Za takové použití se vám můžou účtovat samostatně podle cen služby Azure AI Content Safety. Filtrování obsahu (Preview) můžete zakázat pro jednotlivé koncové body bez serveru:

• V době, kdy poprvé nasadíte jazykový model
• Později výběrem přepínače filtrování obsahu na stránce podrobností nasazení

Předpokládejme, že se rozhodnete použít jiné rozhraní API než rozhraní API pro odvozování modelů Azure AI k práci s modelem nasazeným prostřednictvím bezserverového rozhraní API. V takové situaci není filtrování obsahu (Preview) povolené, pokud ho neimplementujete samostatně pomocí služby Azure AI Content Safety.

Pokud chcete začít pracovat se službou Azure AI Content Safety, přečtěte si rychlý start: Analýza textového obsahu. Pokud při práci s modely nasazenými prostřednictvím bezserverových rozhraní API nepoužíváte filtrování obsahu (Preview), hrozí vyšší riziko vystavení uživatelů škodlivému obsahu.

Izolace sítě pro modely nasazené prostřednictvím bezserverových rozhraní API

Spravované výpočetní prostředky pro modely nasazené jako bezserverová rozhraní API se řídí nastavením příznaku přístupu k veřejné síti v centru AI Studio s projektem, ve kterém nasazení existuje. Pokud chcete pomoct zabezpečit spravované výpočetní prostředky, zakažte příznak přístupu k veřejné síti v centru AI Studio. Můžete pomoct zabezpečit příchozí komunikaci z klienta do spravovaného výpočetního prostředí pomocí privátního koncového bodu pro centrum.

Nastavení příznaku přístupu k veřejné síti pro centrum AI Studio:

• Přejděte na Azure Portal.
• Vyhledejte skupinu prostředků, do které centrum patří, a vyberte centrum AI Studio z prostředků uvedených pro tuto skupinu prostředků.
• Na stránce přehledu centra v levém podokně přejděte na Nastavení>sítě.
• Na kartě Veřejný přístup můžete nakonfigurovat nastavení příznaku přístupu k veřejné síti.
• Uložte provedené změny. Rozšíření změn může trvat až pět minut.

Omezení

• Pokud máte centrum AI Studio se spravovaným výpočetním prostředím vytvořeným před 11. červencem 2024, spravované výpočty přidané do projektů v tomto centru nebudou dodržovat konfiguraci sítě centra. Místo toho je potřeba vytvořit nový spravovaný výpočetní objekt pro centrum a vytvořit nová nasazení bezserverového rozhraní API v projektu, aby nová nasazení mohly postupovat podle konfigurace sítě centra.

• Pokud máte centrum AI Studio s nasazeními MaaS vytvořené před 11. červencem 2024 a povolíte v tomto centru spravované výpočetní prostředky, stávající nasazení MaaS nebudou dodržovat konfiguraci sítě centra. Pro nasazení bezserverového rozhraní API v centru tak, aby postupovala podle konfigurace sítě centra, musíte nasazení vytvořit znovu.

• V současné době není podpora Azure OpenAI ve vašich datech dostupná pro nasazení MaaS v privátních centrech, protože privátní centra mají zakázaný příznak přístupu k veřejné síti.

• Rozšíření jakékoli změny konfigurace sítě (například povolení nebo zakázání příznaku přístupu k veřejné síti) může trvat až pět minut.

Související obsah

• Prozkoumání základních modelů v Azure AI Studiu