Nasazení online koncového bodu pro odvozování v reálném čase

  • Článek

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Tento článek popisuje online koncové body pro odvozování v reálném čase ve službě Azure Machine Learning. Odvozování je proces použití nových vstupních dat na model strojového učení k vygenerování výstupů. Azure Machine Learning umožňuje provádět odvozování dat v reálném čase pomocí modelů nasazených do online koncových bodů. I když se tyto výstupy obvykle označují jako předpovědi, můžete pomocí odvozování vygenerovat výstupy pro jiné úlohy strojového učení, jako je klasifikace a clustering.

Online koncové body

Online koncové body nasazují modely na webový server, který může vracet předpovědi v rámci protokolu HTTP. Online koncové body můžou zprovoznit modely pro odvozování v reálném čase v synchronních požadavcích s nízkou latencí a nejlépe se používají v těchto případech:

  • Máte požadavky na nízkou latenci.
  • Váš model může na žádost odpovědět v relativně krátkém časovém intervalu.
  • Vstupy modelu se vejdou do datové části požadavku HTTP.
  • Potřebujete vertikálně navýšit počet požadavků.

Pokud chcete definovat koncový bod, musíte zadat:

Spravované online koncové body

Spravované online koncové body nasazují modely strojového učení pohodlným způsobem na klíč a jsou doporučeným způsobem použití online koncových bodů služby Azure Machine Learning. Spravované online koncové body pracují s výkonnými procesory a GPU v Azure škálovatelným a plně spravovaným způsobem.

Abyste mohli uvolnit režii při nastavování a správě základní infrastruktury, budou se tyto koncové body také starat o obsluhu, škálování, zabezpečení a monitorování vašich modelů. Informace o definování spravovaných online koncových bodů najdete v tématu Definování koncového bodu.

Spravované online koncové body vs. Azure Container Instances nebo Azure Kubernetes Service (AKS) v1

Spravované online koncové body představují doporučený způsob použití online koncových bodů ve službě Azure Machine Learning. Následující tabulka uvádí klíčové atributy spravovaných online koncových bodů ve srovnání s řešeními Azure Container Instances a Azure Kubernetes Service (AKS) v1.

Atributy Spravované online koncové body (v2) Container Instances nebo AKS (v1)
Zabezpečení nebo izolace sítě Snadné příchozí nebo odchozí řízení pomocí rychlého přepínače Virtuální síť není podporovaná nebo vyžaduje složitou ruční konfiguraci
Spravovaná služba • Plně spravované zřizování a škálování výpočetních prostředků
• Konfigurace sítě pro prevenci exfiltrace dat
• Upgrade hostitelského operačního systému, řízené zavedení místních aktualizací		 • Škálování je omezené
• Uživatel musí spravovat konfiguraci nebo upgrade sítě.
Koncept koncového bodu nebo nasazení Rozlišení mezi koncovým bodem a nasazením umožňuje složité scénáře, jako je bezpečné zavedení modelů. Žádný koncept koncového bodu
Diagnostika a monitorování • Ladění místního koncového bodu možné pomocí Dockeru a editoru Visual Studio Code
• Pokročilá analýza metrik a protokolů s grafem nebo dotazem pro porovnání mezi nasazeními
• Rozpis nákladů na úroveň nasazení		 Žádné snadné místní ladění
Škálovatelnost Elastické a automatické škálování (není vázané na výchozí velikost clusteru) • Služba Container Instances není škálovatelná
• AKS v1 podporuje pouze škálování v clusteru a vyžaduje konfiguraci škálovatelnosti.
Připravenost pro podnikové zpracování Private Link, klíče spravované zákazníkem, ID Microsoft Entra, správa kvót, integrace fakturace, smlouva o úrovni služeb (SLA) Nepodporováno
Pokročilé funkce ML • Shromažďování dat modelu
• Monitorování modelů
• Model šampion-challenger, bezpečné zavedení, zrcadlení provozu
• Zodpovědná rozšiřitelnost umělé inteligence		 Nepodporováno

Spravované online koncové body vs. online koncové body Kubernetes

Pokud dáváte přednost nasazení modelů a obsluhování koncových bodů pomocí Kubernetes a jste obeznámeni se správou požadavků na infrastrukturu, můžete použít online koncové body Kubernetes. Tyto koncové body umožňují nasazovat modely a obsluhovat online koncové body s procesory nebo gpu na plně nakonfigurovaných a spravovaných clusterech Kubernetes kdekoli.

Spravované online koncové body vám můžou pomoct zjednodušit proces nasazení a poskytovat následující výhody pro online koncové body Kubernetes:

  • Automatická správa infrastruktury

    • Zřídí výpočetní prostředky a hostuje model. Stačí zadat typ virtuálního počítače a nastavení škálování.
    • Aktualizuje a opraví základní image hostitelského operačního systému.
    • Provede obnovení uzlu, pokud dojde k selhání systému.

  • Monitorování a protokoly

    Snímek obrazovky znázorňující graf Služby Azure Monitor s latencí koncového bodu

  • Zobrazení analýzy nákladů umožňuje monitorovat náklady na úrovni koncového bodu a nasazení.

    Snímek obrazovky s grafem nákladů koncového bodu a nasazení

    Poznámka:

    Spravované online koncové body jsou založené na výpočetních prostředcích služby Azure Machine Learning. Když používáte spravovaný online koncový bod, platíte za poplatky za výpočetní prostředky a sítě. Za příplatek není žádný příplatek. Další informace o cenách najdete v cenové kalkulačce Azure.

    Pokud k zabezpečení odchozího provozu ze spravovaného online koncového bodu používáte virtuální síť Azure Machine Learning, budou se vám účtovat pravidla odchozích přenosů z privátního propojení Azure a plně kvalifikovaného názvu domény (FQDN), která spravovaná virtuální síť používá. Další informace najdete v tématu Ceny pro spravovanou virtuální síť.

Následující tabulka uvádí hlavní rozdíly mezi spravovanými online koncovými body a online koncovými body Kubernetes.

Spravované online koncové body Online koncové body Kubernetes (AKS v2)
Doporučení uživatelé Uživatelé, kteří chtějí spravované nasazení modelu a vylepšené prostředí MLOps Uživatelé, kteří preferují Kubernetes a mohou si sami spravovat požadavky na infrastrukturu
Zřizování uzlů Zřizování, aktualizace, odebrání spravovaného výpočetního prostředí Odpovědnost uživatelů
Údržba uzlů Aktualizace imagí spravovaného hostitelského operačního systému a posílení zabezpečení Odpovědnost uživatelů
Změna velikosti clusteru (škálování) Spravované ruční a automatické škálování podporující další zřizování uzlů Ruční a automatické škálování, které podporuje škálování počtu replik v rámci pevných hranic clusteru
Typ výpočetních prostředků Spravováno službou Cluster Kubernetes spravovaný zákazníkem
Spravovaná identita Podporuje se Podporováno
Virtuální síť Podporováno prostřednictvím spravovaná izolace sítě Odpovědnost uživatelů
Průběžné monitorování a protokolování Služba Azure Monitor a Log Analytics, včetně klíčových metrik a tabulek protokolů pro koncové body a nasazení Odpovědnost uživatelů
Protokolování pomocí Application Insights (starší verze) Podporováno Podporováno
Zobrazení nákladů Podrobné informace o úrovni koncového bodu nebo nasazení Úroveň clusteru
Náklady použité na Virtuální počítače přiřazené k nasazení Virtuální počítače přiřazené ke clusteru
Zrcadlený provoz Podporuje se Nepodporované
Nasazení bez kódu Podporuje modely MLflow a Triton . Podporuje modely MLflow a Triton .

Online nasazení

Nasazení je sada prostředků a výpočetních prostředků potřebných k hostování modelu, který provádí odvozování. Jeden koncový bod může obsahovat více nasazení s různými konfiguracemi. Toto nastavení pomáhá oddělit rozhraní prezentované koncovým bodem od podrobností implementace, které jsou přítomné v nasazení. Online koncový bod má mechanismus směrování, který může směrovat požadavky na konkrétní nasazení v koncovém bodu.

Následující diagram znázorňuje online koncový bod se dvěma nasazeními, modrými a zelenými. Modré nasazení používá virtuální počítače se skladovou jednotkou procesoru a používá verzi 1 modelu. Zelené nasazení používá virtuální počítače se skladovou jednotkou GPU a používá verzi 2 modelu. Koncový bod je nakonfigurovaný tak, aby směroval 90 % příchozího provozu do modrého nasazení, zatímco zelené nasazení přijímá zbývajících 10 %.

Diagram znázorňující rozdělení provozu koncovým bodem na dvě nasazení

Pokud chcete nasadit model, musíte mít:

  • Soubory modelu nebo název a verze modelu, které už jsou ve vašem pracovním prostoru zaregistrované.

  • Bodovací kód skriptu , který spouští model na daném vstupním požadavku.

    Bodovací skript obdrží data odeslaná do nasazené webové služby a předá je do modelu. Skript pak spustí model a vrátí jeho odpověď klientovi. Bodovací skript je specifický pro váš model a musí rozumět datům, která model očekává jako vstup a vrací jako výstup.

  • Prostředí pro spuštění modelu. Prostředí může být image Dockeru se závislostmi Conda nebo souborem Dockerfile.

  • Nastavení pro určení typu instance a kapacity škálování

Informace o nasazení online koncových bodů pomocí Azure CLI, sady Python SDK, studio Azure Machine Learning nebo šablony ARM najdete v tématu Nasazení modelu strojového učení pomocí online koncového bodu.

Klíčové atributy nasazení

Následující tabulka popisuje klíčové atributy nasazení:

Atribut Popis
Name Název nasazení.
Název koncového bodu Název koncového bodu pro vytvoření nasazení v části.
Model Model, který se má použít pro nasazení. Tato hodnota může být odkazem na existující model verze v pracovním prostoru nebo specifikace vloženého modelu. Další informace o tom, jak sledovat a určit cestu k modelu, najdete v tématu Určení modelu, který se má nasadit pro použití v online koncovém bodu.
Cesta kódu Cesta k adresáři v místním vývojovém prostředí, který obsahuje veškerý zdrojový kód Pythonu pro bodování modelu. Můžete použít vnořené adresáře a balíčky.
Bodovací skript Relativní cesta k souboru bodování v adresáři zdrojového kódu. Tento kód Pythonu init() musí mít funkci a run() funkci. Funkce init() se volá po vytvoření nebo aktualizaci modelu, například pro uložení modelu do mezipaměti v paměti. Funkce run() se volá při každém vyvolání koncového bodu, aby se udělalo skutečné bodování a předpověď.
Prostředí Prostředí pro hostování modelu a kódu. Tato hodnota může být odkazem na existující prostředí s verzí v pracovním prostoru nebo specifikaci vloženého prostředí.
Typ instance Velikost virtuálního počítače, která se má použít pro nasazení. Seznam podporovaných velikostí najdete v seznamu skladových položek spravovaných online koncových bodů.
Počet instancí Početinstancích Založte hodnotu na očekávané úloze. Pro zajištění vysoké dostupnosti nastavte hodnotu alespoň 3na hodnotu . Systém si vyhrazuje dalších 20 % pro provádění upgradů. Další informace najdete v tématu Přidělení kvóty virtuálních počítačů pro nasazení.

Poznámky k online nasazením

  • Nasazení může kdykoli odkazovat na model a image kontejneru definované v prostředí , například když instance nasazení procházejí opravami zabezpečení nebo jinými operacemi obnovení. Pokud pro nasazení použijete zaregistrovaný model nebo image kontejneru ve službě Azure Container Registry a později model nebo image kontejneru odeberete, nasazení, která se na tyto prostředky spoléhají, může při opětovném přípravě selhat. Pokud model nebo image kontejneru odeberete, nezapomeňte znovu vytvořit nebo aktualizovat závislá nasazení pomocí alternativního modelu nebo image kontejneru.

  • Registr kontejneru, na který prostředí odkazuje, může být privátní pouze v případě, že identita koncového bodu má oprávnění k přístupu k němu prostřednictvím ověřování Microsoft Entra a řízení přístupu na základě role Azure (RBAC). Z stejného důvodu se nepodporují privátní registry Dockeru jiné než Container Registry.

  • Microsoft pravidelně opravuje základní image kvůli známým ohrožením zabezpečení. Pokud chcete použít opravenou image, musíte koncový bod znovu nasadit. Pokud zadáte vlastní image, zodpovídáte za její aktualizaci. Další informace najdete v tématu Opravy obrázků.

Přidělení kvóty virtuálních počítačů pro nasazení

U spravovaných online koncových bodů si Azure Machine Learning rezervuje 20 % výpočetních prostředků pro provádění upgradů u některých skladových položek virtuálních počítačů. Pokud v nasazení požadujete určitý počet instancí pro tyto skladové položky virtuálních počítačů, musíte mít k dispozici kvótu, ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU abyste se vyhnuli chybě. Pokud například v nasazení požadujete 10 instancí virtuálního počítače Standard_DS3_v2 (se čtyřmi jádry), měli byste mít kvótu pro 48 jader (12 instances * 4 cores) k dispozici. Tato dodatečná kvóta je vyhrazená pro operace iniciované systémem, jako jsou upgrady operačního systému a obnovení virtuálního počítače, a pokud tyto operace neběží, nebudou se vám účtovat žádné poplatky.

Existují určité skladové položky virtuálních počítačů, které jsou vyloučené z rezervace extra kvót. Úplný seznam zobrazíte v seznamu skladových položek spravovaných online koncových bodů. Pokud chcete zobrazit navýšení kvóty využití a žádosti, přečtěte si téma Zobrazení využití a kvót na webu Azure Portal. Pokud chcete zobrazit náklady na provoz spravovaného online koncového bodu, přečtěte si téma Zobrazení nákladů na spravovaný online koncový bod.

Sdílený fond kvót

Azure Machine Learning poskytuje fond sdílených kvót, ze kterého mají uživatelé v různých oblastech přístup k kvótě, aby mohli provádět testování po omezenou dobu v závislosti na dostupnosti. Když pomocí studia nasadíte modely Llama-2, Phi, Nemotron, Mistral, Dolly a Deci-Deci-DeciLM z katalogu modelů do spravovaného online koncového bodu, Azure Machine Learning vám umožní získat přístup k fondu sdílených kvót na krátkou dobu, abyste mohli provést testování. Další informace o sdíleném fondu kvót najdete v tématu Sdílená kvóta služby Azure Machine Learning.

Pokud chcete nasadit modely Llama-2, Phi, Nemotron, Mistral, Dolly a Deci-DeciLM z katalogu modelů pomocí sdílené kvóty, musíte mít předplatné smlouva Enterprise. Další informace o tom, jak používat sdílenou kvótu pro nasazení online koncových bodů, najdete v tématu Nasazení základních modelů pomocí studia.

Další informace o kvótách a omezeních pro prostředky ve službě Azure Machine Learning najdete v tématu Správa a zvýšení kvót a omezení pro prostředky pomocí služby Azure Machine Learning.

Nasazení pro codery a nekódéry

Azure Machine Learning podporuje nasazení modelu do online koncových bodů pro codery a jiné kódy tím, že poskytuje možnosti nasazení bez kódu, nasazení s nízkým kódem a nasazení byOC (Bring Your Own Container).

  • Nasazení bez kódu poskytuje odvozování předem pro běžné architektury, jako jsou scikit-learn, TensorFlow, PyTorch a Open Neural Network Exchange (ONNX) přes MLflow a Triton.
  • Nasazení s minimem kódu umožňuje poskytnout minimální kód společně s modelem strojového učení pro nasazení.
  • Nasazení BYOC umožňuje přinést prakticky všechny kontejnery ke spuštění vašeho online koncového bodu. Ke správě kanálů MLOps můžete použít všechny funkce platformy Azure Machine Learning, jako je automatické škálování, GitOps, ladění a bezpečné zavedení.

Následující tabulka uvádí klíčové aspekty možností online nasazení:

Bez kódu Nízký kód BYOC
Souhrn Používá integrované odvozování pro oblíbené architektury, jako jsou scikit-learn, TensorFlow, PyTorch a ONNX, prostřednictvím MLflow a Triton. Další informace najdete v tématu Nasazení modelů MLflow do online koncových bodů. Používá zabezpečené a veřejně publikované kurátorované image pro oblíbené architektury s aktualizacemi každých dva týdny k řešení ohrožení zabezpečení. Zadáte hodnoticí skript nebo závislosti Pythonu. Další informace najdete v tématu Kurátorovaná prostředí služby Azure Machine Learning. Kompletní zásobník poskytnete prostřednictvím podpory služby Azure Machine Learning pro vlastní image. Další informace najdete v tématu Použití vlastního kontejneru k nasazení modelu do online koncového bodu.
Vlastní základní image Nezaokrouhlovat. Kurátorovaná prostředí poskytují základní image pro snadné nasazení. Můžete použít kurátorovaný obrázek nebo přizpůsobený obrázek. Přineste buď přístupné umístění image kontejneru, jako je docker.io, Container Registry nebo Registr artefaktů Microsoft, nebo soubor Dockerfile, který můžete sestavit nebo odeslat pomocí služby Container Registry pro váš kontejner.
Vlastní závislosti Nezaokrouhlovat. Kurátorovaná prostředí poskytují závislosti pro snadné nasazení. Přineste prostředí Azure Machine Learning, ve kterém model běží, buď image Dockeru se závislostmi Conda, nebo soubor dockerfile. Vlastní závislosti jsou součástí image kontejneru.
Vlastní kód Nezaokrouhlovat. Skript bodování se automaticky vygeneruje pro snadné nasazení. Přineste svůj bodovací skript. Bodovací skript je součástí image kontejneru.

Poznámka:

AutoML spustí automaticky hodnoticí skript a závislosti pro uživatele. Pro nasazení bez kódu můžete nasadit libovolný model AutoML bez vytváření jiného kódu. Pro nasazení s nízkým kódem můžete upravit automaticky vygenerované skripty podle potřeb vaší firmy. Informace o nasazení pomocí modelů AutoML najdete v tématu Nasazení modelu AutoML do online koncového bodu.

Ladění online koncových bodů

Pokud je to možné, otestujte koncový bod místně, abyste před nasazením do Azure ověřili a ladili kód a konfiguraci. Azure CLI a Python SDK podporují místní koncové body a nasazení, zatímco studio Azure Machine Learning a šablony ARM nepodporují místní koncové body ani nasazení.

Azure Machine Learning nabízí následující způsoby, jak ladit online koncové body místně a pomocí protokolů kontejnerů:

Místní ladění s využitím serveru HTTP pro odvozování služby Azure Machine Learning

Bodovací skript můžete ladit místně pomocí serveru HTTP odvozování služby Azure Machine Learning. Server HTTP je balíček Pythonu, který zpřístupňuje funkci bodování jako koncový bod HTTP a zabalí kód serveru Flask a závislosti do jednoho balíčku.

Azure Machine Learning obsahuje server HTTP v předem připravených imagích Dockeru pro odvozování , které se používají k nasazení modelu. Pomocí samotného balíčku můžete model nasadit místně pro produkční prostředí a také snadno ověřit vstupní bodovací skript v místním vývojovém prostředí. Pokud dojde k potížím s bodovacím skriptem, server vrátí chybu a umístění, kde k chybě došlo. Visual Studio Code můžete také použít k ladění pomocí serveru HTTP odvozování služby Azure Machine Learning.

Tip

Balíček Pythonu pro odvozování serveru HTTP pro Azure Machine Learning můžete použít k místnímu ladění hodnoticího skriptu bez Modulu Dockeru. Ladění pomocí serveru odvozování vám pomůže ladit bodovací skript před nasazením do místních koncových bodů, abyste mohli ladit bez ovlivnění konfigurací kontejneru nasazení.

Další informace o ladění pomocí serveru HTTP najdete v tématu Ladění hodnoticí skript pomocí serveru HTTP odvozování služby Azure Machine Learning.

Místní ladění pomocí místního koncového bodu

Pro místní ladění potřebujete model nasazený do místního prostředí Dockeru. Toto místní nasazení můžete použít k testování a ladění před nasazením do cloudu.

K místnímu nasazení potřebujete nainstalovaný a spuštěný modul Dockeru . Azure Machine Learning pak vytvoří místní image Dockeru, která napodobí online image. Azure Machine Learning sestavuje a spouští nasazení pro vás místně a ukládá image do mezipaměti pro rychlé iterace.

Tip

Pokud se modul Docker při spuštění počítače nespustí, můžete řešit potíže s Modulem Dockeru. K ladění toho, co se stane v kontejneru, můžete použít nástroje na straně klienta, jako je Docker Desktop .

Místní ladění obvykle zahrnuje následující kroky:

  • Nejprve zkontrolujte, jestli místní nasazení proběhlo úspěšně.
  • Potom vyvolejte místní koncový bod pro odvozování.
  • Nakonec zkontrolujte výstupní protokoly operace invoke .

Místní koncové body mají následující omezení:

  • Nepodporuje pravidla provozu, ověřování ani nastavení sondy.

  • Podpora pouze jednoho nasazení na koncový bod.

  • Podpora souborů a prostředí místního modelu pouze se souborem local conda

    • Pokud chcete otestovat registrované modely, nejprve si je stáhněte pomocí rozhraní příkazového řádku nebo sady SDK a pak je použijte path v definici nasazení k odkazování na nadřazenou složku.

    • Pokud chcete testovat registrovaná prostředí, zkontrolujte kontext prostředí v studio Azure Machine Learning a připravte místní soubor Conda, který se má použít.

Další informace o místním ladění najdete v tématu Místní nasazení a ladění pomocí místního koncového bodu.

Místní ladění pomocí místního koncového bodu a editoru Visual Studio Code (Preview)

Důležité

Tato funkce je v současné době ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti.

Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Stejně jako u místního ladění musíte mít nainstalovaný a spuštěný modul Dockeru a pak nasadit model do místního prostředí Dockeru. Jakmile budete mít místní nasazení, místní koncové body služby Azure Machine Learning používají vývojové kontejnery Dockeru a Visual Studio Code (vývojové kontejnery) k sestavení a konfiguraci místního prostředí ladění.

S vývojovými kontejnery můžete použít funkce editoru Visual Studio Code, jako je interaktivní ladění z kontejneru Dockeru. Další informace o interaktivním ladění online koncových bodů v editoru Visual Studio Code najdete v tématu Místní ladění online koncových bodů v editoru Visual Studio Code.

Ladění s využitím protokolů kontejneru

Nemůžete získat přímý přístup k virtuálnímu počítači, ve kterém se model nasadí, ale můžete získat protokoly z následujících kontejnerů, které běží na virtuálním počítači:

  • Protokol konzoly serveru pro odvozování obsahuje výstup funkcí tisku a protokolování z bodovacího skriptu score.py kódu.
  • Protokoly inicializátoru úložiště obsahují informace o tom, jestli se data kódu a modelu úspěšně stáhla do kontejneru. Kontejner se spustí před spuštěním kontejneru serveru pro odvození.

Další informace o ladění pomocí protokolů kontejneru naleznete v tématu Získání protokolů kontejneru.

Směrování provozu a zrcadlení do online nasazení

Jeden online koncový bod může mít více nasazení. Vzhledem k tomu, že koncový bod přijímá příchozí požadavky na provoz, může směrovat procenta provozu do každého nasazení, stejně jako v nativní strategii nasazení s modrou/zelenou barvou. Koncový bod může také zrcadlit nebo kopírovat provoz z jednoho nasazení do jiného, označovaného jako zrcadlení provozu nebo stínování.

Směrování provozu pro modré/zelené nasazení

Modré/zelené nasazení je strategie nasazení, která umožňuje zavést nové zelené nasazení pro malou podmnožinu uživatelů nebo požadavků, než ho úplně zpřístupníte. Koncový bod může implementovat vyrovnávání zatížení, aby každému nasazení přidělil určité procento provozu, přičemž celkové přidělení napříč všemi nasazeními sčítá až 100 %.

Tip

Požadavek může obejít nakonfigurované vyrovnávání zatížení provozu zahrnutím hlavičky azureml-model-deploymentHTTP . Nastavte hodnotu hlavičky na název nasazení, do kterého se má požadavek směrovat.

Následující obrázek ukazuje nastavení v studio Azure Machine Learning pro přidělování provozu mezi modrým a zeleným nasazením.

Snímek obrazovky znázorňující rozhraní posuvníku pro nastavení přidělení provozu mezi nasazeními

Předchozí přidělení provozu směruje 10 % provozu do zeleného nasazení a 90 % provozu do modrého nasazení, jak je znázorněno na následujícím obrázku.

Diagram znázorňující rozdělení provozu koncovým bodem na dvě nasazení

Zrcadlení provozu do online nasazení

Koncový bod může také zrcadlit nebo kopírovat provoz z jednoho nasazení do druhého. Zrcadlení provozu, označované také jako stínové testování, můžete použít, když chcete otestovat nové nasazení s produkčním provozem, aniž by to mělo vliv na výsledky, které zákazníci z existujících nasazení obdrží.

Můžete například implementovat modré/zelené nasazení, kde se 100 % provozu směruje na modrou a 10 % se zrcadlí se zeleným nasazením. Výsledky zrcadlených přenosů do zeleného nasazení se nevrátí klientům, ale metriky a protokoly se zaznamenávají.

Diagram znázorňující zrcadlení provozu koncového bodu do nasazení

Další informace o tom, jak používat zrcadlení provozu, najdete v tématu Bezpečné zavedení nových nasazení pro odvozování v reálném čase.

Další možnosti online koncového bodu

Následující části popisují další možnosti online koncových bodů služby Azure Machine Learning.

Ověřování a šifrování

  • Ověřování: Klíče a tokeny Služby Azure Machine Learning
  • Spravovaná identita: Přiřazené uživatelem a přiřazený systém
  • Protokol SSL (Secure Socket Layer) ve výchozím nastavení pro vyvolání koncového bodu

Automatické škálování

Automatické škálování automaticky spustí správné množství prostředků ke zvládnutí zatížení u vaší aplikace. Spravované koncové body podporují automatické škálování prostřednictvím integrace s funkcí automatického škálování služby Azure Monitor. Můžete nakonfigurovat škálování založené na metrikách, jako je využití >procesoru 70 %, škálování na základě plánu, jako jsou pravidla špičky obchodní hodiny nebo obojí.

Snímek obrazovky znázorňující flexibilní škálování mezi minimálními a maximálními instancemi v závislosti na pravidlech

Další informace najdete v tématu Automatické škálování online koncových bodů ve službě Azure Machine Learning.

Izolace spravované sítě

Když nasadíte model strojového učení do spravovaného online koncového bodu, můžete zabezpečit komunikaci s online koncovým bodem pomocí privátních koncových bodů. Zabezpečení příchozích požadavků na bodování a odchozí komunikace můžete nakonfigurovat samostatně.

Příchozí komunikace používá privátní koncový bod pracovního prostoru Azure Machine Learning, zatímco odchozí komunikace používá privátní koncové body vytvořené pro spravovanou virtuální síť pracovního prostoru. Další informace najdete v tématu Izolace sítě se spravovanými online koncovými body.

Monitorování online koncových bodů a nasazení

Koncové body služby Azure Machine Learning se integrují se službou Azure Monitor. Integrace služby Azure Monitor umožňuje zobrazit metriky v grafech, konfigurovat výstrahy, tabulky protokolů dotazů a používat Application Insights k analýze událostí z kontejnerů uživatelů. Další informace najdete v tématu Monitorování online koncových bodů.

Injektáž tajných kódů v online nasazeních (Preview)

Injektáž tajných kódů pro online nasazení zahrnuje načtení tajných kódů, jako jsou klíče rozhraní API z úložišť tajných kódů, a jejich vložení do kontejneru uživatele, který běží uvnitř nasazení. Pokud chcete zajistit zabezpečenou spotřebu tajných kódů pro server odvozování, na kterém běží váš bodovací skript nebo zásobník odvozování v nasazení BYOC, můžete pro přístup k tajným kódům použít proměnné prostředí.

Tajné kódy můžete vkládat sami pomocí spravovaných identit nebo můžete použít funkci injektáže tajných kódů. Další informace najdete v tématu Injektáž tajných kódů v online koncových bodech (Preview).

Související obsah