Zabezpečení trénovacího prostředí služby Azure Machine Learning s využitím virtuálních sítí (SDKv1)

PLATÍ PRO: Python SDK azureml v1

V tomto článku se dozvíte, jak zabezpečit trénovací prostředí pomocí virtuální sítě ve službě Azure Machine Learning pomocí sady Python SDK v1.

Výpočetní instance a výpočetní cluster služby Azure Machine Learning je možné použít k bezpečnému trénování modelů ve virtuální síti. Při plánování prostředí můžete výpočetní instanci nebo cluster nakonfigurovat s veřejnou IP adresou nebo bez této veřejné IP adresy. Mezi těmito dvěma jsou obecné rozdíly:

• Žádná veřejná IP adresa: Snižuje náklady, protože nemá stejné požadavky na síťové prostředky. Zlepšuje zabezpečení odebráním požadavku na příchozí provoz z internetu. Pro povolení odchozího přístupu k požadovaným prostředkům (ID Microsoft Entra, Azure Resource Manager atd.) se ale vyžadují další změny konfigurace.
• Veřejná IP adresa: Funguje ve výchozím nastavení, ale náklady jsou vyšší kvůli dalším síťovým prostředkům Azure. Vyžaduje příchozí komunikaci ze služby Azure Machine Learning přes veřejný internet.

Následující tabulka obsahuje rozdíly mezi těmito konfiguracemi:

K trénování modelů ve virtuální síti můžete použít také Azure Databricks nebo HDInsight.

V tomto článku se dozvíte, jak ve virtuální síti zabezpečit následující výpočetní prostředky trénování:

Požadavky

• Přečtěte si článek s přehledem zabezpečení sítě a seznamte se s běžnými scénáři virtuální sítě a celkovou architekturou virtuální sítě.

• Existující virtuální síť a podsíť pro použití s výpočetními prostředky. Tato virtuální síť musí být ve stejném předplatném jako pracovní prostor Azure Machine Learning.

  • Doporučujeme umístit účty úložiště používané vaším pracovním prostorem a trénovacími úlohami do stejné oblasti Azure, kterou plánujete použít pro výpočetní instance a clustery. Pokud nejsou ve stejné oblasti Azure, můžou vám vzniknout náklady na přenos dat a vyšší latence sítě.
  • Ujistěte se, že je ve vaší virtuální síti povolená komunikace přes protokol WebSocket s doménami *.instances.azureml.net a *.instances.azureml.ms. Protokol WebSocket využívá Jupyter ve výpočetních instancích.

• Existující podsíť ve virtuální síti. Tato podsíť se používá při vytváření výpočetních instancí a clusterů.

  • Ujistěte se, že podsíť není delegovaná na jiné služby Azure.
  • Ujistěte se, že podsíť obsahuje dostatek volných IP adres. Každá výpočetní instance vyžaduje jednu IP adresu. Každý uzel ve výpočetním clusteru vyžaduje jednu IP adresu.

• Pokud máte vlastní server DNS, doporučujeme použít předávání DNS k překladu plně kvalifikovaných názvů domén (FQDN) výpočetních instancí a clusterů. Další informace najdete v tématu Použití vlastního DNS se službou Azure Machine Learning.

• Pokud chcete nasadit prostředky do virtuální sítě nebo podsítě, musí mít váš uživatelský účet oprávnění k následujícím akcím v řízení přístupu na základě role v Azure (Azure RBAC):

  • Microsoft.Network/*/read v prostředku virtuální sítě. Toto oprávnění není potřeba pro nasazení šablon Azure Resource Manageru (ARM).
  • "Microsoft.Network/virtualNetworks/join/action" u prostředku virtuální sítě.
  • Prostředek podsítě "Microsoft.Network/virtualNetworks/subnets/join/action".

  Další informace o Azure RBAC se sítěmi najdete v předdefinovaných rolích sítě.

Omezení

Výpočetní cluster nebo instance služby Azure Machine Learning

• Výpočetní clustery je možné vytvořit v jiné oblasti a virtuální síti, než je váš pracovní prostor. Tato funkce je ale dostupná jenom pomocí sady SDK verze 2, rozhraní příkazového řádku 2 nebo studia. Další informace najdete ve verzi 2 zabezpečených trénovacích prostředí.

• Azure Lighthouse nepodporuje nasazení výpočetního clusteru nebo instance ve virtuální síti.

• Port 445 musí být během trénování otevřený pro privátní síťovou komunikaci mezi výpočetními instancemi a výchozím účtem úložiště. Pokud jsou například vaše výpočetní prostředky v jedné virtuální síti a účet úložiště je v jiné, neblokujte port 445 do virtuální sítě účtu úložiště.

Azure Databricks

• Virtuální síť musí být ve stejném předplatném a oblasti jako pracovní prostor Služby Azure Machine Learning.
• Pokud jsou účty úložiště Azure pro pracovní prostor také zabezpečené ve virtuální síti, musí být ve stejné virtuální síti jako cluster Azure Databricks.
• Kromě podsítí databricks-private a databricks-public, které používá Azure Databricks, se také vyžaduje výchozí podsíť vytvořená pro virtuální síť.
• Azure Databricks nepoužívá privátní koncový bod ke komunikaci s virtuální sítí.

Další informace o používání Azure Databricks ve virtuální síti najdete v tématu Nasazení Azure Databricks ve vaší virtuální síti Azure.

Azure HDInsight nebo virtuální počítač

• Azure Machine Learning podporuje jenom virtuální počítače, na kterých běží Ubuntu.

Výpočetní instance nebo cluster bez veřejné IP adresy

Následující konfigurace jsou kromě konfigurací uvedených v části Požadavky a jsou specifické pro vytvoření výpočetních instancí nebo clusterů nakonfigurovaných pro žádnou veřejnou IP adresu:

• Pro komunikaci se službami Azure Machine Learning z virtuální sítě musíte použít privátní koncový bod pracovního prostoru pro výpočetní prostředek. Další informace najdete v tématu Konfigurace privátního koncového bodu pro pracovní prostor Azure Machine Learning.

• Povolte ve své virtuální síti odchozí provoz do následujících značek služeb nebo plně kvalifikovaných názvů domén (FQDN):

  Značka služby	Protokol	Port	Notes
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Komunikace se službou Azure Machine Learning Service.
  BatchNodeManagement.<region>	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch. Výpočetní instance a výpočetní cluster jsou implementovány pomocí služby Azure Batch.
  Storage.<region>	TCP	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Tato značka služby slouží ke komunikaci s účtem Azure Storage používaným službou Azure Batch.

  Důležité

  Odchozí přístup Storage.<region> by mohl být možné použít k exfiltraci dat z vašeho pracovního prostoru. Pomocí zásad koncového bodu služby můžete toto ohrožení zabezpečení zmírnit. Další informace najdete v článku o prevenci exfiltrace dat ve službě Azure Machine Learning.

  FQDN	Protokol	Port	Notes
  <region>.tundra.azureml.ms	UDP	5831	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning.
  graph.windows.net	TCP	443	Komunikace s rozhraním Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Komunikace se službou Azure Machine Learning.
  *.<region>.batch.azure.com	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch.
  *.<region>.service.batch.azure.com	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch.
  *.blob.core.windows.net	TCP	443	Komunikace se službou Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Komunikace se službou Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Komunikace se službou Azure Table Storage.

• Vytvořte pravidla brány firewall a odchozích přenosů nebo brány NAT Gateway a skupiny síťových služeb, které umožňují odchozí provoz. Vzhledem k tomu, že výpočetní prostředky nemají žádnou veřejnou IP adresu, nemůžou bez této konfigurace komunikovat s prostředky na veřejném internetu. Například by nemohl komunikovat s MICROSOFT Entra ID nebo Azure Resource Managerem. Instalace balíčků Pythonu z veřejných zdrojů by také vyžadovala tuto konfiguraci.

  Další informace o odchozím provozu používaném službou Azure Machine learning najdete v následujících článcích:

  • Konfigurace příchozího a odchozího síťového provozu
  • Metody odchozího připojení Azure.

Pomocí následujících informací vytvořte výpočetní instanci nebo cluster bez veřejné IP adresy:

Pokud chcete vytvořit výpočetní instanci nebo výpočetní cluster bez veřejné IP adresy, vytvořte prostředek pomocí uživatelského rozhraní studio Azure Machine Learning:

1. Přihlaste se k studio Azure Machine Learning a vyberte své předplatné a pracovní prostor.

2. Na levém navigačním panelu vyberte stránku Výpočty.

3. Na navigačním panelu výpočetní instance nebo výpočetního clusteru vyberte + Nový .

4. Nakonfigurujte požadovanou velikost a konfiguraci virtuálního počítače a pak vyberte Další.

5. V části Upřesnit nastavení vyberte Povolit virtuální síť, virtuální síť a podsíť a nakonec v části Virtuální síť nebo podsíť vyberte možnost Bez veřejné IP adresy.

   

Výpočetní instance nebo cluster s veřejnou IP adresou

Následující konfigurace jsou kromě konfigurací uvedených v části Požadavky a jsou specifické pro vytváření výpočetních instancí nebo clusterů s veřejnou IP adresou:

• Pokud do jedné virtuální sítě umístíte několik výpočetních instancí nebo clusterů, možná budete muset požádat o navýšení kvóty pro jeden nebo více prostředků. Výpočetní instance nebo cluster Machine Learning automaticky přiděluje síťové prostředky ve skupině prostředků , která obsahuje virtuální síť. Pro každou výpočetní instanci nebo cluster služba přidělí následující prostředky:

  • Automaticky se vytvoří skupina zabezpečení sítě (NSG). Tato skupina zabezpečení sítě umožňuje příchozí provoz TCP na portu 44224 ze značky AzureMachineLearning služby.

    Důležité

    Výpočetní instance a výpočetní cluster automaticky vytvoří skupinu zabezpečení sítě s požadovanými pravidly.

    Pokud máte na úrovni podsítě další skupinu zabezpečení sítě, pravidla v NSG na úrovni podsítě nesmí být v konfliktu s pravidly v automaticky vytvořené skupině zabezpečení sítě.

    Pokud chcete zjistit, jak skupiny zabezpečení sítě filtrují síťový provoz, přečtěte si, jak skupiny zabezpečení sítě filtrují síťový provoz.

  • Jeden nástroj pro vyrovnávání zatížení

  U výpočetních clusterů se tyto prostředky odstraní při každém vertikálním navýšení kapacity clusteru na 0 uzlů a vytvoří se při vertikálním navýšení kapacity.

  V případě výpočetní instance se tyto prostředky zachovávají, dokud se instance neodstraní. Zastavení instance neodebere prostředky.

  Důležité

  Pro tyto prostředky platí omezení kvót prostředků předplatného. Pokud je skupina prostředků virtuální sítě uzamčená, odstranění výpočetního clusteru nebo instance selže. Nástroj pro vyrovnávání zatížení nelze odstranit, dokud se výpočetní cluster nebo instance nesmažou. Ujistěte se také, že neexistuje žádné přiřazení služby Azure Policy, které zakazuje vytváření skupin zabezpečení sítě.

• Ve virtuální síti povolte příchozí provoz TCP na portu 44224 ze značky AzureMachineLearning služby.

  Důležité

  Výpočetní instance nebo cluster se při vytváření dynamicky přiřadí IP adrese. Vzhledem k tomu, že adresa není známa před vytvořením a v rámci procesu vytváření se vyžaduje příchozí přístup, nemůžete ji staticky přiřadit v bráně firewall. Pokud místo toho používáte bránu firewall s virtuální sítí, musíte vytvořit trasu definovanou uživatelem, která povolí tento příchozí provoz.

• Povolte ve virtuální síti odchozí provoz do následujících značek služby:

  Značka služby	Protokol	Port	Notes
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Komunikace se službou Azure Machine Learning Service.
  BatchNodeManagement.<region>	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch. Výpočetní instance a výpočetní cluster jsou implementovány pomocí služby Azure Batch.
  Storage.<region>	TCP	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Tato značka služby slouží ke komunikaci s účtem Azure Storage používaným službou Azure Batch.

  Důležité

  Odchozí přístup Storage.<region> by mohl být možné použít k exfiltraci dat z vašeho pracovního prostoru. Pomocí zásad koncového bodu služby můžete toto ohrožení zabezpečení zmírnit. Další informace najdete v článku o prevenci exfiltrace dat ve službě Azure Machine Learning.

  FQDN	Protokol	Port	Notes
  <region>.tundra.azureml.ms	UDP	5831	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning.
  graph.windows.net	TCP	443	Komunikace s rozhraním Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Komunikace se službou Azure Machine Learning.
  *.<region>.batch.azure.com	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch.
  *.<region>.service.batch.azure.com	LIBOVOLNÉ	443	Nahraďte <region> oblastí Azure, která obsahuje váš pracovní prostor Azure Machine Learning. Komunikace s Azure Batch.
  *.blob.core.windows.net	TCP	443	Komunikace se službou Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Komunikace se službou Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Komunikace se službou Azure Table Storage.

import datetime
import time

from azureml.core.compute import ComputeTarget, ComputeInstance
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your instance
# Compute instance name should be unique across the azure region
compute_name = "ci{}".format(ws._workspace_id)[:10]

# Verify that instance does not exist already
try:
    instance = ComputeInstance(workspace=ws, name=compute_name)
    print('Found existing instance, use it.')
except ComputeTargetException:
    compute_config = ComputeInstance.provisioning_configuration(
        vm_size='STANDARD_D3_V2',
        ssh_public_access=False,
        vnet_resourcegroup_name='vnet_resourcegroup_name',
        vnet_name='vnet_name',
        subnet_name='subnet_name',
        # admin_user_ssh_public_key='<my-sshkey>'
    )
    instance = ComputeInstance.create(ws, compute_name, compute_config)
    instance.wait_for_completion(show_output=True)

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# The Azure virtual network name, subnet, and resource group
vnet_name = 'mynetwork'
subnet_name = 'default'
vnet_resourcegroup_name = 'mygroup'

# Choose a name for your CPU cluster
cpu_cluster_name = "cpucluster"

# Verify that cluster does not exist already
try:
    cpu_cluster = ComputeTarget(workspace=ws, name=cpu_cluster_name)
    print("Found existing cpucluster")
except ComputeTargetException:
    print("Creating new cpucluster")

    # Specify the configuration for the new cluster
    compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V2",
                                                           min_nodes=0,
                                                           max_nodes=4,
                                                           location="westus2",
                                                           vnet_resourcegroup_name=vnet_resourcegroup_name,
                                                           vnet_name=vnet_name,
                                                           subnet_name=subnet_name)

    # Create the cluster with the specified name and configuration
    cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config)

    # Wait for the cluster to be completed, show the output log
    cpu_cluster.wait_for_completion(show_output=True)

Po dokončení procesu vytváření model vytrénujete. Další informace najdete v tématu Výběr a použití cílového výpočetního objektu pro trénování.

Azure Databricks

• Virtuální síť musí být ve stejném předplatném a oblasti jako pracovní prostor Služby Azure Machine Learning.
• Pokud jsou účty úložiště Azure pro pracovní prostor také zabezpečené ve virtuální síti, musí být ve stejné virtuální síti jako cluster Azure Databricks.
• Kromě podsítí databricks-private a databricks-public, které používá Azure Databricks, se také vyžaduje výchozí podsíť vytvořená pro virtuální síť.
• Azure Databricks nepoužívá privátní koncový bod ke komunikaci s virtuální sítí.

Konkrétní informace o používání Azure Databricks s virtuální sítí najdete v tématu Nasazení Azure Databricks ve vaší virtuální síti Azure.

Požadovaný veřejný přístup k internetu pro trénování modelů

Azure Machine Learning vyžaduje příchozí i odchozí přístup k veřejnému internetu. Následující tabulky poskytují přehled požadovaného přístupu a účelu, který slouží. Pro značky služeb, které končí .region, nahraďte region oblastí Azure, která obsahuje váš pracovní prostor. Příklad: Storage.westus

Pro instalaci balíčků vyžadovaných vaším projektem strojového učení možná budete muset povolit odchozí provoz na weby visual Studio Code a jiných webů než Microsoftu. V následující tabulce jsou uvedená běžně používaná úložiště pro strojové učení:

Při použití služby Azure Kubernetes Service (AKS) se službou Azure Machine Learning povolte následující provoz do virtuální sítě AKS:

• Obecné požadavky na příchozí a odchozí přenosy pro AKS, jak je popsáno v článku Omezení odchozího a odchozího provozu ve službě Azure Kubernetes Service .
• Odchozí do mcr.microsoft.com.
• Při nasazování modelu do clusteru AKS využijte pokyny v článku Nasazení modelů ML do služby Azure Kubernetes Service .

Informace o používání řešení brány firewall najdete v tématu Použití brány firewall se službou Azure Machine Learning.

Další kroky

Tento článek je součástí série o zabezpečení pracovního postupu služby Azure Machine Learning. Podívejte se na další články v této sérii:

• Přehled virtuální sítě (v1)
• Zabezpečení prostředků pracovního prostoru
• Zabezpečené prostředí pro odvození (v1)
• Povolení funkcí studia
• Použití vlastní služby DNS
• Použití brány firewall