Skydda en Azure Machine Learning-träningsmiljö med virtuella nätverk (SDKv1)

GÄLLER FÖR: Python SDK azureml v1

I den här artikeln får du lära dig hur du skyddar träningsmiljöer med ett virtuellt nätverk i Azure Machine Learning med hjälp av Python SDK v1.

Azure Machine Learning-beräkningsinstanser och beräkningskluster kan användas för att på ett säkert sätt träna modeller i ett virtuellt nätverk. När du planerar din miljö kan du konfigurera beräkningsinstansen/klustret med eller utan en offentlig IP-adress. De allmänna skillnaderna mellan de två är:

• Ingen offentlig IP-adress: Minskar kostnaderna eftersom den inte har samma nätverksresurskrav. Förbättrar säkerheten genom att ta bort kravet på inkommande trafik från Internet. Det krävs dock ytterligare konfigurationsändringar för att aktivera utgående åtkomst till nödvändiga resurser (Microsoft Entra-ID, Azure Resource Manager osv.).
• Offentlig IP-adress: Fungerar som standard, men kostar mer på grund av ytterligare Azure-nätverksresurser. Kräver inkommande kommunikation från Azure Machine Learning-tjänsten via det offentliga Internet.

Följande tabell innehåller skillnaderna mellan dessa konfigurationer:

Du kan också använda Azure Databricks eller HDInsight för att träna modeller i ett virtuellt nätverk.

I den här artikeln får du lära dig hur du skyddar följande träningsberäkningsresurser i ett virtuellt nätverk:

Förutsättningar

• Läs artikeln Översikt över nätverkssäkerhet för att förstå vanliga scenarier för virtuella nätverk och övergripande arkitektur för virtuella nätverk.

• Ett befintligt virtuellt nätverk och undernät som ska användas med dina beräkningsresurser. Det här virtuella nätverket måste finnas i samma prenumeration som din Azure Machine Learning-arbetsyta.

  • Vi rekommenderar att du placerar de lagringskonton som används av arbetsytan och träningsjobben i samma Azure-region som du planerar att använda för dina beräkningsinstanser och kluster. Om de inte finns i samma Azure-region kan det medföra kostnader för dataöverföring och ökad nätverksfördröjning.
  • Kontrollera att WebSocket-kommunikation tillåts till *.instances.azureml.net och *.instances.azureml.ms i ditt VNet. WebSockets används av Jupyter på beräkningsinstanser.

• Ett befintligt undernät i det virtuella nätverket. Det här undernätet används när du skapar beräkningsinstanser och kluster.

  • Kontrollera att undernätet inte delegeras till andra Azure-tjänster.
  • Kontrollera att undernätet innehåller tillräckligt med kostnadsfria IP-adresser. Varje beräkningsinstans kräver en IP-adress. Varje nod i ett beräkningskluster kräver en IP-adress.

• Om du har en egen DNS-server rekommenderar vi att du använder DNS-vidarebefordran för att matcha de fullständigt kvalificerade domännamnen (FQDN) för beräkningsinstanser och kluster. Mer information finns i Använda en anpassad DNS med Azure Machine Learning.

• Om du vill distribuera resurser till ett virtuellt nätverk eller undernät måste ditt användarkonto ha behörighet till följande åtgärder i rollbaserad åtkomstkontroll i Azure (Azure RBAC):

  • "Microsoft.Network/*/read" på den virtuella nätverksresursen. Den här behörigheten behövs inte för distributioner av Azure Resource Manager-mallar (ARM).
  • "Microsoft.Network/virtualNetworks/join/action" på den virtuella nätverksresursen.
  • "Microsoft.Network/virtualNetworks/subnets/join/action" på undernätsresursen.

  Mer information om Azure RBAC med nätverk finns i inbyggda nätverksroller

Begränsningar

Azure Machine Learning-beräkningskluster/-instans

• Beräkningskluster kan skapas i en annan region och ett virtuellt nätverk än din arbetsyta. Den här funktionen är dock endast tillgänglig med hjälp av SDK v2, CLI v2 eller studio. Mer information finns i v2-versionen av säkra träningsmiljöer.

• Distribution av beräkningskluster/instanser i det virtuella nätverket stöds inte med Azure Lighthouse.

• Port 445 måste vara öppen för privat nätverkskommunikation mellan dina beräkningsinstanser och standardlagringskontot under träning. Om dina beräkningar till exempel finns i ett virtuellt nätverk och lagringskontot finns i ett annat ska du inte blockera port 445 till det virtuella nätverkets lagringskonto.

Azure Databricks

• Det virtuella nätverket måste finnas i samma prenumeration och region som Azure Machine Learning-arbetsytan.
• Om Azure Storage-kontona för arbetsytan också skyddas i ett virtuellt nätverk måste de finnas i samma virtuella nätverk som Azure Databricks-klustret.
• Förutom de databricks-private och databricks-offentliga undernät som används av Azure Databricks krävs även standardundernätet som skapats för det virtuella nätverket.
• Azure Databricks använder inte en privat slutpunkt för att kommunicera med det virtuella nätverket.

Mer information om hur du använder Azure Databricks i ett virtuellt nätverk finns i Distribuera Azure Databricks i ditt virtuella Azure-nätverk.

Azure HDInsight eller virtuell dator

• Azure Machine Learning stöder endast virtuella datorer som kör Ubuntu.

Beräkningsinstans/kluster utan offentlig IP-adress

Följande konfigurationer är utöver de som anges i avsnittet Krav och är specifika för att skapa beräkningsinstanser/kluster som konfigurerats utan offentlig IP-adress:

• Du måste använda en privat slutpunkt för arbetsytan för beräkningsresursen för att kommunicera med Azure Machine Learning-tjänster från det virtuella nätverket. Mer information finns i Konfigurera en privat slutpunkt för Azure Machine Learning-arbetsytan.

• I ditt virtuella nätverk tillåter du utgående trafik till följande tjänsttaggar eller fullständiga domännamn (FQDN):

  Tjänsttagg	Protokoll	Port	Kommentar
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Kommunikation med Azure Machine Learning-tjänsten.
  BatchNodeManagement.<region>	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch. Beräkningsinstanser och beräkningskluster implementeras med hjälp av Azure Batch-tjänsten.
  Storage.<region>	TCP	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Den här tjänsttaggen används för att kommunicera med det Azure Storage-konto som används av Azure Batch.

  Viktigt!

  Den utgående åtkomsten till Storage.<region> kan potentiellt användas för att exfiltera data från din arbetsyta. Genom att använda en tjänstslutpunktsprincip kan du minska den här sårbarheten. Mer information finns i artikeln Skydd mot dataexfiltrering i Azure Machine Learning.

  FQDN	Protokoll	Port	Kommentar
  <region>.tundra.azureml.ms	UDP	5831	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta.
  graph.windows.net	TCP	443	Kommunikation med Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Kommunikation med Azure Machine Learning.
  *.<region>.batch.azure.com	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch.
  *.<region>.service.batch.azure.com	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch.
  *.blob.core.windows.net	TCP	443	Kommunikation med Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Kommunikation med Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Kommunikation med Azure Table Storage.

• Skapa antingen en brandvägg och utgående regler eller en NAT-gateway och nätverkstjänstgrupper för att tillåta utgående trafik. Eftersom beräkningen inte har någon offentlig IP-adress kan den inte kommunicera med resurser på det offentliga Internet utan den här konfigurationen. Det skulle till exempel inte kunna kommunicera med Microsoft Entra-ID eller Azure Resource Manager. Att installera Python-paket från offentliga källor skulle också kräva den här konfigurationen.

  Mer information om utgående trafik som används av Azure Machine Learning finns i följande artiklar:

  • Konfigurera inkommande och utgående nätverkstrafik.
  • Azures utgående anslutningsmetoder.

Använd följande information för att skapa en beräkningsinstans eller ett kluster utan offentlig IP-adress:

Om du vill skapa en beräkningsinstans eller ett beräkningskluster utan offentlig IP-adress använder du användargränssnittet Azure Machine Learning-studio för att skapa resursen:

1. Logga in på Azure Machine Learning-studio och välj sedan din prenumeration och arbetsyta.

2. Välj sidan Beräkning i det vänstra navigeringsfältet.

3. Välj + Nytt i navigeringsfältet för beräkningsinstansen eller beräkningsklustret.

4. Konfigurera den vm-storlek och konfiguration du behöver och välj sedan Nästa.

5. I Avancerade inställningar väljer du Aktivera virtuellt nätverk, ditt virtuella nätverk och undernät och väljer slutligen alternativet Ingen offentlig IP under avsnittet VNet/undernät.

   

Beräkningsinstans/kluster med offentlig IP-adress

Följande konfigurationer är utöver de som anges i avsnittet Krav och är specifika för att skapa beräkningsinstanser/kluster som har en offentlig IP-adress:

• Om du placerar flera beräkningsinstanser/kluster i ett virtuellt nätverk kan du behöva begära en kvotökning för en eller flera av dina resurser. Machine Learning-beräkningsinstansen eller klustret allokerar automatiskt nätverksresurser i resursgruppen som innehåller det virtuella nätverket. För varje beräkningsinstans eller kluster allokerar tjänsten följande resurser:

  • En nätverkssäkerhetsgrupp (NSG) skapas automatiskt. Denna NSG tillåter inkommande TCP-trafik på port 44224 från AzureMachineLearning tjänsttaggen.

    Viktigt!

    Beräkningsinstanser och beräkningskluster skapar automatiskt en NSG med de regler som krävs.

    Om du har en annan NSG på undernätsnivå får reglerna på NSG på undernätsnivå inte vara i konflikt med reglerna i den automatiskt skapade NSG:n.

    Information om hur NSG:er filtrerar nätverkstrafiken finns i Så filtrerar nätverkssäkerhetsgrupper nätverkstrafik.

  • En lastbalanserare

  För beräkningskluster tas dessa resurser bort varje gång klustret skalar ned till 0 noder och skapas vid uppskalning.

  För en beräkningsinstans behålls resurserna tills instansen tas bort. Att stoppa instansen tar inte bort resurserna.

  Viktigt!

  Dessa resurser begränsas av prenumerationens resurskvoter. Om resursgruppen för det virtuella nätverket är låst misslyckas borttagningen av beräkningsklustret/instansen. Det går inte att ta bort lastbalanseraren förrän beräkningsklustret/instansen har tagits bort. Se också till att det inte finns någon Azure Policy-tilldelning som förbjuder skapande av nätverkssäkerhetsgrupper.

• Tillåt inkommande TCP-trafik på port 44224 från AzureMachineLearning tjänsttaggen i ditt virtuella nätverk.

  Viktigt!

  Beräkningsinstansen/klustret tilldelas dynamiskt en IP-adress när den skapas. Eftersom adressen inte är känd innan den skapas och inkommande åtkomst krävs som en del av skapandeprocessen kan du inte statiskt tilldela den i brandväggen. Om du i stället använder en brandvägg med det virtuella nätverket måste du skapa en användardefinierad väg för att tillåta den inkommande trafiken.

• I ditt virtuella nätverk tillåter du utgående trafik till följande tjänsttaggar:

  Tjänsttagg	Protokoll	Port	Kommentar
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Kommunikation med Azure Machine Learning-tjänsten.
  BatchNodeManagement.<region>	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch. Beräkningsinstanser och beräkningskluster implementeras med hjälp av Azure Batch-tjänsten.
  Storage.<region>	TCP	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Den här tjänsttaggen används för att kommunicera med det Azure Storage-konto som används av Azure Batch.

  Viktigt!

  Den utgående åtkomsten till Storage.<region> kan potentiellt användas för att exfiltera data från din arbetsyta. Genom att använda en tjänstslutpunktsprincip kan du minska den här sårbarheten. Mer information finns i artikeln Skydd mot dataexfiltrering i Azure Machine Learning.

  FQDN	Protokoll	Port	Kommentar
  <region>.tundra.azureml.ms	UDP	5831	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta.
  graph.windows.net	TCP	443	Kommunikation med Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Kommunikation med Azure Machine Learning.
  *.<region>.batch.azure.com	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch.
  *.<region>.service.batch.azure.com	NÅGON	443	Ersätt <region> med Azure-regionen som innehåller din Azure Machine Learning-arbetsyta. Kommunikation med Azure Batch.
  *.blob.core.windows.net	TCP	443	Kommunikation med Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Kommunikation med Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Kommunikation med Azure Table Storage.

import datetime
import time

from azureml.core.compute import ComputeTarget, ComputeInstance
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your instance
# Compute instance name should be unique across the azure region
compute_name = "ci{}".format(ws._workspace_id)[:10]

# Verify that instance does not exist already
try:
    instance = ComputeInstance(workspace=ws, name=compute_name)
    print('Found existing instance, use it.')
except ComputeTargetException:
    compute_config = ComputeInstance.provisioning_configuration(
        vm_size='STANDARD_D3_V2',
        ssh_public_access=False,
        vnet_resourcegroup_name='vnet_resourcegroup_name',
        vnet_name='vnet_name',
        subnet_name='subnet_name',
        # admin_user_ssh_public_key='<my-sshkey>'
    )
    instance = ComputeInstance.create(ws, compute_name, compute_config)
    instance.wait_for_completion(show_output=True)

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# The Azure virtual network name, subnet, and resource group
vnet_name = 'mynetwork'
subnet_name = 'default'
vnet_resourcegroup_name = 'mygroup'

# Choose a name for your CPU cluster
cpu_cluster_name = "cpucluster"

# Verify that cluster does not exist already
try:
    cpu_cluster = ComputeTarget(workspace=ws, name=cpu_cluster_name)
    print("Found existing cpucluster")
except ComputeTargetException:
    print("Creating new cpucluster")

    # Specify the configuration for the new cluster
    compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V2",
                                                           min_nodes=0,
                                                           max_nodes=4,
                                                           location="westus2",
                                                           vnet_resourcegroup_name=vnet_resourcegroup_name,
                                                           vnet_name=vnet_name,
                                                           subnet_name=subnet_name)

    # Create the cluster with the specified name and configuration
    cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config)

    # Wait for the cluster to be completed, show the output log
    cpu_cluster.wait_for_completion(show_output=True)

När skapandeprocessen är klar tränar du din modell. Mer information finns i Välj och använd ett beräkningsmål för träning.

Azure Databricks

• Det virtuella nätverket måste finnas i samma prenumeration och region som Azure Machine Learning-arbetsytan.
• Om Azure Storage-kontona för arbetsytan också skyddas i ett virtuellt nätverk måste de finnas i samma virtuella nätverk som Azure Databricks-klustret.
• Förutom de databricks-private och databricks-offentliga undernät som används av Azure Databricks krävs även standardundernätet som skapats för det virtuella nätverket.
• Azure Databricks använder inte en privat slutpunkt för att kommunicera med det virtuella nätverket.

Specifik information om hur du använder Azure Databricks med ett virtuellt nätverk finns i Distribuera Azure Databricks i ditt virtuella Azure-nätverk.

Obligatorisk offentlig Internetåtkomst till träningsmodeller

Azure Machine Learning kräver både inkommande och utgående åtkomst till det offentliga Internet. Följande tabeller ger en översikt över nödvändig åtkomst och vilket syfte den tjänar. För tjänsttaggar som slutar i .regionersätter du region med den Azure-region som innehåller din arbetsyta. Till exempel Storage.westus:

Du kan också behöva tillåta utgående trafik till Visual Studio Code och andra webbplatser än Microsoft för installation av paket som krävs av ditt maskininlärningsprojekt. I följande tabell visas vanliga lagringsplatser för maskininlärning:

När du använder Azure Kubernetes Service (AKS) med Azure Machine Learning tillåter du följande trafik till det virtuella AKS-nätverket:

• Allmänna krav för inkommande/utgående trafik för AKS enligt beskrivningen i artikeln Begränsa utgående trafik i Azure Kubernetes Service .
• Utgående till mcr.microsoft.com.
• När du distribuerar en modell till ett AKS-kluster använder du vägledningen i artikeln Distribuera ML-modeller till Azure Kubernetes Service .

Information om hur du använder en brandväggslösning finns i Använda en brandvägg med Azure Machine Learning.

Nästa steg

Den här artikeln är en del av en serie om att skydda ett Azure Machine Learning-arbetsflöde. Se de andra artiklarna i den här serien:

• Översikt över virtuellt nätverk (v1)
• Skydda arbetsytans resurser
• Säker slutsatsdragningsmiljö (v1)
• Aktivera studiofunktioner
• Använda anpassad DNS
• Använda en brandvägg