Konfigurieren von ein- und ausgehendem Netzwerkdatenverkehr

Azure Machine Learning erfordert Zugriff auf Server und Dienste im öffentlichen Internet. Beim Implementieren der Netzwerkisolation müssen Sie wissen, welcher Zugriff erforderlich ist und wie Sie ihn aktivieren.

Allgemeine Begriffe und Informationen

In diesem Artikel werden die folgenden Begriffe und Informationen verwendet:

• Azure-Diensttags: Mit einem Diensttag können die von einem Azure-Dienst verwendeten IP-Adressbereiche ganz einfach angegeben werden. Das Tag AzureMachineLearning stellt beispielsweise die IP-Adressen dar, die von Azure Machine Learning Service verwendet werden.

  Wichtig

  Azure-Diensttags werden nur von einigen Azure-Diensten unterstützt. Eine Liste der Diensttags, die von Netzwerksicherheitsgruppen und Azure Firewall unterstützt werden, finden Sie im Artikel Diensttags für virtuelle Netzwerke.

  Wenn Sie eine Nicht-Azure-Lösung wie die Firewall eines Drittanbieters verwenden, laden Sie hier eine Liste mit Azure-IP-Bereichen und -Diensttags herunter. Extrahieren Sie die Datei, und suchen Sie in der Datei nach dem Diensttag. Die IP-Adressen können sich von Zeit zu Zeit ändern.

• Region: Bei einigen Diensttags können Sie eine Azure-Region angeben. Dadurch wird der Zugriff auf die IP-Adressen des Diensts in einer bestimmten Region beschränkt, in der Regel die Region, in der sich Ihr Dienst befindet. Ersetzen Sie die Vorkommen von <region> in diesem Artikel durch Ihre Azure-Region. BatchNodeManagement.<region> wird zu BatchNodeManagement.uswest, wenn sich Ihr Azure Machine Learning-Arbeitsbereich in der Region „USA, Westen“ befindet.

• Azure Batch: Azure Machine Learning-Computecluster und -Compute-Instanzen basieren auf einer Back-End-Instanz von Azure Batch. Dieser Back-End-Dienst wird in einem Microsoft-Abonnement gehostet.

• Ports: Die folgenden Ports werden in diesem Artikel verwendet. Wenn ein Portbereich verwendet wird, der in dieser Tabelle nicht aufgeführt ist, ist er spezifisch für den Dienst, und es gibt möglicherweise keine veröffentlichten Informationen darüber, wofür er verwendet wird:

  Port	BESCHREIBUNG
  80	Ungesicherter Webverkehr (HTTP)
  443	Gesicherter Webverkehr (HTTPS)
  445	SMB-Verkehr für den Zugriff auf Dateifreigaben in Azure File Storage
  8787	Wird verwendet, wenn eine Verbindung zu RStudio auf einer Compute-Instanz hergestellt wird.
  18881	Wird verwendet, um eine Verbindung mit dem Sprachserver herzustellen, um IntelliSense für Notebooks auf einer Compute-Instanz zu aktivieren.

• Protokoll: Sofern nicht anders angegeben, verwendet der gesamte in diesem Artikel erwähnte Netzwerkdatenverkehr TCP.

Basiskonfiguration

Bei dieser Konfiguration wird Folgendes angenommen:

• Sie verwenden Docker-Images, die von einer von Ihnen bereitgestellten Containerregistrierung bereitgestellt werden, und verwenden keine von Microsoft bereitgestellten Images.
• Sie verwenden ein privates Python-Paketrepository und greifen nicht auf öffentliche Paketrepositorys wie pypi.org, *.anaconda.com oder *.anaconda.org zu.
• Die privaten Endpunkte können im VNet direkt miteinander kommunizieren. Beispielsweise verfügen alle Dienste über einen privaten Endpunkt im selben VNet:
  • Azure Machine Learning-Arbeitsbereich
  • Azure-Speicherkonto (Blob, Datei, Tabelle, Warteschlange)

Eingehender Datenverkehr

Ausgehender Datenverkehr

Empfohlene Konfiguration für das Trainieren und Bereitstellen von Modellen

Ausgehender Datenverkehr

Um die Installation von Python-Paketen für Training und Bereitstellung zuzulassen, lassen Sie ausgehenden Datenverkehr an die folgenden Hostnamen zu:

Szenario: Installieren von RStudio in einer Compute-Instanz

Um die Installation von RStudio in einer Compute-Instanz zuzulassen, muss die Firewall den ausgehenden Zugriff auf die Websites zulassen, von denen das Docker-Image abgerufen werden soll. Fügen Sie der Azure Firewall-Richtlinie die folgende Anwendungsregel hinzu:

• Name: AllowRStudioInstall
• Quelltyp: IP-Adresse
• Quell-IP-Adressen: Der IP-Adressbereich des Subnetzes, in dem Sie die Compute-Instanz erstellen. Beispiel: 172.16.0.0/24.
• Zieltyp: FQDN
• Ziel-FQDN:ghcr.io, pkg-containers.githubusercontent.com
• Protokoll: Https:443.

Um die Installation von R-Paketen zuzulassen, lassen Sie ausgehenden Datenverkehr an cloud.r-project.org zu. Dieser Host wird zum Installieren von CRAN-Paketen verwendet.

Szenario: Verwenden eines Computeclusters oder einer Compute-Instanz mit einer öffentlichen IP-Adresse

Wenn Sie eine Compute-Instanz oder einen Computecluster (mit öffentlicher IP-Adresse) von Azure Machine Learning Service verwenden, lassen Sie den eingehenden Datenverkehr vom Azure Machine Learning-Diensten zu. Bei Compute-Instanzen oder Computeclustern ohne öffentliche IP-Adresse (Vorschau) ist diese eingehende Kommunikation nicht erforderlich. Eine Netzwerksicherheitsgruppe, die diesen Datenverkehr zulässt, wird dynamisch für Sie erstellt. Sie müssen jedoch möglicherweise auch benutzerdefinierte Routen (UDR) erstellen, wenn Sie über eine Firewall verfügen. Wenn Sie eine benutzerdefinierte Route für diesen Datenverkehr erstellen, können Sie entweder IP-Adressen oder Diensttags verwenden, um den Datenverkehr weiterzuleiten.

az network route-table route create -g MyResourceGroup --route-table-name MyRouteTable -n AzureMLRoute --address-prefix AzureMachineLearning --next-hop-type Internet

Informationen zum Konfigurieren von benutzerdefinierten Routen finden Sie unter Weiterleiten von Netzwerkdatenverkehr mit einer Routingtabelle.

Szenario: Firewall zwischen Azure Machine Learning- und Azure Storage-Endpunkten

Sie müssen auch ausgehenden Zugriff auf Storage.<region> an Port 445 zulassen.

Szenario: Arbeitsbereich, der mit aktiviertem Flag hbi_workspace erstellt wurde

Sie müssen auch ausgehenden Zugriff auf Keyvault.<region> zulassen. Dieser ausgehende Datenverkehr wird verwendet, um auf die Schlüsseltresorinstanz für den Azure Batch-Back-End-Dienst zuzugreifen.

Weitere Informationen zum hbi_workspace-Flag finden Sie im Artikel zur Datenverschlüsselung.

Szenario: Verwenden von Kubernetes-Computeressourcen

Kubernetes-Cluster, der hinter einem ausgehenden Proxyserver oder einer Firewall ausgeführt wird, benötigt eine zusätzliche ausgehende Netzwerkkonfiguration.

• Konfigurieren Sie für Kubernetes mit Azure Arc-Verbindung die Azure Arc-Netzwerkanforderungen, die von Azure Arc-Agents benötigt werden.
• Konfigurieren Sie für einen AKS-Cluster ohne Azure Arc-Verbindung die Netzwerkanforderungen für die AKS-Erweiterung.

Neben den oben genannten Anforderungen sind für Azure Machine Learning auch die folgenden ausgehenden URLs erforderlich:

Clusterinterne Kommunikationsanforderungen

Zum Installieren der Azure Machine Learning-Erweiterung auf Kubernetes-Computeressourcen werden alle Azure Machine Learning-Komponenten im Namespace azureml bereitgestellt. Die folgende clusterinterne Kommunikation ist erforderlich, um sicherzustellen, dass die ML-Workloads im AKS-Cluster gut funktionieren.

• Die Komponenten im azureml-Namespace sollten mit dem Kubernetes-API-Server kommunizieren können.
• Die Komponenten im azureml-Namespace sollten mit dem miteinander kommunizieren können.
• Die Komponenten im azureml-Namespace sollten mit kube-dns und konnectivity-agent im kube-system-Namespace kommunizieren können.
• Wenn der Cluster für Rückschlüsse in Echtzeit verwendet wird, sollten azureml-fe-xxx-PODs mit den bereitgestellten Modell-PODs auf Port 5001 in einem anderen Namespace kommunizieren können. azureml-fe-xxx-PODs sollten die Ports 11001, 12001, 12101, 12201, 20000, 8000, 8001, 9001 für die interne Kommunikation öffnen.
• Wenn der Cluster für Rückschlüsse in Echtzeit verwendet wird, sollte das bereitgestellte Modell PODs mit amlarc-identity-proxy-xxx-PODs auf Port 9999 kommunizieren können.

Szenario: Visual Studio Code

Visual Studio Code basiert auf bestimmten Hosts und Ports, um eine Remoteverbindung herzustellen.

Hosts

Die Hosts in diesem Abschnitt werden verwendet, um Visual Studio Code-Pakete zu installieren, um eine Remoteverbindung zwischen Visual Studio Code und Compute-Instanzen in Ihrem Azure Machine Learning-Arbeitsbereich einzurichten.

Ports

Sie müssen den Netzwerkdatenverkehr an Ports 8704 bis 8710 zulassen. Der VS Code-Server wählt dynamisch den ersten verfügbaren Port in diesem Bereich aus.

Szenario: Firewall oder Azure Firewall von Drittanbietern ohne Diensttags

Die Anleitungen in diesem Abschnitt sind generisch, da jede Firewall über eine eigene Terminologie und bestimmte Konfigurationen verfügt. Wenn Sie Fragen haben, lesen Sie die Dokumentation für die von Ihnen verwendete Firewall.

Wenn sie nicht ordnungsgemäß konfiguriert ist, kann die Firewall Probleme bei der Verwendung Ihres Arbeitsbereichs verursachen. Es gibt verschiedene Hostnamen, die vom Azure Machine Learning-Arbeitsbereich verwendet werden. In den folgenden Abschnitten sind Hosts aufgeführt, die für Azure Machine Learning erforderlich sind.

Abhängigkeiten-API

Sie können auch die Azure Machine Learning-REST-API verwenden, um eine Liste von Hosts und Ports abzurufen, für die Sie ausgehenden Datenverkehr zulassen müssen. Verwenden Sie die folgenden Schritte, um diese API zu verwenden:

1. Abrufen eines Authentifizierungstokens Der folgende Befehl zeigt, wie Sie mithilfe der Azure CLI ein Authentifizierungstoken und eine Abonnement-ID abrufen:

   TOKEN=$(az account get-access-token --query accessToken -o tsv)
   SUBSCRIPTION=$(az account show --query id -o tsv)
   

2. Rufen Sie die API auf. Ersetzen Sie im folgenden Befehl die folgenden Werte:

   • Ersetzen Sie <region> durch die Azure-Region, in der sich Ihr Arbeitsbereich befindet. Beispiel: westus2.
   • Ersetzen Sie <resource-group> durch die Ressourcengruppe, die Ihren Arbeitsbereich enthält.
   • Ersetzen Sie <workspace-name> durch den Namen Ihres Arbeitsbereichs.

   az rest --method GET \
       --url "https://<region>.api.azureml.ms/rp/workspaces/subscriptions/$SUBSCRIPTION/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>/outboundNetworkDependenciesEndpoints?api-version=2018-03-01-preview" \
       --header Authorization="Bearer $TOKEN"
   

Das Ergebnis des API-Aufrufs ist ein JSON-Dokument. Der folgende Codeausschnitt ist ein Auszug aus diesem Dokument:

{
  "value": [
    {
      "properties": {
        "category": "Azure Active Directory",
        "endpoints": [
          {
            "domainName": "login.microsoftonline.com",
            "endpointDetails": [
              {
                "port": 80
              },
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
    {
      "properties": {
        "category": "Azure portal",
        "endpoints": [
          {
            "domainName": "management.azure.com",
            "endpointDetails": [
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
...

Microsoft-Hosts

Die Hosts in den folgenden Tabellen befinden sich im Besitz von Microsoft und stellen Dienste bereit, die für die ordnungsgemäße Funktionsweise Ihres Arbeitsbereichs erforderlich sind. In den Tabellen sind die Hosts für die Regionen Azure Public, Azure Government und Microsoft Azure operated by 21Vianet aufgeführt.

Allgemeine Azure-Hosts

Azure Machine Learning-Hosts

Azure Machine Learning-Compute-Instanz- und -Computeclusterhosts

Docker-Images, die von Azure Machine Learning verwaltet werden

Verwenden Sie außerdem die Informationen im Abschnitt zu Computeressourcen mit öffentlicher IP-Adresse, um IP-Adressen für BatchNodeManagement und AzureMachineLearning hinzuzufügen.

Informationen zum Einschränken des Zugriffs auf Modelle, die in AKS bereitgestellt werden, finden Sie unter Steuern des ausgehenden Datenverkehrs in Azure Kubernetes Service.

Überwachung, Metriken und Diagnose

• dc.applicationinsights.azure.com
• dc.applicationinsights.microsoft.com
• dc.services.visualstudio.com
• *.in.applicationinsights.azure.com

Eine Liste der IP-Adressen für diese Hosts finden Sie unter Von Azure Monitor verwendete IP-Adressen.

Nächste Schritte

Dieser Artikel ist Teil einer Reihe zum Schützen eines Azure Machine Learning-Workflows. Sehen Sie sich auch die anderen Artikel in dieser Reihe an:

• Virtuelle Netzwerke im Überblick

• Aktivieren von Studio-Funktionalität
• Verwenden von benutzerdefiniertem DNS

Weitere Informationen zum Konfigurieren von Azure Firewall finden Sie unter Tutorial: Bereitstellen und Konfigurieren von Azure Firewall über das Azure-Portal.