Azure Machine Learning ワークスペース用にプライベート エンドポイントを構成する

適用対象: Azure CLI ml 拡張機能 v2 (現行)

このドキュメントでは、Azure Machine Learning ワークスペース用にプライベート エンドポイントを構成する方法について説明します。 Azure Machine Learning 用の仮想ネットワークの作成については、仮想ネットワークの分離とプライバシーの概要に関する記事をご覧ください。

Azure Private Link を使用すると、ワークスペースへの接続を Azure Virtual Network に制限できます。 プライベート エンドポイントを作成することで、仮想ネットワークからの接続のみを受け入れるようにワークスペースを制限します。 プライベート エンドポイントは、仮想ネットワーク内にある一組のプライベート IP アドレスです。 これにより、ワークスペースへのアクセスが、プライベート IP アドレスでのみ行われるように制限できます。 プライベート エンドポイントを使用すると、データ流出のリスクを軽減できます。 プライベート エンドポイントの詳細については、Azure Private Link に関する記事を参照してください。

前提条件

• プライベート エンドポイントを作成するには、既存の仮想ネットワークが必要です。

  警告

  VNet の IP アドレス範囲に 172.17.0.0/16 を使用しないでください。 これは Docker ブリッジ ネットワークで使用される既定のサブネット範囲であり、VNet に使用するとエラーが発生します。 仮想ネットワークに接続する内容によっては、他の範囲も競合する可能性があります。 たとえば、オンプレミス ネットワークを VNet に接続する予定で、オンプレミス ネットワークでも 172.16.0.0/16 の範囲が使用されている場合です。 最終的には、ネットワーク インフラストラクチャーを計画するのはユーザーの責任です。

• プライベート エンドポイントを追加する前に、プライベート エンドポイントのネットワーク ポリシーを無効にします。

制限事項

• プライベート エンドポイントでセキュリティ保護されたワークスペースのパブリック アクセスを有効にしていて、パブリック インターネット経由で Azure Machine Learning スタジオを使用する場合、デザイナーなどの一部の機能から自分のデータにアクセスできないことがあります。 この問題は、データが仮想ネットワークの背後でセキュリティ保護されているサービスに格納されている場合に発生します。 たとえば、Azure Storage アカウントです。

• Mozilla Firefox を使用している場合、ワークスペースのプライベート エンドポイントにアクセスしようとしたときに問題が発生することがあります。 この問題は、Mozilla Firefox の DNS over HTTPS に関連している可能性があります。 Microsoft Edge または Google Chrome を使うことをお勧めします。

• プライベート エンドポイントを使用しても、ワークスペースの削除やコンピューティング リソースの管理などの Azure コントロール プレーン (管理操作) には影響しません。 たとえば、コンピューティング先の作成、更新、削除などです。 これらの操作は、通常どおりパブリック インターネット経由で実行されます。 Azure Machine Learning Studio を使用するなどのデータ プレーン操作、API (公開されたパイプラインを含む)、または SDK では、プライベート エンドポイントが使用されます。

• プライベート エンドポイントを使用してワークスペースにコンピューティング インスタンスまたはコンピューティング クラスターを作成するときは、コンピューティング インスタンスとコンピューティング クラスターがワークスペースと同じ Azure リージョンに存在する必要があります。

• プライベート エンドポイントを使用して Azure Kubernetes Service クラスターをワークスペースにアタッチするときは、クラスターがワークスペースと同じリージョンに存在する必要があります。

• 複数のプライベート エンドポイントで 1 つのワークスペースを使用するときは、プライベート エンドポイントの 1 つが、次の依存関係サービスと同じ仮想ネットワーク内に存在する必要があります。

  • ワークスペース用の既定のストレージを提供する Azure ストレージ アカウント
  • ワークスペース用の Azure Key Vault
  • ワークスペース用の Azure Container Registry。

  たとえば、1 つの仮想ネットワーク ("サービス") には、依存関係サービスとワークスペース用のプライベート エンドポイントが含まれます。 この構成により、ワークスペースはサービスと通信できます。 別の仮想ネットワーク ("クライアント") には、ワークスペース用のプライベート エンドポイントのみが含まれ、クライアント開発用コンピューターとワークスペースの間の通信にのみ使用できます。

プライベート エンドポイントを使用するワークスペースを作成する

プライベート エンドポイントを使用してワークスペースを作成するには、次のいずれかの方法を使用します。 いずれの方法でも既存の仮想ネットワークが必要です。

$schema: https://azuremlschemas.azureedge.net/latest/workspace.schema.json
name: mlw-privatelink-prod
location: eastus
display_name: Private Link endpoint workspace-example
description: When using private link, you must set the image_build_compute property to a cluster name to use for Docker image environment building. You can also specify whether the workspace should be accessible over the internet.
image_build_compute: cpu-compute
public_network_access: Disabled
tags:
  purpose: demonstration

az ml workspace create \
    -g <resource-group-name> \
    --file privatelink.yml

az network private-endpoint create \
    --name <private-endpoint-name> \
    --vnet-name <vnet-name> \
    --subnet <subnet-name> \
    --private-connection-resource-id "/subscriptions/<subscription>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>" \
    --group-id amlworkspace \
    --connection-name workspace -l <location>

# Add privatelink.api.azureml.ms
az network private-dns zone create \
    -g <resource-group-name> \
    --name privatelink.api.azureml.ms

az network private-dns link vnet create \
    -g <resource-group-name> \
    --zone-name privatelink.api.azureml.ms \
    --name <link-name> \
    --virtual-network <vnet-name> \
    --registration-enabled false

az network private-endpoint dns-zone-group create \
    -g <resource-group-name> \
    --endpoint-name <private-endpoint-name> \
    --name myzonegroup \
    --private-dns-zone privatelink.api.azureml.ms \
    --zone-name privatelink.api.azureml.ms

# Add privatelink.notebooks.azure.net
az network private-dns zone create \
    -g <resource-group-name> \
    --name privatelink.notebooks.azure.net

az network private-dns link vnet create \
    -g <resource-group-name> \
    --zone-name privatelink.notebooks.azure.net \
    --name <link-name> \
    --virtual-network <vnet-name> \
    --registration-enabled false

az network private-endpoint dns-zone-group add \
    -g <resource-group-name> \
    --endpoint-name <private-endpoint-name> \
    --name myzonegroup \
    --private-dns-zone privatelink.notebooks.azure.net \
    --zone-name privatelink.notebooks.azure.net

ワークスペースにプライベート エンドポイントを追加する

次のいずれかの方法を使用して、既存のワークスペースにプライベート エンドポイントを追加します。

az network private-endpoint create \
    --name <private-endpoint-name> \
    --vnet-name <vnet-name> \
    --subnet <subnet-name> \
    --private-connection-resource-id "/subscriptions/<subscription>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>" \
    --group-id amlworkspace \
    --connection-name workspace -l <location>

# Add privatelink.api.azureml.ms
az network private-dns zone create \
    -g <resource-group-name> \
    --name 'privatelink.api.azureml.ms'

az network private-dns link vnet create \
    -g <resource-group-name> \
    --zone-name 'privatelink.api.azureml.ms' \
    --name <link-name> \
    --virtual-network <vnet-name> \
    --registration-enabled false

az network private-endpoint dns-zone-group create \
    -g <resource-group-name> \
    --endpoint-name <private-endpoint-name> \
    --name myzonegroup \
    --private-dns-zone 'privatelink.api.azureml.ms' \
    --zone-name 'privatelink.api.azureml.ms'

# Add privatelink.notebooks.azure.net
az network private-dns zone create \
    -g <resource-group-name> \
    --name 'privatelink.notebooks.azure.net'

az network private-dns link vnet create \
    -g <resource-group-name> \
    --zone-name 'privatelink.notebooks.azure.net' \
    --name <link-name> \
    --virtual-network <vnet-name> \
    --registration-enabled false

az network private-endpoint dns-zone-group add \
    -g <resource-group-name> \
    --endpoint-name <private-endpoint-name> \
    --name myzonegroup \
    --private-dns-zone 'privatelink.notebooks.azure.net' \
    --zone-name 'privatelink.notebooks.azure.net'

プライベート エンドポイントを削除する

ワークスペースの 1 つまたはすべてのプライベート エンドポイントを削除できます。 プライベート エンドポイントを削除すると、そのエンドポイントが関連付けられていた仮想ネットワークからワークスペースが削除されます。 プライベート エンドポイントを削除すると、ワークスペースがその仮想ネットワーク内のリソースにアクセスできなくなったり、その仮想ネットワーク内のリソースがワークスペースにアクセスできなくなったりする可能性があります。 たとえば、仮想ネットワークとパブリック インターネットとの間でアクセスできなくなるような場合です。

プライベート エンドポイントを削除するには、次の情報のようにします。

az network private-endpoint delete \
    --name <private-endpoint-name> \
    --resource-group <resource-group-name> \

パブリック アクセスを有効にする

状況によっては、仮想ネットワークではなくパブリック エンドポイント経由で、セキュリティで保護された自分のワークスペースに他のユーザーが接続できるようにすることが必要になる場合があります。 または、仮想ネットワークからワークスペースを削除し、パブリック アクセスを再び有効にしたいことがあります。

パブリック アクセスを有効にするには、次の手順のようにします。

az ml workspace update \
    --set public_network_access=Enabled \
    -n <workspace-name> \
    -g <resource-group-name>

インターネット IP 範囲からのみパブリック アクセスを有効にする (プレビュー)

IP ネットワーク規則を作成すると、IP ネットワーク規則を使用して特定のパブリック インターネット IP アドレス範囲からワークスペースやエンドポイントへのアクセスを許可できます。 各 Azure Machine Learning ワークスペースでは、最大 200 個の規則がサポートされています。 これらの規則により、特定のインターネット ベースのサービスとオンプレミスのネットワークにアクセスが許可され、一般的なインターネット トラフィックがブロックされます。

IP ネットワーク規則の制限

IP アドレスの範囲には、次の制限が適用されます。

• IP ネットワーク規則は、パブリック インターネットの IP アドレスに対してのみ許可されます。

  [予約済み IP アドレスの範囲] は、10、172.16 から 172.31、192.168 で始まるプライベート アドレスなどの IP 規則では許可されません。

• 許可するインターネット アドレスの範囲は、CIDR 表記法を使って 16.17.18.0/24 の形式で、または 16.17.18.19 のように個々の IP アドレスとして指定する必要があります。

• ストレージ ファイアウォール規則の構成では、IPv4 アドレスのみがサポートされています。

• この機能が有効であると、Curl などの任意のクライアント ツールを使用してパブリック エンドポイントをテストできますが、ポータルのエンドポイント テスト ツールはサポートされません。

ワークスペースに安全に接続する

VNet の背後で保護されているワークスペースに接続するには、次の方法のいずれかを使用します。

• Azure VPN ゲートウェイ - オンプレミスのネットワークをプライベート接続を介して VNet に接続します。 接続は、パブリック インターネットを介して行われます。 使用できる VPN ゲートウェイには、次の 2 種類があります。

  • ポイント対サイト: 各クライアント コンピューターは、VPN クライアントを使用して VNet に接続します。
  • サイト間: VPN デバイスにより、VNet がオンプレミス ネットワークに接続されます。

• ExpressRoute - オンプレミスのネットワークをプライベート接続を介してクラウドに接続します。 接続は、接続プロバイダーを使用して行われます。

• Azure Bastion - このシナリオでは、VNet 内に Azure 仮想マシン (ジャンプ ボックスと呼ばれることもある) を作成します。 次に、Azure Bastion を使用して VM に接続します。 Bastion を使用すると、ローカル Web ブラウザーから RDP または SSH セッションを使用して VM に接続できます。 続いて、開発環境としてジャンプ ボックスを使用します。 これは VNet 内にあるため、ワークスペースに直接アクセスできます。 ジャンプ ボックスの使用例については、チュートリアル: セキュリティで保護されたワークスペースの作成に関するページを参照してください。

ワークスペースへの接続に問題がある場合は、「セキュリティで保護されたワークスペース接続のトラブルシューティング」を参照してください。

複数のプライベート エンドポイント

Azure Machine Learning では 1 つのワークスペースに複数のプライベート エンドポイントを使用することがサポートされています。 複数のプライベート エンドポイントは、異なる環境を分離しておくときによく使用されます。 複数のプライベート エンドポイントを使用することで有効になるシナリオを次に示します。

• 別の仮想ネットワーク内のクライアント開発環境。

• 別の仮想ネットワーク内の Azure Kubernetes Service (AKS) クラスター。

• 別の仮想ネットワーク内の他の Azure サービス。 たとえば、Azure Synapse と Azure Data Factory で、1 つの Microsoft マネージド仮想ネットワークを使用できます。 どの場合も、ワークスペース用のプライベート エンドポイントを、それらのサービスによって使用されるマネージド仮想ネットワークに追加できます。 これらのサービスでマネージド仮想ネットワークを使用する方法の詳細については、次の記事を参照してください。

  • Synapse のマネージド プライベート エンドポイント
  • Azure Data Factory のマネージド仮想ネットワーク。

  重要

  Synapse のデータ流出防止は、Azure Machine Learning ではサポートされていません。

複数のプライベート エンドポイントを追加するには、「ワークスペースにプライベート エンドポイントを追加する」セクションで説明されているのと同じ手順を使用します。

シナリオ: 分離されたクライアント

Azure Machine Learning によって使用されているコンピューティング リソースに直接アクセスできないように、開発クライアントを分離する場合は、次の手順を使用します。

1. クライアント用の別の仮想ネットワークを作成します。 この仮想ネットワークには、クライアントとして機能する Azure Virtual Machines や、仮想ネットワークに接続するためにオンプレミスのクライアントによって使用される VPN Gateway が含まれている場合があります。
2. ワークスペースによって使用される Azure ストレージ アカウント、Azure Key Vault、Azure Container Registry 用に、新しいプライベート エンドポイントを追加します。 これらのプライベート エンドポイントは、クライアント仮想ネットワークに存在する必要があります。
3. ワークスペースによって使用される別のストレージがある場合は、そのストレージ用に新しいプライベート エンドポイントを追加します。 プライベート エンドポイントは、クライアント仮想ネットワークに存在し、プライベート DNS ゾーンの統合が有効にされている必要があります。
4. ワークスペースに新しいプライベート エンドポイントを追加します。 このプライベート エンドポイントは、クライアント仮想ネットワークに存在し、プライベート DNS ゾーンの統合が有効にされている必要があります。
5. 仮想ネットワークのスタジオに関する記事を参照して、Azure Machine Learning スタジオがストレージ アカウントにアクセスできるようにします。

次の図はこの構成を示したものです。 ワークロード仮想ネットワークには、トレーニングとデプロイのためにワークスペースによって作成されたコンピューティング リソースが含まれます。 クライアント仮想ネットワークには、クライアントまたはクライアントの ExpressRoute と VPN の接続が含まれます。 どちらの VNet にも、ワークスペース、Azure ストレージ アカウント、Azure Key Vault、Azure Container Registry 用のプライベート エンドポイントが含まれます。

シナリオ: 分離された Azure Kubernetes Service

ワークスペースによって使用される分離された Azure Kubernetes Service を作成する場合は、次の手順を使用します。

1. Azure Kubernetes Service インスタンスを作成します。 作成中に、AKS によって AKS クラスターが含まれる仮想ネットワークが作成されます。
2. ワークスペースによって使用される Azure ストレージ アカウント、Azure Key Vault、Azure Container Registry 用に、新しいプライベート エンドポイントを追加します。 これらのプライベート エンドポイントは、クライアント仮想ネットワークに存在する必要があります。
3. ワークスペースによって使用される他のストレージがある場合は、そのストレージ用に新しいプライベート エンドポイントを追加します。 プライベート エンドポイントは、クライアント仮想ネットワークに存在し、プライベート DNS ゾーンの統合が有効にされている必要があります。
4. ワークスペースに新しいプライベート エンドポイントを追加します。 このプライベート エンドポイントは、クライアント仮想ネットワークに存在し、プライベート DNS ゾーンの統合が有効にされている必要があります。
5. AKS クラスターを Azure Machine Learning ワークスペースにアタッチします。 詳細については、「Azure Kubernetes Service クラスターを作成してアタッチする」を参照してください。

関連するコンテンツ

• 仮想ネットワークの分離とプライバシーの概要

• カスタム DNS サーバーでワークスペースを使用する方法

• API プラットフォームのネットワーク分離