仮想ネットワーク(v1)を使用して Azure Machine Learning ワークスペースをセキュリティで保護する

適用対象:Azure CLI ml 拡張機能 v1Python SDK azureml v1

この記事では、Azure Virtual Network 内の Azure Machine Learning ワークスペースとそれに関連付けられているリソースをセキュリティで保護する方法について説明します。

この記事は、Azure Machine Learning ワークフローのセキュリティ保護に関するシリーズの一部です。 このシリーズの他の記事は次のとおりです。

• Virtual Network の概要
• トレーニング環境をセキュリティで保護する
• 推論環境をセキュリティで保護する
• スタジオの機能を有効にする
• カスタム DNS を使用する
• ファイアウォールを使用する
• API プラットフォームのネットワーク分離

安全なワークスペースの作成に関するチュートリアルについては、「チュートリアル: セキュリティで保護されたワークスペースを作成する」、「Bicep テンプレート」、または「Teraform テンプレート」を参照してください。

この記事では、仮想ネットワークで次のワークスペース リソースを有効にする方法について説明します。

前提条件

• 一般的な仮想ネットワークのシナリオと全体的な仮想ネットワーク アーキテクチャについては、ネットワーク セキュリティの概要に関するページを参照してください。

• ベスト プラクティスについては、「Azure Machine Learning のエンタープライズ セキュリティに関するベスト プラクティス」の記事を参照してください。

• コンピューティング リソースで使用する既存の仮想ネットワークとサブネット。

  警告

  VNet の IP アドレス範囲に 172.17.0.0/16 を使用しないでください。 これは Docker ブリッジ ネットワークで使用される既定のサブネット範囲であり、VNet に使用するとエラーが発生します。 仮想ネットワークに接続する内容によっては、他の範囲も競合する可能性があります。 たとえば、オンプレミス ネットワークを VNet に接続する予定で、オンプレミス ネットワークでも 172.16.0.0/16 の範囲が使用されている場合です。 最終的には、ネットワーク インフラストラクチャーを計画するのはユーザーの責任です。

• リソースを仮想ネットワークまたはサブネットにデプロイするには、ご利用のユーザー アカウントが、Azure ロールベースのアクセス制御 (Azure RBAC) で次のアクションへのアクセス許可を保持している必要があります。

  • 仮想ネットワーク リソースの "Microsoft.Network/*/read"。 このアクセス許可は、Azure Resource Manager (ARM) テンプレートのデプロイには必要ありません。
  • 仮想ネットワーク リソース上の "Microsoft.Network/virtualNetworks/join/action"。
  • サブネット リソース上の "Microsoft.Network/virtualNetworks/subnets/join/action"。

  ネットワークでの Azure RBAC の詳細については、ネットワークの組み込みロールに関するページを参照してください

Azure Container Registry

• Azure Container Registry が Premium バージョンである必要があります。 アップグレードの詳細については、「SKU の変更」を参照してください。

• Azure Container Registry でプライベート エンドポイントが使用される場合、トレーニングまたは推論に使用されるストレージ アカウントとコンピューティング ターゲットと同じ "仮想ネットワーク" 内に Azure Container Registry が存在している必要があります。 サービス エンドポイントが使用される場合、ストレージ アカウントおよびコンピューティング ターゲットと同じ "仮想ネットワーク" および "サブネット" 内に存在する必要があります。

• Azure Machine Learning ワークスペースに、Azure Machine Learning コンピューティング クラスターが含まれている必要があります。

制限事項

Azure Storage アカウント

• Azure Machine Learning スタジオを使う予定で、ストレージ アカウントも VNet 内にある場合は、追加の検証要件があります。

  • ストレージ アカウントにサービス エンドポイントを使っている場合、ワークスペースのプライベート エンドポイントとストレージのサービス エンドポイントが VNet の同じサブネット内に存在する必要があります。
  • ストレージ アカウントにプライベート エンドポイントを使っている場合、ワークスペースのプライベート エンドポイントとストレージのプライベート エンドポイントが同じ VNet 内に存在する必要があります。 この場合、サブネットは違っていても構いません。

Azure Container Instances

Azure Machine Learning ワークスペースがプライベート エンドポイントで構成されている場合、VNet でのAzure Container Instances へのデプロイはサポートされていません。 代わりに、ネットワークの分離とマネージド オンライン エンドポイントを使用することを検討してください。

Azure Container Registry

ACR が仮想ネットワークの背後にある場合、Azure Machine Learning でそれを使用して Docker イメージを直接構築することはできません。 代わりに、コンピューティング クラスターを使用してイメージが構築されます。

Azure Monitor

必要なパブリック インターネット アクセス

Azure Machine Learning は、パブリック インターネットへの受信アクセスと送信アクセスの両方が必要です。 次の表に、必要なアクセスの概要と、その目的を示します。 .region で終わるサービス タグでは、region を、ご利用のワークスペースを含む Azure リージョンに置き換えます。 Storage.westus の例を次に示します。

機械学習プロジェクトで必要なパッケージをインストールするために、Visual Studio Code サイトと Microsoft 以外のサイトへの送信トラフィックを許可する必要がある場合があります。 次の表に、機械学習に一般的に使用されるリポジトリを示します。

Azure Machine Learning で Azure Kubernetes Service (AKS) を使用する場合は、AKS VNet への次のトラフィックを許可します。

• 「Azure Kubernetes Service (AKS) でエグレス トラフィックを制限する」で説明されている AKS の受信または送信の一般的な要件。
• mcr.microsoft.com への送信。
• AKS クラスターにモデルをデプロイする場合は、「ML モデルを Kubernetes Service にデプロイする」記事のガイダンスを使用してください。

ファイアウォール ソリューションの使用に関する詳細については、Azure Machine Learning でのファイアウォールの使用に関するページを参照してください。

プライベート エンドポイントを使用してワークスペースをセキュリティで保護する

Azure Private Link では、プライベート エンドポイントを使用してワークスペースに接続できます。 プライベート エンドポイントは、仮想ネットワーク内にある一組のプライベート IP アドレスです。 これにより、ワークスペースへのアクセスが、プライベート IP アドレスでのみ行われるように制限できます。 プライベート エンドポイントを使用すると、データ流出のリスクを軽減できます。

ワークスペースのプライベート エンドポイントの構成の詳細については、プライベート エンドポイントの構成方法に関する記事を参照してください。

Azure Storage アカウントをセキュリティで保護する

Azure Machine Learning では、プライベート エンドポイントまたはサービス エンドポイントを使用するようにストレージ アカウントを構成できます。

Azure Key Vault をセキュリティで保護する

Azure Machine Learning では、関連付けられた Key Vault インスタンスを使用して、次の資格情報が格納されます。

• 関連付けられたストレージ アカウントの接続文字列
• Azure コンテナー リポジトリ インスタンスへのパスワード
• データ ストアへの接続文字列

Azure キー コンテナーは、プライベート エンドポイントまたはサービス エンドポイントのいずれかを使用するように構成できます。 仮想ネットワークの内側で、Azure Machine Learning 実験機能を Azure Key Vault で使用するには、次の手順を使用します。

Azure Container Registry (ACR) の有効化

プライベート エンドポイントを使用するように Azure Container Registry を構成できます。 次の手順を使用して、仮想ネットワーク内にあるときに ACR を使用するようにワークスペースを構成します。

1. 次の方法のいずれかを使用して、お使いのワークスペースの Azure Container Registry の名前を見つけます。

   • Azure CLI
   • Python SDK

   適用対象: Azure CLI ml extension v1

   Azure CLI 用の Machine Learning 拡張機能 v1 をインストールしている場合は、az ml workspace show コマンドを使用して、ワークスペースの情報を表示できます。

   az ml workspace show -w yourworkspacename -g resourcegroupname --query 'containerRegistry'
   

   このコマンドでは "/subscriptions/{GUID}/resourceGroups/{resourcegroupname}/providers/Microsoft.ContainerRegistry/registries/{ACRname}" のような値が返されます。 文字列の最後の部分がワークスペースの Azure Container Registry の名前です。

2. 仮想ネットワークへのアクセスを制限するには、Azure Container Registry へのプライベート接続に関するページの手順に従います。 仮想ネットワークを追加するときに、Azure Machine Learning リソースの仮想ネットワークとサブネットを選択します。

3. ワークスペースの ACR を構成し、信頼されたサービスによるアクセスを許可します。

4. Azure Machine Learning コンピューティング クラスターを作成する。 このクラスターは、ACR が VNet の背後にある場合に Docker イメージをビルドするために使用されます。 詳細については、コンピューティング クラスターの作成に関するページを参照してください。

5. 次のいずれかの方法を使用して、コンピューティング クラスターを使用して Docker イメージをビルドするようにワークスペースを構成します。

   重要

   イメージ ビルドにコンピューティング クラスターを使用する場合は、次の制限事項が適用されます。

   • CPU SKU のみがサポートされています。
   • パブリック IP アドレスなしで構成されたコンピューティング クラスターを使用する場合は、クラスターがパブリック インターネットにアクセスするための何らかの方法を指定する必要があります。 Microsoft Container Registry に保存されているイメージ、Pypi にインストールされているパッケージ、Conda などにアクセスする場合は、インターネット アクセスが必要です。インターネットにアクセスするためにパブリック IP に到達するには、ユーザー定義ルーティング (UDR) を構成する必要があります。 たとえば、ファイアウォールのパブリック IP を使用したり、パブリック IP で Virtual Network NAT を使用したりすることができます。 詳細については、「VNet で安全にトレーニングする方法」を参照してください。
   • Azure CLI
   • Python SDK

   ビルド コンピューティングは、az ml workspace update コマンドを使用して設定できます。 このコマンドは、Machine Learning の v1 と v2 の両方の Azure CLI 拡張機能に共通です。 次のコマンドで、myworkspace をワークスペース名に、myresourcegroup をワークスペースを含むリソース グループに、mycomputecluster をコンピューティング クラスター名に置き換えます。

   az ml workspace update --name myworkspace --resource-group myresourcegroup --image-build-compute mycomputecluster
   

データストアとデータセット

次の表に、検証をスキップする必要があるサービスの一覧を示します。

次のコード サンプルでは、新しい Azure BLOB データストアが作成され、skip_validation=True が設定されます。

blob_datastore = Datastore.register_azure_blob_container(workspace=ws,  

                                                         datastore_name=blob_datastore_name,  

                                                         container_name=container_name,  

                                                         account_name=account_name, 

                                                         account_key=account_key, 

                                                         skip_validation=True ) // Set skip_validation to true

データセットを使用する

次のデータセットの種類では、データセットの検証をスキップする構文は似ています。

• 区切りファイル
• JSON
• Parquet
• SQL
• ファイル

次のコードでは、新しい JSON データセットが作成され、validate=False が設定されます。

json_ds = Dataset.Tabular.from_json_lines_files(path=datastore_paths, 

validate=False) 

Azure Monitor と Application Insights をセキュリティで保護する

Azure Monitor とワークスペースの Application Insights インスタンスのネットワーク分離を有効にするには、次の手順を使用します。

1. Azure Portal に Application Insights のリソースを開きます。 [概要] タブには、Workspace プロパティがある場合とない場合があります。 プロパティが ない 場合は、手順 2 を実行します。 ある 場合は、手順 3 に直接進むことができます。

   ヒント

   新しいワークスペースでは、既定でワークスペース ベースの Application Insights リソースが作成されます。 ワークスペースが最近作成された場合は、手順 2 を実行する必要はありません。

2. ワークスペースの Application Insights インスタンスをアップグレードします。 アップグレードの手順については、「ワークスペース ベースの Application Insights リソースに移行する」を参照してください。

3. Azure Monitor プライベート リンク スコープを作成し、手順 1 の Application Insights インスタンスをスコープに追加します。 これを行う手順については、Azure Monitor プライベート リンクの構成に関するページを参照してください。

ワークスペースに安全に接続する

VNet の背後で保護されているワークスペースに接続するには、次の方法のいずれかを使用します。

• Azure VPN ゲートウェイ - オンプレミスのネットワークをプライベート接続を介して VNet に接続します。 接続は、パブリック インターネットを介して行われます。 使用できる VPN ゲートウェイには、次の 2 種類があります。

  • ポイント対サイト: 各クライアント コンピューターは、VPN クライアントを使用して VNet に接続します。
  • サイト間: VPN デバイスにより、VNet がオンプレミス ネットワークに接続されます。

• ExpressRoute - オンプレミスのネットワークをプライベート接続を介してクラウドに接続します。 接続は、接続プロバイダーを使用して行われます。

• Azure Bastion - このシナリオでは、VNet 内に Azure 仮想マシン (ジャンプ ボックスと呼ばれることもある) を作成します。 次に、Azure Bastion を使用して VM に接続します。 Bastion を使用すると、ローカル Web ブラウザーから RDP または SSH セッションを使用して VM に接続できます。 続いて、開発環境としてジャンプ ボックスを使用します。 これは VNet 内にあるため、ワークスペースに直接アクセスできます。 ジャンプ ボックスの使用例については、チュートリアル: セキュリティで保護されたワークスペースの作成に関するページを参照してください。

ワークスペースへの接続に問題がある場合は、「セキュリティで保護されたワークスペース接続のトラブルシューティング」を参照してください。

ワークスペース診断

Azure Machine Learning スタジオまたは Python SDK から、ワークスペースの診断を実行することができます。 診断の実行後、検出された問題の一覧が返されます。 この一覧には、考えられる解決策へのリンクが含まれています。 詳細については、「ワークスペース診断の使用方法」を参照してください。

次のステップ

この記事は、Azure Machine Learning ワークフローのセキュリティ保護に関するシリーズの一部です。 このシリーズの他の記事は次のとおりです。

• Virtual Network の概要
• トレーニング環境をセキュリティで保護する
• 推論環境をセキュリティで保護する
• スタジオの機能を有効にする
• カスタム DNS を使用する
• ファイアウォールを使用する
• チュートリアル: セキュリティで保護されたワークスペースを作成する
• Bicep テンプレート
• Terraform テンプレート
• API プラットフォームのネットワーク分離