Azure IoT Edge for Linux on Windows 用の GPU アクセラレーション

適用対象: IoT Edge 1.5 IoT Edge 1.4

GPU では並列処理機能が提供され、多くの場合、CPU よりも高速なビジョンベースの推論を実行できるため、人工知能の計算によく使用されます。 人工知能と機械学習アプリケーションのサポートを強化するために、Azure IoT Edge for Linux on Windows (EFLOW) では、仮想マシンの Linux モジュールに GPU を公開できます。

Azure IoT Edge for Linux on Windows では、次のようないくつかの GPU パススルー テクノロジがサポートされています。

• デバイスの直接割り当て (DDA) - GPU コアは、Linux 仮想マシンまたはホストのいずれかに割り当てられます。

• GPU 準仮想化 (GPU-PV) - GPU は、Linux 仮想マシンとホストの間で共有されます。

デプロイ中に適切なパススルー メソッドを選択して、デバイスの GPU ハードウェアのサポートされている機能に一致させる必要があります。

前提条件

Azure IoT Edge for Linux on Windows の GPU アクセラレーション機能では、現在、GPU ハードウェアの厳選されたセットがサポートされています。 また、この機能の使用には特定のバージョンの Windows が必要である場合があります。

サポートされている GPU と必要な Windows のバージョンを次に示します。

システムのセットアップとインストール

次のセクションには、GPU に応じたセットアップとインストールに関する情報が含まれています。

NVIDIA T4/A2 GPU

T4/A2 GPU の場合、Microsoft では、GPU のベンダーから入手したデバイスのリスク軽減ドライバーをインストールすることをお勧めします。 省略可能ですが、リスク軽減ドライバーをインストールすると、デプロイのセキュリティが向上する場合があります。 詳細については、デバイスの直接割り当てを使用したグラフィックス デバイスのデプロイに関する記事を参照してください。

NVIDIA GeForce/Quadro/RTX GPU

NVIDIA GeForce/Quadro/RTX GPU の場合は、既存の CUDA ML ワークフローで使用するために、Linux 用 Windows サブシステム (WSL) 用の NVIDIA CUDA 対応ドライバーをダウンロードしてインストールします。 WSL 用の CUDA ドライバーは、もともと WSL 用に開発されたものですが、Azure IoT Edge for Linux on Windows にも使用されます。

WSL と Azure IoT Edge for Linux on Windows の間で一部のライブラリが共有されるため、Windows 10 ユーザーは WSL をインストールする必要もあります。

Intel iGPU

Intel iGPU の場合、WSL GPU をサポートする Intel グラフィックス ドライバーをダウンロードしてインストールします。

WSL と Azure IoT Edge for Linux on Windows の間で一部のライブラリが共有されるため、Windows 10 ユーザーは WSL をインストールする必要もあります。

Azure IoT Edge Linux on Windows デプロイで GPU アクセラレーションを有効にする

システムのセットアップが完了すると、Azure IoT Edge for Linux on Windows のデプロイを作成する準備が整います。 このプロセスでは、EFLOW デプロイの一部として GPU を有効にする必要があります。

たとえば、次のコマンドでは、NVIDIA A2 GPU または Intel Iris Xe のグラフィックス カードを使用して GPU 対応の仮想マシンを作成します。

#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"

#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"

GPU の名前を見つけるには、次のコマンドを実行するか、デバイス マネージャーでディスプレイ アダプターを探します。

(Get-WmiObject win32_VideoController).caption

インストールが完了すると、Azure IoT Edge for Linux on Windows を使用して、GPU アクセラレーションを使用する Linux モジュールをデプロイして実行する準備が整います。

既存の Azure IoT Edge Linux on Windows デプロイで GPU アクセラレーションを構成する

デプロイ時に GPU を割り当てるのが、操作としては最も簡単です。 ただし、デプロイ後に GPU を有効または無効にするには、'set-eflowvm' コマンドを使用します。 'set-eflowvm' を使用する場合、指定されていない引数には既定のパラメータが使用されます。 たとえば、 にします。

#Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384

#Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, otherwise they will be set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Reduces the cpuCount and memory (GPU must still be specified, otherwise the GPU will be removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096

次のステップ

サンプルの使用を開始する

EFLOW サンプル ページ にアクセスして、試しに使ってみることができる いくつかの GPU サンプルを確認してください。 これらのサンプルは、欠陥検出、作業者の安全性、在庫管理などの一般的な製造および小売シナリオを示しています。 これらのオープンソースのサンプルは、独自のビジョンベースの機械学習アプリケーションを構築するためのソリューション テンプレートとして使用できます。

パートナーから詳細を学ぶ

一部の GPU ベンダーは、EFLOW を使用してハードウェアとソフトウェアを最大限に活用するためのユーザー ガイドを提供しています。

• Azure IoT Edge for Linux on Windows (EFLOW) を使用した iGPU に関する Intel のガイド OpenVINO™ Toolkit とリファレンス実装に従って、EFLOW で Intel OpenVINO™ アプリケーションを実行する方法を確認してください。
• NVIDIA の GeForce/Quadro/RTX GPU 用 EFLOW ユーザー ガイドに従って、CUDA アクセラレータアプリケーションを EFLOW にデプロイする作業を開始します。

テクノロジの詳細を学ぶ

GPU パススルー テクノロジの詳細については、DDA のドキュメントと GPU-PV のブログ記事をご覧ください。