GPU-Beschleunigung für Azure IoT Edge für Linux unter Windows

Gilt für: IoT Edge 1.5 IoT Edge 1.4

GPUs sind eine beliebte Wahl für Berechnungen im Rahmen der künstlichen Intelligenz, da sie über parallele Verarbeitungsfunktionen verfügen und die Ausführung von auf maschinellem Sehen basierenden Rückschlussvorgängen häufig schneller als mit CPUs ist. Zur besseren Unterstützung von KI- und Machine Learning-Anwendungen kann mit Azure IoT Edge für Linux unter Windows (EFLOW) eine GPU für das Linux-Modul des virtuellen Computers verfügbar gemacht werden.

Azure IoT Edge für Linux unter Windows unterstützt mehrere GPU-Passthrough-Technologien, z. B.:

• Direkte Gerätezuweisung (Direct Device Assignment, DDA): GPU-Kerne werden entweder dem virtuellen Linux-Computer oder dem Host zugeordnet.

• GPU-Paravirtualisierung (GPU-PV): Die GPU wird vom virtuellen Linux-Computer und vom Host gemeinsam genutzt.

Sie müssen während der Bereitstellung die entsprechende Passthrough-Methode auswählen, damit sie den unterstützten Funktionen der GPU-Hardware Ihres Geräts entspricht.

Voraussetzungen

Für die Features für die GPU-Beschleunigung von Azure IoT Edge für Linux unter Windows wird derzeit nur speziell ausgewählte GPU-Hardware unterstützt. Außerdem kann die Nutzung dieses Features bestimmte Windows-Versionen erfordern.

Hier sind die unterstützten GPUs und die erforderlichen Windows-Versionen angegeben:

Systemsetup und -installation

Die folgenden Abschnitte enthalten Setup- und Installationsinformationen für verschiedene GPUs.

NVIDIA T4-/A2-GPUs

Für T4-/A2GPUs empfiehlt Microsoft die Installation eines Treibers für die Risikominderung des Geräts, den Sie beim Anbieter Ihrer GPU erhalten. Die Installation eines Treibers für die Risikominderung des Geräts ist zwar optional, aber Sie können damit ggf. die Sicherheit Ihrer Bereitstellung erhöhen. Weitere Informationen finden Sie unter Bereitstellen von Grafikgeräten mit Discrete Device Assignment.

NVIDIA GeForce-/Quadro-/RTX-GPUs

Laden Sie für NVIDIA GeForce-/Quadro-/RTX-GPUs den NVIDIA CUDA-fähigen Treiber für das Windows-Subsystem für Linux (WSL) herunter, und installieren Sie ihn, um ihn für Ihre vorhandenen CUDA-ML-Workflows zu nutzen. Die „CUDA for WSL“-Treiber wurden ursprünglich für WSL entwickelt, aber sie werden auch für Azure IoT Edge für Linux unter Windows eingesetzt.

Außerdem müssen Windows 10-Benutzer WSL installieren, weil einige der Bibliotheken zwischen WSL und Azure IoT Edge für Linux unter Windows gemeinsam genutzt werden.

Intel iGPUs

Laden Sie für Intel iGPUs den Intel-Grafiktreiber mit WSL-GPU-Unterstützung herunter, und installieren Sie ihn.

Außerdem müssen Windows 10-Benutzer WSL installieren, weil einige der Bibliotheken zwischen WSL und Azure IoT Edge für Linux unter Windows gemeinsam genutzt werden.

Aktivieren der GPU-Beschleunigung in Ihrer Azure IoT Edge-Bereitstellung für Linux unter Windows

Sobald die Systemeinrichtung abgeschlossen ist, können Sie Ihre Bereitstellung von Azure IoT Edge für Linux unter Windows erstellen. Bei diesem Prozess müssen Sie die GPU im Rahmen der EFLOW-Bereitstellung aktivieren.

Beispielsweise erstellen Sie mit den folgenden Befehlen eine GPU-fähige VM mit einer NVIDIA A2-GPU oder Intel Iris Xe-Grafikkarte.

#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"

#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"

Um den Namen Ihrer GPU zu ermitteln, können Sie den folgenden Befehl ausführen oder im Geräte-Manager nach Anzeigeadaptern suchen.

(Get-WmiObject win32_VideoController).caption

Nach Abschluss der Installation sind Sie bereit, die Linux-Module mit GPU-Beschleunigung über Azure IoT Edge für Linux unter Windows bereitzustellen und auszuführen.

Konfigurieren der GPU-Beschleunigung in einer vorhandenen Bereitstellung von Azure IoT Edge für Linux unter Windows

Das Zuweisen der GPU zur Bereitstellungszeit stellt die einfachste Möglichkeit dar. Verwenden Sie jedoch den Befehl „set-eflowvm“, um die GPU nach der Bereitstellung zu aktivieren oder zu deaktivieren. Bei Verwendung von „set-eflowvm“ wird für alle nicht angegebenen Argumente der Standardparameter verwendet. Beispiel:

#Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384

#Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, otherwise they will be set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Reduces the cpuCount and memory (GPU must still be specified, otherwise the GPU will be removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096

Nächste Schritte

Erste Schritte mit Beispielen

Auf der Seite mit EFLOW-Beispielen finden Sie mehrere GPU-Beispiele, die Sie ausprobieren und verwenden können. Diese Beispiele veranschaulichen allgemeine Produktions- und Einzelhandelsszenarien wie Fehlererkennung, Arbeitssicherheit und Bestandsverwaltung. Open-Source-Beispiele können als Lösungsvorlage dienen, mit denen Sie eigene Vision-basierte Machine Learning-Anwendung erstellen können.

Erfahren Sie mehr von unseren Partnern.

Mehrere GPU-Anbieter bieten Benutzerleitfäden für den Großteil ihrer Hardware und Software mit EFLOW an.

• Informationen zum Ausführen von Intel OpenVINO™-Anwendungen in EFLOW finden Sie im Leitfaden von Intel für iGPU mit Azure IoT Edge für Linux unter Windows (EFLOW) und OpenVINO-Toolkit™ und in den Referenzimplementierungen.
• Informationen zu den ersten Schritten bei der Bereitstellung von CUDA-beschleunigten Anwendungen in EFLOW finden Sie im EFLOW-Benutzerleitfaden von NVIDIA für GeForce-/Quadro-/RTX-GPUs.

Ausführliche Informationen zur Technologie

Weitere Informationen zu GPU-Passthrough-Technologien finden Sie in der DDA-Dokumentation und im GPU-PV-Blogbeitrag.