Instalace a spuštění kontejneru Spatial Analysis (Preview)

Azure Stack Edge je hardwarové řešení jako služba a hraniční výpočetní zařízení s podporou umělé inteligence s možnostmi síťového přenosu dat. Podrobné pokyny k přípravě a nastavení najdete v dokumentaci ke službě Azure Stack Edge.

Minimální požadavky na hardware

• 4 GB systémové paměti RAM
• 4 GB PAMĚTI RAM GPU
• 8jádrový procesor
• Jeden výpočetní výkon NVIDIA CUDA podporující GPU 6.0 nebo vyšší (například NVIDIA Tesla T4, A2, 1080Ti nebo 2080Ti)
• 20 GB místa na pevném disku

Doporučený hardware

• 32 GB systémové paměti RAM
• 16 GB PAMĚTI RAM GPU
• 8jádrový procesor
• Dvě grafické procesory GPU podporující NVIDIA CUDA 6,0 nebo vyšší (například NVIDIA Tesla T4, A2, 1080Ti nebo 2080Ti)
• 50 GB místa na disku SSD

V tomto článku si stáhnete a nainstalujete následující softwarové balíčky. Hostitelský počítač musí být schopen spustit následující (pokyny najdete níže):

• Grafické ovladače NVIDIA a SADA NÁSTROJŮ NVIDIA CUDA. Minimální verze ovladače GPU je 460 s CUDA 11.1.
• Konfigurace pro NVIDIA MPS (Multi-Process Service).
• Docker CE a NVIDIA-Docker2
• Modul runtime Azure IoT Edge

V našem příkladu používáme virtuální počítač řady NCv3, který má jeden gpu v100.

Konfigurace výpočetních prostředků na portálu Azure Stack Edge

Služba Spatial Analysis používá k provozování řešení AI výpočetní funkce služby Azure Stack Edge. Pokud chcete povolit výpočetní funkce, ujistěte se, že:

• Připojili jste a aktivovali zařízení Azure Stack Edge.
• Pro přístup k zařízení máte klientský systém Windows s PowerShellem 5.0 nebo novějším.
• Pokud chcete nasadit cluster Kubernetes, musíte nakonfigurovat zařízení Azure Stack Edge prostřednictvím místního uživatelského rozhraní na webu Azure Portal:
  1. Povolte výpočetní funkci na zařízení Azure Stack Edge. Pokud chcete povolit výpočetní prostředky, přejděte na stránku Compute ve webovém rozhraní vašeho zařízení.
  2. Vyberte síťové rozhraní, které chcete povolit pro výpočetní prostředky, a pak vyberte Povolit. Tím se na zařízení vytvoří virtuální přepínač v tomto síťovém rozhraní.
  3. Ip adresy testovacího uzlu Kubernetes a IP adresy externích služeb Kubernetes nechte prázdné.
  4. Vyberte Použít. Tato operace může trvat asi dvě minuty.

Nastavení role Azure Stack Edge a vytvoření prostředku IoT Hubu

Na webu Azure Portal přejděte k prostředku Azure Stack Edge. Na stránce Přehled nebo navigačním seznamu vyberte tlačítko Začínáme s výpočetními funkcemi Edge. Na dlaždici Konfigurace výpočetních prostředků Edge vyberte Konfigurovat.

Na stránce Konfigurace výpočetních prostředků Edge zvolte existující IoT Hub nebo zvolte, jestli chcete vytvořit nový. Ve výchozím nastavení se k vytvoření prostředku IoT Hubu používá cenová úroveň Standard (S1). Pokud chcete použít prostředek IoT Hub úrovně Free, vytvořte ho a pak ho vyberte. Prostředek IoT Hubu používá stejné předplatné a skupinu prostředků, které používá prostředek Azure Stack Edge.

Vyberte Vytvořit. Vytvoření prostředku IoT Hubu může trvat několik minut. Po vytvoření prostředku IoT Hubu se dlaždice Konfigurace výpočetních prostředků Edge aktualizuje, aby se zobrazila nová konfigurace. Pokud chcete ověřit, že je výpočetní role Edge nakonfigurovaná, vyberte Na dlaždici Konfigurace výpočetních prostředků možnost Zobrazit konfiguraci.

Když je na hraničním zařízení nastavená výpočetní role Edge, vytvoří se dvě zařízení: zařízení IoT a zařízení IoT Edge. Obě zařízení je možné zobrazit v prostředku IoT Hubu. Modul runtime Azure IoT Edge už bude spuštěný na zařízení IoT Edge.

Povolení MPS ve službě Azure Stack Edge

Pomocí těchto kroků se vzdáleně připojte z klienta systému Windows.

1. Spusťte relaci Windows PowerShellu jako správce.

2. Ujistěte se, že je ve vašem klientovi spuštěná služba Vzdálená správa systému Windows. Na příkazovém řádku zadejte:

   winrm quickconfig
   

   Další informace naleznete v tématu Instalace a konfigurace pro vzdálenou správu systému Windows.

3. Přiřaďte proměnnou k připojovací řetězec použitému v hosts souboru.

   $Name = "<Node serial number>.<DNS domain of the device>"
   

   Nahraďte <Node serial number> sériové <DNS domain of the device> číslo uzlu a doménou DNS vašeho zařízení. Hodnoty sériového čísla uzlu můžete získat ze stránky Certifikáty a domény DNS ze stránky Zařízení v místním webovém uživatelském rozhraní vašeho zařízení.

4. Pokud chcete přidat tento připojovací řetězec pro vaše zařízení do seznamu důvěryhodných hostitelů klienta, zadejte následující příkaz:

   Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   

5. Na zařízení spusťte relaci Windows PowerShellu:

   Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   

   Pokud se zobrazí chyba související s vztahem důvěryhodnosti, zkontrolujte, jestli je na klientském počítači, který přistupuje k vašemu zařízení, nainstalovaný podpisový řetězec certifikátu uzlu nahraného do vašeho zařízení.

6. Po zobrazení výzvy zadejte heslo. Použijte stejné heslo, které se používá k přihlášení k místnímu webovému uživatelskému rozhraní. Výchozí heslo místního webového uživatelského rozhraní je Password1. Po úspěšném připojení k zařízení pomocí vzdáleného PowerShellu se zobrazí následující ukázkový výstup:

   Windows PowerShell
   Copyright (C) Microsoft Corporation. All rights reserved.
   
   PS C:\WINDOWS\system32> winrm quickconfig
   WinRM service is already running on this machine.
   PS C:\WINDOWS\system32> $Name = "1HXQG13.wdshcsso.com"
   PS C:\WINDOWS\system32> Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   PS C:\WINDOWS\system32> Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   
   WARNING: The Windows PowerShell interface of your device is intended to be used only for the initial network configuration. Please engage Microsoft Support if you need to access this interface to troubleshoot any potential issues you may be experiencing. Changes made through this interface without involving Microsoft Support could result in an unsupported configuration.
   [1HXQG13.wdshcsso.com]: PS>
   

Pokud hostitelský počítač není zařízení Azure Stack Edge, postupujte podle těchto pokynů.

Instalace sady NVIDIA CUDA Toolkit a grafických ovladačů Nvidia na hostitelském počítači

K instalaci požadovaných grafických ovladačů Nvidia a CUDA Toolkit použijte následující skript Bash.

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pub
sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

Restartujte počítač a spusťte následující příkaz.

nvidia-smi

Měli byste vidět následující výstup.

Instalace Dockeru CE a nvidia-docker2 na hostitelský počítač

Nainstalujte Docker CE na hostitelský počítač.

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

Nainstalujte softwarový balíček nvidia-docker-2.

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y docker-ce nvidia-docker2
sudo systemctl restart docker

Povolení TECHNOLOGIE NVIDIA MPS na hostitelském počítači

Pro zajištění nejlepšího výkonu a využití nakonfigurujte GPU hostitelského počítače pro službu NVIDIA Multiprocess Service (MPS). Na hostitelském počítači spusťte instrukce MPS z okna terminálu.

# Set GPU(s) compute mode to EXCLUSIVE_PROCESS
sudo nvidia-smi --compute-mode=EXCLUSIVE_PROCESS

# Cronjob for setting GPU(s) compute mode to EXCLUSIVE_PROCESS on boot
echo "SHELL=/bin/bash" > /tmp/nvidia-mps-cronjob
echo "PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin" >> /tmp/nvidia-mps-cronjob
echo "@reboot   root    nvidia-smi --compute-mode=EXCLUSIVE_PROCESS" >> /tmp/nvidia-mps-cronjob

sudo chown root:root /tmp/nvidia-mps-cronjob
sudo mv /tmp/nvidia-mps-cronjob /etc/cron.d/

# Service entry for automatically starting MPS control daemon
echo "[Unit]" > /tmp/nvidia-mps.service
echo "Description=NVIDIA MPS control service" >> /tmp/nvidia-mps.service
echo "After=cron.service" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Service]" >> /tmp/nvidia-mps.service
echo "Restart=on-failure" >> /tmp/nvidia-mps.service
echo "ExecStart=/usr/bin/nvidia-cuda-mps-control -f" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Install]" >> /tmp/nvidia-mps.service
echo "WantedBy=multi-user.target" >> /tmp/nvidia-mps.service

sudo chown root:root /tmp/nvidia-mps.service
sudo mv /tmp/nvidia-mps.service /etc/systemd/system/

sudo systemctl --now enable nvidia-mps.service

Konfigurace Azure IoT Edge na hostitelském počítači

Pokud chcete nasadit kontejner Spatial Analysis na hostitelský počítač, vytvořte instanci služby Azure IoT Hub pomocí cenové úrovně Standard (S1) nebo Free (F0).

Pomocí Azure CLI vytvořte instanci Azure IoT Hubu. Nahraďte parametry tam, kde je to vhodné. Alternativně můžete vytvořit Azure IoT Hub na webu Azure Portal.

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

Viz Podpora oblastí pro dostupné oblasti.

sudo az iot hub create --name "<iothub-group-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Musíte nainstalovat Azure IoT Edge verze 1.0.9. Pokud chcete stáhnout správnou verzi, postupujte takto:

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

Zkopírujte vygenerovaný seznam.

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Nainstalujte veřejný klíč Microsoft GPG.

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

Aktualizujte seznamy balíčků na svém zařízení.

sudo apt-get update

Nainstalujte verzi 1.0.9:

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

Dále pomocí připojovací řetězec zaregistrujte hostitelský počítač jako zařízení IoT Edge v instanci IoT Hubu.

Zařízení IoT Edge musíte připojit ke službě Azure IoT Hub. Potřebujete zkopírovat připojovací řetězec ze zařízení IoT Edge, které jste vytvořili dříve. Případně můžete v Azure CLI spustit následující příkaz.

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

Na hostitelském počítači je otevřený /etc/iotedge/config.yaml pro úpravy. Nahraďte ADD DEVICE CONNECTION STRING HERE připojovací řetězec. Soubor uložte a zavřete. Spuštěním tohoto příkazu restartujte službu IoT Edge na hostitelském počítači.

sudo systemctl restart iotedge

Nasaďte kontejner Spatial Analysis jako modul IoT na hostitelském počítači z webu Azure Portal nebo Azure CLI. Pokud používáte portál, nastavte identifikátor URI image na umístění služby Azure Container Registry.

Pomocí následujících kroků nasaďte kontejner pomocí Azure CLI.

Virtuální počítač Azure s GPU se dá použít také ke spuštění prostorové analýzy. Následující příklad použije virtuální počítač řady NCv3, který má jeden gpu v100.

Vytvoření virtuálního počítače

Na webu Azure Portal otevřete průvodce vytvořením virtuálního počítače.

Pojmenujte virtuální počítač a vyberte oblast, která má být (USA) USA – západ 2.

Pokud chcete najít velikost virtuálního počítače, vyberte Zobrazit všechny velikosti a pak zobrazte seznam "N-Series" a vyberte NC6s_v3, jak je znázorněno níže.

Dále vytvořte virtuální počítač. Po vytvoření přejděte k prostředku virtuálního počítače na webu Azure Portal a vyberte Extensions ho z levého podokna. Výběrem možnosti Přidat zobrazíte okno rozšíření se všemi dostupnými rozšířeními. Vyhledejte a vyberte NVIDIA GPU Driver Extension, vyberte vytvořit a dokončete průvodce.

Po úspěšném použití rozšíření přejděte na hlavní stránku virtuálního počítače na webu Azure Portal a vyberte Connect. K virtuálnímu počítači je možné přistupovat přes SSH nebo RDP. Protokol RDP je užitečný, protože umožňuje zobrazení okna vizualizéru (vysvětleno později). Pomocí následujícího postupu nakonfigurujte přístup RDP a otevřete připojení ke vzdálené ploše virtuálního počítače.

Ověření instalace grafických ovladačů

Spuštěním následujícího příkazu ověřte, že grafické ovladače byly úspěšně nainstalovány.

nvidia-smi

Měli byste vidět následující výstup.

Instalace Dockeru CE a nvidia-docker2 na virtuální počítač

Spusťte následující příkazy po jednom, abyste na virtuální počítač nainstalovali Docker CE a nvidia-docker2.

Nainstalujte Docker CE na hostitelský počítač.

sudo apt-get update

sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

sudo apt-get update

sudo apt-get install -y docker-ce docker-ce-cli containerd.io

Nainstalujte softwarový balíček nvidia-docker-2.

DISTRIBUTION=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y docker-ce nvidia-docker2

sudo systemctl restart docker

Teď, když jste nastavili a nakonfigurovali virtuální počítač, nakonfigurujte Azure IoT Edge podle následujících kroků.

Konfigurace Azure IoT Edge na virtuálním počítači

Pokud chcete nasadit kontejner Spatial Analysis na virtuálním počítači, vytvořte instanci služby Azure IoT Hub pomocí cenové úrovně Standard (S1) nebo Free (F0).

Pomocí Azure CLI vytvořte instanci Azure IoT Hubu. Nahraďte parametry tam, kde je to vhodné. Alternativně můžete vytvořit Azure IoT Hub na webu Azure Portal.

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

Viz Podpora oblastí pro dostupné oblasti.

sudo az iot hub create --name "<iothub-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Musíte nainstalovat Azure IoT Edge verze 1.0.9. Pokud chcete stáhnout správnou verzi, postupujte takto:

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

Zkopírujte vygenerovaný seznam.

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Nainstalujte veřejný klíč Microsoft GPG.

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

Aktualizujte seznamy balíčků na svém zařízení.

sudo apt-get update

Nainstalujte verzi 1.0.9:

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

Dále zaregistrujte virtuální počítač jako zařízení IoT Edge v instanci IoT Hubu pomocí připojovací řetězec.

Zařízení IoT Edge musíte připojit ke službě Azure IoT Hub. Potřebujete zkopírovat připojovací řetězec ze zařízení IoT Edge, které jste vytvořili dříve. Případně můžete v Azure CLI spustit následující příkaz.

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

Na virtuálním počítači, který se otevře /etc/iotedge/config.yaml pro úpravy Nahraďte ADD DEVICE CONNECTION STRING HERE připojovací řetězec. Soubor uložte a zavřete. Spuštěním tohoto příkazu restartujte službu IoT Edge na virtuálním počítači.

sudo systemctl restart iotedge

Nasaďte kontejner Spatial Analysis jako modul IoT na virtuální počítač z webu Azure Portal nebo Azure CLI. Pokud používáte portál, nastavte identifikátor URI image na umístění služby Azure Container Registry.

Pomocí následujících kroků nasaďte kontejner pomocí Azure CLI.