Instalar e executar o contêiner Análise Espacial (visualização)

O Azure Stack Edge é uma solução de hardware como serviço e um dispositivo de computação de borda habilitado para IA com recursos de transferência de dados de rede. Para obter instruções detalhadas de preparação e configuração, consulte a documentação do Azure Stack Edge.

Requisitos mínimos de hardware

• 4 GB de RAM do sistema
• 4 GB de RAM GPU
• CPU de 8 núcleos
• Uma GPU NVIDIA CUDA Compute Capable 6.0 ou superior (por exemplo, NVIDIA Tesla T4, A2, 1080Ti ou 2080Ti)
• 20 GB de espaço no disco rígido

Hardware recomendado

• 32 GB de RAM do sistema
• 16 GB de RAM GPU
• CPU de 8 núcleos
• Duas GPUs NVIDIA CUDA Compute Capable 6.0 ou superior (por exemplo, NVIDIA Tesla T4, A2, 1080Ti ou 2080Ti)
• 50 GB de espaço SSD

Neste artigo, você baixará e instalará os seguintes pacotes de software. O computador host deve ser capaz de executar o seguinte (consulte as instruções abaixo):

• Drivers gráficos NVIDIA e NVIDIA CUDA Toolkit. A versão mínima do driver da GPU é 460 com CUDA 11.1.
• Configurações para NVIDIA MPS (Multi-Process Service).
• Docker CE e NVIDIA-Docker2
• Tempo de execução do Azure IoT Edge .

Em nosso exemplo, utilizamos uma VM da série NCv3 que tem uma GPU v100.

Configurar a computação no portal do Azure Stack Edge

A Análise Espacial usa os recursos de computação do Azure Stack Edge para executar uma solução de IA. Para habilitar os recursos de computação, certifique-se de que:

• Você conectou e ativou seu dispositivo Azure Stack Edge.
• Você tem um sistema cliente Windows executando o PowerShell 5.0 ou posterior, para acessar o dispositivo.
• Para implantar um cluster Kubernetes, você precisa configurar seu dispositivo Azure Stack Edge por meio da interface do usuário local no portal do Azure:
  1. Habilite o recurso de computação em seu dispositivo Azure Stack Edge. Para habilitar a computação, vá para a página Computação na interface da Web do seu dispositivo.
  2. Selecione uma interface de rede que você deseja habilitar para computação e, em seguida, selecione Ativar. Isso cria um comutador virtual no seu dispositivo, nessa interface de rede.
  3. Deixe os endereços IP do nó de teste do Kubernetes e os endereços IP dos serviços externos do Kubernetes em branco.
  4. Selecione Aplicar. Esta operação pode demorar cerca de dois minutos.

Configurar a função Azure Stack Edge e criar um recurso do Hub IoT

No portal do Azure, navegue até o recurso Azure Stack Edge. Na página Visão geral ou na lista de navegação, selecione o botão Introdução à computação de borda. No bloco Configurar computação de Borda, selecione Configurar.

Na página Configurar computação de Borda, escolha um Hub IoT existente ou crie um novo. Por padrão, uma camada de preços Standard (S1) é usada para criar um recurso do Hub IoT. Para usar um recurso de camada gratuita do Hub IoT, crie um e selecione-o. O recurso do Hub IoT usa a mesma assinatura e o mesmo grupo de recursos usado pelo recurso Azure Stack Edge

Selecione Criar. A criação de recursos do Hub IoT pode levar alguns minutos. Depois que o recurso do Hub IoT for criado, o bloco de computação Configurar Borda será atualizado para mostrar a nova configuração. Para confirmar se a função de computação de Borda foi configurada, selecione Exibir configuração no bloco Configurar computação .

Quando a função de computação Edge é configurada no dispositivo Edge, ela cria dois dispositivos: um dispositivo IoT e um dispositivo IoT Edge. Ambos os dispositivos podem ser visualizados no recurso Hub IoT. O Azure IoT Edge Runtime já estará em execução no dispositivo IoT Edge.

Habilitar MPS no Azure Stack Edge

Siga estas etapas para se conectar remotamente a partir de um cliente Windows.

1. Execute uma sessão do Windows PowerShell como administrador.

2. Certifique-se de que o serviço de Gestão Remota do Windows está em execução no seu cliente. Na linha de comandos, escreva:

   winrm quickconfig
   

   Para obter mais informações, consulte Instalação e configuração do Gerenciamento Remoto do Windows.

3. Atribua uma variável à cadeia de conexão usada no hosts arquivo.

   $Name = "<Node serial number>.<DNS domain of the device>"
   

   Substitua <Node serial number> e <DNS domain of the device> pelo número de série do nó e domínio DNS do seu dispositivo. Você pode obter os valores para o número de série do nó na página Certificados e no domínio DNS na página Dispositivo na interface do usuário da Web local do seu dispositivo.

4. Para adicionar essa cadeia de conexão do seu dispositivo à lista de hosts confiáveis do cliente, digite o seguinte comando:

   Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   

5. Inicie uma sessão do Windows PowerShell no dispositivo:

   Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   

   Se vir um erro relacionado com a relação de confiança, verifique se a cadeia de assinatura do certificado de nó carregado para o dispositivo também está instalada no cliente que acede ao dispositivo.

6. Forneça a senha quando solicitado. Use a mesma senha usada para entrar na interface do usuário da Web local. A senha padrão da interface do usuário da Web local é Password1. Quando você se conecta com êxito ao dispositivo usando o PowerShell remoto, você vê a seguinte saída de exemplo:

   Windows PowerShell
   Copyright (C) Microsoft Corporation. All rights reserved.
   
   PS C:\WINDOWS\system32> winrm quickconfig
   WinRM service is already running on this machine.
   PS C:\WINDOWS\system32> $Name = "1HXQG13.wdshcsso.com"
   PS C:\WINDOWS\system32> Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   PS C:\WINDOWS\system32> Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   
   WARNING: The Windows PowerShell interface of your device is intended to be used only for the initial network configuration. Please engage Microsoft Support if you need to access this interface to troubleshoot any potential issues you may be experiencing. Changes made through this interface without involving Microsoft Support could result in an unsupported configuration.
   [1HXQG13.wdshcsso.com]: PS>
   

Siga estas instruções se o seu computador host não for um dispositivo Azure Stack Edge.

Instale o NVIDIA CUDA Toolkit e os drivers gráficos Nvidia no computador host

Use o seguinte script bash para instalar os drivers gráficos Nvidia necessários e o CUDA Toolkit.

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pub
sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

Reinicialize a máquina e execute o seguinte comando.

nvidia-smi

Deverá ver o seguinte resultado.

Instale o Docker CE e o nvidia-docker2 no computador host

Instale o Docker CE no computador host.

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

Instale o pacote de software nvidia-docker-2 .

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y docker-ce nvidia-docker2
sudo systemctl restart docker

Ativar NVIDIA MPS no computador host

Para obter o melhor desempenho e utilização, configure a(s) GPU(s) do computador host para NVIDIA Multiprocess Service (MPS). Execute as instruções MPS a partir de uma janela de terminal no computador host.

# Set GPU(s) compute mode to EXCLUSIVE_PROCESS
sudo nvidia-smi --compute-mode=EXCLUSIVE_PROCESS

# Cronjob for setting GPU(s) compute mode to EXCLUSIVE_PROCESS on boot
echo "SHELL=/bin/bash" > /tmp/nvidia-mps-cronjob
echo "PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin" >> /tmp/nvidia-mps-cronjob
echo "@reboot   root    nvidia-smi --compute-mode=EXCLUSIVE_PROCESS" >> /tmp/nvidia-mps-cronjob

sudo chown root:root /tmp/nvidia-mps-cronjob
sudo mv /tmp/nvidia-mps-cronjob /etc/cron.d/

# Service entry for automatically starting MPS control daemon
echo "[Unit]" > /tmp/nvidia-mps.service
echo "Description=NVIDIA MPS control service" >> /tmp/nvidia-mps.service
echo "After=cron.service" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Service]" >> /tmp/nvidia-mps.service
echo "Restart=on-failure" >> /tmp/nvidia-mps.service
echo "ExecStart=/usr/bin/nvidia-cuda-mps-control -f" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Install]" >> /tmp/nvidia-mps.service
echo "WantedBy=multi-user.target" >> /tmp/nvidia-mps.service

sudo chown root:root /tmp/nvidia-mps.service
sudo mv /tmp/nvidia-mps.service /etc/systemd/system/

sudo systemctl --now enable nvidia-mps.service

Configurar o Azure IoT Edge no computador host

Para implantar o contêiner Análise Espacial no computador host, crie uma instância de um serviço do Hub IoT do Azure usando a camada de preços Standard (S1) ou Free (F0).

Use a CLI do Azure para criar uma instância do Hub IoT do Azure. Substitua os parâmetros quando apropriado. Como alternativa, você pode criar o Hub IoT do Azure no portal do Azure.

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

Consulte Suporte de região para regiões disponíveis.

sudo az iot hub create --name "<iothub-group-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Você precisa instalar o Azure IoT Edge versão 1.0.9. Siga estes passos para transferir a versão correta:

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

Copie a lista gerada.

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Instale a chave pública Microsoft GPG.

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

Atualize as listas de pacotes no seu dispositivo.

sudo apt-get update

Instale a versão 1.0.9:

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

Em seguida, registre o computador host como um dispositivo IoT Edge em sua instância do Hub IoT, usando uma cadeia de conexão.

Você precisa conectar o dispositivo IoT Edge ao seu Hub IoT do Azure. Você precisa copiar a cadeia de conexão do dispositivo IoT Edge criado anteriormente. Como alternativa, você pode executar o comando abaixo na CLI do Azure.

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

No computador host aberto /etc/iotedge/config.yaml para edição. Substitua ADD DEVICE CONNECTION STRING HERE pela cadeia de conexão. Guarde e feche o ficheiro. Execute este comando para reiniciar o serviço IoT Edge no computador host.

sudo systemctl restart iotedge

Implante o contêiner de Análise Espacial como um Módulo IoT no computador host, no portal do Azure ou na CLI do Azure. Se você estiver usando o portal, defina o URI da imagem para o local do seu Registro de Contêiner do Azure.

Use as etapas abaixo para implantar o contêiner usando a CLI do Azure.

Uma Máquina Virtual do Azure com uma GPU também pode ser usada para executar a Análise Espacial. O exemplo abaixo usará uma VM da série NCv3 que tenha uma GPU v100.

Criar a VM

Abra o assistente Criar uma Máquina Virtual no portal do Azure.

Dê um nome à sua VM e selecione a região a ser (EUA) Oeste dos EUA 2.

Para localizar o tamanho da VM, selecione "Ver todos os tamanhos" e, em seguida, veja a lista de "Série N" e selecione NC6s_v3, mostrada abaixo.

Em seguida, crie a VM. Depois de criado, navegue até o recurso VM no portal do Azure e selecione Extensions no painel esquerdo. Selecione em "Adicionar" para abrir a janela de extensões com todas as extensões disponíveis. Procure e selecione NVIDIA GPU Driver Extension, selecione criar e conclua o assistente.

Depois que a extensão for aplicada com êxito, navegue até a página principal da VM no portal do Azure e selecione Connect. A VM pode ser acessada por SSH ou RDP. O RDP é útil, pois permite a visualização da janela do visualizador (explicada mais tarde). Configure o acesso RDP seguindo estas etapas e abrindo uma conexão de área de trabalho remota com a VM.

Verifique se os drivers gráficos estão instalados

Execute o seguinte comando para verificar se os drivers gráficos foram instalados com êxito.

nvidia-smi

Deverá ver o seguinte resultado.

Instale o Docker CE e o nvidia-docker2 na VM

Execute os seguintes comandos, um de cada vez, para instalar o Docker CE e o nvidia-docker2 na VM.

Instale o Docker CE no computador host.

sudo apt-get update

sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

sudo apt-get update

sudo apt-get install -y docker-ce docker-ce-cli containerd.io

Instale o pacote de software nvidia-docker-2 .

DISTRIBUTION=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y docker-ce nvidia-docker2

sudo systemctl restart docker

Agora que você configurou sua VM, siga as etapas abaixo para configurar o Azure IoT Edge.

Configurar o Azure IoT Edge na VM

Para implantar o contêiner Análise Espacial na VM, crie uma instância de um serviço do Hub IoT do Azure usando a camada de preços Standard (S1) ou Free (F0).

Use a CLI do Azure para criar uma instância do Hub IoT do Azure. Substitua os parâmetros quando apropriado. Como alternativa, você pode criar o Hub IoT do Azure no portal do Azure.

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

Consulte Suporte de região para regiões disponíveis.

sudo az iot hub create --name "<iothub-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Você precisa instalar o Azure IoT Edge versão 1.0.9. Siga estes passos para transferir a versão correta:

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

Copie a lista gerada.

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Instale a chave pública Microsoft GPG.

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

Atualize as listas de pacotes no seu dispositivo.

sudo apt-get update

Instale a versão 1.0.9:

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

Em seguida, registre a VM como um dispositivo IoT Edge em sua instância do Hub IoT, usando uma cadeia de conexão.

Você precisa conectar o dispositivo IoT Edge ao seu Hub IoT do Azure. Você precisa copiar a cadeia de conexão do dispositivo IoT Edge criado anteriormente. Como alternativa, você pode executar o comando abaixo na CLI do Azure.

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

Na VM aberta /etc/iotedge/config.yaml para edição. Substitua ADD DEVICE CONNECTION STRING HERE pela cadeia de conexão. Guarde e feche o ficheiro. Execute este comando para reiniciar o serviço IoT Edge na VM.

sudo systemctl restart iotedge

Implante o contêiner de Análise Espacial como um Módulo IoT na VM, no portal do Azure ou na CLI do Azure. Se você estiver usando o portal, defina o URI da imagem para o local do seu Registro de Contêiner do Azure.

Use as etapas abaixo para implantar o contêiner usando a CLI do Azure.