Guia de migração para cargas de trabalho de computação de GPU no Azure

À medida que GPUs mais poderosas se tornam disponíveis no mercado e nos datacenters do Microsoft Azure, recomendamos reavaliar o desempenho de suas cargas de trabalho e considerar a migração para GPUs mais recentes.

Pelo mesmo motivo, bem como para manter uma oferta de serviço confiável e de alta qualidade, o Azure desativa periodicamente o hardware que alimenta tamanhos de VM mais antigos. O primeiro grupo de produtos de GPU a ser retirado no Azure são as VMs originais das séries NC, NC v2 e ND, alimentadas pelos aceleradores de GPU de datacenter NVIDIA Tesla K80, P100 e P40, respectivamente. Esses produtos serão retirados em 31 de agosto de 2023, e as VMs mais antigas desta série serão lançadas em 2016.

Desde então, as GPUs fizeram avanços incríveis ao lado de toda a indústria de aprendizagem profunda e HPC, normalmente excedendo uma duplicação no desempenho entre gerações. Desde o lançamento das GPUs NVIDIA K80, P40 e P100, o Azure forneceu várias gerações mais recentes e categorias de produtos de VM voltados para computação acelerada por GPU e IA, baseados nas GPUs T4, V100 e A100 da NVIDIA e diferenciados por recursos opcionais, como malhas de interconexão baseadas em InfiniBand. Todas essas são opções que incentivamos os clientes a explorar como caminhos de migração.

Na maioria dos casos, o aumento dramático no desempenho oferecido pelas gerações mais recentes de GPUs reduz o TCO geral, diminuindo a duração do trabalho, para trabalhos burstable ou reduzindo a quantidade geral de VMs habilitadas para GPU necessárias para cobrir uma demanda de tamanho fixo por recursos de computação, mesmo que os custos por GPU-hora possam variar. Além desses benefícios, os clientes podem melhorar o Time-to-Solution por meio de VMs de melhor desempenho e melhorar a integridade e a capacidade de suporte de sua solução adotando versões mais recentes de software, tempo de execução CUDA e driver.

Migração vs. otimização

O Azure reconhece que os clientes têm uma infinidade de requisitos que podem ditar a seleção de um produto VM GPU específico, incluindo considerações de arquitetura de GPU, interconexões, TCO, Tempo para Solução e disponibilidade regional com base na localidade de conformidade ou requisitos de latência, e alguns deles até mudam ao longo do tempo.

Ao mesmo tempo, a aceleração da GPU é uma área nova e em rápida evolução.

Assim, não há uma verdadeira orientação única para essa área de produto, e uma migração é um momento perfeito para reavaliar mudanças potencialmente dramáticas em uma carga de trabalho - como mudar de um modelo de implantação em cluster para uma única VM grande de 8 GPUs ou vice-versa, aproveitar tipos de dados de precisão reduzida, adotar recursos como GPU de várias instâncias e muito mais.

Esses tipos de considerações, quando feitas o contexto de aumentos já dramáticos de desempenho da GPU por geração, onde um recurso como a adição de TensorCores pode aumentar o desempenho em uma ordem de grandeza, são extremamente específicos da carga de trabalho.

A combinação da migração com a rearquitetura do aplicativo pode gerar imenso valor e melhorar o custo e o tempo até a solução.

No entanto, esses tipos de melhorias estão além do escopo deste documento, que visa se concentrar em classes de equivalência direta para cargas de trabalho generalizadas que podem ser executadas por clientes atualmente, para identificar as opções de VM mais semelhantes em preço e desempenho por GPU às famílias de VM existentes em fase de desativação.

Assim, este documento pressupõe que o usuário pode não ter nenhuma visão ou controle sobre propriedades específicas da carga de trabalho, como o número de instâncias de VM necessárias, GPUs, interconexões e muito mais.

Caminhos de atualização recomendados

VMs da série NC com GPUs NVIDIA K80

As VMs da série NC (v1) são o tipo de VM de computação acelerada por GPU mais antigo do Azure, alimentado por 1 a 4 aceleradores de GPU de datacenter NVIDIA Tesla K80 emparelhados com processadores Intel Xeon E5-2690 v3 (Haswell). Antes um tipo de VM emblemático para aplicativos exigentes de IA, ML e HPC, eles permaneceram uma escolha popular no final do ciclo de vida do produto (particularmente por meio de preços promocionais da série NC) para usuários que valorizavam ter um custo absoluto muito baixo por GPU-hora em vez de GPUs com maior taxa de transferência por dólar.

Hoje, dado o desempenho de computação relativamente baixo da plataforma de GPU NVIDIA K80 envelhecida, em comparação com a série de VMs com GPUs mais recentes, um caso de uso popular para a série NC são cargas de trabalho de inferência e análise em tempo real, onde uma VM acelerada deve estar disponível em um estado estável para atender às solicitações de aplicativos à medida que eles chegam. Nesses casos, o volume ou o tamanho do lote das solicitações pode ser insuficiente para se beneficiar de GPUs com melhor desempenho. As VMs NC também são populares para desenvolvedores e estudantes que estão aprendendo, desenvolvendo ou experimentando a aceleração de GPU, que precisam de um alvo de implantação CUDA barato baseado em nuvem para iterar e que não precisa funcionar para níveis de produção.

Em geral, os clientes da série NC devem considerar mudar diretamente dos tamanhos NC para os tamanhos NC T4 v3 , a nova plataforma acelerada por GPU do Azure para cargas de trabalho leves alimentadas por GPUs NVIDIA Tesla T4.

VMs da série NC v2 com GPUs NVIDIA Tesla P100

As máquinas virtuais da série NC v2 são uma plataforma emblemática originalmente projetada para cargas de trabalho de IA e Deep Learning. Eles ofereceram excelente desempenho para treinamento de Deep Learning, com desempenho por GPU aproximadamente 2x maior do que o da série NC original e são alimentados por GPUs NVIDIA Tesla P100 e CPUs Intel Xeon E5-2690 v4 (Broadwell). Como as séries NC e ND, a série NC v2 oferece uma configuração com uma rede secundária de baixa latência e alta taxa de transferência por meio de RDMA e conectividade InfiniBand para que você possa executar trabalhos de treinamento em grande escala abrangendo muitas GPUs.

Em geral, os clientes da série NCv2 devem considerar mudar diretamente para os tamanhos NC A100 v4 , a nova plataforma acelerada por GPU do Azure alimentada por GPUs PCIe NVIDIA Ampere A100.

VMs da série ND com GPUs NVIDIA Tesla P40

As máquinas virtuais da série ND são uma plataforma midrange originalmente projetada para cargas de trabalho de IA e Deep Learning. Eles ofereceram excelente desempenho para inferência em lote por meio de operações de ponto flutuante de precisão única aprimoradas em relação aos seus antecessores e são alimentados por GPUs NVIDIA Tesla P40 e CPUs Intel Xeon E5-2690 v4 (Broadwell). Como as séries NC e NC v2, a série ND oferece uma configuração com uma rede secundária de baixa latência, alta taxa de transferência por meio de RDMA e conectividade InfiniBand para que você possa executar trabalhos de treinamento em grande escala abrangendo muitas GPUs.

Passos da Migração

Alterações gerais

1. Escolha uma série e um tamanho para a migração. Aproveite a calculadora de preços para obter mais informações.

2. Obter cota para a série VM de destino

3. Redimensione o tamanho atual da VM da série N* para o tamanho de destino. Este também pode ser um bom momento para atualizar o sistema operacional usado pela imagem da máquina virtual ou adotar uma das imagens HPC com drivers pré-instalados como ponto de partida.

   Importante

   Sua imagem de VM pode ter sido produzida com uma versão mais antiga do tempo de execução CUDA, driver NVIDIA e (se aplicável, apenas para tamanhos habilitados para RDMA) drivers Mellanox OFED do que sua nova série de VMs GPU exige, que podem ser atualizadas seguindo as instruções na Documentação do Azure.

Alterações Interruptivas

Selecionar tamanho de destino para migração

Depois de avaliar seu uso atual, decida que tipo de VM de GPU você precisa. Dependendo dos requisitos de carga de trabalho, você tem poucas opções diferentes.

Obter cota para a família de VMs de destino

Siga o guia para solicitar um aumento na cota de vCPU por família VM. Selecione o tamanho da VM de destino que você selecionou para migração.

Redimensionar a máquina virtual atual

Você pode redimensionar a máquina virtual.

Próximos passos

Para obter uma lista completa dos tamanhos de máquinas virtuais habilitadas para GPU, consulte GPU - visão geral da computação acelerada