A máquina virtual (VM) da série ND H100 v5 é o novo carro-chefe da família de GPUs do Azure. Esta série é projetada para treinamentos avançados de Deep Learning e cargas de trabalho de IA generativa e HPC de expansão e escalonamento vertical fortemente acopladas.
A série ND H100 v5 começa com uma só VM e oito GPUs NVIDIA H100 Tensor Core. As implantações baseadas na série ND H100 v5 podem realizar o escalonamento vertical para milhares de GPUs com 3,2 Tbps de largura de banda de interconexão por VM. Cada GPU na VM é fornecida com a própria conexão NVIDIA Quantum-2 CX7 InfiniBand de 400 Gb/s dedicada e independente de topologia. Essas conexões são configuradas automaticamente entre as VMs que ocupam o mesmo conjunto de dimensionamento de máquinas virtuais e dão suporte à GPU Direct RDMA.
Cada GPU apresenta conectividade NVLINK 4.0 para a comunicação na VM, e a instância tem 96 núcleos físicos de processador Intel Xeon Scalable de quarta geração.
Essas instâncias fornecem um excelente desempenho para muitas ferramentas de IA, ML e análise que dão suporte à aceleração de GPU "pronta para uso", como o TensorFlow, o Pytorch, o Caffe, o RAPIDS e outras estruturas. Além disso, a interconexão InfiniBand de expansão dá suporte a um grande conjunto de ferramentas existentes de IA e do HPC criadas nas bibliotecas de comunicação NCCL da NVIDIA para o clustering contínuo de GPUs.
Especificações do host
Parte
Quantidade Unidades de Contagem
Especificações ID SKU, unidades de desempenho, etc.
1A velocidade do disco temporário geralmente difere entre as operações de RR (Leitura aleatória) e RW (Gravação aleatória). As operações de RR normalmente são mais rápidas do que as operações de RW. A velocidade de RW geralmente é mais lenta do que a velocidade de RR nas séries em que apenas o valor da velocidade de RR está listado.
A capacidade de armazenamento é mostrada em unidades de GiB ou de 1024^3 bytes. Ao comparar os discos medidos em GB (1000^3 bytes) com os discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB poderão parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
A taxa de transferência do disco é medida em IOPS (operações de entrada/saída por segundo) e em MBps, em que MBps = 10^6 bytes/s.
1Alguns tamanhos dão suporte para bursting para aumentar temporariamente o desempenho do disco. As velocidades de intermitência podem ser mantidas por até 30 minutos de cada vez.
A capacidade de armazenamento é mostrada em unidades de GiB ou de 1024^3 bytes. Ao comparar os discos medidos em GB (1000^3 bytes) com os discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB poderão parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
A taxa de transferência do disco é medida em IOPS (operações de entrada/saída por segundo) e em MBps, em que MBps = 10^6 bytes/s.
Os discos de dados podem operar nos modos em cache ou não armazenado em cache. Para a operação do disco de dados armazenados em cache, o modo de cache do host é definido como ReadOnly ou ReadWrite. Para as operação do disco de dados não armazenados em cache, o modo de cache do host é definido como Nenhum.
Largura de banda de rede esperada é a largura de banda agregada máxima alocada por tipo de VM em todas as NICs para todos os destinos. Para obter mais informações, confira Largura de banda de rede da máquina virtual
Os limites superiores não são garantidos. Os limites oferecem orientação para selecionar o tipo de VM correto para o aplicativo pretendido. O desempenho real da rede dependerá de vários fatores, incluindo cargas de rede e aplicativos, bem como configurações de rede. Para saber mais sobre como otimizar a taxa de transferência de rede, consulte Otimização da taxa de transferência de rede para máquinas virtuais do Azure.
Para obter o desempenho de rede esperado no Linux ou no Windows, pode ser necessário selecionar uma versão específica ou otimizar sua VM. Para obter mais informações, consulte Testes de taxa de transferência/largura de banda (NTTTCP).
Informações do acelerador (GPUs, FPGAs etc.) para cada tamanho
Confira Hosts Dedicados do Azure para servidores físicos com capacidade para hospedar uma ou mais máquinas virtuais atribuídas a uma assinatura do Azure.