Azure'da GPU İşlem İş Yükleri için Geçiş Kılavuzu

Markette ve Microsoft Azure veri merkezlerinde daha güçlü GPU'lar kullanılabilir hale geldikçe, iş yüklerinizin performansını yeniden değerlendirmenizi ve daha yeni GPU'lara geçiş yapmayı göz önünde bulundurmanızı öneririz.

Aynı nedenle Azure, yüksek kaliteli ve güvenilir bir hizmet teklifini korumak için eski VM boyutlarını destekleyen donanımı düzenli aralıklarla kullanımdan kaldırmaya devam eder. Azure'da kullanımdan kaldırılacak ilk GPU ürünleri grubu, sırasıyla NVIDIA Tesla K80, P100 ve P40 veri merkezi GPU hızlandırıcıları tarafından desteklenen özgün NC, NC v2 ve ND serisi VM'lerdir. Bu ürünler 31 Ağustos 2023'te kullanımdan kaldırılacak ve bu serideki en eski VM'ler 2016'da kullanıma sunulacaktır.

O zamandan beri GPU'lar derin öğrenme ve HPC sektörünün tamamında inanılmaz adımlar atarak nesiller arasındaki performans artışını aştı. NVIDIA K80, P40 ve P100 GPU'larının kullanıma sunulmasından bu yana Azure, NVIDIA'nın T4, V100 ve A100 GPU'ları temelinde GPU hızlandırmalı işlem ve yapay zeka ile dişli ve InfiniBand tabanlı ara bağlantı dokuları gibi isteğe bağlı özelliklerle ayırt edilen birden fazla yeni nesil ve kategoride VM ürünü gönderdi. Bunlar, müşterilerin geçiş yolları olarak keşfetmelerini öneririz.

Çoğu durumda, daha yeni GPU nesilleri tarafından sunulan performans artışı, iş süresini azaltarak veya GPU saati başına maliyetler farklılık gösterse bile işlem kaynakları için sabit boyutlu bir talebi karşılamak için gereken genel GPU özellikli VM'lerin miktarını azaltarak genel TCO'yu düşürür. Müşteriler bu avantajlara ek olarak, daha yüksek performanslı VM'ler aracılığıyla Çözüme Erişim Süresini geliştirebilir ve daha yeni yazılım, CUDA çalışma zamanı ve sürücü sürümlerini benimseyerek çözümlerinin sistem durumunu ve desteklenebilirliğini geliştirebilir.

Geçiş ve İyileştirme karşılaştırması

Azure, müşterilerin GPU mimari konuları, ara bağlantılar, TCO, Çözüme Kadar Süre ve uyumluluk yerelliği veya gecikme süresi gereksinimlerine göre bölgesel kullanılabilirlik gibi belirli bir GPU VM ürününün seçilmesini gerektirebilecek çok sayıda gereksinime sahip olduğunu ve hatta bunların bazılarının zaman içinde değiştiğini fark eder.

Aynı zamanda GPU hızlandırma yeni ve hızla gelişen bir alandır.

Bu nedenle, bu ürün alanı için gerçek bir boyuta uygun kılavuz yoktur ve geçiş, kümelenmiş dağıtım modelinden tek bir büyük 8 GPU'lu VM'ye geçme, azaltılmış duyarlıklı veri türlerinden yararlanma, Çok Örnekli GPU gibi özellikleri benimseme ve çok daha fazlası gibi bir iş yükündeki önemli olabilecek değişiklikleri yeniden değerlendirmek için mükemmel bir zamandır.

Bu tür önemli noktalar: TensorCores'un eklenmesi gibi bir özelliğin performansı bir büyüklük sırasına göre artırabileceği, zaten nesil başına GPU performansının önemli olduğu bağlam artırıldığında iş yüküne son derece özeldir.

Geçişin uygulama yeniden mimarisiyle birleştirilmesi, maliyet ve çözüm süresinde büyük değer ve iyileştirme sağlayabilir.

Ancak, bu tür iyileştirmeler, bugün müşteriler tarafından çalıştırılacak genelleştirilmiş iş yükleri için doğrudan denklik sınıflarına odaklanmayı ve kullanımdan kaldırılan mevcut VM ailelerine gpu başına hem fiyat hem de performans açısından en benzer VM seçeneklerini belirlemeyi amaçlayan bu belgenin kapsamının dışındadır.

Bu nedenle, bu belgede kullanıcının gerekli VM örneklerinin sayısı, GPU'lar, ara bağlantılar ve daha fazlası gibi iş yüküne özgü özellikler üzerinde herhangi bir içgörü veya denetime sahip olmadığı varsayılır.

Önerilen Yükseltme Yolları

NVIDIA K80 GPU'ları içeren NC Serisi VM'ler

NC (v1)Serisi VM'ler, Intel Xeon E5-2690 v3 (Haswell) işlemcilerle eşleştirilmiş 1 ile NVIDIA Tesla K80 veri merkezi GPU hızlandırıcıları tarafından desteklenen, Azure'ın en eski GPU hızlandırmalı işlem VM'leri türüdür. Zorlu yapay zeka, ML ve HPC uygulamaları için amiral gemisi VM türü olduktan sonra ürün yaşam döngüsünün sonlarında (özellikle NC serisi tanıtım fiyatlandırması aracılığıyla) gpu saati başına yüksek aktarım hızına sahip GPU'lar üzerinde çok düşük mutlak maliyete sahip olan kullanıcılar için popüler bir tercih olmaya devam ettiler.

Günümüzde, eskiyen NVIDIA K80 GPU platformunun nispeten düşük işlem performansı göz önünde bulundurulduğunda, daha yeni GPU'ları içeren VM serisine kıyasla, NC serisi için popüler bir kullanım örneği gerçek zamanlı çıkarım ve analiz iş yükleridir ve bu durumda hızlandırılmış bir VM'nin uygulamalardan gelen isteklere ulaşana kadar düzenli bir durumda kullanılabilir olması gerekir. Böyle durumlarda, isteklerin birim veya toplu iş boyutu daha yüksek performanslı GPU'lardan yararlanmak için yetersiz olabilir. NC VM'leri, üretim düzeylerinde performans göstermeleri gerekmeyen, yinelemesi gereken uygun maliyetli bir bulut tabanlı CUDA dağıtım hedefine ihtiyaç duyan, GPU hızlandırma hakkında bilgi edinen, geliştiren veya gpu hızlandırma ile deneme yapan geliştiriciler ve öğrenciler için de popülerdir.

Genel olarak NC Serisi müşterileri, NVIDIA Tesla T4 GPU'ları tarafından desteklenen hafif iş yükleri için Azure'ın yeni GPU hızlandırılmış platformu olan NC boyutlarından NC T4 v3 boyutlarına doğrudan geçmeyi düşünmelidir.

NVIDIA Tesla P100 GPU'ları içeren NC v2 Serisi VM'ler

NC v2 serisi sanal makineler, başlangıçta yapay zeka ve Derin Öğrenme iş yükleri için tasarlanmış bir amiral gemisi platformu. Derin Öğrenme eğitimi için mükemmel performans sundular ve GPU başına performans, orijinal NC Serisinin yaklaşık 2 katını sunuyor ve NVIDIA Tesla P100 GPU'ları ve Intel Xeon E5-2690 v4 (Broadwell) CPU'ları tarafından destekleniyor. NC ve ND Serisi gibi NC v2 Serisi de rdma aracılığıyla ikincil düşük gecikme süresi, yüksek aktarım hızı ağı ve InfiniBand bağlantısı ile bir yapılandırma sunar, böylece birçok GPU'ya yayılan büyük ölçekli eğitim işlerini çalıştırabilirsiniz.

Genel olarak, NCv2 Serisi müşterileri doğrudan NVIDIA Ampere A100 PCIe GPU'ları tarafından desteklenen Yeni GPU hızlandırılmış platformu olan NC A100 v4 boyutları arasında geçiş yapmayı düşünmelidir.

NVIDIA Tesla P40 GPU'ları içeren ND Serisi VM'ler

ND serisi sanal makineler, başlangıçta yapay zeka ve Derin Öğrenme iş yükleri için tasarlanmış orta ölçekli bir platformlardır. Öncülleri üzerinden geliştirilmiş tek duyarlıklı kayan nokta işlemleriyle toplu çıkarım için mükemmel performans sundular ve NVIDIA Tesla P40 GPU'ları ve Intel Xeon E5-2690 v4 (Broadwell) CPU'ları tarafından destekleniyor. NC ve NC v2 Serisi gibi ND Serisi de rdma aracılığıyla ikincil düşük gecikme süresi, yüksek aktarım hızı ağı ve InfiniBand bağlantısı ile bir yapılandırma sunar, böylece birçok GPU'yu kapsayan büyük ölçekli eğitim işlerini çalıştırabilirsiniz.

Geçiş Adımları

Genel Değişiklikler

1. Geçiş için bir seri ve boyut seçin. Daha fazla içgörü için fiyatlandırma hesaplayıcısını kullanın.

2. Hedef VM serisi için kota alma

3. Geçerli N* serisi VM boyutunu hedef boyuta yeniden boyutlandırın. Bu, Sanal Makine görüntünüz tarafından kullanılan işletim sistemini güncelleştirmek veya başlangıç noktanız olarak sürücülerin önceden yüklenmiş olduğu HPC görüntülerinden birini benimsemek için de uygun bir zaman olabilir.

   Önemli

   VM görüntünüz CUDA çalışma zamanının eski bir sürümü, NVIDIA sürücüsü ve (varsa, yalnızca RDMA özellikli boyutlar için) Mellanox OFED sürücüleri yeni GPU VM serinizin gerektirdiğinden daha eski bir sürümle üretilmiş olabilir. Bu, Azure Belgeleri'ndeki yönergeler izlenerek güncelleştirilebilir.

Hataya Neden Olan Değişiklikler

Geçiş için hedef boyutu seçme

Geçerli kullanımınızı değerlendirdikten sonra ihtiyacınız olan GPU VM türüne karar verin. İş yükü gereksinimlerine bağlı olarak birkaç farklı seçeneğiniz vardır.

Hedef VM ailesi için kota alma

VM ailesine göre vCPU kotasında artış istemek için kılavuzu izleyin. Geçiş için seçtiğiniz hedef VM boyutunu seçin.

Geçerli sanal makineyi yeniden boyutlandırma

Sanal makineyi yeniden boyutlandırabilirsiniz.

Sonraki adımlar

GPU özellikli sanal makine boyutlarının tam listesi için bkz . GPU - hızlandırılmış işlem genel bakış