Büyük işlem terimi, genellikle yüzler veya binler ile ifade edilen çok sayıda çekirdek gerektiren büyük ölçekli iş yüklerini tanımlar. Görüntü işleme, sıvı dinamiği, finansal risk modelleme, petrol keşfi, ilaç tasarımı ve mühendislik gerilimi analizi gibi çeşitli senaryolar vardır.
Büyük işlem uygulamalarının tipik özelliklerinden bazıları şunlardır:
- İş, pek çok çekirdekte aynı anda çalıştırılabilecek ayrı görevlere bölünebilir.
- Her görev sonludur. Bir girdiyi alır, bir işlem yapar ve çıktı üretir. Uygulamanın tamamı sınırlı bir süreliğine (dakika-gün) çalışır. Yaygın olarak kullanılan bir düzen, tek seferde çok sayıda çekirdek sağlama ve uygulama tamamlandığında hepsini kapatarak sıfır çekirdeğe dönme modelidir.
- Uygulamanın 7/24 açık kalması gerekmez. Bununla birlikte, sistemin düğüm hatalarını veya uygulama kilitlenmelerini işlemesi gerekir.
- Bazı uygulamalarda görevler birbirinden bağımsızdır ve paralel olarak çalıştırılabilir. Bazı durumlarda ise görevler birbirine sıkı bir şekilde bağlıdır, yani birbiriyle etkileşim kurmaları veya ara sonuç alışverişi yapmaları gerekir. Bu durumda, InfiniBand ve doğrudan uzak bellek erişimi (RDMA) gibi yüksek hızlı ağ teknolojileri kullanmayı göz önünde bulundurun.
- İş yükünüze bağlı olarak, yoğun işlem gücü kullanımlı VM boyutlarını (H16r, H16mr ve A9) kullanabilirsiniz.
Bu mimarinin kullanılacağı durumlar
- Simülasyon ve sayısal hesaplama gibi yoğun işlem gücü gerektiren işlemler.
- Yoğun işlem gücü gerektiren ve birden çok bilgisayarın (on veya binlerce bilgisayar) CPU’larına bölünmesi gereken simülasyonlar.
- Bir bilgisayarın sahip olamayacağı kadar bellek gerektiren ve birden fazla bilgisayara bölünmesi gereken simülasyonlar.
- Tek bir bilgisayarda tamamlanması çok uzun sürecek, uzun süre çalışan hesaplamalar.
- Monte Carlo simülasyonları gibi yüzlerce veya binlerce kez çalıştırılması gereken küçük hesaplamalar.
Sosyal haklar
- "Utandırıcı derecede paralel" işleme ile yüksek performans.
- Yüzlerce veya binlerce bilgisayar çekirdeğinden yararlanarak büyük sorunları daha hızlı çözebilir.
- Yüksek hızlı adanmış InfiniBand ağlar ile özel yüksek performanslı donanıma erişim.
- İş için gereken şekilde sanal makineler sağlayabilir, sonra bunları kapatabilirsiniz.
Zorluklar
- VM altyapısını yönetme.
- Sayı hesaplama hacmini yönetme
- Doğru zamanda binlerce çekirdek sağlama.
- Sıkı şekilde bağlı görevler için daha fazla sayıda çekirdek eklemenin olumsuz sonuçları olabilir. En uygun çekirdek sayısını bulmak için çeşitli denemeler yapmanız gerekebilir.
Azure Batch kullanarak büyük işlem
Azure Batch, büyük ölçekli ve yüksek performanslı bilgi işlem (HPC) uygulamaları çalıştırmaya yönelik, yönetilen bir hizmettir.
Azure Batch kullanırken, bir VM havuzu yapılandırıp uygulama ve veri dosyalarını karşıya yüklersiniz. Sonra, Batch hizmeti VM’leri sağlar, görevleri VM'lere atar, çalıştırır ve ilerleme durumunu izler. Batch, iş yüküne yanıt olarak VM’lerin ölçeğini otomatik olarak artırabilir. Batch ayrıca iş zamanlaması sağlar.
Sanal Makinelerde çalışan büyük işlem
Microsoft HPC Pack kullanarak bir VM kümesini yönetebilir ve HPC işlerini zamanlayıp izleyebilirsiniz. Bu yaklaşımda, sanal makineleri ve ağ altyapısını sizin sağlayıp yönetmeniz gerekir. Mevcut HPC iş yükleriniz varsa bunların bazılarını veya tümünü Azure'a taşımak istiyorsanız bu yaklaşımı göz önünde bulundurun. HPC kümesinin tamamını Azure'a taşıyabilir veya HPC kümenizi şirket içinde tutabilir, ancak azure'ı seri kapasite için kullanabilirsiniz. Daha fazla bilgi için bkz. Büyük ölçekli bilgi işlem iş yükleri için Batch ve HPC çözümleri.
Azure'a dağıtılan HPC Pack
Bu senaryoda, HPC kümesi tamamen Azure içinde oluşturulur.
Baş düğüm, kümeye yönetim ve iş zamanlama hizmetleri sağlar. Sıkı şekilde bağlı görevler için çok yüksek bant genişliği ve VM'ler arasında düşük gecikme süreli iletişim sağlayan bir RDMA ağı kullanın. Daha fazla bilgi için bkz . Azure'da HPC Pack 2016 kümesi dağıtma.
HPC kümesinin Azure’de ortaya çıkması
Bu senaryoda, bir kuruluş şirket içinde HPC Pack çalıştırır ve kapasite aşımı için Azure VM'leri kullanır. Küme baş düğümü şirket içindedir. Şirket içi ağ, ExpressRoute veya VPN Gateway aracılığıyla Azure VNet’e bağlanır.
