HPC depolama üretimi

  • Makale

Depolama erişim, HPC iş yükü performansını planlamanın önemli bir parçasıdır. Aşağıdaki malzemeler karar sürecinizi kolaylaştırmaya ve belirli bir depolama çözümünün özellikleri (veya yetenek eksikliği) ile ilgili yanlış anlaşılmaları en aza indirmeye yardımcı olur.

Tasarımla ilgili dikkat edilecek noktalar

Gerekli verilerin HPC küme makinelerine doğru zamanda ulaştığından emin olmak önemlidir. Ayrıca bu tek tek makinelerden elde ettiğiniz sonuçların hızlı bir şekilde kaydedildiğinden ve daha fazla analiz için kullanılabilir olduğundan emin olmak istiyorsunuz.

İş yükü trafiğinin dağıtımı

HPC ortamınızın oluşturduğu ve işlediği trafik türlerini hesaplayın. Bu adım özellikle birden çok iş yükü türünü çalıştırmayı ve depolama alanını başka amaçlarla kullanmayı planlıyorsanız önemlidir. Aşağıdaki trafik türlerini göz önünde bulundurun ve kaydedin:

  • Tek akış ve birden çok akış karşılaştırması
  • Okuma trafiğinin yazma trafiğine oranı
  • Ortalama dosya boyutları ve sayıları
  • Rastgele ve sıralı erişim desenleri

Veri yerelliği

Sonraki kategoride verilerin konumu kullanılmaktadır. Yerellik farkındalığı, veri taşıma stratejiniz olarak kopyalama, önbelleğe alma veya eşitlemeyi kullanıp kullanamayacağınızı belirlemenize yardımcı olur. Önceden denetlenecek yerellik öğeleri şunlardır:

  • Şirket içinde, Azure'da veya her ikisinde de kaynak veri mi?
  • Şirket içi, Azure'da veya her ikisinde de sonuç verisi mi var?
  • Azure'daki HPC iş yükleri kaynak veri değişikliği zaman çizelgeleriyle koordine edilsin mi?
  • Hassas/HIPAA verileri mi?

Performans gereksinimleri

Depolama çözümleri için performans gereksinimleri genel olarak aşağıdaki gibi özetlenir:

  • Tek akışlı aktarım hızı (Gb/ps olarak)
  • Çok akışlı aktarım hızı (Gb/ps olarak)
  • Beklenen en yüksek IOPS
  • Ortalama gecikme süresi (ms)

Dikkate alınacak her nokta performansı etkiler, bu nedenle bu sayılar belirli bir çözümün başarması gereken bir kılavuzu temsil eder. Örneğin, iş akışının bir parçası olarak kapsamlı dosya oluşturma ve silme işlemine sahip bir HPC iş yükünüz olabilir. Bu işlemler genel aktarım hızını etkileyebilir.

Erişim yöntemleri

gerekli istemci erişim protokolünün hesabını verin ve protokolün hangi özelliklerine ihtiyacınız olduğu konusunda net olun. NFS ve SMB'nin farklı sürümleri vardır.

Dikkate alınması gereken bazı şeyler şunlardır:

  • NFS/SMB sürümleri gerekli
  • Beklenen protokol özellikleri (ACL'ler, şifreleme)
  • Paralel dosya sistemi çözümü

Toplam kapasite gereksinimi

Azure'da Depolama kapasite dikkate alınacak bir sonraki konudur. Çözümün genel maliyetini bilgilendirmeye yardımcı olur. Büyük miktarda veriyi uzun süre depolamayı planlıyorsanız depolama çözümünün bir parçası olarak katmanlama yapmayı düşünebilirsiniz. Katmanlama, sık erişim katmanında daha yüksek maliyetli ancak daha yüksek performanslı depolama ile birlikte daha düşük maliyetli depolama seçenekleri sunar. Bu nedenle kapasite gereksinimlerini aşağıdaki gibi değerlendirin:

  • Gereken toplam kapasite
  • Toplam etkin katman kapasitesi gerekli
  • Toplam sıcak katman kapasitesi gerekli
  • Toplam soğuk katman kapasitesi gerekli

Kimlik doğrulama ve yetkilendirme yöntemi

LDAP sunucusu veya Active Directory ortamı kullanma gibi kimlik doğrulaması ve yetkilendirme gereksinimleriyle ilgili olarak, mimari için uygun destekleyici sistemleri dahil etmenizi sağlar. Active Directory kullanıcılarına UID/GID eşlemesi gibi özellikleri desteklemeniz gerekiyorsa, depolama çözümünün bu özelliği desteklediğini onaylayın.

Dikkate alınması gereken bazı şeyler şunlardır:

  • Yerel (yalnızca dosya sunucusunda UID/GID)
  • Dizin (LDAP, Active Directory)
  • UiD/GID Active Directory kullanıcılarına mı eşlenmiş?

Yaygın Azure depolama çözümleri karşılaştırması

Kategori Azure Blob Storage Azure Dosyaları Azure Managed Lustre Azure NetApp Files
Kullanım örnekleri Azure Blob Depolama, verilerin birkaç değişiklikle veya hiç değişiklik yapılmadan bir kez alındığı büyük ölçekli, okuma ağırlıklı sıralı erişim iş yükleri için idealdir.

Blob Depolama, çok az bakım varsa veya hiç bakım yoksa en düşük toplam sahip olma maliyetini sunar.

Bazı örnek senaryolar şunlardır: Büyük ölçekli analitik veriler, işleme hızına duyarlı yüksek performanslı bilgi işlem, yedekleme ve arşivleme, otonom sürüş, medya işleme veya genomik sıralama.		 Azure Dosyalar, rastgele erişim iş yükleri için en uygun olan yüksek oranda kullanılabilir bir hizmettir.

NFS paylaşımları için Azure Dosyalar tam POSIX dosya sistemi desteği sağlar. Yerleşik CSI sürücüsü ve VM tabanlı platformlarla Azure Container Instance (ACI) ve Azure Kubernetes Service (AKS) gibi kapsayıcı platformlarından kolayca kullanabilirsiniz.

Bazı örnek senaryolar şunlardır: Paylaşılan dosyalar, veritabanları, giriş dizinleri, geleneksel uygulamalar, ERP, CMS, gelişmiş yönetim gerektirmeyen NAS geçişleri ve genişleme dosya depolaması gerektiren özel uygulamalar.		 Azure Managed Lustre, orta ve büyük HPC iş yüklerine en uygun tam olarak yönetilen paralel dosya sistemidir.

Tanıdık Lustre paralel dosya sistemi işlevselliği, davranışları ve performansı sağlayarak ve uzun vadeli uygulama yatırımlarının güvenliğini sağlayarak uygulama uyumluluğunu bozmadan buluttaki HPC uygulamalarını etkinleştirir.		 NetApp tarafından desteklenen ve gelişmiş yönetim özelliklerine sahip, bulutta tam olarak yönetilen dosya hizmeti.

NetApp Files, rastgele erişim gerektiren iş yükleri için uygundur ve geniş protokol desteği ve veri koruma özellikleri sağlar.

Bazı örnek senaryolar şunlardır: Zengin yönetim özellikleri gerektiren şirket içi kurumsal NAS geçişi, SAP HANA gibi gecikmeye duyarlı iş yükleri, gecikmeye duyarlı veya IOPS yoğun yüksek performanslı işlem veya eşzamanlı çok protokollü erişim gerektiren iş yükleri.
Kullanılabilir protokoller NFS 3.0

Geri kalanı

Data Lake Storage Gen2		 SMB

NFS 4.1

(İki protokol arasında birlikte çalışabilirlik yoktur)		 Serisi NFS 3.0 ve 4.1

SMB
Önemli özellikler Düşük gecikme süreli iş yükleri için HPC önbelleğiyle tümleşiktir.

Yaşam döngüsü, sabit bloblar, veri yük devretme ve meta veri dizini gibi tümleşik yönetim.		 Yüksek kullanılabilirlik için bölgesel olarak yedekli.

Tutarlı tek basamaklı milisaniyelik gecikme süresi.

Kapasiteyle ölçeklendirilen tahmin edilebilir performans ve maliyet.		 2,5PB'a kadar yüksek depolama kapasitesi.

Düşük (~2ms) gecikme süresi.

Yeni kümeleri dakikalar içinde çalıştırın.

AKS ile kapsayıcılı iş yüklerini destekler.		 Son derece düşük gecikme süresi (alt ms kadar düşük).

Bulutta SnapMirror gibi zengin NetApp ONTAP yönetim özelliği.

Tutarlı hibrit bulut deneyimi.
Performans (Birim başına) 20.000 IOPS'ye kadar, en fazla 100 GiB/sn aktarım hızı. En fazla 100.000 IOPS, en fazla 80 GiB/sn aktarım hızı. En fazla 100.000 IOPS, en fazla 500 GiB/sn aktarım hızı. En fazla 460.000 IOPS, en fazla 36 GiB/sn aktarım hızı.
Fiyatlandırma Azure Blob Depolama fiyatlandırması Azure Dosyalar fiyatlandırması Azure Yönetilen Lustre fiyatlandırması Azure NetApp Files fiyatlandırması

Kendi paralel dosya sisteminizi yuvarlayın

NFS'de olduğu gibi, çok düğümlü bir BeeGFS veya Lustre dosya sistemi oluşturabilirsiniz. Bu tür sistemlerin performansı büyük ölçüde seçtiğiniz Sanal Makineler türüne bağlıdır. BeeGFS için Azure Market bulunan görüntüleri veya DDN tarafından Whamcloud adlı bir Lustre uygulamasını kullanabilirsiniz. BeeGFS veya DDN gibi satıcıların üçüncü taraf görüntülerini kullanmak, desteklerini satın almanızı sağlar. Aksi takdirde, gpl lisansları yoluyla hem BeeGFS hem de Lustre kullanabilirsiniz (makineler ve diskler dışında). Bu araçlar, kısa ömürlü yerel disklerle (karalama için) Azure HPC betiklerini veya kalıcı depolama için Premium / Ultra SSD'yi kullanarak kolayca kullanıma sunulur.

Cray ClusterStor

Büyük iş yüklerinin en büyük zorluklarından biri, büyük Lustre ortamlarıyla birlikte çalışan büyük işlem kümelerinin saf "çıplak" performansını çoğaltmaktır (TB/sn aktarım hızı ve muhtemelen Petabaytlar depolama açısından). Artık bu iş yüklerini Azure Cray ClusterStor çözümüyle çalıştırabilirsiniz. Bu yaklaşım, ilgili Azure veri merkezine yerleştirilen tamamen çıplak bir Lustre dağıtımıdır. BeeGFS ve Lustre gibi paralel dosya sistemleri, mimarilerinden dolayı en yüksek performansı sağlar. Ancak bu mimarinin yüksek yönetim fiyatı vardır ve bu teknolojilerin kullanımı da öyledir.

Sonraki adımlar

Aşağıdaki makaleler, HPC ortamları üretmeye yönelik bulut benimseme yolculuğundaki her adımla ilgili rehberlik sağlar.