Azure altyapısında (IaaS) yapay zeka iş yükleri için depolama önerileri
Bu makalede, Azure altyapısında (IaaS) yapay zeka iş yükleri çalıştıran kuruluşlar için depolama önerileri sağlanır. Azure altyapısındaki yapay zeka iş yükleri için bir depolama çözümü, yapay zeka modeli eğitimine ve çıkarıma bağlı olan veri depolama, erişim ve aktarım taleplerini yönetebilmelidir.
Yapay zeka iş yükleri, verimli veri alma ve işleme için yüksek aktarım hızı ve düşük gecikme süresi gerektirir. Ayrıca dağıtılmış ortamlarda doğru ve yeniden üretilebilir sonuçlar elde etmek için veri sürümü oluşturma ve tutarlılık mekanizmalarına da ihtiyaç duyarlar. Uygun depolama çözümünü seçerken veri aktarım süreleri, gecikme süresi, performans gereksinimleri ve mevcut sistemlerle uyumluluk gibi faktörleri göz önünde bulundurun.
Etkin veriler için bir dosya sistemi kullanın. Yapay zeka işleri tarafından etkin olarak kullanılan veya oluşturulan "işe özgü/sık erişimli" verileri depolamak için bir dosya sistemi uygulayın. Bu çözüm, düşük gecikme süresi ve yüksek aktarım hızı özellikleri nedeniyle gerçek zamanlı veri işleme için idealdir. Bu özellikler, yapay zeka iş akışlarının performansını iyileştirmek için kritik öneme sahiptir. Azure'da, Azure altyapısında yapay zeka modellerinin eğitilmesi ve çıkarılması için üç temel dosya sistemi çözümü bulunur. Doğru dosya sistemini seçmek için şu önerileri izleyin:
En düşük veri aktarım süreleri ve en düşük gecikme süresi için Azure Yönetilen Lustre'ı kullanın. Azure Managed Lustre, paralel dosya sistemi özellikleriyle yüksek performans sağlar ve Azure tümleştirmesi ile yönetimi basitleştirir. Kullanım tabanlı depolama maliyetleriyle uygun maliyetlidir ve Blob Depolama'dan seçmeli veri içeri aktarmaya olanak sağlayarak veri işlemeyi en iyi duruma getirmenizi sağlar.
Yapay zeka iş yükleri için kurumsal düzeyde özelliklere ve performansa ihtiyacınız olduğunda Azure NetApp Files'ı kullanın. Azure NetApp Files, görev açısından kritik uygulamalar için ideal olan yüksek güvenilirlik ve performans sunar. NetApp altyapısında mevcut yatırımlarınız varsa Azure NetApp Files yararlıdır. Hibrit bulut özellikleri ve depolama yapılandırmalarını özelleştirmeniz ve hassas ayarlamalar yapmanız gerektiğinde yararlıdır.
Performans en yüksek öncelik olduğunda yerel NVMe/SSD dosya sistemlerini kullanın. BeeGFS İsteğe Bağlı (BeeOND) gibi bir işe ayrılmış paralel dosya sistemi kullanarak işlem yerel NVMe'sini (çalışan düğümleri) toplar. İş sırasında geçici, yüksek performanslı bir dosya sistemi oluşturmak için doğrudan işlem düğümlerinde çalışırlar. Bu sistemler ultra düşük gecikme süresi ve yüksek aktarım hızı seçerek derin öğrenme eğitimi veya gerçek zamanlı çıkarım gibi G/Ç yoğunluklu uygulamalar için idealdir.
Etkin olmayan verileri Azure Blob Depolama aktar. Bir işi tamamladıktan sonra, etkin olmayan iş verilerini Azure Yönetilen Lustre'dan uzun vadeli, uygun maliyetli depolama için Azure Blob Depolama aktarin. Blob depolama, farklı erişim katmanlarıyla ölçeklenebilir seçenekler sağlayarak etkin olmayan veya seyrek erişilen verilerin verimli bir şekilde depolanmasını sağlar ve gerektiğinde kullanılabilir durumda kalmasını sağlar.
Model eğitimi için denetim noktası oluşturma uygulayın. Her 500 yineleme gibi düzenli aralıklarla eğitim ağırlıkları ve parametreler dahil olmak üzere modelin durumunu kaydeden bir denetim noktası oluşturma mekanizması ayarlayın. Model eğitiminin daha önce kaydedilmiş bir durumdan yeniden başlatılmasına olanak tanıyarak yapay zeka iş akışlarınızın esnekliğini ve dayanıklılığını artırmak için bu denetim noktası verilerini Azure Yönetilen Lustre'da depolayın.
Düşük maliyetli depolama katmanlarına veri geçişlerini otomatikleştirin. Azure Blob Depolama yaşam döngüsü yönetimi ilkelerini, eski ve seyrek erişilen verileri Seyrek Erişim veya Arşiv katmanları gibi daha düşük maliyetli depolama katmanlarına otomatik olarak geçirmek için yapılandırın. Bu yaklaşım, depolama maliyetlerini iyileştirir ve gerektiğinde önemli verilerin erişilebilir kalmasını sağlar.
Dağıtılmış ortamlarda veri tutarlılığı sağlayın. Azure Managed Lustre ile Azure Blob Depolama arasında eşitleme ayarlayarak dağıtılmış yapay zeka iş yükleri arasında veri tutarlılığı sağlayın. Bu eşitleme, verilere erişen tüm düğümlerin aynı, tutarlı sürümle çalışmasını sağlayarak dağıtılmış ortamlardaki hataları ve tutarsızlıkları önler.
Yeniden üretilebilirlik için veri sürümü oluşturmayı etkinleştirin. Zaman içinde veri kümelerinde ve modellerde yapılan değişiklikleri izlemek için Azure Blob Depolama'de sürüm oluşturma özelliğini etkinleştirin. Bu özellik geri almayı kolaylaştırır, yeniden üretilebilirliği artırır ve işbirliğini destekler. Verilerde ve modellerde yapılan değişikliklerin ayrıntılı geçmişini tutar ve gerektiğinde önceki sürümleri karşılaştırmanıza ve geri yüklemenize olanak tanır.