Azure Machine Learning'deki işlem hedefleri nelerdir?

İşlem hedefi, eğitim betiğinizi çalıştırdığınız veya hizmet dağıtımınızı barındırdığınız belirlenmiş bir işlem kaynağı veya ortamıdır. Bu konum yerel makineniz veya bulut tabanlı işlem kaynağınız olabilir. İşlem hedeflerini kullanmak, daha sonra kodunuzu değiştirmek zorunda kalmadan işlem ortamınızı değiştirmenizi kolaylaştırır.

Azure Machine Learning, farklı işlem hedeflerinde farklı destek sağlar. Tipik bir model geliştirme yaşam döngüsünde şunları yapın:

  1. Başlangıç olarak az miktarda veri geliştirip üzerinde denemeler yapın. Bu aşamada, işlem hedefi olarak yerel bilgisayar veya bulut tabanlı sanal makine (VM) gibi yerel ortamınızı kullanın.
  2. Daha büyük verilere ölçeklendirin veya bu eğitim işlem hedeflerinden birini kullanarak dağıtılmış eğitim yapın.
  3. Modeliniz hazır olduktan sonra, bu dağıtım işlem hedeflerinden biriyle bir web barındırma ortamına dağıtın.

İşlem hedefleriniz için kullandığınız işlem kaynakları bir çalışma alanına eklenir. Yerel makine dışındaki işlem kaynakları çalışma alanının kullanıcıları tarafından paylaşılır.

İşlem hedeflerini eğitme

Daha büyük veri kümelerinde eğitiminizin ölçeğini artırdıkça veya dağıtılmış eğitim gerçekleştirirken Azure Machine Learning işlemini kullanarak her iş gönderdiğinizde otomatik olarak ölçeklendirilen tek veya çok düğümlü bir küme oluşturun. Farklı senaryolara yönelik destek farklılık gösterse de kendi işlem kaynağınızı da ekleyebilirsiniz.

İşlem hedefleri bir eğitim işinden diğerine yeniden kullanılabilir. Örneğin, çalışma alanınıza uzak bir VM ekledikten sonra, bunu birden çok iş için yeniden kullanabilirsiniz. Makine öğrenmesi işlem hatları için her işlem hedefi için uygun işlem hattı adımını kullanın.

Çoğu iş için eğitim işlem hedefi için aşağıdaki kaynaklardan herhangi birini kullanabilirsiniz. Otomatik makine öğrenmesi, makine öğrenmesi işlem hatları veya tasarımcı için tüm kaynaklar kullanılamaz. Azure Databricks, yerel çalıştırmalar ve makine öğrenmesi işlem hatları için eğitim kaynağı olarak kullanılabilir, ancak diğer eğitimler için uzak hedef olarak kullanılamaz.

Eğitim hedefleri Otomatik makine öğrenmesi Makine öğrenmesi işlem hatları Azure Machine Learning tasarımcısı
Yerel bilgisayar Yes    
Azure Machine Learning işlem kümesi Yes Evet Yes
Azure Machine Learning sunucusuz işlem Yes Evet Yes
Azure Machine Learning işlem örneği Evet (SDK aracılığıyla) Yes Yes
Azure Machine Learning Kubernetes Yes Yes
Uzak VM Yes Yes  
Apache Spark havuzları (önizleme) Evet (yalnızca SDK yerel modu) Yes  
Azure Databricks Evet (yalnızca SDK yerel modu) Yes  
Azure Data Lake Analytics   Yes  
Azure HDInsight   Yes  
Azure Batch   Yes  

İpucu

İşlem örneğinin 120 GB işletim sistemi diski vardır. Disk alanınız tükenirse, işlem örneğini durdurmadan veya yeniden başlatmadan önce en az 1-2 GB temizlemek için terminali kullanın.

Çıkarım için işlem hedefleri

Çıkarım yaparken Azure Machine Learning, modeli ve bunu kullanmak için gereken ilişkili kaynakları barındıran bir Docker kapsayıcısı oluşturur. Bu kapsayıcı daha sonra bir işlem hedefinde kullanılır.

Modelinizi barındırmak için kullandığınız işlem hedefi, dağıtılan uç noktanızın maliyetini ve kullanılabilirliğini etkiler. Uygun bir işlem hedefi seçmek için bu tabloyu kullanın.

İşlem hedefi Kullanıldığı yerler GPU desteği Açıklama
Azure Machine Learning uç noktaları Gerçek zamanlı çıkarım

Toplu çıkarım
Yes Sunucusuz işlemde gerçek zamanlı (yönetilen çevrimiçi uç noktalar) ve toplu puanlama (toplu iş uç noktaları) için tam olarak yönetilen işlemler.
Azure Machine Learning Kubernetes Gerçek zamanlı çıkarım

Toplu çıkarım
Yes Şirket içi, bulut ve uç Kubernetes kümelerinde çıkarım iş yüklerini çalıştırın.
İşlem hedefi Kullanıldığı yerler GPU desteği Açıklama
Yerel web hizmeti Test/hata ayıklama   Sınırlı test ve sorun giderme için kullanın. Donanım hızlandırma, yerel sistemdeki kitaplıkların kullanımına bağlıdır.
Azure Machine Learning Kubernetes Gerçek zamanlı çıkarım Yes Çıkarım iş yüklerini bulutta çalıştırın.
Azure Container Instances Gerçek zamanlı çıkarım

Yalnızca geliştirme/test amacıyla önerilir.
  48 GB'tan az RAM gerektiren düşük ölçekli CPU tabanlı iş yükleri için kullanın. Kümeyi yönetmenizi gerektirmez.

Yalnızca boyutu 1 GB'tan küçük modeller için uygundur.

Tasarımcıda desteklenir.

Not

Küme SKU'su seçerken önce ölçeği genişletin ve sonra ölçeği genişletin. Modelinizin gerektirdiği RAM'in %150'sine sahip bir makineyle başlayın, sonucun profilini yapın ve ihtiyacınız olan performansa sahip bir makine bulun. Bunu öğrendikkten sonra, eşzamanlı çıkarım gereksiniminize uyacak şekilde makine sayısını artırın.

Çevrimiçi uç nokta kullanarak makine öğrenmesi modelini dağıtma ve puanlandırma.

Azure Machine Learning işlem (yönetilen)

Azure Machine Learning yönetilen işlem kaynaklarını oluşturur ve yönetir. Bu işlem türü makine öğrenmesi iş yükleri için iyileştirilmiştir. Yönetilen tek işlem Azure Machine Learning işlem kümeleri, sunucusuz işlem ve işlem örnekleridir .

Sunucusuz işlem oluşturmaya gerek yoktur. Azure Machine Learning işlem örnekleri veya işlem kümeleri oluşturabilirsiniz:

Not

İşlem kümesi oluşturmak yerine, işlem yaşam döngüsü yönetimini Azure Machine Learning'e boşaltmak için sunucusuz işlem kullanın.

Bu işlem kaynakları oluşturulduğunda, diğer işlem hedeflerinden farklı olarak otomatik olarak çalışma alanınızın bir parçasıdır.

Özellik İşlem kümesi İşlem örneği
Tek veya çok düğümlü küme Tek düğüm kümesi
Her iş gönderdiğinizde otomatik ölçeklendirmeler
Otomatik küme yönetimi ve iş zamanlaması
Hem CPU hem de GPU kaynakları için destek

Not

İşlem boşta olduğunda ücretlerden kaçınmak için:

  • İşlem kümesi için en az düğüm sayısının 0 olarak ayarlandığından emin olun veya sunucusuz işlem kullanın.
  • İşlem örneği için boşta kapatmayı etkinleştirin.

Desteklenen VM serisi ve boyutları

Önemli

İşlem örneğiniz veya işlem kümeleriniz bu serilerden herhangi birini temel alırsa, başka bir VM boyutuyla yeniden oluşturun.

Bu seriler 31 Ağustos 2023'te kullanımdan kaldırıldı:

Bu seri 31 Ağustos 2024'te kullanımdan kaldırıldı:

Azure Machine Learning'de yönetilen işlem kaynağı için bir düğüm boyutu seçtiğinizde, Azure'da kullanılabilen belirli VM boyutları arasından seçim yapabilirsiniz. Azure, farklı iş yükleri için Linux ve Windows için çeşitli boyutlar sunar. Daha fazla bilgi edinmek için bkz . VM türleri ve boyutları.

VM boyutu seçmeye yönelik birkaç özel durum ve sınırlama vardır:

  • Bazı VM serileri Azure Machine Learning'de desteklenmez.
  • GPU'lar ve diğer özel SKU'lar gibi bazı VM serileri başlangıçta kullanılabilir VM'ler listenizde görünmeyebilir. Ancak kota değişikliği isteğinde bulunduktan sonra bunları kullanmaya devam edebilirsiniz. Kota isteme hakkında daha fazla bilgi için bkz . Kota ve sınır artışı isteme.

Desteklenen seriler hakkında daha fazla bilgi edinmek için aşağıdaki tabloya bakın.

Desteklenen VM serisi Kategori Destekleyen:
DDSv4 Genel amaçlı İşlem kümeleri ve örneği
Dv2 Genel amaçlı İşlem kümeleri ve örneği
Dv3 Genel amaçlı İşlem kümeleri ve örneği
DSv2 Genel amaçlı İşlem kümeleri ve örneği
DSv3 Genel amaçlı İşlem kümeleri ve örneği
EAv4 Bellek için iyileştirilmiş İşlem kümeleri ve örneği
Ev3 Bellek için iyileştirilmiş İşlem kümeleri ve örneği
ESv3 Bellek için iyileştirilmiş İşlem kümeleri ve örneği
FSv2 İşlem için iyileştirilmiş İşlem kümeleri ve örneği
FX İşlem için iyileştirilmiş İşlem kümeleri
H Yüksek performanslı işlem İşlem kümeleri ve örneği
HB Yüksek performanslı işlem İşlem kümeleri ve örneği
HBv2 Yüksek performanslı işlem İşlem kümeleri ve örneği
HBv3 Yüksek performanslı işlem İşlem kümeleri ve örneği
HC Yüksek performanslı işlem İşlem kümeleri ve örneği
LSv2 Depolama için iyileştirilmiş İşlem kümeleri ve örneği
M Bellek için iyileştirilmiş İşlem kümeleri ve örneği
NC GPU İşlem kümeleri ve örneği
NC Promosyonu GPU İşlem kümeleri ve örneği
NCv2 GPU İşlem kümeleri ve örneği
NCv3 GPU İşlem kümeleri ve örneği
ND GPU İşlem kümeleri ve örneği
NDv2 GPU İşlem kümeleri ve örneği
NV GPU İşlem kümeleri ve örneği
NVv3 GPU İşlem kümeleri ve örneği
NCasT4_v3 GPU İşlem kümeleri ve örneği
NDasrA100_v4 GPU İşlem kümeleri ve örneği

Azure Machine Learning bu VM serisini desteklese de tüm Azure bölgelerinde kullanılamayabilir. VM serisinin kullanılabilir olup olmadığını denetlemek için bkz . Bölgeye göre kullanılabilir ürünler.

Not

Azure Machine Learning, Azure İşlem'in desteklediği tüm VM boyutlarını desteklemez. Kullanılabilir VM boyutlarını listelemek için aşağıdaki yöntemi kullanın:

Not

Azure Machine Learning, Azure İşlem'in desteklediği tüm VM boyutlarını desteklemez. Belirli işlem VM türleri tarafından desteklenen kullanılabilir VM boyutlarını listelemek için aşağıdaki yöntemlerden birini kullanın:

GPU özellikli işlem hedeflerini kullanıyorsanız, eğitim ortamında doğru CUDA sürücülerinin yüklü olduğundan emin olmanız önemlidir. Kullanılacak doğru CUDA sürümünü belirlemek için aşağıdaki tabloyu kullanın:

GPU Mimarisi Azure VM serisi Desteklenen CUDA sürümleri
Amper NDA100_v4 11.0+
Torino NCT4_v3 10.0+
Volta NCv3, NDv2 9.0+
Pascal NCv2, ND 9.0+
Maxwell NV, NVv3 9.0+
Kepler NC, NC Promosyonu 9.0+

CUDA sürümü ve donanımının uyumlu olduğundan emin olmanıza ek olarak CUDA sürümünün kullandığınız makine öğrenmesi çerçevesinin sürümüyle uyumlu olduğundan da emin olun:

  • PyTorch için Pytorch'un önceki sürümler sayfasını ziyaret ederek uyumluluğu de kontrol edebilirsiniz.
  • Tensorflow için Tensorflow'un kaynak sayfasından derlemesini ziyaret ederek uyumluluğu de kontrol edebilirsiniz.

İşlem yalıtımı

Azure Machine Learning işlem, belirli bir donanım türüne göre yalıtılmış ve tek bir müşteriye ayrılmış VM boyutları sunar. Yalıtılmış VM boyutları, uyumluluk ve mevzuat gereksinimlerini karşılamayı içeren nedenlerle diğer müşterilerin iş yüklerinden yüksek düzeyde yalıtım gerektiren iş yükleri için idealdir. Yalıtılmış bir boyut kullanmak, vm'nizin söz konusu sunucu örneğinde çalışan tek kişi olduğunu garanti eder.

Geçerli yalıtılmış VM teklifleri şunlardır:

  • Standard_M128ms
  • Standard_F72s_v2
  • Standard_NC24s_v3
  • Standard_NC24rs_v3 (RDMA özellikli)

Yalıtım hakkında daha fazla bilgi edinmek için bkz . Azure genel bulutunda yalıtım.

Yönetilmeyen işlem

Azure Machine Learning yönetilmeyen işlem hedeflerini yönetmez. Bu tür bir işlem hedefini Azure Machine Learning'in dışında oluşturur ve sonra da çalışma alanınıza eklersiniz. Yönetilmeyen işlem kaynakları, makine öğrenmesi iş yüklerinin performansını korumanız veya geliştirmeniz için ek adımlar gerektirebilir.

Azure Machine Learning aşağıdaki yönetilmeyen işlem türlerini destekler:

  • Uzak sanal makineler
  • Azure HDInsight
  • Azure Databricks
  • Azure Data Lake Analytics

Daha fazla bilgi için bkz . İşlem kaynaklarını yönetme.