Batch uç noktaları
Azure Machine Learning, makine öğrenmesi modelleri ve işlem hatları ile uzun süre çalışan, zaman uyumsuz çıkarım gerçekleştirmek için toplu iş uç noktaları ve dağıtımları uygulamanıza olanak tanır. Bir makine öğrenmesi modelini veya işlem hattını eğitirken, başkalarının tahmin oluşturmak için yeni giriş verileriyle kullanabilmesi için bunu dağıtmanız gerekir. Model veya işlem hattıyla tahmin oluşturma işlemi çıkarım olarak adlandırılır.
Toplu iş uç noktaları verilere işaretçiler alır ve işlem kümelerinde verileri paralel olarak işlemek için işleri zaman uyumsuz çalıştırır. Toplu iş uç noktaları daha fazla analiz etmek için çıkışları bir veri deposunda saklar. Aşağıdaki durumlarda toplu iş uç noktalarını kullanın:
- Çalıştırmak için daha uzun süre gerektiren pahalı modelleriniz veya işlem hatlarınız var.
- Makine öğrenmesi işlem hatlarını kullanıma hazır hale getirmek ve bileşenleri yeniden kullanmak istiyorsunuz.
- Birden çok dosyaya dağıtılmış büyük miktarda veriden çıkarım yapmanız gerekir.
- Düşük gecikme süresi gereksinimleriniz yoktur.
- Modelinizin girişleri bir Depolama Hesabında veya Azure Machine learning veri varlığında depolanır.
- Paralelleştirmeden yararlanabilirsiniz.
Toplu dağıtımlar
Dağıtım, uç noktanın sağladığı işlevselliği uygulamak için gereken bir dizi kaynak ve işlemdir. Her uç nokta farklı yapılandırmalara sahip çeşitli dağıtımlar barındırabilir ve bu işlevsellik, uç noktanın arabirimini dağıtım tarafından tanımlanan uygulama ayrıntılarından ayırmaya yardımcı olur. Bir toplu iş uç noktası çağrıldığında, istemciyi otomatik olarak varsayılan dağıtımına yönlendirir. Bu varsayılan dağıtım herhangi bir zamanda yapılandırılabilir ve değiştirilebilir.
Azure Machine Learning toplu iş uç noktalarında iki tür dağıtım mümkündür:
Model dağıtımı
Model dağıtımı, büyük miktarda veriyi düşük gecikme süresi ve zaman uyumsuz bir şekilde işlemenize olanak tanıyarak model çıkarımının büyük ölçekte kullanıma hazır hale getirilmesini sağlar. Azure Machine Learning, bir işlem kümesindeki birden çok düğüm arasında çıkarım işlemlerinin paralelleştirilmesini sağlayarak ölçeklenebilirliği otomatik olarak izler.
Aşağıdaki durumlarda Model dağıtımlarını kullanın:
- Çıkarım çalıştırmak için daha uzun süre gerektiren pahalı modelleriniz var.
- Birden çok dosyaya dağıtılmış büyük miktarda veriden çıkarım yapmanız gerekir.
- Düşük gecikme süresi gereksinimleriniz yoktur.
- Paralelleştirmeden yararlanabilirsiniz.
Model dağıtımlarının temel avantajı, çevrimiçi uç noktalara gerçek zamanlı çıkarım için dağıtılan varlıkları kullanabilmenizdir, ancak artık bunları toplu olarak büyük ölçekte çalıştırabilirsiniz. Modeliniz basit ön işleme veya işlem sonrası gerektiriyorsa, gerekli veri dönüştürmelerini gerçekleştiren bir puanlama betiği yazabilirsiniz.
Toplu iş uç noktasında model dağıtımı oluşturmak için aşağıdaki öğeleri belirtmeniz gerekir:
- Model
- İşlem kümesi
- Puanlama betiği (MLflow modelleri için isteğe bağlı)
- Ortam (MLflow modelleri için isteğe bağlı)
İşlem hattı bileşeni dağıtımı
İşlem hattı bileşeni dağıtımı, düşük gecikme süresi ve zaman uyumsuz bir şekilde toplu çıkarım gerçekleştirmek için tüm işlem grafiklerinin (veya işlem hatlarının) kullanıma hazır hale getirilmesini sağlar.
İşlem hattı bileşeni dağıtımlarını şu durumlarda kullanın:
- Birden çok adımda ayrıştırılabilir eksiksiz işlem graflarını kullanıma hazır hale getirmeniz gerekir.
- Eğitim işlem hatlarındaki bileşenleri çıkarım işlem hattınızda yeniden kullanmanız gerekir.
- Düşük gecikme süresi gereksinimleriniz yoktur.
İşlem hattı bileşeni dağıtımlarının temel avantajı, platformunuzda zaten mevcut olan bileşenlerin yeniden kullanılabilirliği ve karmaşık çıkarım yordamlarını kullanıma hazır hale getirme özelliğidir.
Toplu iş uç noktasında işlem hattı bileşeni dağıtımı oluşturmak için aşağıdaki öğeleri belirtmeniz gerekir:
- İşlem hattı bileşeni
- İşlem kümesi yapılandırması
Batch uç noktaları ayrıca mevcut bir işlem hattı işinden işlem hattı bileşeni dağıtımları oluşturmanıza da olanak sağlar. Bunu yaparken Azure Machine Learning otomatik olarak iş dışında bir işlem hattı bileşeni oluşturur. Bu, bu tür dağıtımların kullanımını basitleştirir. Ancak MLOps uygulamanızı kolaylaştırmak için her zaman açıkça işlem hattı bileşenleri oluşturmak en iyi yöntemdir.
Maliyet yönetimi
Toplu iş uç noktasını çağırmak zaman uyumsuz bir toplu çıkarımı işini tetikler. Azure Machine Learning, iş başladığında işlem kaynaklarını otomatik olarak sağlar ve iş tamamlandıktan sonra bunları otomatik olarak serbest bıraktır. Bu şekilde işlem için yalnızca kullandığınızda ödeme alırsınız.
İpucu
Modelleri dağıtırken, her bir toplu işlem çıkarım işi için işlem kaynağı ayarlarını (örnek sayısı gibi) ve gelişmiş ayarları (mini toplu iş boyutu, hata eşiği vb.) geçersiz kılabilirsiniz. Bu belirli yapılandırmalardan yararlanarak yürütmeyi hızlandırabilir ve maliyeti düşürebilirsiniz.
Batch uç noktaları düşük öncelikli VM'lerde de çalıştırılabilir. Batch uç noktaları serbest bırakılmış VM'lerden otomatik olarak kurtarılabilir ve çıkarım için modelleri dağıtırken işi kaldığı yerden sürdürebilir. Toplu çıkarım iş yüklerinin maliyetini azaltmak için düşük öncelikli VM'lerin nasıl kullanılacağı hakkında daha fazla bilgi için bkz . Toplu iş uç noktalarındaki düşük öncelikli VM'leri kullanma.
Son olarak, Azure Machine Learning toplu uç noktalar veya toplu dağıtımlar için sizden ücret almaz, böylece uç noktalarınızı ve dağıtımlarınızı senaryonuza en uygun şekilde düzenleyebilirsiniz. Uç noktalar ve dağıtımlar bağımsız veya paylaşılan kümeler kullanabilir, böylece işlerin hangi işlemi kullandığı üzerinde ayrıntılı denetim elde edebilirsiniz. Kümelerde, boşta olduklarında hiçbir kaynağın kullanılmadığından emin olmak için ölçek-sıfır kullanın.
MLOps uygulamasını kolaylaştırma
Batch uç noktaları aynı uç nokta altında birden çok dağıtımı işleyerek tüketicilerinizin çağırmak için kullandığı URL'yi değiştirmeden uç noktanın uygulamasını değiştirmenize olanak sağlar.
Uç noktanın kendisini etkilemeden dağıtım ekleyebilir, kaldırabilir ve güncelleştirebilirsiniz.
Esnek veri kaynakları ve depolama
Batch uç noktaları verileri doğrudan depolama alanından okur ve yazar. Giriş olarak Azure Machine Learning veri depolarını, Azure Machine Learning veri varlıklarını veya Depolama Hesaplarını belirtebilirsiniz. Desteklenen giriş seçenekleri ve bunların nasıl belirtilmesi hakkında daha fazla bilgi için bkz . Toplu iş uç noktalarına iş ve giriş verileri oluşturma.
Güvenlik
Batch uç noktaları, üretim düzeyi iş yüklerini kurumsal bir ayarda çalıştırmak için gereken tüm özellikleri sağlar. Kullanıcı sorumlusu (kullanıcı hesabı gibi) veya hizmet sorumlusu (yönetilen veya yönetilmeyen kimlik gibi) kullanarak güvenli çalışma alanlarında özel ağı ve Microsoft Entra kimlik doğrulamasını destekler. Bir toplu iş uç noktası tarafından oluşturulan işler çağıranın kimliği altında çalıştırılır ve bu da size herhangi bir senaryoyu uygulama esnekliği sağlar. Toplu iş uç noktalarını kullanırken yetkilendirme hakkında daha fazla bilgi için bkz . Toplu iş uç noktaları üzerinde kimlik doğrulaması yapma.