Yapay zeka hizmetleri sınırlarını otomatik ölçeklendirme

  • Makale

Bu makalede müşterilerin Azure AI hizmetleri kaynaklarındaki daha yüksek hız sınırlarına nasıl erişebileceğine ilişkin yönergeler sağlanmaktadır.

Genel bakış

Her Azure AI hizmetleri kaynağı, müşterilerin belirli bir zaman diliminde arka uç hizmetine gerçekleştirebileceği eşzamanlı çağrı sayısını sınırlayan önceden yapılandırılmış bir statik çağrı hızına (saniye başına işlem sayısı) sahiptir. Otomatik ölçeklendirme özelliği, gerçek zamanlıya yakın kaynak kullanım ölçümlerine ve arka uç hizmet kapasitesi ölçümlerine göre müşterinin kaynağının hız sınırlarını otomatik olarak artırır/azaltır.

Otomatik ölçeklendirme özelliğini kullanmaya başlama

Bu özellik her yeni kaynak için varsayılan olarak devre dışıdır. Etkinleştirmek için bu yönergeleri izleyin.

Azure portalında kaynağınızın sayfasına gidin ve sol bölmedeki Genel Bakış sekmesini seçin. Temel Bileşenler bölümünün altında Otomatik Ölçeklendirme satırını bulun ve Bağlantıyı seçerek Otomatik Ölçeklendirme Ayarları bölmesini görüntüleyin ve özelliği etkinleştirin.

Otomatik ölçeklendirme bölmesinin sağda olduğu Azure portalının ekran görüntüsü.

Sık sorulan sorular

Otomatik ölçeklendirme özelliğini etkinleştirmek kaynağımın bir daha asla kısıtlanmayacağı anlamına mı geliyor?

Hayır, yine de hız sınırı fazlalığıyla ilgili hatalar alabilirsiniz 429 . Uygulamanız ani bir artış tetiklerse ve kaynağınız bir 429 yanıt bildirirse, otomatik ölçeklendirme kullanılabilir kapasite projeksiyon bölümünü denetleerek geçerli kapasitenin hız sınırı artışına uyum sağlayıp sağlayamayacağını ve beş dakika içinde yanıt verip veremeyeceğini denetler.

Kullanılabilir kapasite bir artış için yeterliyse, otomatik ölçeklendirme kaynağınızın hız sınırı sınırını kademeli olarak artırır. Kaynağınızı daha fazla 429 azaltmaya neden olacak yüksek bir hızda çağırmaya devam ederseniz, TPS hızınız zaman içinde artmaya devam eder. Bu eylem bir saat veya daha uzun süre devam ederse, söz konusu kaynak için geçerli olan en yüksek hıza (1000 TPS'ye kadar) ulaşmanız gerekir.

Kullanılabilir kapasite bir artış için yeterli değilse, otomatik ölçeklendirme özelliği beş dakika bekler ve yeniden denetler.

Daha yüksek bir varsayılan hız sınırına ihtiyacım olursa ne olur?

Varsayılan olarak, Azure AI hizmetleri kaynaklarının varsayılan hız sınırı 10 TPS'dir. Daha yüksek bir varsayılan TPS'ye ihtiyacınız varsa, Azure portalındaki kaynağınızın sayfasındaki Yeni Destek İsteği bağlantısını izleyerek bir bilet gönderin. İsteğe bir iş gerekçesi eklemeyi unutmayın.

Bu özellik Azure harcamalarımı artıracak mı?

Azure yapay zeka hizmetleri fiyatlandırması değişmemiştir ve buradan erişilebilir. Yalnızca Azure AI hizmetleri API'lerine yapılan başarılı çağrılar için faturalandıracağız. Ancak, artan çağrı oranı sınırları, daha fazla işlemin tamamlandığı anlamına gelir ve daha yüksek bir fatura alabilirsiniz.

Olası hataların ve sonuçlarının farkında olun. İstemci uygulamanızdaki bir hata hizmetin saniyede yüzlerce kez çağrılmasına neden olursa, bu büyük olasılıkla çok daha yüksek bir faturaya yol açarken, maliyet sabit bir hız sınırı altında çok daha sınırlı olacaktır. Bu tür hatalar sizin sorumluluğunuzdadır. Otomatik ölçeklendirme özelliğini kullanmadan önce sabit hız sınırına sahip bir kaynak üzerinde geliştirme ve istemci güncelleştirme testleri gerçekleştirmenizi kesinlikle öneririz.

Tahmin edilemeyen harcamalar yerine oranı sınırlamayı tercih edersem bu özelliği devre dışı bırakabilir miyim?

Evet, Azure portalı veya CLI aracılığıyla otomatik ölçeklendirme özelliğini devre dışı bırakabilir ve varsayılan çağrı hızı sınırı ayarınıza dönebilirsiniz. Kaynağınız daha önce daha yüksek bir varsayılan TPS için onaylandıysa bu hıza geri döner. Değişikliklerin geçerlilik kazanması beş dakika kadar sürebilir.

Otomatik ölçeklendirme özelliğini hangi hizmetler destekler?

Otomatik ölçeklendirme özelliği aşağıdaki hizmetler için kullanılabilir:

Bu özelliği ücretsiz abonelik kullanarak test edebilir miyim?

Hayır, otomatik ölçeklendirme özelliği ücretsiz katman aboneliklerinde kullanılamaz.

Sonraki adımlar