Modelleri sunucusuz API uç noktaları olarak dağıtma
Bu makalede, model kataloğundan bir modeli kullandıkça öde belirteç tabanlı faturalama ile sunucusuz API olarak dağıtmayı öğreneceksiniz.
Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.
Bu makalede, çizim için meta lama modeli dağıtımı kullanılır. Ancak, model kataloğunda sunucusuz API dağıtımı için kullanılabilen modellerden herhangi birini dağıtmak için aynı adımları kullanabilirsiniz.
Önkoşullar
Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.
Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza kaynak grubunda Azure AI Geliştirici rolü atanmalıdır. İzinler hakkında daha fazla bilgi için bkz . Azure Machine Learning'de rol tabanlı erişim denetimi.
Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:
Azure Machine Learning'de gezinmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.
Model kataloğunda modelinizi ve model kimliğinizi bulma
Azure Machine Learning stüdyosu oturum açma
Azure Market aracılığıyla sunulan modeller için hesabınızın kaynak grubunda Azure AI Geliştirici rolü izinlerine sahip olduğundan veya model tekliflerine abone olmak için gereken izinleri karşıladığınızdan emin olun.
Microsoft dışı sağlayıcılar (örneğin, Lama ve Mistral modeller) tarafından sunulan modeller Azure Market üzerinden faturalandırılır. Bu tür modeller için çalışma alanınızı belirli model teklifine abone olmanız gerekir. Faturalama farklı yapıldığından, Microsoft tarafından sunulan modeller (örneğin Phi-3 modelleri) bu gereksinime sahip değildir. Model kataloğundaki modellerin sunucusuz dağıtımı için faturalama hakkında ayrıntılı bilgi için bkz . Sunucusuz API'ler için faturalama.
Çalışma alanınıza gidin. Sunucusuz API modeli dağıtım teklifini kullanmak için, çalışma alanınızın dağıtmak istediğiniz model için sunucusuz dağıtım için desteklenen bölgelerden birine ait olması gerekir.
Sol kenar çubuğundan Model kataloğu'nu seçin ve dağıtmak istediğiniz modelin model kartını bulun. Bu makalede bir Meta-Llama-3-8B-Instruct modeli seçersiniz.
- Modeli Azure CLI, Python SDK veya ARM kullanarak dağıtıyorsanız Model Kimliğini kopyalayın.
Önemli
Model Kimliğini kopyalarken sürümü eklemeyin. Sunucusuz API uç noktaları her zaman modelin kullanılabilir en son sürümünü dağıtır. Örneğin, model kimliği
azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3
için değerini kopyalayınazureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
.
Sonraki bölümde çalışma alanınızı bir model teklifine abone yapmaya yönelik adımlar açıklanmıştır. Microsoft modeli dağıtıyorsanız bu bölümü atlayabilir ve Modeli sunucusuz API uç noktasına dağıtma bölümüne gidebilirsiniz.
Çalışma alanınızı model teklifine abone olma
Sunucusuz API uç noktaları hem Microsoft tarafından sunulan hem de Microsoft dışı modelleri dağıtabilir. Microsoft modelleri (Phi-3 modelleri gibi) için bir Azure Market aboneliği oluşturmanız gerekmez ve tahminlerini kullanmak için bunları doğrudan sunucusuz API uç noktalarına dağıtabilirsiniz. Microsoft dışı modeller için önce aboneliği oluşturmanız gerekir. Modeli çalışma alanında ilk kez dağıtıyorsanız, Azure Market belirli bir model teklifi için çalışma alanınızı abone olmanız gerekir. Her çalışma alanının, modelin belirli Azure Market teklifine kendi aboneliği vardır ve bu da harcamaları denetlemenize ve izlemenize olanak tanır.
Not
Azure Market aracılığıyla sunulan modeller, belirli bölgelerdeki sunucusuz API uç noktalarına dağıtılabilir. Hangi modellerin ve bölgelerin kullanılabilir olduğunu doğrulamak için sunucusuz API uç noktalarındaki modeller için Bölge kullanılabilirliğini denetleyin. İhtiyacınız olan listede yoksa, desteklenen bir bölgedeki bir çalışma alanına dağıtabilir ve ardından farklı bir çalışma alanından sunucusuz API uç noktalarını kullanabilirsiniz.
Modelin market aboneliğini oluşturun. Abonelik oluşturduğunuzda, model teklifiyle ilişkili hüküm ve koşulları kabul edersiniz. Microsoft tarafından sunulan modeller (Phi-3 gibi) için bu adımı gerçekleştirmenize gerek olmadığını unutmayın.
Modelin Ayrıntılar sayfasında Dağıt'ı seçin. Bir Dağıtım seçenekleri penceresi açılır ve yönetilen işlem kullanarak sunucusuz API dağıtımı ile dağıtım arasında seçim yapın.
Not
Yalnızca sunucusuz API dağıtımı aracılığıyla dağıtılabilir modeller için, modelin ayrıntılar sayfasından Dağıt'ı seçtikten hemen sonra sunucusuz API dağıtım sihirbazı açılır.
Sunucusuz API dağıtım sihirbazını açmak için Azure AI content Safety (önizleme) ile Sunucusuz API'yi seçin.
Microsoft satın alma ilkesini onaylamak için onay kutusunu seçin.
Bu çalışma alanı için zaten bir Azure Market aboneliğiniz var notunu görürseniz, zaten bir aboneliğiniz olduğundan aboneliği oluşturmanız gerekmez. Modeli sunucusuz api uç noktasına dağıtma işlemine geçebilirsiniz.
Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini de seçebilirsiniz.
Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Market teklifi ayrıntıları sekmesini de seçebilirsiniz.
Abone Ol ve Dağıt'ı seçin.
Çalışma alanını belirli Azure Market teklifi için abone olduktan sonra, aynı teklifin aynı çalışma alanında sonraki dağıtımları yeniden abone olmayı gerektirmez.
Herhangi bir noktada, çalışma alanınızın şu anda abone olduğu model tekliflerini görebilirsiniz:
Azure portal'a gidin
Çalışma alanının ait olduğu kaynak grubuna gidin.
Tür filtresinde SaaS'yi seçin.
Şu anda abone olduğunuz tüm teklifleri görürsünüz.
Ayrıntıları görmek için herhangi bir kaynağı seçin.
Modeli sunucusuz API uç noktasına dağıtma
Microsoft dışı bir model için abonelik oluşturduktan sonra, ilişkili modeli sunucusuz API uç noktasına dağıtabilirsiniz. Microsoft modelleri (Phi-3 modelleri gibi) için abonelik oluşturmanız gerekmez.
Sunucusuz API uç noktası, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlarken kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk özelliklerini de korumanızı sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.
Bu bölümde meta-llama3-8b-qwerty adlı bir uç nokta oluşturacaksınız.
Sunucusuz uç nokta oluşturma
Bir model teklifine abone olmayı gerektirmeyen bir Microsoft modeli dağıtmak için Dağıt'ı ve ardından Azure AI İçerik Güvenliği (önizleme) ile Sunucusuz API'yi seçerek dağıtım sihirbazını açın.
Alternatif olarak, model aboneliği gerektiren Microsoft dışı bir model için çalışma alanınızı önceki bölümdeki model teklifine abone yaptıysanız Dağıt'ı seçmeye devam edin. Alternatif olarak, Dağıtıma devam et'i seçin (dağıtım sihirbazınızda bu çalışma alanı için zaten bir Azure Market aboneliğiniz var notu varsa).
Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.
İpucu
İçerik filtresi (önizleme) seçeneği varsayılan olarak etkindir. Nefret, kendine zarar verme, cinsel içerik ve şiddet içeren içerik gibi zararlı içerikleri algılamak için hizmetin varsayılan ayarını değiştirmeyin. İçerik filtreleme (önizleme) hakkında daha fazla bilgi için bkz . Sunucusuz API'ler aracılığıyla dağıtılan modeller için içerik güvenliği.
Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.
Herhangi bir noktada, çalışma alanınıza dağıtılan uç noktaları görebilirsiniz:
Çalışma alanınıza gidin.
Uç Noktaları seçin.
Sunucusuz API uç noktalarını görüntülemek için Sunucusuz uç noktalar sekmesini seçin.
Oluşturulan uç nokta yetkilendirme için anahtar kimlik doğrulamasını kullanır. Belirli bir uç noktayla ilişkili anahtarları almak için aşağıdaki adımları kullanın.
- Dağıtımın sayfasına dönmek için sunucusuz uç noktalar listesinden uç noktanın adını seçin.
- Uç noktanın Hedef URI'sini ve Anahtarını not edin. Dağıtımı çağırmak ve tahminler oluşturmak için bunları kullanın.
Bu noktada uç noktanız kullanılmaya hazırdır.
Bu dağıtımı farklı bir çalışma alanından kullanmanız gerekiyorsa veya akıllı uygulamalar oluşturmak için istem akışını kullanmayı planlıyorsanız sunucusuz API dağıtımına bir bağlantı oluşturmanız gerekir. Yeni bir çalışma alanında veya hub'da mevcut sunucusuz API uç noktasını yapılandırmayı öğrenmek için bkz . Farklı bir çalışma alanından veya İstem akışından dağıtılan sunucusuz API uç noktalarını kullanma.
İpucu
Dağıtımın dağıtıldığı çalışma alanında istem akışı kullanıyorsanız bağlantıyı yine de oluşturmanız gerekir.
Sunucusuz API uç noktasını kullanma
Sunucusuz API uç noktalarındaki Azure Machine Learning ve Azure AI studio'da dağıtılan modeller, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen Azure Yapay Zeka Modeli Çıkarım API'sini destekler.
Bu API'nin özellikleri ve uygulamaları oluştururken nasıl kullanabileceğiniz hakkında daha fazla bilgi edinin.
Uç noktaları ve abonelikleri silme
Model aboneliklerini ve uç noktaları silebilirsiniz. Model aboneliğini silmek, ilişkili uç noktaların iyi durumda olmadığını ve kullanılamaz hale gelmesini sağlar.
Sunucusuz API uç noktasını silmek için:
Sol kenar çubuğundan Uç Noktalar'ı seçin.
Sunucusuz API uç noktalarını görüntülemek için Sunucusuz uç noktalar sekmesini seçin.
Silmek istediğiniz uç noktayı açın.
Sil'i seçin.
İlişkili model aboneliğini silmek için:
Azure portal'a gidin
Çalışma alanının ait olduğu kaynak grubuna gidin.
Tür filtresinde SaaS'yi seçin.
Silmek istediğiniz aboneliği seçin.
Sil'i seçin.
Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları
Kota dağıtım başına yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda çalışma alanı başına model başına bir dağıtımla sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.
Microsoft modelleri için maliyet
Microsoft modellerini (Phi-3 modelleri gibi) sunucusuz API uç noktaları olarak dağıtırken dağıtım sihirbazının Fiyatlandırma ve koşullar sekmesinde fiyatlandırma bilgilerini bulabilirsiniz.
Microsoft dışı modeller için maliyet
Sunucusuz API uç noktaları olarak dağıtılan Microsoft dışı modeller, Azure Market aracılığıyla sunulur ve kullanım için Azure AI Studio ile tümleştirilir. Bu modelleri dağıtırken veya hassas ayarlar yaparken Azure Market fiyatlandırmasını bulabilirsiniz.
Bir çalışma alanı Azure Market'ten belirli bir teklife her abone olduğunda tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Çıkarımla veya ince ayar yapmayla ilişkili maliyetleri izlemek için aynı kaynak kullanılır ancak, her senaryoda bağımsız izleme için birden çok metre kullanılabilir.
Maliyetlerin nasıl izleneceği hakkında daha fazla bilgi için Azure Market aracılığıyla sunulan modellerin maliyetlerini izleme bölümüne bakın.
Model tekliflerine abone olmak için gereken izinler
Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliği için Sahip, Katkıda Bulunan veya Azure AI Geliştirici rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:
Azure aboneliğinde - Çalışma alanının her çalışma alanı ve teklif başına bir kez Azure Market teklifine abone olması için:
Microsoft.MarketplaceOrdering/agreements/offers/plans/read
Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
Microsoft.SaaS/register/action
Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:
Microsoft.SaaS/resources/read
Microsoft.SaaS/resources/write
Çalışma alanında - Uç noktaları dağıtmak için (Azure Machine Learning veri bilimci rolü bu izinleri zaten içerir):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
İzinler hakkında daha fazla bilgi için bkz. Azure Machine Learning çalışma alanlarına erişimi yönetme.