Azure OpenAI Hizmeti ile ilgili Azure İyi Tasarlanmış Çerçeve perspektifi

Dayanıklılık: Kullanım örneğinize göre kullandıkça öde veya sağlanan aktarım hızı için uygun dağıtım seçeneğini belirleyin. Ayrılmış kapasite dayanıklılığı artırdığından üretim çözümleri için sağlanan aktarım hızını seçin. Kullandıkça öde yaklaşımı geliştirme/test ortamları için idealdir.

Yedeklilik: Azure OpenAI dağıtımlarınızın önüne uygun ağ geçitlerini ekleyin. Ağ geçidinin azaltma gibi geçici hatalara dayanabilmesi ve ayrıca birden çok Azure OpenAI örneğine yönlendirebilmesi gerekir. Bölgesel yedeklilik oluşturmak için farklı bölgelerdeki örneklere yönlendirmeyi göz önünde bulundurun.

Dayanıklılık: Sağlanan aktarım hızını kullanıyorsanız, taşmayı işlemek için kullandıkça öde örneği dağıtmayı da göz önünde bulundurun. Sağlanan aktarım hızı modeliniz kısıtlandığında ağ geçidiniz aracılığıyla çağrıları kullandıkça öde örneğine yönlendirebilirsiniz.

Dayanıklılık: Aktarım hızı sınırlarını aşmadığınızdan emin olmak için kapasite kullanımını izleyin. Daha doğru tahminler elde etmek ve kapasite kısıtlamaları nedeniyle hizmet kesintilerini önlemeye yardımcı olmak için kapasite kullanımını düzenli olarak gözden geçirin.

Dayanıklılık: Büyük veri dosyalarında ince ayar yapmak ve verileri bir Azure blob deposundan içeri aktarmak için yönergeleri izleyin. İstekler atomik olduğundan ve yeniden denenemediği veya sürdürülemediğinden, 100 MB veya daha büyük büyük dosyalar çok parçalı formlar aracılığıyla karşıya yüklendiğinde kararsız hale gelebilir.

Kurtarma: İyi ayarlanmış modeller ve Azure OpenAI'ye yüklenen eğitim verileri için kurtarma planı içeren bir kurtarma stratejisi tanımlayın. Azure OpenAI'nin otomatik yük devretmesi olmadığından, tüm hizmeti ve eğitim verilerini içeren depolama gibi tüm bağımlılıkları kapsayan bir strateji tasarlamanız gerekir.

Gizliliği koruma: Eğitim verilerini Azure OpenAI'ye yüklerseniz, veri şifrelemesi için müşteri tarafından yönetilen anahtarları kullanın, anahtar döndürme stratejisi uygulayın ve eğitim, doğrulama ve eğitim sonuçları verilerini silin. Eğitim verileri için bir dış veri deposu kullanıyorsanız bu depo için en iyi güvenlik yöntemlerini izleyin. Örneğin, Azure Blob Depolama şifreleme için müşteri tarafından yönetilen anahtarları kullanın ve bir anahtar döndürme stratejisi uygulayın. Yönetilen kimlik tabanlı erişimi kullanın, özel uç noktaları kullanarak bir ağ çevresi uygulayın ve erişim günlüklerini etkinleştirin.

Gizliliği koruma: Azure OpenAI kaynaklarının erişebileceği giden URL'leri sınırlayarak veri sızdırmaya karşı koruma sağlayın.

Bütünlüğü koruma: En düşük ayrıcalık ilkesini kullanarak ve anahtarlar yerine tek tek kimlikleri kullanarak sistemde kimlik doğrulaması yapmak ve kullanıcı erişimini yetkilendirmek için erişim denetimleri uygulayın.

Bütünlüğü koruma: Dil modeli dağıtımlarınızı istem ekleme saldırılarına karşı korumak için jailbreak risk algılamasını uygulayın.

Kullanılabilirliği koruma: Model kullanım kotalarını tüketebilecek saldırıları önlemek için güvenlik denetimlerini kullanın. Bir ağdaki hizmeti yalıtmak için denetimleri yapılandırabilirsiniz. Hizmete İnternet'ten erişilebilir olması gerekiyorsa yönlendirme veya azaltma kullanarak kötüye kullanım şüphesini engellemek için bir ağ geçidi kullanmayı göz önünde bulundurun.

Maliyet yönetimi: İstem boyutlarını göz önünde bulundurarak maliyet modelinizi geliştirin. İstem girişi ve yanıt boyutlarını ve metnin belirteçlere nasıl çevrildiği hakkında bilgi edinmek uygun bir maliyet modeli oluşturmanıza yardımcı olur.

Kullanım iyileştirmesi: Belirteç kullanımınız tahmin edilebilir olana kadar Azure OpenAI için kullandıkça öde fiyatlandırmasıyla başlayın.

Hız iyileştirme: Belirteç kullanımınız belirli bir süre boyunca yeterince yüksek ve tahmin edilebilir olduğunda, daha iyi maliyet iyileştirmesi için sağlanan aktarım hızı fiyatlandırma modelini kullanın.

Kullanım iyileştirmesi: Modelleri seçerken model fiyatlandırması ve özelliklerini göz önünde bulundurun. Metin oluşturma veya tamamlama görevleri gibi daha az karmaşık görevler için daha az maliyetli modellerle başlayın. Dil çevirisi veya içerik anlama gibi daha karmaşık görevler için daha gelişmiş modeller kullanmayı göz önünde bulundurun. Metin ekleme, görüntü oluşturma veya transkripsiyon senaryoları gibi kullanım örneklerine uygun bir model seçtiğinizde farklı model özelliklerini ve maksimum belirteç kullanım sınırlarını göz önünde bulundurun. İhtiyaçlarınıza en uygun modeli dikkatle seçerek, istenen uygulama performansını elde ederken maliyetleri iyileştirebilirsiniz.

Kullanım iyileştirmesi: Oluşturulacak tamamlanma sayısını gösteren ve ngibi max_tokens API çağrıları tarafından sunulan belirteç sınırlama kısıtlamalarını kullanın.

Kullanım iyileştirmesi: Azure OpenAI fiyat kesme noktalarını en üst düzeye çıkarın; örneğin, görüntü oluşturma gibi hassas ayarlamalar ve model kesme noktaları. Saat başına ince ayar ücreti alındığından, bir sonraki faturalama dönemine geçmemekle birlikte ince ayarlama sonuçlarını iyileştirmek için saat başına kullanabileceğiniz kadar zaman kullanın. Benzer şekilde, 100 görüntü oluşturma maliyeti, 1 görüntünün maliyetiyle aynıdır. Fiyat kesme noktalarını avantajınıza göre en üst düzeye çıkarın.

Kullanım iyileştirmesi: Devam eden bir barındırma ücretinden kaçınmak için kullanılmayan ince ayarlı modelleri artık kullanılmadığında kaldırın.

Kullanımı ayarlama: İstem girişini ve yanıt uzunluğunu iyileştirin. Daha uzun istemler, daha fazla belirteç tüketerek maliyetleri yükseltir. Ancak, yeterli bağlamı eksik olan istemler modellerin iyi sonuçlar vermesine yardımcı olmaz. Modelin yararlı bir yanıt oluşturması için yeterli bağlam sağlayan kısa istemler oluşturun. Ayrıca yanıt uzunluğu sınırını iyileştirdiğinizden emin olun.

Maliyet verimliliği: Toplu iş istekleri, çağrı başına ek yükü en aza indirerek genel maliyetleri düşürebilir. Toplu iş boyutunu iyileştirdiğinizden emin olun.

Maliyet verimliliği: Modellerin farklı ince ayar maliyetleri olduğundan, çözümünüz ince ayar gerektiriyorsa bu maliyetleri göz önünde bulundurun.

İzleme ve iyileştirme: Model kullanımını izleyen bir maliyet izleme sistemi ayarlayın. Model seçimlerini ve istem boyutlarını bilgilendirmeye yardımcı olması için bu bilgileri kullanın.

Azure DevOps kültürü: Geliştirme, test ve üretim gibi çeşitli ortamlarınızda Azure OpenAI örneklerinin dağıtılmasını sağlayın. Geliştirme döngüsü boyunca sürekli öğrenmeyi ve denemeyi destekleyecek ortamlara sahip olduğunuzdan emin olun.

Gözlemlenebilirlik: Uygun ölçümleri izleme, toplama ve görselleştirme.

Gözlemlenebilirlik: Azure OpenAI tanılamaları gereksinimleriniz için yetersizse, izin verilen yerlerde hem gelen istemleri hem de giden yanıtları günlüğe kaydetmek için Azure OpenAI'nin önünde Azure API Management gibi bir ağ geçidi kullanmayı göz önünde bulundurun. Bu bilgiler, gelen istemler için modelin verimliliğini anlamanıza yardımcı olabilir.

Güvenle dağıtma: Azure OpenAI'yi, model dağıtımlarını ve modellerde ince ayarlama için gereken diğer altyapıyı dağıtmak için kod olarak altyapıyı (IaC) kullanın.

Güvenle dağıtın: Azure OpenAI LLM'lerinizin dağıtım, ince ayarlama ve istem mühendisliği gibi yönetimini kullanıma hazır hale getirmek için büyük dil modeli işlemleri (LLMOps) uygulamalarını izleyin.

Verimlilik için otomatikleştirme: Anahtar tabanlı kimlik doğrulaması kullanıyorsanız otomatik bir anahtar döndürme stratejisi uygulayın.

Kapasite: Tüketicilerin esneklik taleplerini tahmin edin. Zaman uyumlu yanıtlar gerektiren yüksek öncelikli trafiği ve zaman uyumsuz ve toplu işlenebilir düşük öncelikli trafiği belirleyin.

Kapasite: Tüketicilerin tahmini taleplerine göre belirteç tüketimi gereksinimlerini karşılaştırma. Sağlanan aktarım hızı birimi (PTU) dağıtımlarını kullanıyorsanız aktarım hızını doğrulamanıza yardımcı olması için Azure OpenAI karşılaştırma aracını kullanmayı göz önünde bulundurun.

Kapasite: Üretim iş yükleri için sağlanan aktarım hızını kullanın. Sağlanan aktarım hızı, belirtilen model sürümü için ayrılmış bellek ve işlem, ayrılmış kapasite ve tutarlı maksimum gecikme süresi sunar. Kullandıkça öde teklifi, yoğun kullanım altındaki bölgelerde artan gecikme süresi ve azaltma gibi gürültülü komşu sorunlarından muzdarip olabilir. Ayrıca kullandıkça öde yaklaşımı garantili kapasite sunmaz.

Kapasite: Azure OpenAI dağıtımlarınızın önüne uygun ağ geçitlerini ekleyin. Ağ geçidinin aynı veya farklı bölgelerdeki birden çok örneğe yönlendirebildiğinden emin olun.

Kapasite: Tahmini kullanımınızı kapsayacak şekilde PTU'lar ayırın ve bu sınırın üzerindeki esnekliği işlemek için bu PSU'ları bir TPM dağıtımıyla tamamlayın. Bu yaklaşım, verimlilik için temel aktarım hızını elastik aktarım hızıyla birleştirir. Diğer önemli noktalar gibi, bu yaklaşım da PTU sınırlarına ulaşıldığında istekleri TPM dağıtımına yönlendirmek için özel bir ağ geçidi uygulaması gerektirir.

Kapasite: Yüksek öncelikli istekleri zaman uyumlu olarak gönderin. Düşük öncelikli istekleri sıraya alın ve talep az olduğunda bunları toplu olarak gönderin.

Kapasite: Hız ve çıkış karmaşıklığı arasındaki dengeyi göz önünde bulundurarak performans gereksinimlerinize uygun bir model seçin. Model performansı, seçilen model türüne göre önemli ölçüde farklılık gösterebilir. Hız için tasarlanmış modeller daha hızlı yanıt süreleri sunar ve bu da hızlı etkileşim gerektiren uygulamalar için yararlı olabilir. Buna karşılık, daha gelişmiş modeller daha yüksek yanıt süresi pahasına daha yüksek kaliteli çıkışlar sunabilir.

Performans elde etme: Sohbet botları veya konuşma arabirimleri gibi uygulamalar için akış uygulamayı göz önünde bulundurun. Akış, kullanıcılara artımlı bir şekilde yanıtlar sunarak Azure OpenAI uygulamalarının algılanan performansını geliştirerek kullanıcı deneyimini geliştirebilir.

Performans elde etme: hassas ayarlamayı işlemeden önce ince ayarlamanın ne zaman kullanılacağını belirleyin. Modeli yönlendirmek için gereken bilgilerin isteme sığmayacak kadar uzun veya karmaşık olması gibi hassas ayarlamalar için iyi kullanım örnekleri olsa da, istem mühendisliği ve alma artırılmış nesil (RAG) yaklaşımlarının çalışmadığından veya daha pahalı olduğundan emin olun.

Performans elde etme: Tüketici gruplarınız arasındaki gürültülü komşuları önlemeye yardımcı olabilecek model başına kullanım yalıtımı sağlamak için tüketici grubu başına ayrılmış model dağıtımları kullanmayı göz önünde bulundurun.