Azure OpenAI dağıtım türleri

Azure OpenAI, müşterilere işletme ve kullanım düzenlerine uygun barındırma yapısıyla ilgili seçenekler sunar. Hizmet iki ana dağıtım türü sunar: standart ve sağlanmış. Belirli bir dağıtım türü için müşteriler, Bir Azure coğrafyası ( veya ), Microsoft tarafından belirtilen veri bölgesi (StandardDataZone-Standard) veya Genel (Global-Standard veya ProvisionedGlobal Provisioned-Managed) işleme seçeneklerini seçerek iş yüklerini veri işleme gereksinimleriyle uyumlu hale getirebilir.

Tüm dağıtımlar tam olarak aynı çıkarım işlemlerini gerçekleştirebilir, ancak faturalama, ölçek ve performans önemli ölçüde farklıdır. Çözüm tasarımınızın bir parçası olarak iki önemli karar vermeniz gerekir:

• Veri işleme konumu
• Çağrı birimi

Azure OpenAI Dağıtımı Veri İşleme Konumları

Standart dağıtımlar için aralarından seçim yapabileceğiniz üç dağıtım türü seçeneği vardır: genel, veri bölgesi ve Azure coğrafyası. Sağlanan dağıtımlar için, aralarından seçim yapabileceğiniz iki dağıtım türü seçeneği vardır: genel ve Azure coğrafyası. Genel standart, önerilen başlangıç noktasıdır.

Genel dağıtımlar, müşteri trafiğini müşterinin çıkarım istekleri için en iyi kullanılabilirlikle veri merkezine dinamik olarak yönlendirmek için Azure'ın genel altyapısından yararlanıyor. Başka bir deyişle, çalışma süresi SLA'mızı ve düşük gecikme süremizi sağlamaya devam ederken Genel ile en yüksek başlangıç aktarım hızı sınırlarını ve en iyi model kullanılabilirliğini elde edersiniz. Standart ve genel standartta belirtilen kullanım katmanlarının üzerindeki yüksek hacimli iş yükleri için gecikme süresinin artmasıyla karşılaşabilirsiniz. Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren müşteriler için sağlanan dağıtım türlerimizden yararlanmanızı öneririz.

Genel dağıtımlarımız tüm yeni modeller ve özellikler için ilk konum olacaktır. Arama hacmine bağlı olarak, büyük hacimli ve düşük gecikme süresi varyans gereksinimleri olan müşteriler sağlanan dağıtım türlerimizi dikkate almalıdır.

Veri bölgesi dağıtımları, müşterinin Microsoft tarafından tanımlanan veri bölgesi içindeki çıkarım istekleri için en iyi kullanılabilirlikle müşteri trafiğini dinamik olarak veri merkezine yönlendirmek için Azure'ın genel altyapısından yararlanıyor. Azure coğrafyamız ile Genel dağıtım tekliflerimiz arasında konumlandırılan veri bölgesi dağıtımları, microsoft tarafından belirtilen veri bölgesinde veri işlemeyi tutarken yükseltilmiş kota sınırları sağlar. Bekleyen veriler Azure OpenAI kaynağının coğrafyasında kalmaya devam eder (örneğin, İsveç Orta Azure bölgesinde oluşturulan bir Azure OpenAI kaynağı için Azure coğrafyası İsveç'tir).

Veri Bölgesi dağıtımınızda kullanılan Azure OpenAI kaynağı Birleşik Devletler yer alıyorsa, veriler Birleşik Devletler içinde işlenir. Veri Bölgesi dağıtımınızda kullanılan Azure OpenAI kaynağı bir Avrupa Birliği Üye Ülkesi'nde bulunuyorsa, veriler Avrupa Birliği Üye Ülke coğrafyalarında işlenir. Tüm Azure OpenAI hizmeti dağıtım türleri için bekleyen veriler Azure OpenAI kaynağının coğrafyasında kalmaya devam eder. Azure veri işleme ve uyumluluk taahhütleri geçerli olmaya devam eder.

Dağıtım türleri

Azure OpenAI üç tür dağıtım sunar. Bunlar, aktarım hızı, SLA'lar ve fiyat konusunda denge sağlayan çeşitli özellikler sunar. Aşağıda seçeneklerin özeti ve ardından bunların daha ayrıntılı bir açıklaması yer almaktadır.

Genel standart

Genel dağıtımlar, genel olmayan dağıtım türleriyle aynı Azure OpenAI kaynaklarında kullanılabilir, ancak trafiği her istek için en iyi kullanılabilirlikle veri merkezine dinamik olarak yönlendirmek için Azure'ın genel altyapısından yararlanmanıza olanak sağlar. Genel standart en yüksek varsayılan kotayı sağlar ve birden çok kaynak arasında yük dengeleme gereksinimini ortadan kaldırır.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için kotalar sayfasına bakın. Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren uygulamalar için sağlanan aktarım hızı satın almanızı öneririz.

Genel sağlanmış

Genel dağıtımlar, genel olmayan dağıtım türleriyle aynı Azure OpenAI kaynaklarında kullanılabilir, ancak trafiği her istek için en iyi kullanılabilirlikle veri merkezine dinamik olarak yönlendirmek için Azure'ın genel altyapısından yararlanmanıza olanak sağlar. Genel olarak sağlanan dağıtımlar, Azure genel altyapısını kullanarak yüksek ve öngörülebilir aktarım hızı için ayrılmış model işleme kapasitesi sağlar.

Genel toplu iş

Genel toplu iş , büyük ölçekli ve yüksek hacimli işleme görevlerini verimli bir şekilde işlemek için tasarlanmıştır. Genel standarttan %50 daha az maliyetle, 24 saatlik hedef geri dönüş ile ayrı kotaya sahip zaman uyumsuz istek gruplarını işleyin. Toplu işlemle, aynı anda bir istek göndermek yerine tek bir dosyada çok sayıda istek gönderirsiniz. Genel toplu iş istekleri, çevrimiçi iş yüklerinizin kesintiye uğramasını önleyerek ayrı bir sıralanmış belirteç kotası sunar.

Temel kullanım örnekleri şunlardır:

• Büyük Ölçekli Veri İşleme: Kapsamlı veri kümelerini paralel olarak hızla analiz edin.

• İçerik Oluşturma: Ürün açıklamaları veya makaleler gibi büyük hacimli metinler oluşturun.

• Belge Gözden Geçirme ve Özetleme: Uzun belgelerin gözden geçirilmesini ve özetlemeyi otomatikleştirin.

• Müşteri Desteği Otomasyonu: Daha hızlı yanıtlar için aynı anda çok sayıda sorgu işleyin.

• Veri Ayıklama ve Çözümleme: Çok büyük miktarlarda yapılandırılmamış veriden bilgi ayıklayın ve analiz edin.

• Doğal Dil İşleme (NLP) Görevleri: Büyük veri kümelerinde yaklaşım analizi veya çeviri gibi görevler gerçekleştirin.

• Pazarlama ve Kişiselleştirme: Büyük ölçekte kişiselleştirilmiş içerik ve öneriler oluşturun.

Veri bölgesi standardı

Veri bölgesi standart dağıtımları, diğer tüm Azure OpenAI dağıtım türleriyle aynı Azure OpenAI kaynağında kullanılabilir, ancak trafiği her istek için en iyi kullanılabilirliğe sahip Microsoft tanımlı veri bölgesi içindeki veri merkezine dinamik olarak yönlendirmek için Azure genel altyapısından yararlanmanıza olanak sağlar. Veri bölgesi standardı, Azure coğrafya tabanlı dağıtım türlerimizden daha yüksek varsayılan kotalar sağlar.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için Kotalar ve sınırlar sayfasına bakın. Büyük birimde düşük gecikme süresi varyansı gerektiren iş yükleri için sağlanan dağıtım tekliflerinden yararlanmanızı öneririz.

Standart

Standart dağıtımlar, seçilen modelde arama başına ödeme faturalama modeli sağlar. Yalnızca tükettiğiniz kadar ödeme yaptığınız için en hızlı başlangıç yolunu sağlar. Her bölgede kullanılabilen modeller ve aktarım hızı sınırlı olabilir.

Standart dağıtımlar, yüksek ani artışa sahip düşük ve orta hacimli iş yükleri için iyileştirilmiştir. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir.

Sağlanan

Sağlanan dağıtımlar, bir dağıtımda ihtiyacınız olan aktarım hızı miktarını belirtmenize olanak sağlar. Hizmet daha sonra gerekli model işleme kapasitesini ayırır ve sizin için hazır olmasını sağlar. Aktarım hızı, dağıtımınız için aktarım hızının normalleştirilmiş bir yolu olan sağlanan aktarım hızı birimleri (PTU) açısından tanımlanır. Her model-sürüm çifti, PTU başına farklı miktarda aktarım hızı dağıtmak ve sağlamak için farklı miktarlarda PTU gerektirir. Sağlanan aktarım hızı kavramları makalemizden daha fazla bilgi edinin.

Aboneliğinizdeki genel dağıtımlara erişimi devre dışı bırakma

Azure İlkesi, kuruluş standartlarının uygulanmasına ve büyük ölçekte uyumluluk değerlendirmesi yapılmasına yardımcı olur. Uyumluluk panosu aracılığıyla, ortamın genel durumunu değerlendirmek için toplu bir görünüm sağlar; ayrıca tek tek her kaynak ve her ilke için detaya gitmeye de olanak tanır. Bu pano mevcut kaynaklar için toplu düzeltme, yeni kaynaklar için de otomatik düzeltme eylemleriyle kaynaklarınızı uyumlu hale getirmenize de yardımcı olur. yapay zeka hizmetleri için Azure İlkesi ve belirli yerleşik denetimler hakkında daha fazla bilgi edinin.

Azure OpenAI genel standart dağıtımlarına erişimi devre dışı bırakmak için aşağıdaki ilkeyi kullanabilirsiniz. Azure genel olarak sağlanan veya genel toplu iş dağıtımlarına erişimi devre dışı bırakmak için değerini istenen sku adıyla veya GlobalBatch ile GlobalProvisionedManaged değiştirinGlobalStandard.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Modelleri dağıtma

Kaynak oluşturma ve modelleri dağıtma hakkında bilgi edinmek için kaynak oluşturma kılavuzuna bakın.

Ayrıca bkz.

• Kotalar ve sınırlar
• Sağlanan aktarım hızı birimleri (PTU) ekleme
• Sağlanan aktarım hızı birimleri (PTU) kullanmaya başlama