Büyük dil modeli belirteçlerinin tüketimi için ölçümleri yayma

  • Makale

UYGULANANLAR: Tüm API Management katmanları

İlke, LLM API'leri llm-emit-token-metric aracılığıyla büyük dil modeli (LLM) belirteçlerinin kullanımı hakkında Application Insights'a özel ölçümler gönderir. Belirteç sayısı ölçümleri şunlardır: Toplam Belirteçler, İstem Belirteçleri ve Tamamlama Belirteçleri.

Not

Şu anda bu ilke önizleme aşamasındadır.

Not

İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.

Desteklenen modeller

İlkeyi, Azure AI Model Çıkarımı API'siyle kullanılabilen Azure API Management'a eklenen LLM API'leri ile kullanın.

Özel ölçümler için sınırlar

Azure İzleyici, API Management'tan ölçüm yayma yeteneğinizi etkileyebilecek özel ölçümler için kullanım sınırları uygular. Örneğin, Azure İzleyici şu anda ölçüm başına 10 boyut anahtarı sınırı ve abonelikteki bölge başına toplam etkin zaman serisi sayısı (12 saatlik bir süre içinde) 50.000 sınırı ayarlar.

Bu sınırlar, veya azure-openai-emit-token-metricgibi emit-metric bir API Management ilkesinde özel ölçümleri yapılandırmaya yönelik aşağıdaki etkilere sahiptir:

  • İlke başına en fazla 10 özel boyut yapılandırabilirsiniz.

  • İlke tarafından 12 saatlik bir süre içinde oluşturulan etkin zaman serisi sayısı, dönem içinde yapılandırılan her boyutun benzersiz değer sayısının çarpımdır. Örneğin, ilkede üç özel boyut yapılandırıldıysa ve her boyut dönem içinde 10 olası değere sahipse, ilke 1.000 (10 x 10 x 10) etkin zaman serisine katkıda bulunur.

  • İlkeyi bir abonelikte aynı bölgede bulunan birden çok API Management örneğinde yapılandırdığınızda, tüm örnekler bölgesel etkin zaman serisi sınırına katkıda bulunabilir.

Azure İzleyici'de özel ölçümler için tasarım sınırlamaları ve dikkat edilmesi gerekenler hakkında daha fazla bilgi edinin.

Önkoşullar

  • API Management örneğinize bir veya daha fazla LLM API'si eklenmelidir.
  • API Management örneğinizin Application Insights ile tümleştirilmesi gerekir. Daha fazla bilgi için bkz. Azure API Management'ı Azure Uygulaması lication Insights ile tümleştirme.
  • LLM API'leriniz için Application Insights günlüğünü etkinleştirin.
  • Application Insights'ta boyutlarla özel ölçümleri etkinleştirin. Daha fazla bilgi için bkz . Özel ölçümleri yayma.

İlke bildirimi

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Özellikler

Öznitelik Açıklama Gerekli Default value
ad alanı Bir dize. Ölçümün ad alanı. İlke ifadelerine izin verilmez. Hayır API Management

Öğeler

Öğe Açıklama Gerekli
boyut Ölçüme dahil edilen her boyut için bu öğelerden bir veya daha fazlasını ekleyin. Yes

boyut öznitelikleri

Öznitelik Açıklama Gerekli Default value
Adı Dize veya ilke ifadesi. Boyut adı. Yes Yok
değer Dize veya ilke ifadesi. Boyut değeri. Yalnızca varsayılan boyutlardan biriyle eşleşiyorsa name atlanabilir. Bu durumda, boyut adına göre değer sağlanır. Hayır YOK

Değer olmadan kullanılabilecek varsayılan boyut adları

  • API Kimliği
  • İşlem Kimliği
  • Ürün Kimliği
  • Kullanıcı kimliği
  • Subscription ID
  • Konum
  • Ağ Geçidi Kimliği

Kullanım

Kullanım notları

  • Bu ilke, ilke tanımı başına birden çok kez kullanılabilir.
  • Bu ilke için en fazla 10 özel boyut yapılandırabilirsiniz.
  • Kullanılabilir durumda, LLM API'sinden gelen yanıtın kullanım bölümündeki değerler belirteç ölçümlerini belirlemek için kullanılır.
  • Bazı LLM uç noktaları yanıtların akışını destekler. stream Akışı etkinleştirmek için true API isteğinde olarak ayarlandığında belirteç ölçümleri tahmin edilir.

Örnek

Aşağıdaki örnek, ÖZEL boyut olarak API Kimliği ile birlikte LLM belirteç sayısı ölçümlerini Application Insights'a gönderir.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

İlgili içerik

İlkelerle çalışma hakkında daha fazla bilgi için bkz: