Mozaik AI Model Sunma'daki dış modeller

Bu makalede, desteklenen model sağlayıcıları ve sınırlamaları dahil olmak üzere Mozaik Yapay Zeka Modeli Sunma'daki dış modeller açıklanmaktadır.

Dış modeller nedir?

Dış modeller, Databricks dışında barındırılan üçüncü taraf modellerdir. Model Sunma tarafından desteklenen dış modeller, bir kuruluş içinde OpenAI ve Antropik gibi çeşitli büyük dil modeli (LLM) sağlayıcılarının kullanımını ve yönetimini kolaylaştırmanızı sağlar. Bu uç noktalar için hız sınırları sunan özel modellere hizmet vermek için sağlayıcı olarak hizmet veren Mozaik AI Modeli'ni de kullanabilirsiniz. Bu desteğin bir parçası olarak Model Sunma, LLM ile ilgili belirli istekleri işlemek için birleşik bir uç nokta sağlayarak bu hizmetlerle etkileşimi basitleştiren üst düzey bir arabirim sunar.

Ayrıca, dış modeller için Azure Databricks desteği merkezi kimlik bilgileri yönetimi sağlar. Kuruluşlar, API anahtarlarını tek bir güvenli konumda depolayarak sistem genelinde hassas API anahtarlarının açığa çıkma durumunu en aza indirerek güvenlik duruşlarını geliştirebilir. Ayrıca bu anahtarların kod içinde açığa çıkmasını önlemeye veya son kullanıcıların anahtarları güvenli bir şekilde yönetmesini gerektirmeye yardımcı olur.

Bkz . Öğretici: Dış model uç noktası oluşturma ve MLflow Dağıtımları SDK'sını kullanarak bu uç noktalar tarafından sunulan desteklenen modelleri sorgulama konusunda adım adım yönergeler için OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma. Sunum Kullanıcı Arabirimini ve REST API'yi kullanma yönergeleri için aşağıdaki kılavuzlara bakın:

• Uç noktaları sunan özel model oluşturma
• Sorgu oluşturma yapay zeka modelleri

Gereksinim -leri

• Model sağlayıcısı için API anahtarı veya kimlik doğrulama alanları.
• Dış modellerde desteklenen bölgelerde Databricks çalışma alanı.

Model sağlayıcıları

Model Sunma'daki dış modeller, çeşitli model sağlayıcılarını destekleyecek şekilde tasarlanmıştır. Sağlayıcı OpenAI, Antropik gibi makine öğrenmesi modellerinin kaynağını temsil eder. Her sağlayıcının, dış model uç noktası yapılandırmasının external_model alanı içinde kapsüllenmiş belirli özellikleri ve yapılandırmaları vardır.

Aşağıdaki sağlayıcılar desteklenir:

• openai: OpenAI tarafından sunulan modeller ve AAD ile Azure OpenAI ve Azure OpenAI için Azure tümleştirmeleri için.
• antropik: Antropik tarafından sunulan modeller için.
• cohere: Cohere tarafından sunulan modeller için.
• amazon-bedrock: Amazon Bedrock tarafından sunulan modeller için.
• google-cloud-vertex-ai: Google Cloud Vertex AI tarafından sunulan modeller için.
• databricks-model sunma: Uyumlu şemalarla uç noktaları sunan Mozaik AI Modeli için. Bkz . Uç nokta yapılandırması.

Burada listelenmeyen bir sağlayıcı için destek istemek için Databricks hesap ekibinize ulaşın.

Desteklenen modeller

Seçtiğiniz model, API çağrılarından elde ettiğiniz yanıtların sonuçlarını doğrudan etkiler. Bu nedenle, kullanım örneği gereksinimlerinize uygun bir model seçin. Örneğin, konuşma yanıtları oluşturmak için bir sohbet modeli seçebilirsiniz. Buna karşılık, metin eklemeleri oluşturmak için bir ekleme modeli seçebilirsiniz.

Aşağıdaki tabloda desteklenen modellerin ve ilgili uç nokta türlerinin kapsamlı olmayan bir listesi sunulmaktadır. Aşağıda listelenen model ilişkilendirmeleri, belirli bir sağlayıcıda kullanılabilir hale gelen yeni yayımlanan model türleri için bir uç nokta yapılandırırken yararlı bir kılavuz olarak kullanılabilir. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

** Model sağlayıcısı hassas tamamlama ve sohbet modellerini destekler. hassas bir modeli sorgulamak için, yapılandırma alanını external model hassas ayarlı modelinizin adıyla doldurunname.

† Model sağlayıcısı özel tamamlama modellerini destekler.

Mozaik Yapay Zeka Modeli Sunma uç noktalarına sunulan modelleri kullanma

Mozaik AI Modeli Sağlayıcı olarak uç noktaları sunma, , llm/v1/chatve llm/v1/embeddings uç nokta türleri için llm/v1/completionsdesteklenir. Bu uç noktaların gerekli olarak işaretlenmiş standart sorgu parametrelerini kabul etmesi gerekirken, Mozaik Yapay Zeka Modeli Sunma uç noktasının bunları destekleyip desteklemediğine bağlı olarak diğer parametreler yoksayılabilir.

Standart sorgu parametreleri için API başvurusunda POST /serving-endpoints/{name}/invocations bölümüne bakın.

Bu uç noktaların aşağıdaki OpenAI biçiminde yanıtlar üretmesi gerekir.

Tamamlama görevleri için:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Sohbet görevleri için:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Ekleme görevleri için:

{
  "data": [
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Uç nokta yapılandırması

Dış modelleri sunmak ve sorgulamak için bir sunum uç noktası yapılandırmanız gerekir. Bkz. Dış model sunma uç noktası oluşturma

Uç noktaya hizmet veren bir dış model için, alanı ve parametrelerini served_entities uç nokta yapılandırmasının bölümüne eklemeniz external_model gerekir. Bir sunum uç noktasında birden çok dış model yapılandırdıysanız, her dış model için trafik yönlendirme yüzdesini tanımlamak için bir traffic_config sağlamanız gerekir.

alanı, external_model bu uç noktanın istekleri ilettiği modeli tanımlar. Model belirtirken sağlayıcının istediğiniz modeli desteklemesi kritik önem taşır. Örneğin, openai bir sağlayıcı gibi modelleri desteklediğinden text-embedding-ada-002, ancak diğer sağlayıcılar desteklemeyebilir. Model sağlayıcı tarafından desteklenmiyorsa Databricks, istekleri bu modele yönlendirmeye çalışırken http 4xx hatası döndürür.

Aşağıdaki tabloda alan parametreleri özetlenmiştir external_model . Uç nokta yapılandırma parametreleri için bkz . POST /api/2.0/serving-endpoints .

Aşağıda, API'yi kullanarak dış model uç noktası oluşturma örneği verilmiştir create_endpoint() . Bu örnekte tamamlanma uç noktasına gönderilen bir istek tarafından anthropicsağlanan modele claude-2 iletilir.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Uç nokta için sağlayıcıyı yapılandırma

Uç nokta oluşturduğunuzda, belirtilen model sağlayıcısı için gerekli yapılandırmaları sağlamanız gerekir. Aşağıdaki bölümlerde, her model sağlayıcısı için kullanılabilir uç nokta yapılandırma parametreleri özetlemektedir.

OpenAI

Birbirini tutmak

Anthropic

Azure OpenAI

Azure OpenAI, doğrudan OpenAI hizmetiyle karşılaştırıldığında farklı özelliklere sahiptir. Genel bakış için lütfen karşılaştırma belgelerine bakın.

Azure OpenAI'yi Microsoft Entra ID ile kullanıyorsanız uç nokta yapılandırmanızda aşağıdaki parametreleri kullanın.

Aşağıdaki örnekte Azure OpenAI ile uç nokta oluşturma adımları gösterilmektedir:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Amazon Bedrock

Amazon Bedrock'ı dış model sağlayıcısı olarak kullanmak için müşterilerin belirtilen AWS bölgesinde Bedrock'un etkinleştirildiğinden ve belirtilen AWS anahtar çiftinin Bedrock hizmetleriyle etkileşime geçmek için uygun izinlere sahip olduğundan emin olması gerekir. Daha fazla bilgi için bkz . AWS Kimlik ve Erişim Yönetimi.

Aşağıdaki örnekte erişim anahtarlarını kullanarak Amazon Bedrock ile uç nokta oluşturma işlemleri gösterilmektedir.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

AWS izin sorunları varsa Databricks, kimlik bilgilerini doğrudan Amazon Bedrock API'siyle doğrulamanızı önerir.

AI21 Labs

Uç noktada AI Gateway'i yapılandırma

Uç noktanızı hız sınırlama, kullanım izleme ve korumalar gibi Mozaik AI Ağ Geçidi özelliklerini etkinleştirecek şekilde de yapılandırabilirsiniz.

Bkz . Uç noktaları sunan modelde yapay zeka ağ geçidini yapılandırma.

Dış model uç noktasını sorgulama

Bir dış model uç noktası oluşturduktan sonra, kullanıcılardan trafik almaya hazır olur.

OpenAI istemcisi, REST API veya MLflow Dağıtımları SDK'sını kullanarak uç noktaya puanlama istekleri gönderebilirsiniz.

• POST /serving-endpoints/{name}/invocations içindeki puanlama isteği için standart sorgu parametrelerine bakın.
• Sorgu oluşturma yapay zeka modelleri

Aşağıdaki örnek, OpenAI istemcisini claude-2 kullanarak Anthropic tarafından barındırılan tamamlanma modelini sorgular. OpenAI istemcisini kullanmak için, alanını sorgulamak istediğiniz modeli barındıran model sunum uç noktasının adıyla doldurun model .

Bu örnekte, anthropic-completions-endpointAntropik model sağlayıcısından dış modellere erişmek için yapılandırılmış, önceden oluşturulmuş bir uç nokta kullanılır. Dış model uç noktalarının nasıl oluşturulacağını öğrenin.

Sorgulayabileceğiniz ek modeller ve bunların sağlayıcıları için desteklenen modeller bölümüne bakın.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Beklenen çıkış yanıtı biçimi:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Ek sorgu parametreleri

Sorgunuzun bir parçası olarak uç nokta sağlayıcısı tarafından desteklenen ek parametreleri geçirebilirsiniz.

Örneğin:

• logit_bias (OpenAI, Cohere tarafından desteklenir).
• top_k (Antropik, Cohere tarafından desteklenir).
• frequency_penalty (OpenAI, Cohere tarafından desteklenir).
• presence_penalty (OpenAI, Cohere tarafından desteklenir).
• stream (OpenAI, Antropik, Cohere, Amazon Bedrock for Anthropic tarafından desteklenir). Bu yalnızca sohbet ve tamamlama istekleri için kullanılabilir.

Sınırlamalar

Seçtiğiniz dış modele bağlı olarak, yapılandırmanız verilerinizin verilerinizin kaynaklandığı bölgenin dışında işlenmesine neden olabilir. Bkz. Model Sunma sınırları ve bölgeleri.

Ek kaynaklar

• Öğretici: OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma.
• Sorgu oluşturan yapay zeka modelleri.