Databricks Temel Model API'leri

Bu makalede, Azure Databricks'teki Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.

Databricks Foundation Model API'leri nedir?

Mozaik AI Model Sunma artık bir sunum uç noktasından son modellere erişmenize ve bunları sorgulamanıza olanak tanıyan Temel Model API'lerini destekliyor. Temel Model API'leri ile, kendi model dağıtımınızı korumadan yüksek kaliteli üretken bir yapay zeka modelinden yararlanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz.

Temel Model API'leri iki fiyatlandırma modunda sağlanır:

• Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Bu mod yüksek aktarım hızına sahip uygulamalar veya yüksek performanslı üretim iş yükleri için tasarlanmamıştır.
• Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.

Bu iki modu ve desteklenen modelleri kullanma yönergeleri için bkz . Temel Model API'lerini kullanma.

Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz:

• Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
• Eğitime ve özel model dağıtmaya yatırım yapmadan önce LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak için genelleştirilmiş bir LLM'yi sorgular.
• Alma artırılmış nesli (RAG) kullanarak sohbet botu oluşturmak için vektör veritabanıyla birlikte bir temel model kullanın.
• Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
• Kullanım örneğiniz için en uygun adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya bir üretim modelini daha iyi performans gösteren bir modelle değiştirin.
• Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.

Gereksinim -leri

• Uç nokta isteklerinin kimliğini doğrulamak için Databricks API belirteci.
• Sunucusuz işlem (sağlanan aktarım hızı modelleri için).
• Desteklenen bir bölgedeki çalışma alanı:
  • Belirteç başına ödeme bölgeleri.
  • Sağlanan aktarım hızı bölgeleri.

Temel Model API'lerini kullanma

Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.

API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için OpenAI istemci SDK'sını veya API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.

Puanlama örnekleri için bkz . Sorgu oluşturma yapay zeka modelleri .

Belirteç başına ödeme temel modeli API'leri

Belirteç başına ödeme modellerine Azure Databricks çalışma alanınızdan erişilebilir ve kullanmaya başlamanız önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunum sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.

Aşağıdaki tabloda belirteç başına ödeme için desteklenen modeller özetlenmektedir. Ek model bilgileri için bkz . Belirteç başına ödeme için desteklenen modeller.

Test etmek ve bu modellerle sohbet etmek istiyorsanız yapay zeka Oyun Alanı'nı kullanarak bunu yapabilirsiniz. Bkz . AI Playground kullanarak LLM'lerle sohbet edin ve GenAI uygulamalarının prototiplerini oluşturun.

* Bu modeli kullanırken uç nokta hataları veya sabitleme hatalarıyla karşılaşırsanız Databricks hesap ekibinize ulaşın.

• Temel Model API'lerini sorgulama hakkında yönergeler için bkz . Sorgu oluşturucu yapay zeka modelleri .
• Gerekli parametreler ve söz dizimi için bkz . Temel model REST API başvurusu .

Sağlanan aktarım hızı Temel Model API'leri

Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir. Temel Model API'lerini sağlama modunda dağıtma hakkında adım adım kılavuz için bkz. Sağlanan aktarım hızı Temel Model API'leri.

Sağlanan aktarım hızı desteği şunları içerir:

• DBRX Tabanı gibi tüm boyutlardaki temel modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, kullanılan ince ayar yönteminden bağımsız olarak desteklenen modellerin herhangi bir ince ayarlı çeşidiyle çalışır.
• LlamaGuard-7B gibi temel modellerin ince ayarlı varyantları. Bu, özel veriler üzerinde ince ayarlı modeller içerir.
• Sıfırdan eğitilenler veya temel model mimarisini (CodeLlama gibi) kullanarak devam eden önceden eğitilmiş veya diğer çeşitlemeler gibi tamamen özel ağırlıklar ve belirteç oluşturucular.

Aşağıdaki tabloda sağlanan aktarım hızı için desteklenen model mimarileri özetlenmektedir.

Sınırlamalar

Bkz. Temel Model API'leri sınırları.

Ek kaynaklar

• Sorgu oluşturma yapay zeka modelleri
• Sağlanan aktarım hızı Temel Model API'leri
• Temel Model API'leri tarafından sağlanan aktarım hızı kullanılarak toplu çıkarım
• Belirteç başına ödeme için desteklenen modeller
• Temel model REST API başvurusu