Databricks Foundation Model API

この記事では、Azure Databricks の Foundation Model API の概要について説明します。 使用要件、サポートされているモデル、制限事項などが含まれます。

Databricks Foundation Model API とは

Mosaic AI Model Serving は、サービス エンドポイントから最先端のオープン モデルにアクセスしてクエリを実行できる Foundation Model API をサポートするようになりました。 Foundation Model API を使うと、独自のモデル デプロイを保守することなく、高品質の生成 AI モデルを利用するアプリケーションを迅速かつ簡単に構築できます。

Foundation Model API は、次の 2 つの価格モードで提供されます。

• トークン単位の支払い: これは Databricks で Foundation Models にアクセスする最も簡単な方法であり、Foundation Models API を使い始めるユーザーにお勧めします。 このモードは、高スループットのアプリケーションやパフォーマンスの高い運用ワークロード向けに設計されていません。
• プロビジョニング済みスループット: このモードは、すべての運用ワークロード、特に高スループット、パフォーマンスの保証、微調整されたモデル、または追加のセキュリティ要件を必要とするワークロードに推奨されます。 プロビジョニングされたスループット エンドポイントは、HIPAA などのコンプライアンス認定で利用できます。

これら 2 つのモードの使用方法とサポートされているモデルのガイダンスについては、「基盤モデル API の使用」を参照してください。

Foundation Model API を使用すると、次のことができます:

• リソースを増やす前に、汎用 LLM のクエリを実行してプロジェクトの有効性を確認する。
• カスタム モデルのトレーニングとデプロイに投資する前に、LLM ベースのアプリケーションの簡単な概念実証を作成するために、汎用 LLM のクエリを実行する。
• 基礎モデルとベクトル データベースを使い、検索拡張生成 (RAG) を使ってチャットボットを構築する。
• 独自のモデルをオープンの代替手段に置き換えて、コストとパフォーマンスを最適化する。
• LLM を効率よく比較して、ユース ケースに最適な候補を確認したり、運用モデルをさらにパフォーマンスの高いものに入れ替えたりする。
• 運用トラフィックの急増に対応できるスケーラブルで SLA によって支えられた LLM サービス ソリューションを基にして、開発または運用のための LLM アプリケーションを構築する。

要件

• エンドポイントへの要求を認証するための Databricks API トークン。
• サーバーレス コンピューティング (プロビジョニングされたスループット モデルの場合)
• サポートされているリージョン内のワークスペース:
  • トークン単位の支払いリージョン。
  • プロビジョニング済みスループット リージョン。

Foundation Model API を使う

Foundation Model API を使用するには、複数のオプションがあります。

API は OpenAI と互換性があるため、クエリに OpenAI クライアントを使用できます。 さらに、UI、Foundation Models API の Python SDK、MLflow Deployments SDK、または REST API を使用して、サポートされているモデルに対するクエリを実行することもできます。 Databricks では、拡張操作には OpenAI クライアント SDK または API を使用し、機能を試すには UI を使用することをお勧めします。

スコアリングの例については、 Query の生成 AI モデル を参照してください。

Foundation Model API のトークン単位の支払い

トークン単位の支払いモデルには、Azure Databricks ワークスペースからアクセスでき、作業を開始するために推奨されます。 ワークスペースで Foundation Model API にアクセスするには、左側のサイドバーの [Serving] (提供) タブに移動します。 Foundation Model API は、エンドポイント リスト ビューの上部にあります。

次の表は、トークン単位の支払いがサポートされているモデルをまとめたものです。 その他のモデルの情報については、「トークン単位の支払いでサポートされているモデル」を参照してください。

これらのモデルをテストしてチャットする場合は、AI プレイグラウンドを使用して行うことができます。 AI プレイグラウンドを使用して LLM とチャットし、GenAI アプリのプロトタイプを作成するをご覧ください。

* このモデルの使用時にエンドポイントの障害や安定化エラーが発生した場合、Databricks アカウント チームにお問い合わせください。

• Foundation Model API のクエリを実行する方法のガイダンスについてはQuery の生成 AI モデルを参照してください。
• 必要なパラメーターと構文については、「基盤モデル REST API リファレンス」を参照してください。

プロビジョニング スループット Foundation Model API

プロビジョニング スループットは、パフォーマンス保証を必要とするワークロードの基盤モデル向けに最適化された推論をエンドポイントに提供します。 Databricks では、運用ワークロードにプロビジョニングされたスループットをお勧めしています。 Foundation Model API をプロビジョニング スループット モードでデプロイする方法のステップバイステップ ガイドについては、「プロビジョニング スループット Foundation Model API」を参照してください。

プロビジョニングされたスループットのサポートには、以下が含まれます。

• すべてのサイズのベース モデル。DBRX ベースなど。 ベース モデルは、Databricks Marketplace を使用してアクセスするか、Hugging Face または他の外部ソースからダウンロードして Unity Catalog に登録できます。 後者のアプローチは、採用されている微調整方法に関係なく、サポートされているモデルのどの微調整されたバリアントでも機能します。
• 微調整されたベース モデルのバリエーション。LlamaGuard-7B など。 これには、専用データ上で微調整されたモデルが含まれます。
• 完全にカスタムの重みとトークナイザー(ゼロからトレーニングされた重み、基本モデル アーキテクチャを使用した継続的な事前トレーニング済み、 その他のバリエーションなど (CodeLlama など)。

次の表は、プロビジョニングされたスループットでサポートされているモデル アーキテクチャをまとめたものです。

制限事項

Foundation Model API の制限を参照してください。

その他のリソース

• 生成 AI モデルのクエリ
• プロビジョニング スループット Foundation Model API
• Foundation Model API を使用したバッチ推論のプロビジョニング済みスループット
• トークン単位の支払いでサポートされているモデル
• Foundation Model REST API リファレンス