ai_similarity
関数
適用対象: Databricks SQL
Databricks Runtime
重要
この機能はパブリック プレビュー段階にあります。
このプレビューでは:
- 基になる言語モデルでは複数の言語を処理できますが、これらの関数は英語用にチューニングされています。
- 基になる Foundation Model API にはレート制限があります。 これらの制限を更新するには、「Foundation Model API の制限」を参照してください。
ai_similarity()
関数は、Databricks Foundation Model API から最先端の生成 AI モデルを呼び出して、2 つの文字列を比較し、SQL を使用してセマンティック類似性スコアを計算します。
要件
重要
現時点で使用される可能性のある基になるモデルは、MIT ライセンスまたは Llama 2 コミュニティ ライセンスに基づいてライセンスされます。 Databricks は、該当する使用条件に準拠するために、これらのライセンスを確認することをお勧めしています。 将来、Databricks の内部ベンチマークに従ってパフォーマンスが向上するモデルが開発された場合、Databricks はモデル (およびこのページで提供されている該当するライセンスのリスト) を変更する可能性があります。
現在、bge-large-en-v1.5 が、この AI 関数を実行する基になるモデルです。
- この関数は、Foundation Model API のトークンごとの支払いがサポートされているリージョンのワークスペースでのみ使用できます。
- この関数は、Azure Databricks SQL クラシックでは使用できません。
- Databricks SQL の価格ページを確認してください。
Note
Databricks Runtime 15.1 以降では、この機能は Databricks ワークフローのタスクとして実行されるノートブックなどの Databricks ノートブックでサポートされています。
構文
ai_similarity(expr1, expr2)
引数
expr1
:STRING
式。expr2
:STRING
式。
返品
2 つの入力文字列間のセマンティック類似性を表す FLOAT
値。 出力スコアは相対的なものであり、ランク付けにのみに使用してください。 スコア 1 は、2 つのテキストが等しいことを意味します。
例
> SELECT ai_similarity('Apache Spark', 'Apache Spark');
1.0
> SELECT
company_name
FROM
customers
ORDER BY ai_similarity(company_name, 'Databricks') DESC
LIMIT 1
Databricks Inc.