Databricks モデル サービングを使用した自動特徴量検索

  • [アーティクル]

Model Serving により、公開されているオンライン ストアから、またはオンライン テーブルから、特徴値を自動的に検索できます。 オンライン テーブルの作成と操作の詳細については、「リアルタイム特徴量サービング用にオンラインテーブルを使用する」を参照してください。

要件

  • モデルは FeatureEngineeringClient.log_model (Unity カタログの Feature Engineering の場合) または FeatureStoreClient.log_model (ワークスペースフィーチャー ストアの場合は v0.3.5 以降が必要) でログに記録されている必要があります。
  • サード パーティのオンライン ストアの場合、そのオンライン ストアは読み取り専用の資格情報で公開する必要があります。

Note

モデルのトレーニング後も含め、モデル デプロイの前にいつでも特徴テーブルを公開できます。

特徴の自動検索

Azure Databricks のモデルの提供では、次のオンライン ストアからの自動特徴検索がサポートされています。

自動特徴検索は、次のデータ型でサポートされています。

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • DecimalType
  • ArrayType
  • MapType

オンライン モデル スコアリングで特徴値をオーバーライドする

モデルに必要なすべての特徴 (FeatureEngineeringClient.log_model または FeatureStoreClient.log_model でログに記録) は、モデル スコアリングのためにオンライン ストアから自動的に参照されます。 モデルの提供を利用してモデルのスコア付け時に REST API を使用して特徴値をオーバーライドするには、API ペイロードの一部として特徴値を含めます。

注意

新しい特徴値は、基になるモデルで想定されている特徴のデータ型に準拠している必要があります。

ノートブックの例: Unity Catalog

Databricks Runtime 13.3 LTS 以降では、主キーを持つ Unity Catalog 内の任意の Delta テーブルを特徴量テーブルとして使用できます。 Unity Catalog に特徴量テーブルとして登録されているテーブルを使用すると、自動的に、すべての Unity Catalog 機能をその特徴量テーブルで利用できるようになります。

次のノートブックは、オンライン テーブルに特徴量を公開して、リアルタイムのサービス提供と特徴量の自動検索を行う方法を示しています。

オンライン テーブル デモ ノートブック

ノートブックを入手

以下のノートブックの例は、オンライン ストアにフィーチャーを公開して、オンライン ストアからフィーチャーを自動的に検索するトレーニング済みモデルを提供する方法を示します。

サード パーティのオンライン ストア サンプル ノートブック (Unity Catalog)

ノートブックを入手

ノートブックの例: ワークスペース特徴量ストア

以下のノートブックの例は、オンライン ストアにフィーチャーを公開して、オンライン ストアからフィーチャーを自動的に検索するトレーニング済みモデルを提供する方法を示します。

サード パーティのオンライン ストア サンプル ノートブック (ワークスペース特徴量ストア)

ノートブックを入手