MLflow モデルをデプロイするためのガイドライン

[アーティクル]
09/30/2024

この記事では、Azure Machine Learning に MLflow モデルをデプロイしてリアルタイム推論とバッチ推論の両方を行う方法と、デプロイの管理に使用できるさまざまなツールについて説明します。

コードなしのデプロイ

MLflow モデルを Azure Machine Learning にデプロイする際、カスタムモデルのデプロイとは異なり、スコアリングスクリプトや環境を用意する必要はありません。スコアリングスクリプトと環境は、Azure Machine Learning で自動的に生成されます。この機能は "コードなしのデプロイ" と呼ばれます。

コードなしのデプロイの場合、Azure Machine Learning では次のことが行われます。

MLflow モデルで示されているすべてのパッケージの依存関係が確実に満たされるようにする。
次の項目を含む MLflow 基本イメージまたはキュレーション環境を指定する。
- Azure Machine Learning で推論を実行するために必要なパッケージ (mlflow-skinny など)。
- 推論を実行するスコアリングスクリプト。

ヒント

パブリックネットワークアクセスのないワークスペース: エグレス接続なしで MLflow モデルをオンラインエンドポイントにデプロイする前に、モデルをパッケージ化する必要があります (プレビュー)。モデルパッケージを使用することで、 MLflow モデルに必要な Python パッケージを動的にインストールするために必要とされる Azure Machine Learning が必要とするインターネット接続を回避できます。

パッケージと依存関係

Azure Machine Learning では、MLflow モデルで推論を実行する環境が自動的に生成されます。環境を構築するために、MLflow モデルで指定されている conda 依存関係が Azure Machine Learning によって読み取られ、推論サーバーの実行に必要なすべてのパッケージが追加されます。これらの追加パッケージは、デプロイの種類によって異なります。

次の conda.yaml ファイルの例は、MLflow モデルで指定された conda 依存関係を示しています。

channels:
- conda-forge
dependencies:
- python=3.10.11
- pip<=23.1.2
- pip:
  - mlflow==2.7.1
  - cloudpickle==1.6.0
  - dataclasses==0.6
  - lz4==4.0.0
  - numpy==1.23.5
  - packaging==23.0
  - psutil==5.9.0
  - pyyaml==6.0
  - scikit-learn==1.1.2
  - scipy==1.10.1
  - uuid==1.30
name: mlflow-env

重要

MLflow では、モデルをログ記録する際にパッケージが自動的に検出され、モデルの conda 依存関係にパッケージのバージョンを固定します。このパッケージの自動検出では、ユーザーの意図や要件が反映されない場合があります。代わりに、カスタムのシグネチャ、環境、サンプルを使用してモデルのログ記録を行うことができます。

シグネチャを持つモデル

MLflow モデルには、予想される入力とその型を示すシグネチャを含めることができます。このようなモデルがオンラインまたはバッチエンドポイントにデプロイされると、Azure Machine Learning では、データ入力の数と種類がシグネチャに準拠していることが確認されます。入力データを予想どおりに解析できない場合、モデルの呼び出しは失敗します。

MLflow モデルのシグネチャを調べるには、MLmodel ファイルを開きます。 MLflow におけるシグネチャの機能に関する詳細については、「MLflow のシグネチャ」を参照してください。

次の MLmodel ファイルの例では、signature が強調表示されています。

artifact_path: model
flavors:
  python_function:
    env:
      conda: conda.yaml
      virtualenv: python_env.yaml
    loader_module: mlflow.sklearn
    model_path: model.pkl
    predict_fn: predict
    python_version: 3.10.11
  sklearn:
    code: null
    pickled_model: model.pkl
    serialization_format: cloudpickle
    sklearn_version: 1.1.2
mlflow_version: 2.7.1
model_uuid: 3f725f3264314c02808dd99d5e5b2781
run_id: 70f15bab-cf98-48f1-a2ea-9ad2108c28cd
signature:
  inputs: '[{"name": "age", "type": "double"}, {"name": "sex", "type": "double"},
    {"name": "bmi", "type": "double"}, {"name": "bp", "type": "double"}, {"name":
    "s1", "type": "double"}, {"name": "s2", "type": "double"}, {"name": "s3", "type":
    "double"}, {"name": "s4", "type": "double"}, {"name": "s5", "type": "double"},
    {"name": "s6", "type": "double"}]'
  outputs: '[{"type": "double"}]'

ヒント

MLflow モデルのシグネチャはデータ互換性の問題を検出する便利な方法として利用できるため、使用することをお勧めします。シグネチャを使ってモデルのログを記録する方法の詳細については、「カスタムのシグネチャ、環境、またはサンプルを使ったモデルのログ記録」を参照してください。

MLflow 組み込みサーバーへのデプロイと Azure Machine Learning 推論サーバーへのデプロイ

モデル開発者は、MLflow の組み込みのデプロイツールを使用して、モデルをローカルでテストできます。たとえば、MLflow サーバーレジストリに登録されているモデルのローカルインスタンスを実行するには、mlflow models serve か、MLflow CLI mlflow models predict を使用します。 MLflow 組み込みデプロイツールの詳細については、MLflow ドキュメントの組み込みデプロイツールに関するセクションを参照してください。

Azure Machine Learning では、オンラインエンドポイントとバッチエンドポイントの両方へのモデルのデプロイもサポートされています。これらのエンドポイントでは、さまざまな機能を持つ可能性がある、さまざまな推論テクノロジが実行されます。

Azure Machine Learning オンラインエンドポイントは MLflow 組み込みサーバーと似ており、推論のモデルを実行するためのスケーラブルで同期された軽量な方法を提供します。
Azure Machine Learning バッチエンドポイントでは、大量のデータにスケールアップできる実行時間の長い推論プロセスに対して非同期推論を実行することができます。 MLflow サーバーにはこの機能はありませんが、Spark ジョブを使用して同様の機能を実現できます。バッチエンドポイントと MLflow モデルの詳細については、「バッチデプロイで MLflow モデルをデプロイする」を参照してください。

入力形式

次の表は、MLflow 組み込みサーバーと Azure Machine Learning オンラインエンドポイントでサポートされる入力型を示しています。

入力型	MLflow 組み込みサーバー	Azure Machine Learning オンラインエンドポイント
分割方向の、JSON でシリアル化された pandas の DataFrame	✓	✓
レコードの方向の、JSON でシリアル化された pandas の DataFrame	非推奨
CSV でシリアル化された pandas の DataFrames	✓	バッチ推論を使用。詳細については、「バッチデプロイで MLflow モデルをデプロイする」を参照してください。
JSON でシリアル化されたリスト (テンソル) とリストの辞書 (名前付きテンソル) としての TensorFlow 入力	✓	✓
TensorFlow Serving API を使用した TensorFlow 入力	✓

次のセクションでは、Azure Machine Learning オンラインエンドポイントにデプロイされる MLflow モデルについて説明します。

入力構造

入力型に関係なく、Azure Machine Learning では、辞書キー input_data 内の JSON ペイロードで入力を指定する必要があります。このキーはコマンド mlflow models serve を使用してモデルを提供する場合は必要ないため、Azure Machine Learning オンラインエンドポイントと MLflow 組み込みサーバーに対して、ペイロードを同じ意味で使用することはできません。

重要

MLflow 2.0 でペイロード構造が変更されました。

次のペイロードの例は、MLflow 組み込みサーバーにデプロイされたモデルと Azure Machine Learning 推論サーバーにデプロイされたモデルの違いを示しています。

{
    "input_data": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

このペイロードでは、MLflow サーバー 2.0 以降が使用されています。

{
    "dataframe_split": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

テンソル入力

Azure Machine Learning
MLflow サーバー

{
    "input_data": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

{
    "inputs": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

名前付きテンソル入力

Azure Machine Learning
MLflow サーバー

{
    "input_data": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

{
    "inputs": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

MLflow モデルの推論のカスタマイズ

スコアリングスクリプトを使用すると、カスタムモデルの推論を実行する方法をカスタマイズできます。ただし、MLflow モデルのデプロイでは、推論の実行方法に関する決定は、デプロイエンジニアではなくモデルの作成者が行います。各モデルフレームワークでは、特定の推論ルーチンが自動的に適用される場合があります。

MLflow モデルの推論の実行方法を変更する必要がある場合は、次のいずれかの操作を実行してください。

トレーニングルーチンでモデルのログ記録の方法を変更する
デプロイ時にスコアリングスクリプトを使用して推論をカスタマイズする

トレーニング中のモデルのログ記録方法を変更する

mlflow.autolog または mlflow.<flavor>.log_modelを使用してモデルをログに記録する場合、モデルに使用されるフレーバーによって、推論の実行方法と返される結果が決まります。 MLflow では、predict() 機能で結果が生成される方法に関して、特定の動作は適用されません。

場合によっては、モデルの実行の前と後に、前処理または後処理を行いたい場合があります。または、返される内容 (確率ではなくクラスを返すなど) の変更が必要な場合もあります。 1 つのソリューションが、入力から出力に直接移行する機械学習パイプラインを実装することです。

たとえば、sklearn.pipeline.Pipeline や pyspark.ml.Pipeline はパイプラインを実装する一般的な方法であり、パフォーマンスの理由から推奨される場合があります。カスタムモデルをログ記録することで、モデルの推論方法をカスタマイズすることもできます。

スコアリングスクリプトを使用して推論をカスタマイズする

MLflow モデルではスコアリングスクリプトは必須ではありませんが、必要であれば、MLflow モデルの推論実行をカスタマイズするために指定することもできます。推論をカスタマイズする方法については、オンラインエンドポイントの場合は「MLflow モデルデプロイのカスタマイズ」を、バッチエンドポイントの場合は「スコアリングスクリプトを使用してモデルデプロイをカスタマイズする」を参照してください。

重要

MLflow モデルデプロイのスコアリングスクリプトを指定することを選ぶ場合は、そのデプロイに対する環境も用意する必要があります。

デプロイツール

Azure Machine Learning では、MLflow モデルをオンラインエンドポイントとバッチエンドポイントにデプロイする以下のツールを提供しています。

各ツールにはそれぞれ異なる機能があり、特にどの種類のコンピューティングをターゲットにできるかという点が異なります。次の表は、さまざまな MLflow デプロイシナリオのサポート可否を示しています。

シナリオ	MLflow SDK	Azure Machine Learning CLI/SDK またはスタジオ
マネージドオンラインエンドポイントへのデプロイ¹	サポート対象。「オンラインエンドポイントへの MLflow モデルの段階的なロールアウト」を参照してください	サポート対象。「MLflow モデルのオンラインエンドポイントへのデプロイ」を参照してください
スコアリングスクリプトを使用したマネージドオンラインエンドポイントへのデプロイ	サポート対象外³	サポート対象。「MLflow モデルデプロイのカスタマイズ」を参照してください
バッチエンドポイントへのデプロイ	サポートされません³	サポート対象。「バッチデプロイで MLflow モデルを使用する」を参照してください
スコアリングスクリプトを使用したバッチエンドポイントへのデプロイ	サポート対象外³	サポート対象。「スコアリングスクリプトを使用してモデルデプロイをカスタマイズする」
Azure Container Instances や Azure Kubernetes Service (AKS) などの Web サービスにデプロイする	レガシサポート²	サポートされません²
スコアリングスクリプトを使用して Container Instances や AKS などの Web サービスにデプロイする	サポートされません³	レガシサポート²

¹ プライベートリンクが有効になっているワークスペース内にあるオンラインエンドポイントへのデプロイでは、デプロイ (プレビュー) 前にモデルをパッケージ化する必要があります。

² 可能な場合はマネージドオンラインエンドポイントに切り替えます。

³ オープンソースの MLflow にはスコアリングスクリプトの概念がなく、バッチ実行はサポートされていません。

デプロイツールを選択する

以下に該当する場合は、MLflow SDK を使用します。

MLflow を使い慣れており、同じメソッドを引き続き使用したいと考えている、および
MLflow をネイティブにサポートする Azure Databricks のようなプラットフォームを使用している。

以下に該当する場合は、Azure Machine Learning CLI v2 または SDK for Python を使用します。

これらを使い慣れている、あるいは
パイプラインを使用してデプロイを自動化したい場合、あるいは
デプロイ構成を Git リポジトリで保持したい場合。

MLflow でトレーニングしたモデルをすばやくデプロイしてテストする必要がある場合は、Azure Machine Learning スタジオ UI を使用します。

次の方法で共有

MLflow モデルをデプロイするためのガイドライン

コードなしのデプロイ

パッケージと依存関係

シグネチャを持つモデル

MLflow 組み込みサーバーへのデプロイと Azure Machine Learning 推論サーバーへのデプロイ

入力形式

入力構造

分割方向の、JSON でシリアル化された pandas の DataFrame

テンソル入力

名前付きテンソル入力

MLflow モデルの推論のカスタマイズ

トレーニング中のモデルのログ記録方法を変更する

スコアリングスクリプトを使用して推論をカスタマイズする

デプロイツール

デプロイツールを選択する

フィードバック

その他のリソース

次の方法で共有

MLflow モデルをデプロイするためのガイドライン

コードなしのデプロイ

パッケージと依存関係

シグネチャを持つモデル

MLflow 組み込みサーバーへのデプロイと Azure Machine Learning 推論サーバーへのデプロイ

入力形式

入力構造

分割方向の、JSON でシリアル化された pandas の DataFrame

テンソル入力

名前付きテンソル入力

MLflow モデルの推論のカスタマイズ

トレーニング中のモデルのログ記録方法を変更する

スコアリング スクリプトを使用して推論をカスタマイズする

デプロイ ツール

デプロイ ツールを選択する

関連するコンテンツ

フィードバック

その他のリソース

スコアリングスクリプトを使用して推論をカスタマイズする

デプロイツール

デプロイツールを選択する