Azure Databricks の外部から MLflow 追跡サーバーにアクセスする

  • [アーティクル]

独自のアプリケーションまたは MLflow CLI から MLflow 追跡サーバーにログを記録することができます。

この記事では、必要な構成手順について説明します。 まず、MLflow をインストールし、資格情報を構成します (手順 1)。 その後、アプリケーションを構成するか (手順 2)、MLflow CLI を構成します (手順 3)。

オープンソース追跡サーバーを起動してログに記録する方法については、オープンソースのドキュメントを参照してください。

手順 1: 環境を構成する

Azure Databricks アカウントを持っていない場合は、Databricks を無料でお試しください。

次のように、Azure Databricks でホストされている MLflow 追跡サーバーにアクセスするよう環境を構成します。

  1. pip install mlflow を使用して MLflow をインストールします。
  2. 認証を構成します。 次のいずれかを実行します。

    • REST API トークンを生成し、databricks configure --token を使用して資格情報ファイルを作成します。

    • 環境変数を使用して資格情報を指定します。

      # Configure MLflow to communicate with a Databricks-hosted tracking server
export MLFLOW_TRACKING_URI=databricks
# Specify the workspace hostname and token
export DATABRICKS_HOST="..."
export DATABRICKS_TOKEN="..."

手順 2: MLflow アプリケーションを構成する

資格情報ファイルの作成時に --profile を使用してプロファイル名を指定した場合は、追跡URI をdatabricksもしくはdatabricks://<profileName>に設定することで、Azure Databricks にログを記録するように MLflow アプリケーションを構成します。 たとえば、MLFLOW_TRACKING_URI 環境変数を "databricks" に設定すると、これを実現できます。

手順 3: MLflow CLI を構成する

MLFLOW_TRACKING_URI 環境変数を使用して Azure Databricks 追跡サーバーと通信するために MLflow CLI を構成します。 たとえば、追跡 URI databricks を含む CLI を使用して実験を作成するには、次を実行します。

# Replace <your-username> with your Databricks username
export MLFLOW_TRACKING_URI=databricks
mlflow experiments create -n /Users/<your-username>/my-experiment