Azure Databricks アプリケーション ログを Azure Monitor に送信する

この記事では、アプリケーション ログとアプリケーション メトリックを Azure Databricks から Log Analytics ワークスペース送信する方法について説明します。 Azure Databricks 監視ライブラリが使用されます。これは GitHub から入手できます。

前提条件

GitHub の readme の説明に従って、監視ライブラリを使うように Azure Databricks クラスターを構成します。

Dropwizard を使用してアプリケーション メトリックを送信する

Spark は、Dropwizard メトリック ライブラリに基づいて構成可能なメトリック システムを使用します。 詳細については、Spark ドキュメントの「Metrics」を参照してください。

アプリケーション メトリックを Azure Databricks のアプリケーション コードから Azure Monitor に送信するには、次の手順を実行します。

1. GitHub の readme の説明に従って、spark-listeners-loganalytics-1.0-SNAPSHOT.jar JAR ファイルをビルドします。

2. アプリケーション コードに Dropwizard のゲージまたはカウンターを作成します。 監視ライブラリに定義されている UserMetricsSystem クラスを使用できます。 次の例は、counter1 という名前の VM を作成します。

   import org.apache.spark.metrics.UserMetricsSystems
   import org.apache.spark.sql.SparkSession
   
   object StreamingQueryListenerSampleJob  {
   
     private final val METRICS_NAMESPACE = "samplejob"
     private final val COUNTER_NAME = "counter1"
   
     def main(args: Array[String]): Unit = {
   
       val spark = SparkSession
         .builder
         .getOrCreate
   
       val driverMetricsSystem = UserMetricsSystems
           .getMetricSystem(METRICS_NAMESPACE, builder => {
             builder.registerCounter(COUNTER_NAME)
           })
   
       driverMetricsSystem.counter(COUNTER_NAME).inc(5)
     }
   }
   

   監視ライブラリには、UserMetricsSystem クラスの使用方法を示すサンプル アプリケーションが含まれています。

Log4j を使用してアプリケーション ログを送信する

ライブラリ内の Log4j appender を使用して Azure Databricks のアプリケーション ログを Azure Log Analytics に送信するには、以下の手順を実行します。

1. GitHub の readme の説明に従って、spark-listeners-1.0-SNAPSHOT.jar および spark-listeners-loganalytics-1.0-SNAPSHOT.jar JAR ファイルをビルドします。

2. アプリケーションの log4j.properties 構成ファイルを作成します。 次の構成プロパティを含めます。 示されている場所のアプリケーション パッケージ名とログ レベルを置き換えます。

   log4j.appender.A1=com.microsoft.pnp.logging.loganalytics.LogAnalyticsAppender
   log4j.appender.A1.layout=com.microsoft.pnp.logging.JSONLayout
   log4j.appender.A1.layout.LocationInfo=false
   log4j.additivity.<your application package name>=false
   log4j.logger.<your application package name>=<log level>, A1
   

   サンプル構成ファイルはこちらにあります。

3. アプリケーション コードに spark-listeners-loganalytics プロジェクトを含め、com.microsoft.pnp.logging.Log4jconfiguration をアプリケーション コードにインポートします。

   import com.microsoft.pnp.logging.Log4jConfiguration
   

4. ステップ 3 で作成した log4j.properties ファイルを使用して Log4j を構成します。

   getClass.getResourceAsStream("<path to file in your JAR file>/log4j.properties") {
         stream => {
           Log4jConfiguration.configure(stream)
         }
   }
   

5. 必要に応じて、コード内の適切なレベルで Apache Spark ログ メッセージを追加します。 たとえば、logDebug メソッドを使用してデバッグ ログ メッセージを送信します。 詳細については、Spark ドキュメントの「Logging」 (ログ) を参照してください。

   logTrace("Trace message")
   logDebug("Debug message")
   logInfo("Info message")
   logWarning("Warning message")
   logError("Error message")
   

サンプル アプリケーションの実行

監視ライブラリには、アプリケーション メトリックとアプリケーション ログの両方を Azure Monitor に送信する方法を示すサンプル アプリケーションが含まれています。 サンプルを実行するには

1. GitHub の readme の説明に従って、監視ライブラリの spark-jobs プロジェクトをビルドします。

2. Databricks ワークスペースに移動し、「Azure Databricks ジョブを作成して実行する」の説明に従って、新しいジョブを作成します。

3. [ジョブの詳細] ページで [JAR の設定] を選択します。

4. /src/spark-jobs/target/spark-jobs-1.0-SNAPSHOT.jar から JAR ファイルをアップロードします。

5. [Main クラス] には com.microsoft.pnp.samplejob.StreamingQueryListenerSampleJob を入力します。

6. 既に監視ライブラリを使用するように構成されているクラスターを選択します。 「メトリックを Azure Monitor に送信するよう Azure Databricks を構成する」を参照してください。

ジョブが実行されると、Log Analytics ワークスペースでアプリケーション ログとアプリケーション メトリックを表示できます。

アプリケーション ログは、SparkLoggingEvent_CL の下に表示されます。

SparkLoggingEvent_CL | where logger_name_s contains "com.microsoft.pnp"

アプリケーション メトリックは、SparkMetric_CL の下に表示されます。

SparkMetric_CL | where name_s contains "rowcounter" | limit 50

次のステップ

このコード ライブラリに付属するパフォーマンス監視ダッシュボードをデプロイして、実稼働 Azure Databricks ワークロードのパフォーマンス問題をトラブルシューティングする。

関連リソース

• Azure Databricks の監視
• Azure Databricks でのパフォーマンスのボトルネックのトラブルシューティング
• Azure Databricks を使用した最新の分析アーキテクチャ
• Azure Databricks を使用したインジェスト、ETL (抽出、変換、読み込み)、ストリーム処理パイプライン