将 Azure Databricks 应用程序日志发送到 Azure Monitor

本文演示如何将应用程序日志和指标从 Azure Databricks 发送至 Log Analytics 工作区。 其中使用 Azure Databricks 监视库，你可通过 GitHub 获取该库。

先决条件

按照 GitHub 自述文件中所述，配置 Azure Databricks 群集，以使用监视库。

使用 Dropwizard 发送应用程序指标

Spark 使用基于 Dropwizard 指标库的可配置指标系统。 有关详细信息，请参阅 Spark 文档中的指标。

要将应用程序指标从 Azure Databricks 应用程序代码发送至 Azure Monitor，请执行以下步骤：

1. 按照 GitHub 自述文件中所述，构建 spark-listeners-loganalytics-1.0-SNAPSHOT.jar JAR 文件。

2. 在应用程序代码中创建 Dropwizard 仪表或计数器。 可以使用监视库中定义的 UserMetricsSystem 类。 以下示例创建一个名为 counter1 的计数器。

   import org.apache.spark.metrics.UserMetricsSystems
   import org.apache.spark.sql.SparkSession
   
   object StreamingQueryListenerSampleJob  {
   
     private final val METRICS_NAMESPACE = "samplejob"
     private final val COUNTER_NAME = "counter1"
   
     def main(args: Array[String]): Unit = {
   
       val spark = SparkSession
         .builder
         .getOrCreate
   
       val driverMetricsSystem = UserMetricsSystems
           .getMetricSystem(METRICS_NAMESPACE, builder => {
             builder.registerCounter(COUNTER_NAME)
           })
   
       driverMetricsSystem.counter(COUNTER_NAME).inc(5)
     }
   }
   

   监视库包含演示如何使用 UserMetricsSystem 类的示例应用程序。

使用 Log4j 发送应用程序日志

要使用库中的 Log4j 追加器将 Azure Databricks 应用程序日志发送至 Azure Log Analytics，请执行以下步骤：

1. 按照 GitHub 自述文件中所述，构建 spark-listeners-1.0-SNAPSHOT.jar 与 spark-listeners-loganalytics-1.0-SNAPSHOT.jar JAR 文件。

2. 为应用程序创建 log4j.properties 配置文件。 包括以下配置属性。 将指示的部分替换为应用程序包名称与日志级别：

   log4j.appender.A1=com.microsoft.pnp.logging.loganalytics.LogAnalyticsAppender
   log4j.appender.A1.layout=com.microsoft.pnp.logging.JSONLayout
   log4j.appender.A1.layout.LocationInfo=false
   log4j.additivity.<your application package name>=false
   log4j.logger.<your application package name>=<log level>, A1
   

   可以在此处找到示例配置文件。

3. 在应用程序代码中，加入 spark-listeners-loganalytics 项目，并导入 com.microsoft.pnp.logging.Log4jconfiguration 应用程序代码。

   import com.microsoft.pnp.logging.Log4jConfiguration
   

4. 使用在步骤 3 中创建的 log4j.properties 文件配置 Log4j：

   getClass.getResourceAsStream("<path to file in your JAR file>/log4j.properties") {
         stream => {
           Log4jConfiguration.configure(stream)
         }
   }
   

5. 根据需要将 Apache Spark 日志消息添加至代码中的适当级别。 例如：使用 logDebug 方法发送调试日志消息。 有关详细信息，请参阅 Spark 文档中的记录。

   logTrace("Trace message")
   logDebug("Debug message")
   logInfo("Info message")
   logWarning("Warning message")
   logError("Error message")
   

运行示例应用程序

监视库包含一个演示如何将应用程序指标和应用程序日志发送至 Azure Monitor 的示例应用程序。 要运行该示例：

1. 按照 GitHub 自述文件中所述，在监视库中构建 spark-jobs 项目。

2. 按照此处所述，导航至 Databricks 工作区并创建新作业。

3. 在作业详细信息页中，选择“设置 JAR”。

4. 从 /src/spark-jobs/target/spark-jobs-1.0-SNAPSHOT.jar 上传 JAR 文件。

5. 对于 Main 类，请输入 com.microsoft.pnp.samplejob.StreamingQueryListenerSampleJob。

6. 选择一个已经过配置，使用监视库的群集。 请参阅配置 Azure Databricks 以将指标发送至 Azure Monitor。

作业运行时，可以在 Log Analytics 工作区中查看应用程序日志和指标。

应用程序日志显示在 SparkLoggingEvent_CL 下：

SparkLoggingEvent_CL | where logger_name_s contains "com.microsoft.pnp"

应用程序指标显示在 SparkMetric_CL 下：

SparkMetric_CL | where name_s contains "rowcounter" | limit 50

后续步骤

部署此代码库随附的性能监视仪表板，以排查 Azure Databricks 生产工作负荷中的性能问题。

相关资源

• 监视 Azure Databricks
• 排查 Azure Databricks 中的性能瓶颈问题
• 新式分析体系结构与 Azure Databricks
• 使用 Azure Databricks 进行引入、ETL（提取、转换、加载）和流处理管道