你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

工作流编排管理器的诊断日志和指标

项目
10/03/2024

注意

工作流编排管理器由 Apache Airflow 提供支持。

本文将引导你完成以下步骤：

在 Azure 数据工厂中启用工作流编排管理器的诊断日志和指标。
查看日志和指标。
运行查询。
在有向无环图 (DAG) 故障中监视指标并设置警报系统。

先决条件

需要一个 Azure 订阅。如果还没有 Azure 订阅，可以在开始前创建一个免费 Azure 帐户。

启用工作流编排管理器的诊断日志和指标

打开 Azure 数据工厂资源，然后选择最左侧窗格中的“诊断设置”。然后选择“添加诊断设置”。
填写“诊断设置”名称。为 Airflow 日志选择以下类别：
- Airflow 任务执行日志
- Airflow 辅助角色日志
- Airflow DAG 处理日志
- Airflow 计划程序日志
- Airflow Web 日志
- 如果选择“所有指标”，则可以使用各种数据工厂指标来监视或发出警报。这些指标包括 Azure 数据工厂活动和工作流编排管理器集成运行时的指标，例如 AirflowIntegrationRuntimeCpuUsage 和 AirflowIntegrationRuntimeMemory。
在“目标详细信息”下，选中“发送到 Log Analytics 工作区”复选框。
选择“保存”。

查看日志

添加诊断设置后，可以在“诊断设置”部分中找到它们。若要访问和查看日志，请选择已配置的 Log Analytics 工作区。
在“最大化 Log Analytics 体验”部分下，选择“查看日志”。
你将定向到 Log Analytics 工作区，可从中看到所选表已自动导入到工作区中。

架构的其他有用链接：

编写查询

让我们从最简单的查询开始，该查询返回 ADFAirflowTaskLogs 中的所有记录。可以双击表名称，以将其添加到查询窗口。还可以直接在窗口中输入表名称。
若要缩小搜索结果范围，例如根据特定任务 ID 筛选搜索结果，可以使用以下查询：
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

同样，可以使用 LogManagement 中提供的任何表根据需要创建自定义查询。

有关详细信息，请参阅：

监控指标

Azure 数据工厂为 Airflow 集成运行时提供全面的指标，使你能够有效地监视 Airflow 集成运行时的性能，并根据需要建立警报机制。

打开 Azure 数据工厂资源。
在最左侧窗格中的“监视”部分下，选择“指标”。
选择要监视的“范围”>“指标命名空间”>“指标”。
查看多折线图，它直观显示了集成运行时 CPU 百分比和集成运行时 Dag 包大小。
可以设置在指标满足特定条件时触发的警报规则。有关详细信息，请参阅 Azure Monitor 警报概述。
在图表完成后，选择“保存到仪表板”，否则图表将消失。

Airflow 指标

若要了解工作流编排管理器可用的指标，请查看支持的指标表中列出的 Airflow 指标。