Журналы диагностики и метрики для диспетчера оркестрации рабочих процессов

Статья
10/03/2024

Примечание.

Диспетчер оркестрации рабочих процессов управляется Apache Airflow.

В этой статье описаны действия, описанные ниже.

Включите журналы и метрики диагностика для диспетчера оркестрации рабочих процессов в Фабрика данных Azure.
Просмотр журналов и метрик.
Выполните запрос .
Отслеживайте метрики и задайте систему оповещений в сбое ациклического графа (DAG).

Необходимые компоненты

Вам требуется подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу.

Включение журналов и метрик диагностика для диспетчера оркестрации рабочих процессов

Откройте ресурс фабрики данных и выберите параметры диагностики на самой левой панели. Щелкните команду Добавить параметр диагностики.
Заполните имя параметров диагностики. Выберите следующие категории для журналов Airflow:
- Журналы выполнения задач AirFlow
- Журналы рабочих ролей AirFlow
- Журналы обработки DAG airflow
- Журналы планировщика AirFlow
- Веб-журналы AirFlow
- Если выбрать вариант AllMetrics, станут доступны различные метрики Фабрики данных для мониторинга или создания оповещений. Эти метрики включают метрики для действий Фабрики данных и среды выполнения интеграции Диспетчера рабочих процессов, таких как AirflowIntegrationRuntimeCpuUsage и AirflowIntegrationRuntimeMemory.
В разделе Сведения о месте назначения установите флажок Отправить в рабочую область Log Analytics.
Выберите Сохранить.

Просмотреть журналы

После добавления параметров диагностики их можно найти в разделе "Параметры диагностики". Чтобы получить доступ к журналам и просмотреть их, выберите настроенную рабочую область Log Analytics.
В разделе "Развернуть возможности Log Analytics" выберите "Просмотр журналов".
Вы направляетесь в рабочую область Log Analytics, где можно увидеть, что выбранные таблицы были импортированы в рабочую область автоматически.

Другие полезные ссылки для схемы:

Напишите запрос

Начнем с самого простого запроса, который возвращает все записи в ADFAirflowTaskLogs. Вы можете дважды щелкнуть имя таблицы, чтобы добавить ее в окно запроса. Вы также можете ввести имя таблицы непосредственно в окне.
Чтобы сузить результаты поиска, например фильтрацию на основе определенного идентификатора задачи, можно использовать следующий запрос:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Аналогичным образом можно создавать пользовательские запросы в соответствии с вашими потребностями с помощью любых таблиц, доступных в LogManagement.

Дополнительные сведения см. в разделе:

Метрики мониторинга

Фабрика данных предлагает комплексные метрики для сред выполнения интеграции Airflow, что позволяет эффективно отслеживать производительность среды выполнения интеграции Airflow и устанавливать механизмы оповещения по мере необходимости.

Откройте ресурс фабрики данных.
В левой области в разделе "Мониторинг " выберите "Метрики".
Выберите метрику >пространства>имен метрик, которую вы хотите отслеживать.
Просмотрите многострочной диаграмме, которая визуализирует процент ЦП среды выполнения интеграции и размер пакета dag среды выполнения интеграции.
Вы можете настроить правило генерации оповещений, которое активирует, когда метрики соответствуют определенным условиям. Дополнительные сведения см. в статье "Обзор оповещений Azure Monitor".
Нажмите кнопку "Сохранить на панель мониторинга " после завершения диаграммы или исчезнет диаграмма.

Метрики потока воздуха

Чтобы просмотреть метрики, доступные для диспетчера оркестрации рабочих процессов, просмотрите метрики Airflow , перечисленные в таблице поддерживаемых метрик.

Поделиться через