Logs de diagnóstico e métricas para o gerenciador de orquestração de fluxo de trabalho

Artigo
10/03/2024

Observação

O gerenciador de orquestração de fluxo de trabalho é desenvolvido com Apache Airflow.

Neste artigo, você percorrerá as etapas para:

Habilitar logs de diagnóstico e métricas para o gerenciador de orquestração de fluxo de trabalho no Azure Data Factory.
Exibir logs e métricas.
Execute uma consulta .
Monitorar as métricas e definir o sistema de alertas em caso de falha do DAG (grafo direcionado acíclico).

Pré-requisitos

É necessária uma assinatura do Azure. Caso você não tenha uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.

Habilitar logs de diagnóstico e métricas para o gerenciador de orquestração de fluxo de trabalho

Abra o recurso do Data Factory e selecione Configurações de diagnóstico no painel mais à esquerda. Em seguida, selecione Adicionar configuração de diagnóstico.
Preencha o nome das Configurações de diagnóstico. Selecione as seguintes categorias para os logs do Airflow:
- Logs de execução de tarefas do Airflow
- Logs de trabalho do Airflow
- Logs de processamento de DAG do Airflow
- Logs do agendador do Airflow
- Logs da Web do Airflow
- Se você selecionar AllMetrics, várias métricas do Data Factory serão disponibilizadas para monitoramento ou criação de alertas. Essas métricas incluem as métricas para a atividade do Data Factory e o runtime de integração do gerenciador de orquestração de fluxo de trabalho, como AirflowIntegrationRuntimeCpuUsage e AirflowIntegrationRuntimeMemory.
Em Detalhes de destino, marque a caixa de seleção Enviar para o workspace do Log Analytics.
Selecione Salvar.

Exibir logs

Depois de adicionar as configurações de Diagnóstico, você pode encontrá-las listadas na seção Configuração de diagnóstico. Para acessar e exibir logs, selecione o workspace do Log Analytics que você configurou.
Na seção Maximize sua experiência com o Log Analytics, selecione Exibir logs.
Você é direcionado para seu workspace do Log Analytics, no qual pode ver que as tabelas selecionadas foram importadas automaticamente para o workspace.

Outros links úteis para o esquema:

Escreva uma consulta

Vamos começar com a consulta mais simples, que retorna todos os registros em ADFAirflowTaskLogs. Você pode clicar duas vezes no nome da tabela para adicioná-la a uma janela de consulta. Você também pode inserir o nome da tabela diretamente na janela.
Para restringir os resultados da pesquisa, como filtrá-los com base em uma ID de tarefa específica, você pode usar a seguinte consulta:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Da mesma forma, é possível criar consultas personalizadas de acordo com suas necessidades usando as tabelas disponíveis no LogManagement.

Para saber mais, veja:

Métricas de monitoramento

O Data Factory oferece métricas abrangentes de runtimes de integração do Airflow, permitindo monitorar com eficácia o desempenho do runtime de integração do Airflow e estabelecer mecanismos de alerta conforme necessário.

Abra o seu recurso do Data Factory.
No painel mais à esquerda, na seção Monitoramento, selecione Métricas.
Selecione o Escopo>Namespace da Métrica>Métrica que você deseja monitorar.
Examine o gráfico de várias linhas que visualiza a Porcentagem de CPU do runtime de integração e o Tamanho do recipiente de DAG do runtime de integração.
É possível configurar uma regra de alerta que dispara quando condições específicas são alcançadas por suas métricas. Para obter mais informações, confira Visão geral dos alertas do Azure Monitor.
Selecione Salvar no painel depois que o gráfico for concluído, caso contrário, o gráfico desaparecerá.

Métricas do Airflow

Para ver as métricas disponíveis para o gerenciador de orquestração de fluxo de trabalho Orchestration Manager, visualize as métricas do Airflow listadas na tabela Métricas suportadas.

Compartilhar via