Monitorar visualmente o Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência de usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitorar e gerenciar na folha de data factory do portal do Azure. Se você já estiver na UX do ADF, clique no ícone Monitorar na barra lateral esquerda.

Por padrão, todas as execuções de data factory são exibidas no fuso horário local do navegador. Se você alterar o fuso horário e todos os campos de data e hora serão encaixados no fuso horário selecionado.

Monitorar execuções de pipeline

O modo de exibição de monitoramento padrão é a lista de execuções de pipeline no período selecionado. Você pode alterar o intervalo de tempo e filtrar por status, nome do pipeline ou anotação. Passe o mouse sobre a execução de pipeline específica para obter ações específicas de execução, como executar novamente e o relatório de consumo.

Screenshot of list view for monitoring pipeline runs.

A grade de execução de pipeline contém as seguintes colunas:

Nome da coluna Descrição
Nome do Pipeline Nome do pipeline
Início da Execução Data e hora de início da execução do pipeline (MM/DD/AAAA HH:MM:SS AM/PM)
Fim da execução Data e hora de término da execução de pipeline (MM/DD/AAAA HH:MM:SS AM/PM)
Duration Duração da execução (HH:MM:SS)
Disparado por O nome do gatilho que iniciou o pipeline
Status Falha, Bem-sucedida, Em andamento, Canceladoou Na fila
Anotações Marcas filtráveis associadas a um pipeline
Parâmetros Parâmetros de execução de pipeline (pares de nome/valor)
Erro Se o pipeline falhou, o erro de execução
Executar Original, Novamente executada ou Novamente executada (Mais recente)
ID da execução ID da execução de pipeline

Você precisará selecionar manualmente o botão Atualizar para atualizar a lista de execuções do pipeline e atividades. No momento, não há suporte para atualização automática.

 Screenshot of refresh button.

Para ver os resultados de uma execução de depuração, selecione a guia Depurar.

Screenshot of the view active debug runs icon.

Monitorar execuções de atividade

Para obter uma exibição detalhada das execuções de atividade individuais de uma execução de pipeline específica, clique no nome do pipeline.

Screenshot of view activity runs.

A exibição de lista mostra as execuções de atividade que correspondem a cada execução de pipeline. Focalize a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específicas da atividade.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nome da coluna Descrição
Nome da atividade Nome da atividade no pipeline
Tipo de atividade Tipo de atividade, como Copiar, ExecuteDataFlow ou AzureMLExecutePipeline
Ações Ícones que permitem que você veja informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específicas da atividade
Início da Execução Data e hora de início da execução da atividade (MM/DD/AAAA HH:MM:SS AM/PM)
Duration Duração da execução (HH:MM:SS)
Status Falha, Sucesso, Em andamento ou Cancelado
Integration Runtime Em qual Integration Runtime a atividade foi executada
Propriedades do Usuário Propriedades definidas pelo usuário da atividade
Erro Se a atividade falhou, o erro de execução
ID da execução ID da execução de atividade

Se uma atividade falhar, você poderá ver a mensagem de erro detalhada clicando no ícone na coluna erro.

Screenshot of a notification with error details including error code, failure type, and error details.

Promover as propriedades de usuário para monitorá-las

Promove qualquer propriedade de atividade do pipeline como uma propriedade do usuário para que ela se torne uma entidade que você monitorar. Por exemplo, você pode promover as propriedades de Fonte e Destino da atividade de Cópia do pipeline como propriedades do usuário.

Observação

É possível promover no máximo cinco propriedades de atividade do pipeline como propriedades do usuário.

Screenshot of create user properties.

Após criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.

Screenshot of add columns for user properties to the activity runs list.

Se a fonte da atividade de Cópia for um nome de tabela, você poderá monitorar o nome de tabela de origem como uma coluna na exibição de lista de execuções de atividade.

Screenshot of activity runs list with columns for user properties.

Executar pipelines e atividades novamente

O comportamento de nova execução das atividades de contêiner é o seguinte:

  • Wait – A atividade se comportará como antes.
  • Set Variable – A atividade se comportará como antes.
  • Filter – A atividade se comportará como antes.
  • Until A atividade avaliará a expressão e entrará em loop até que a condição seja atendida. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.
  • Foreach A atividade sempre entrará em loop nos itens recebidos. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução.
  • If and switch – As condições sempre serão avaliadas. Todas as atividades internas serão avaliadas. As atividades internas ainda podem ser ignoradas com base nas regras de nova execução, mas atividades como Execute Pipeline serão executadas novamente.
  • Execute pipeline activity – O pipeline filho será disparado, mas todas as atividades nele ainda podem ser ignoradas com base nas regras de nova execução.

Para executar outra vez desde o início um pipeline já executado, passe o mouse sobre a execução de pipeline específico e selecione Executar novamente. Se você selecionar vários pipelines, poderá usar o botão Executar novamente para executar todos eles.

Screenshot of rerun a pipeline.

Se você quiser executar novamente de um ponto específico, poderá fazer isso na exibição execuções de atividade. Selecione a atividade da qual você deseja iniciar e selecione Executar novamente da atividade.

Screenshot of rerun an activity run.

Você também pode executar novamente um pipeline e alterar os parâmetros. Selecione o botão Novos parâmetros para alterar os parâmetros.

Screenshot of rerun an activity run with new parameters.

Observação

Executar novamente um pipeline com novos parâmetros será considerado uma nova execução de pipeline, portanto, não será exibido nos agrupamentos de nova execução para uma execução de pipeline.

Executar novamente a partir da atividade com falha

Se uma atividade falhar, expirar ou for cancelada, você poderá executar novamente o pipeline da atividade com falha selecionando Executar novamente a partir da atividade com falha.

Screenshot of rerun failed activity.

Exibir o histórico de novas execuções

Exiba o histórico de novas execuções para todas as execuções de pipeline na exibição de lista.

Screenshot of view history.

Exiba também o histórico de novas execuções para uma execução de pipeline específica.

Screenshot of view history for a pipeline run.

Monitorar o consumo

Você pode ver os recursos consumidos por uma execução de pipeline clicando no ícone de consumo ao lado da execução.

Screenshot that shows where you can see the resources consumed by a pipeline.

Clicar no ícone abre um relatório de consumo dos recursos usados por essa execução de pipeline.

Screenshot of monitor consumption.

Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline. Para obter mais informações sobre preços de Azure Data Factory, consulte Noções básicas sobre preços.

Observação

Esses valores retornados pela calculadora de preços são uma estimativa. Eles não refletem o valor exato que você será cobrado por Azure Data Factory

Exibições de Gantt

Um gráfico de Gantt é uma exibição que permite que você veja o histórico de execução ao longo de um intervalo de tempo. Ao alternar para um modo de exibição de Gantt, você verá todas as execuções de pipeline agrupadas por nome exibidas como barras em relação ao tempo que a execução levou. Você também pode agrupar por anotações/marcas que você criou em seu pipeline. O modo de exibição Gantt também está disponível no nível de execução da atividade.

Screenshot of an example of a Gantt chart.

O comprimento da barra informa a duração do pipeline. Você também pode selecionar a barra para ver mais detalhes.

Screenshot of a Gantt chart duration.

Alertas

Você pode gerar alertas em métricas com suporte no Data Factory. Selecione o Monitor>Alertas e métricas na página do Monitor do Data Factory para começar a usar.

Screenshot of the Data factory Monitor page.

Para uma introdução de sete minutos e uma demonstração desse recurso, assista ao vídeo a seguir:

Criar alertas

  1. Selecione Nova regra de alerta para criar um novo alerta.

    Screenshot of New Alert Rule button.

  2. Especifique o nome da regra e selecione a gravidade do alerta.

    Screenshot of boxes for rule name and severity.

  3. Selecione os critérios de alerta.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Você pode criar alertas em várias métricas, incluindo contagem/tamanho da entidade do ADF, execuções de atividade/pipeline/gatilho, utilização/memória/contagem de nós/fila da CPU do IR (Integration Runtime), bem como para execuções de pacote SSIS e operações de início/parada do SSIS.

  4. Configure a lógica de alerta. Crie um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes. Também é possível selecionar um tipo de atividade em particular, o nome da atividade, o nome do pipeline ou um tipo de falha.

    Screenshot of options for configuring alert logic.

  5. Configure as notificações de email, SMS, push e voz para o alerta. Crie um grupo de ações ou escolha um existente para as notificações de alerta.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Criar a regra de alerta.

    Screenshot of options for creating an alert rule.

Para saber mais sobre o monitoramento e o gerenciamento de pipelines, veja o artigo Monitorar e gerenciar os pipelines programaticamente.