Guia de início rápido: criar um fluxo de trabalho de dados

  • Artigo

Observação

Os fluxos de trabalho de dados são da plataforma Apache Airflow.
O Apache Airflow é uma plataforma de software livre usada para criar, agendar e monitorar fluxos de trabalho de dados complexos de forma programática. Ele permite que você defina um conjunto de tarefas, chamadas de operadores, que podem ser combinadas em DAGs (grafos direcionados acíclico) para representar pipelines de dados.

O fluxo de trabalho de dados é uma maneira simples e eficiente de criar e gerenciar ambientes Apache Airflow, permitindo que você execute seus fluxos de dados em escala com facilidade. Neste guia de início rápido, você cria seu primeiro fluxo de trabalho de dados e executa um DAG (gráfico direcionado acíclico) para se familiarizar com o ambiente e as funcionalidades dos fluxos de trabalho de dados.

Pré-requisitos

  • Habilite fluxos de trabalho de dados em seu locatário.

Observação

Como os fluxos de trabalho de dados estão no estado de preview, você precisa habilitá-los por meio do administrador do locatário. Se você já visualizar Fluxos de trabalho de dados, o administrador de locatários pode já tê-los habilitado.

  1. Vá para Portal de Administração -> Configurações do Locatário -> Em Microsoft Fabric -> Expanda a seção “Os usuários podem criar e usar fluxos de trabalho de dados (preview)”.
  2. Escolha Aplicar.

Captura de tela para habilitar o Apache Airflow no locatário.

Criar um fluxo de trabalho de dados

  1. Você pode usar um espaço de trabalho existente ou Criar um novo espaço de trabalho.

  2. Expandir + New lista suspensa -> Clique em Mais Opções -> Na Data Factory seção -> Selecionar fluxos de trabalho de dados (preview)

    Captura de tela mostrando clicar em mais opções.

    Captura de tela para selecionar Fluxo de Trabalho de Dados.

  3. Dê um nome adequado ao seu projeto e clique no botão "Criar".

Criar um arquivo DAG

  1. Clique no cartão "Novo arquivo DAG" -> dê o nome ao arquivo e clique no botão "Criar".

    Captura de tela para nomear o arquivo DAG.

  2. Um código DAG boilerplate é apresentado a você. Você pode editar o arquivo de acordo com suas necessidades.

    A captura de tela apresenta o arquivo DAG boilerplate no Microsoft Fabric.

  3. Clique em “Slavar ícone”.

    A captura de tela apresenta como salvar o arquivo DAG no Microsoft Fabric.

Executar um DAG

  1. Comece clicando no botão "Executar DAG".

    Captura de tela para executar o DAG a partir da interface do usuário de fluxos de trabalho de dados.

  2. Uma vez iniciado, uma notificação aparecerá imediatamente indicando que o DAG está em execução.

  3. Para monitorar o progresso da execução do DAG, basta clicar em "Ver detalhes" dentro da central de notificações. Essa ação redirecionará você para a interface do usuário do Apache Airflow, onde você poderá acompanhar convenientemente o status e os detalhes da execução do DAG.

    Captura de tela para navegar até a interface do usuário do Apache Airflow a partir do centro de notificações.

Monitorar o DAG do fluxo de trabalho de dados na interface do usuário do Apache Airflow

Os arquivos dag salvos são carregados na interface do usuário do Apache Airflow. Você pode monitorá-los clicando no botão "Monitorar no Apache Airflow".

Captura de tela para monitorar o DAG do Airflow.

A captura de tela apresenta o DAG do Airflow carregado.

Conteúdo relacionado