O que é o Workflow Orchestration Manager?

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Nota

O Apache Airflow agora está acessível através do Microsoft Fabric. O Microsoft Fabric oferece uma ampla gama de recursos do Apache Airflow por meio de fluxos de trabalho de dados. Recomendamos migrar seus fluxos de trabalho existentes baseados no Workflow Orchestration Manager (Apache Airflow no ADF) para fluxos de trabalho de dados (Apache Airflow no Microsoft Fabric) para obter um conjunto mais amplo de recursos. Os recursos do Apache Airflow estarão disponíveis no Q1 CY2025 somente no Microsoft Fabric. Para novos projetos do Apache Airflow, recomendamos o uso do Apache Airflow no Microsoft Fabric. Estão disponíveis mais detalhes aqui. Novos usuários não terão permissão para criar um novo gerenciador de orquestração de fluxo de trabalho no ADF, mas os usuários existentes com um gerenciador de orquestração de fluxo de trabalho podem continuar a usá-lo, mas planejam uma migração em breve.

Nota

O Workflow Orchestration Manager para Azure Data Factory depende do aplicativo Apache Airflow de código aberto. Documentação e mais tutoriais sobre o fluxo de ar podem ser encontrados nas páginas de documentação ou comunidade do Apache Airflow.

O Azure Data Factory oferece pipelines sem servidor para orquestração de processos de dados, movimentação de dados com conectores gerenciados 100+ e transformações visuais com o fluxo de dados de mapeamento.

O serviço Workflow Orchestration Manager do Azure Data Factory é uma maneira simples e eficiente de criar e gerenciar ambientes Apache Airflow , permitindo que você execute pipelines de dados em escala com facilidade. O Apache Airflow é uma plataforma de código aberto usada para criar, programar e monitorar programaticamente fluxos de trabalho de dados complexos. Ele permite definir um conjunto de tarefas, chamadas operadores, que podem ser combinadas em gráficos acíclicos direcionados (DAGs) para representar pipelines de dados. O fluxo de ar permite que você execute esses DAGs em um cronograma ou em resposta a um evento, monitore o progresso dos fluxos de trabalho e forneça visibilidade sobre o estado de cada tarefa. É amplamente utilizado em engenharia de dados e ciência de dados para orquestrar pipelines de dados, e é conhecido por sua flexibilidade, extensibilidade e facilidade de uso.

A captura de tela mostra a integração de dados.

Quando usar o Workflow Orchestration Manager?

O Azure Data Factory oferece Pipelines para orquestrar visualmente processos de dados (criação baseada em interface do usuário). Enquanto o Workflow Orchestration Manager, oferece DAGs python baseados em Airflow (criação centrada em código python) para definir o processo de orquestração de dados. Se você tiver o plano de fundo do Airflow ou estiver usando o Apache Airflow, talvez prefira usar o Workflow Orchestration Manager em vez dos pipelines. Pelo contrário, se você não gostaria de escrever/gerenciar DAGs baseados em Python para orquestração de processos de dados, talvez prefira usar pipelines.

Com o Workflow Orchestration Manager, o Azure Data Factory agora oferece recursos de orquestração múltipla que abrangem requisitos de orquestração OSS visuais, centrados em código.

Funcionalidades

O Workflow Orchestration Manager no Azure Data Factory oferece uma variedade de recursos poderosos, incluindo:

  • Implementação rápida e simples - Você pode configurar rápida e facilmente o Apache Airflow selecionando uma versão do Apache Airflow ao criar um Workflow Orchestration Manager.
  • Escala na nuvem - O Workflow Orchestration Manager dimensiona automaticamente os nós do Apache Airflow quando necessário com base na especificação do alcance (min, max).
  • Integração com o Microsoft Entra - Você pode habilitar o Microsoft Entra RBAC em seu ambiente Airflow para uma experiência de logon único protegida pela ID do Microsoft Entra.
  • Criptografia de metadados - O Workflow Orchestration Manager criptografa automaticamente os metadados usando chaves gerenciadas pelo Azure para garantir que seu ambiente esteja seguro por padrão. Ele também suporta criptografia dupla com uma chave gerenciada pelo cliente (CMK).
  • Monitoramento e alertas do Azure - Todos os logs gerados pelo Workflow Orchestration Manager são exportados para o Azure Monitor. Ele também fornece métricas para rastrear condições críticas e ajudá-lo a notificar se necessário.

Arquitetura

A captura de tela mostra a arquitetura no Workflow Orchestration Manager.

Disponibilidade da região (visualização pública)

  • Leste dos EUA
  • Centro-Sul dos EUA
  • Oeste dos EUA
  • Sul do Brasil
  • Sul do Reino Unido
  • Europa do Norte
  • Europa Ocidental
  • Sudeste Asiático

Nota

A região do ambiente Airflow tem como padrão a região Data Factory e não é configurável, portanto, certifique-se de usar um Data Factory na região suportada acima para poder acessar a visualização do Workflow Orchestration Manager.

Versões suportadas do Apache Airflow

  • 2.6.3

Nota

Não há suporte para alterar a versão do fluxo de ar dentro de um IR existente. Em vez disso, a solução recomendada é criar um novo Airflow IR com a versão desejada

Integrações

O Apache Airflow integra-se com os serviços do Microsoft Azure através do fornecedor microsoft.azure.

Você pode instalar qualquer pacote de provedor editando o ambiente de fluxo de ar da interface do usuário do Azure Data Factory. Leva cerca de alguns minutos para instalar o pacote.

A captura de tela mostra a integração do fluxo de ar.

Limitações

  • O Workflow Orchestration Manager em outras regiões está disponível pela GA.
  • As fontes de dados que se conectam através do fluxo de ar devem ser acessíveis através de um ponto final público (rede).
  • Atualmente, não há suporte para DAGs que estão dentro de um Armazenamento de Blob em VNet/atrás do Firewall. Em vez disso, recomendamos o uso do recurso de sincronização Git do Workflow Orchestration Manager. Consulte Sincronizar um repositório GitHub no Workflow Orchestration Manager
  • A importação de Dags do Azure Key Vault não é suportada no LinkedServices.

Conteúdos relacionados