Migrar para o Data Factory no Microsoft Fabric
O Data Factory no Microsoft Fabric reúne o Power Query e o Azure Data Factory em uma experiência moderna de integração de dados confiáveis que capacita os profissionais de dados e de negócios a extrair, carregar e transformar dados para sua organização. Além disso, recursos avançados de orquestração de dados permitem criar fluxos de trabalho de dados simples a complexos que orquestram as etapas necessárias para suas necessidades de integração de dados.
Principais conceitos no Data Factory no Microsoft Fabric
Obter dados e transformação – O Dataflow Gen2 é uma evolução dos fluxos de dados no Power BI. O Dataflow Gen2 é rearquitecado para usar mecanismos de computação do Fabric para processamento e transformação de dados. Isso permite que eles ingiram e transformem dados em qualquer escala.
Orquestração de dados – Usando pipelines de dados já familiares aos usuários do ADF (Azure Data Factory), o Microsoft Fabric permite os mesmos recursos de orquestração oferecidos no ADF. Como parte da versão de disponibilidade geral do Fabric, os pipelines de dados dão suporte à maioria das atividades disponíveis no ADF.
Consulte esta lista de atividades que fazem parte dos pipelines de dados no Fabric.
Movimentação de dados pronta para empresas – Seja uma pequena movimentação de dados ou escala de petabytes, o Data Factory fornece uma plataforma de movimentação de dados inteligente e sem servidor que permite mover dados entre diversas fontes de dados e destinos de dados de forma confiável. Com suporte para mais de 170 conectores, o Data Factory no Microsoft Fabric permite mover dados entre várias nuvens, fontes de dados locais e em redes virtuais (VNet). A otimização da taxa de transferência inteligente permite que a plataforma de movimentação de dados detecte automaticamente o tamanho da computação necessária para a movimentação de dados.
Migrar do ADF (Azure Data Factory)
Para permitir que os clientes atualizem para o Microsoft Fabric a partir do ADF (Azure Data Factory), damos suporte aos seguintes recursos:
Atividades de pipeline de dados – Damos suporte à maioria das atividades que você já usa no ADF para o Data Factory no Fabric. Além disso, adicionamos novas atividades para notificações, por exemplo, as atividades do Teams e do Outlook. Consulte esta lista de atividades disponíveis no Data Factory no Fabric.
Conector do OneLake/Lakehouse no Azure Data Factory – Para muitos clientes do ADF, agora você pode se integrar ao Microsoft Fabric e trazer dados para o Fabric OneLake.
Fluxo de Dados de Mapeamento do Azure Data Factory para o Fabric – Fornecemos este guia para clientes do ADF considerando a criação de novas transformações de dados no Fabric.
Além disso, para os clientes que considerarem migrar seus fluxos de dados de mapeamento do ADF para o Fabric, você pode aplicar um código de exemplo da Fabric Customer Advisory Team (Fabric CAT) para converter fluxos de dados de mapeamento em código Spark. Saiba mais em Fluxos de dados de mapeamento para o Microsoft Fabric.
Como parte do roteiro do Data Factory no Microsoft Fabric, estamos trabalhando para a pré-visualização do seguinte até o 2º trimestre de 2024:
- Montagem do ADF no Fabric – Esse recurso permitirá que os clientes montem o ADF existente no Microsoft Fabric. Todos os pipelines do ADF funcionarão como estão e continuarão em execução no Azure, permitindo que você explore o Fabric e trabalhe em um plano de atualização mais abrangente.
- Atualização de pipelines do ADF para o Fabric – Estamos trabalhando com clientes e com a comunidade para saber como podemos oferecer mais suporte às atualizações de pipelines de dados do ADF para o Fabric. Como parte disso, forneceremos uma experiência de atualização que capacita você a testar seus pipelines de dados existentes no Fabric usando a montagem e a atualização dos pipelines de dados.
Migrar o Fluxo de Dados Gen1 do Power BI para o Fluxo de Dados Gen2 no Fabric
O Dataflow Gen2 no Fabric fornece muitas vantagens e novos recursos em comparação com os fluxos de dados (Gen1) no Power BI:
- Obter dados de alta escala ("Cópia Rápida")
- Transformações de dados de alta escala (usando o mecanismo SQL do Fabric Lakehouse)
- Mais destinos de saída: Banco de Dados SQL do Azure, Lakehouse, Warehouse, SharePoint, Bancos de Dados KQL, entre outros
- Experiência aprimorada de histórico e monitoramento de atualização
- Experiências avançadas de criação e publicação.
Incentivamos os clientes a começar a experimentar o Fluxo de Dados Gen2, recriar cenários existentes do Fluxo de Dados Gen1 ou experimentar novos. Os comentários antecipados sobre o Fluxo de Dados Gen2 nos ajudarão a evoluir e amadurecer as funcionalidades do produto.
Temos algumas opções para os clientes recriarem os fluxos de dados Gen1 como o Fluxo de Dados Gen2:
- Exportar consultas do Fluxo de Dados Gen1 e importá-las para o Fluxo de Dados Gen2: agora você pode exportar consultas nas experiências de criação do Fluxo de Dados e do Fluxo de Dados Gen2 e salvá-las em arquivos PQT que você pode importar para o Fluxo de Dados Gen2. Para obter mais informações, confira Como usar o recurso de modelo de exportação.
- Copiar e colar no Power Query: se você tiver um fluxo de dados no Power BI ou no Power Apps, poderá copiar suas consultas e colá-las na experiência de edição do artefato do Fluxo de Dados Gen2. Essa funcionalidade permite migrar seu fluxo de dados para o Gen2 sem precisar reescrever suas consultas. Para obter mais informações, confira Copiar e colar consultas existentes do fluxo de dados (Gen1).
Consulte também o seguinte artigo para obter mais considerações: Diferenças entre o Fluxo de Dados Gen1 e Gen2