Visão geral do recurso de captura de dados de alteração

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Adaptar-se ao mundo de big data que prioriza a nuvem pode ser incrivelmente desafiador para os engenheiros de dados que são responsáveis pela construção de pipelines complexos de integração de dados e ETL.

O Azure Data Factory está introduzindo um novo mecanismo para facilitar a vida de um engenheiro de dados.

Ao detetar automaticamente alterações de dados na origem sem exigir um projeto ou codificação complexos, o ADF está facilitando o dimensionamento desses processos. O Change Data Capture agora existirá como um novo recurso nativo de nível superior no estúdio do Azure Data Factory, onde os engenheiros de dados podem configurar rapidamente trabalhos em execução contínua para processar big data em escala com extrema eficiência.

O novo recurso Change Data Capture no ADF permite a captura de dados de alteração de fidelidade total que é executada continuamente quase em tempo real por meio de uma experiência de configuração guiada.

Captura de ecrã do novo recurso de nível superior no painel Recursos de Fábrica.

Nota

O recurso Change Data Capture no Azure Data Factory está atualmente em pré-visualização pública

Supported data sources (Origens de dados suportadas)

  • Avro
  • Azure Cosmos DB (SQL API)
  • Base de Dados SQL do Azure
  • Instância Gerida do Azure SQL
  • Texto delimitado
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Alvos suportados

  • Avro
  • Base de Dados SQL do Azure
  • Instância Gerida do SQL
  • Texto delimitado
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Limitações conhecidas

  • Atualmente, ao criar mapeamentos de origem/destino, cada origem e destino só pode ser usado uma vez.
  • No momento, não há suporte para tipos complexos.
  • O tempo de execução de integração auto-hospedado (SHIR) não é suportado no momento.

Para obter mais informações sobre limitações conhecidas e assistência para solução de problemas, consulte este guia de solução de problemas.

Azure Synapse Analytics como destino

Ao usar o Azure Synapse Analytics como destino, as Configurações de Preparo estão disponíveis na tela da tabela principal. Habilitar o preparo é obrigatório ao selecionar o Azure Synapse Analytics como destino. Isso melhora significativamente o desempenho de gravação utilizando o recurso de carregamento em massa de alto desempenho, como o comando COPY IN. As configurações de preparo podem ser configuradas de duas maneiras: utilizando as configurações de fábrica ou optando por configurações personalizadas. As configurações de fábrica aplicam-se ao nível de fábrica. Pela primeira vez, se essas configurações não estiverem definidas, você será direcionado para a seção de configuração de preparo global para configuração. Uma vez definidos, todos os recursos de nível superior do CDC adotarão essa configuração. As configurações personalizadas têm como escopo apenas o recurso CDC para o qual ele está configurado e substitui as configurações de fábrica.

Nota

Como utilizamos o comando COPY INTO para transferir dados do local de preparo para o Azure Synapse Analytics, é aconselhável garantir que todas as permissões necessárias sejam pré-configuradas no Azure Synapse Analytics.

Nota

Sempre usamos a última configuração publicada ao iniciar um CDC. Para executar CDCs, enquanto seus dados estão sendo processados, você será cobrado 4 v-cores de Fluxos de Dados de Uso Geral.

Conteúdos relacionados