Carrega dados de forma incremental a partir de um arquivo de dados de origem para um arquivo de dados de destino

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Uma solução de integração de dados, que carrega dados incrementalmente (ou delta) após um carregamento de dados completos inicial é um cenário bastante utilizado. Os tutoriais nesta secção mostram formas diferentes de carregar dados de forma incremental através da utilização do Azure Data Factory.

Carregamento de dados delta do banco de dados usando uma marca d'água

Neste caso, é possível definir uma marca d'água na base de dados de origem. Uma marca d'água é uma coluna com o último carimbo de data/hora atualizado ou uma chave de incrementação. A solução de carregamento delta carrega os dados alterados entre uma marca d'água antiga e uma nova marca d'água. O fluxo de trabalho para esta abordagem é descrito no diagrama seguinte:

Para obter instruções passo a passo, veja os seguintes tutoriais:

• Copiar dados de forma incremental de uma tabela na Base de Dados SQL do Azure para o armazenamento de Blobs do Azure
• Copiar dados incrementalmente de várias tabelas em uma instância do SQL Server para o Banco de Dados SQL do Azure

Para modelos, consulte o seguinte:

• Cópia delta com tabela de controle

Carregamento de dados delta do Banco de Dados SQL usando a tecnologia Change Tracking

A tecnologia de Controlo de Alterações é uma solução simples no SQL Server e na Base de Dados SQL do Azure que fornece um mecanismo de controlo de alterações eficiente para aplicações. Permite que uma aplicação facilmente identifique dados que foram inseridos, atualizados ou eliminados.

O fluxo de trabalho para esta abordagem é descrito no diagrama seguinte:

Para obter instruções passo a passo, consulte o seguinte tutorial:

• Copiar dados de forma incremental da Base de Dados SQL do Azure para o armazenamento de Blobs do Azure utilizando a tecnologia de Controlo de Alterações

Carregando arquivos novos e alterados somente usando LastModifiedDate

Você pode copiar os arquivos novos e alterados somente usando LastModifiedDate para o armazenamento de destino. O ADF verificará todos os arquivos do armazenamento de origem, aplicará o filtro de arquivo por sua LastModifiedDate e copiará apenas o arquivo novo e atualizado desde a última vez para o armazenamento de destino. Por favor, esteja ciente de que, se você deixar o ADF digitalizar grandes quantidades de arquivos, mas você copiar apenas alguns arquivos para o destino, isso ainda levará muito tempo por causa do processo de digitalização de arquivos.

Para obter instruções passo a passo, consulte o seguinte tutorial:

• Copie incrementalmente arquivos novos e alterados com base em LastModifiedDate do armazenamento de Blob do Azure para o armazenamento de Blob do Azure

Para modelos, consulte o seguinte:

• Copiar novos arquivos por LastModifiedDate

Carregando novos arquivos somente usando a pasta particionada por tempo ou o nome do arquivo.

Você pode copiar somente novos arquivos, onde os arquivos ou pastas já foram particionados por tempo com informações de timelice como parte do nome do arquivo ou pasta (por exemplo, /aaaa/mm/dd/file.csv). É a abordagem de maior desempenho para carregar novos arquivos incrementalmente.

Para obter instruções passo a passo, consulte o seguinte tutorial:

• Copie incrementalmente novos arquivos com base no tempo particionado pasta ou nome de arquivo do armazenamento de Blob do Azure para o armazenamento de Blob do Azure

Conteúdos relacionados

Avançar para o tutorial seguinte: