Migrar dados do BD do SQL do Azure para o Lakehouse por meio do assistente de cópia

Este tutorial descreve as etapas para migrar dados para o Lakehouse.

Duas abordagens são fornecidas usando o assistente de cópia:

  1. A primeira abordagem migra os dados de origem para tabelas de destino com o formato delta.
  2. A segunda abordagem migra os dados de origem para arquivos de destino.

Pré-requisitos

Para começar, você deve concluir os seguintes pré-requisitos:

  • Uma conta de locatário com uma assinatura ativa. Crie uma conta gratuitamente.
  • Um workspace é criado.
  • Um Lakehouse criado no seu espaço de trabalho.

Migrar arquivos para o Lakehouse como tabelas no formato delta por meio do assistente de cópia

Siga essas etapas para configurar sua atividade de cópia.

Etapa 1: Começar com o assistente de cópia

  1. Abra um pipeline de dados existente ou crie um pipeline de dados novo.

  2. Selecione Assistente de cópia de dados na tela para abrir o assistente e iniciar. Ou selecione Usar o assistente de cópia na lista suspensa Copiar dados da guia Atividades da faixa de opções.

    Captura de tela mostrando os dois locais onde você pode acessar o assistente de cópia.

Etapa 2: Configurar sua origem

  1. Escolha sua origem de dados escolhendo um tipo de origem de dados. Neste tutorial, usaremos como exemplo o Banco de Dados do SQL do Azure. Pesquise na tela Escolher fonte de dados para localizar e selecionar Banco de Dados SQL do Azure.

    Captura de tela mostrando onde escolher sua origem de dados na tela Copiar Dados.

  2. Crie uma conexão com sua fonte de dados preenchendo as informações de conexão necessárias no painel.

    Captura de tela mostrando onde selecionar uma Nova conexão.

    Após preencher as informações de conexão necessárias no painel, selecione Avançar.

    Se você ainda não selecionou um banco de dados inicialmente, uma lista de bancos de dados será apresentada para você selecionar.

    Captura de tela mostrando onde atualizar as informações da sua conexão.

  3. Selecione as tabelas que devem ser migradas. Em seguida, selecione Avançar.

    Captura de tela mostrando onde selecionar as tabelas.

Etapa 3: Configure seu destino

  1. Escolha Lakehouse como seu destino e, em seguida, selecione Avançar.

    Captura de tela mostrando onde selecionar o destino da sua cópia.

    Insira um nome de Lakehouse e selecione Criar e conectar.

    Captura de tela mostrando onde selecionar o armazenamento de dados.

  2. Configure e mapeie os dados de origem para a tabela Lakehouse de destino. Selecione Tabelas para a pasta Raiz e Carregar em uma nova tabela para Configurações de carregamento. Forneça um nome de Tabela e selecione Avançar.

    Captura de tela de onde selecionar sua tabela de destino.

  3. Revise sua configuração e desmarque a caixa de seleção Iniciar transferência de dados imediatamente. Depois selecione Avançar para concluir a experiência do assistente.

    Captura de tela mostrando onde selecionar

Etapa 4: Salvar seu pipeline de dados e executá-lo para carregar dados

  1. Selecione Executar na barra de ferramentas Página Inicial e, em seguida, selecione Salvar e executar quando solicitado.

    Captura de tela mostrando onde selecionar Executar na guia Página Inicial da janela do editor de pipeline.

  2. Para cada atividade executada, você pode selecionar o link correspondente da atividade na guia Saída após a execução do pipeline para exibir os detalhes da atividade. Nesse caso, temos 2 atividades de cópia individuais executadas - uma para cada tabela copiada do SQL Azure para o Lakehouse. Ao selecionar o link de detalhes da atividade, você pode ver quantos dados foram lidos e gravados e quanto espaço os dados consumiram na origem e no destino, bem como a velocidade da taxa de transferência e outros detalhes.

    Captura de tela mostrando onde selecionar o ícone de óculos e a tela de detalhes resultante.

Etapa 5: Ver suas tabelas do Lakehouse

  1. Vá para o seu Lakehouse e atualize sua visualização do Lake para ver os dados ingeridos mais recentes.

  2. Alterne para o modo de exibição de Tabela para ver os dados na tabela.

    Captura de tela mostrando onde alternar para o modo de exibição de Tabela.

    Observação

    Atualmente, os dados chegam às pastas de Tabelas do Lakehouse (uma área gerenciada) somente no formato Delta. Esses arquivos serão registrados automaticamente como uma tabela e ficarão visíveis no modo de exibição de Tabela do portal do Lakehouse. Somente as pastas do primeiro nível em Tabelas serão registradas como tabelas delta. Ainda não há suporte para Navegação ou Visualização de Tabelas do Lakehouse. Os dados que forem carregados na mesma tabela serão acrescentados. Ainda não há suporte para Excluir ou Atualizar para tabelas.

Esse exemplo mostra como migrar dados do BD do SQL do Azure para o Lakehouse com o Assistente de Cópia no Data Factory para Microsoft Fabric. Você aprendeu a:

  • Migre arquivos para o Lakehouse como tabelas no formato delta com o Assistente de Cópia.

Em seguida, prossiga para saber mais sobre como monitorar as execuções do seu pipeline.