Configurar o Lakehouse em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline de dados para copiar dados de e para o Fabric Lakehouse. Por padrão, os dados são gravados na tabela Lakehouse em V-Order, e você pode ir para Otimização de tabela Delta Lake e V-Order para obter mais informações.

Formato compatível

O Lakehouse tem suporte para os seguintes formatos de arquivo. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configuração com suporte

Para a configuração de cada guia em atividade Copy, vá para as seções a seguir, respectivamente.

• Geral
• Origem
• Destino
• Mapeamento
• Configurações

Geral

Para a configuração da guia Geral, vá para Geral.

Fonte

As seguintes propriedades têm suporte ao Lakehouse na guia Origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione uma conexão com o Lakehouse na lista de conexões. Se não existir uma conexão, crie uma conexão com o Lakehouse selecionando Mais na parte inferior da lista de conexões. Se você aplicar Usar conteúdo dinâmico para especificar o Lakehouse, adicione um parâmetro e especifique a ID de objeto do Lakehouse como o valor do parâmetro. Para obter sua ID de objeto do Lakehouse, abra seu Lakehouse no seu espaço de trabalho e a ID será exibida /lakehouses/na sua URL.

  

• Pasta raiz: selecione Tabelas ou Arquivos, o que indica a exibição virtual da área gerenciada ou não gerenciada em seu lake. Para obter mais informações, consulte a introdução ao Lakehouse.

  • Se você selecionar Tabelas:

    • Nome da tabela: escolha uma tabela existente na lista de tabelas ou especifique um nome de tabela como origem. Como alternativa, selecione Novo para criar uma nova tabela.

      

    • Tabela: ao aplicar o Lakehouse com esquemas na conexão, escolha uma tabela existente com um esquema na lista de tabelas ou especifique uma tabela com um esquema como origem. Como alternativa, selecione Novo para criar uma nova tabela com um esquema. Quando você não especifica um nome de esquema, o serviço usa dbo como o esquema padrão.

      

    • Em Avançado, você pode especificar os seguintes campos:

      • Carimbo de data/hora: especifique para consultar um instantâneo mais antigo por carimbo de data/hora.
      • Versão: especifique para consultar um instantâneo mais antigo por versão.
      • Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último.

    O leitor versão 1 é compatível. Encontre os recursos correspondentes do Delta Lake com suporte neste artigo.

  • Se você selecionar Arquivos:

    • Tipo de caminho do arquivo: escolha Caminho de arquivo, Caminho de arquivo curinga ou Lista de arquivos como tipo de caminho do arquivo. A lista a seguir descreve a configuração de cada definição:

      

      • Caminho do arquivo: selecione Procurar para escolher o arquivo que você deseja copiar ou preencha o caminho manualmente.

      • Caminho do arquivo curinga: especifique o caminho da pasta ou do arquivo com caracteres curinga na área não gerenciada do Lakehouse (em Arquivos) para filtrar as pastas ou os arquivos de origem. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta ou do arquivo tiver curingas ou esse caractere de escape.

        • Caminho da pasta curinga: o caminho para a pasta no contêiner fornecido. Se quiser usar um curinga para filtrar a pasta, ignore essa configuração e especifique essas informações nas configurações de origem da atividade.

        • Nome do arquivo curinga: o nome do arquivo na área não gerenciada do Lakehouse (em Arquivos) e o caminho da pasta.

          

      • Lista de arquivos: indica um determinado conjunto de arquivos para o qual copiar.

        • Caminho da pasta: aponta para uma pasta que inclui arquivos que você deseja copiar.
        • Caminho para a lista de arquivos: aponta para um arquivo de texto que inclui uma lista de arquivos que você deseja copiar, um arquivo por linha, que é o caminho relativo ao caminho do arquivo configurado.

        

    • Recursivamente: indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Se habilitado, todos os arquivos na pasta de entrada e suas subpastas são processados recursivamente. Essa propriedade não se aplica ao configurar o tipo de caminho de arquivo como Lista de arquivos.

    • Formato do arquivo: selecione o formato do arquivo na lista suspensa. Selecione o botão Configurações para configurar o formato do arquivo. Para configurações de diferentes formatos de arquivo, confira artigos em Formato com suporte para obter informações detalhadas.

    • Em Avançado, você pode especificar os seguintes campos:

      • Filtrar pela última modificação: os arquivos são filtrados com base nas datas da última modificação. Essa propriedade não se aplica ao configurar o tipo de caminho de arquivo como Lista de arquivos.
        • Hora de início: os arquivos serão selecionados se a hora da última modificação for maior ou igual à hora configurada.
        • Hora de término: os arquivos serão selecionados se a hora da última modificação for menor que a hora configurada.
      • Habilitar descoberta de partição: para arquivos particionados, especifique se as partições devem ser analisadas a partir do caminho do arquivo e adicionadas como colunas de origem adicionais.
        • Caminho da raiz da partição: quando a descoberta da partição estiver habilitada, especifique o caminho da raiz absoluta para ler as pastas particionadas como colunas de dados.
      • Máximo de conexões simultâneas: indica o limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

Destino

As seguintes propriedades têm suporte ao Lakehouse na guia Destino de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione uma conexão com o Lakehouse na lista de conexões. Se não existir uma conexão, crie uma conexão com o Lakehouse selecionando Mais na parte inferior da lista de conexões. Se você aplicar Usar conteúdo dinâmico para especificar o Lakehouse, adicione um parâmetro e especifique a ID de objeto do Lakehouse como o valor do parâmetro. Para obter sua ID de objeto do Lakehouse, abra seu Lakehouse no seu espaço de trabalho e a ID será exibida /lakehouses/na sua URL.

  

• Pasta raiz: selecione Tabelas ou Arquivos, o que indica a exibição virtual da área gerenciada ou não gerenciada em seu lake. Para obter mais informações, consulte a introdução ao Lakehouse.

  • Se você selecionar Tabelas:

    • Nome da tabela: escolha uma tabela existente na lista de tabelas ou especifique um nome de tabela como destino. Como alternativa, selecione Novo para criar uma nova tabela.

      

    • Tabela: ao aplicar o Lakehouse com esquemas na conexão, escolha uma tabela existente com um esquema na lista de tabelas ou especifique uma tabela com um esquema como destino. Como alternativa, selecione Novo para criar uma nova tabela com um esquema. Quando você não especifica um nome de esquema, o serviço usa dbo como o esquema padrão.

      

    • Em Avançado, você pode especificar os seguintes campos:

      • Ações de tabela: especifique a operação na tabela selecionada.

        • Acrescentar: acrescente novos valores à tabela existente.

          • Habilitar Partição: essa seleção permite que você crie partições em uma estrutura de pastas com base em uma ou várias colunas. Cada valor de coluna distinto (par) é uma nova partição. Por exemplo, "year=2000/month=01/file".
            • Nome da coluna de partição: selecione entre as colunas de destino no mapeamento de esquemas ao acrescentar dados a uma nova tabela. Quando você acrescenta dados a uma tabela existente que já contém partições, as colunas de partição são derivadas automaticamente da tabela existente. Os tipos de dados com suporte são cadeia de caracteres, inteiro, booliano e datetime. O formato respeita as configurações de conversão de tipo na guia Mapeamento.

        • Substituir: substitua os dados e o esquema existentes na tabela usando os novos valores. Se essa operação estiver selecionada, você poderá habilitar a partição na tabela de destino:

          • Habilitar Partição: essa seleção permite que você crie partições em uma estrutura de pastas com base em uma ou várias colunas. Cada valor de coluna distinto (par) é uma nova partição. Por exemplo, "year=2000/month=01/file".
            • Nome da coluna de partição: selecione entre as colunas de destino no mapeamento de esquemas. Os tipos de dados com suporte são cadeia de caracteres, inteiro, booliano e datetime. O formato respeita as configurações de conversão de tipo na guia Mapeamento.

          Ele é compatível com viagem no tempo do Delta Lake. A tabela substituída tem logs delta para as versões anteriores e você pode acessá-los em seu Lakehouse. Você também pode copiar a tabela de versão anterior do Lakehouse ao especificar Version (Versão) na origem da atividade Copy.

      • Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

    O Gravador versão 2 é compatível. Encontre os recursos correspondentes do Delta Lake com suporte neste artigo.

  • Se você selecionar Arquivos:

    • Caminho do arquivo: selecione Procurar para escolher o arquivo que você deseja copiar ou preencha o caminho manualmente.

      

    • Formato do arquivo: selecione o formato do arquivo na lista suspensa. Selecione Configurações para configurar o formato de arquivo. Para configurações de diferentes formatos de arquivo, confira artigos em Formato com suporte para obter informações detalhadas.

    • Em Avançado, você pode especificar os seguintes campos:

      • Comportamento da cópia: define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. É possível escolher Nivelar hierarquia, Mesclar arquivos, Preservar hierarquia ou Adicionar conteúdo dinâmico como seu comportamento de cópia. A configuração de cada configuração é:

        • Flatten hierarchy: todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm nomes gerados automaticamente.

        • MergeFiles: Mescla todos os arquivos da pasta de origem em um único arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, é um nome de arquivo gerado automaticamente.

        • Preservar hierarquia: preserva a hierarquia de arquivos na pasta de destino. O caminho relativo de um arquivo de origem para a pasta de origem é idêntico ao caminho relativo de um arquivo de destino para a pasta de destino.

        • Adicionar conteúdo dinâmico: para especificar uma expressão para um valor de propriedade, selecione Adicionar conteúdo dinâmico. Esse campo abre o construtor de expressões, onde é possível criar expressões a partir de variáveis de sistema com suporte, saída de atividade, funções e variáveis ou parâmetros especificados pelo usuário. Para obter informações sobre a linguagem das expressões, acesse Expressões e funções.

          

      • Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

      • Tamanho do bloco (MB): especifique o tamanho do bloco em MB ao gravar dados no Lakehouse. O valor permitido é entre 4 MB e 100 MB.

      • Metadados: defina metadados personalizados ao copiar para o armazenamento de dados de destino. Cada objeto sob a matriz metadata representa uma coluna extra. O name define o nome chave dos metadados e value indica o valor de dados dessa chave. Se o recurso preservar atributos for usado, os metadados especificados serão unificados/substituídos pelos metadados do arquivo de origem. Os valores de dados permitidos são:

        • $$LASTMODIFIED: uma variável reservada indica armazenar a hora da última modificação dos arquivos de origem. Aplicar a uma fonte baseada em arquivo somente com formato binário.

        • Expression

        • Valor estático

          

Mapeamento

Para a configuração da guia Mapeamento, se você não aplicar a tabela do Lakehouse como seu repositório de dados de destino, vá para Mapeamento.

Se você aplicar a tabela do Lakehouse como seu armazenamento de dados de destino, exceto pela configuração no Mapeamento, você poderá editar o tipo para suas colunas de destino. Depois de selecionar Esquemas de importação, você pode especificar o tipo de coluna em seu destino.

Por exemplo, o tipo da coluna PersonID na origem é int e você pode alterá-lo para o tipo de cadeia de caracteres ao mapear para a coluna de destino.

Se você escolher Binário como o formato de arquivo, não há suporte para o mapeamento.

Configurações

Para a configuração da guia Configurações, vá para Configurações.

Resumo da tabela

As tabelas a seguir contêm mais informações sobre uma atividade de cópia em um Lakehouse.

Informações de origem

Informações de destino

Conteúdo relacionado

• Visão geral do conector do Lakehouse