Combinar arquivos CSV

No Power Query, você pode combinar vários arquivos de uma determinada fonte de dados. Este artigo descreve como a experiência funciona quando os arquivos que você deseja combinar são arquivos CSV. Mais informações: Visão geral da combinação de arquivos

Dica

Você pode acompanhar este exemplo baixando os arquivos de amostra usados neste artigo neste link de download. Você pode colocar esses arquivos na fonte de dados de sua escolha, como uma pasta local, pasta do SharePoint, Armazenamento de Blobs do Azure, Azure Data Lake Storage ou outra fonte de dados que forneça a exibição do sistema de arquivos.

Para simplificar, o exemplo neste artigo usa o conector de pasta. Mais informações: Pasta

Sobre os arquivos de exemplo usados

Para combinar arquivos, é imperativo que todos eles tenham a mesma estrutura e a mesma extensão. Todos os arquivos usados neste exemplo têm a mesma estrutura e extensão (.csv).

Há 12 arquivos CSV, um para cada mês do ano civil de 2019. A imagem a seguir mostra as primeiras 15 linhas do arquivo para o mês de janeiro.

Captura de tela do arquivo CSV de exemplo de janeiro de 2019 mostrando a seção de cabeçalho e o restante dos dados, todos separados por vírgulas.

O número de linhas varia de arquivo para arquivo, mas todos os arquivos têm uma seção de cabeçalho nas quatro primeiras linhas. Eles têm cabeçalhos de coluna na quinta linha e os dados da tabela começam na sexta linha e continuam em todas as linhas subsequentes.

A meta é combinar todos os 12 arquivos em uma única tabela. Essa tabela combinada contém a linha de cabeçalho na parte superior da tabela e inclui o nome de origem, a data, o país, as unidades e os dados de receita para o ano inteiro em colunas separadas após a linha de cabeçalho.

Captura de tela da tabela combinada final de exemplo.

Visualização da tabela

Ao se conectar à pasta que hospeda os arquivos que você deseja combinar—neste exemplo, o nome dessa pasta é arquivos CSV—você verá a caixa de diálogo de visualização da tabela, que exibe o caminho da pasta no canto superior esquerdo. A visualização de dados mostra a exibição do sistema de arquivos.

Captura de tela da visualização da tabela para a exibição do sistema de arquivos.

Para este exemplo, selecione Combinar. Para o Excel ou o Power Query Desktop, selecione Combinar & Transformar Dados.

Nota

Em uma situação diferente, você pode selecionar Transformar dados para filtrar e transformar ainda mais seus dados antes de combinar os arquivos. Selecionar Combinar só é recomendável quando você tiver certeza de que a pasta contém apenas os arquivos que você deseja combinar.

Caixa de diálogo Combinar arquivos

Depois de selecionar Combinar na visualização da tabela, a caixa de diálogo Combinar arquivos será exibida.

Captura de tela da caixa de diálogo Combinar arquivos onde os dados dos arquivos estão exibidos.

Nota

O Power Query detecta automaticamente qual conector usar com base no primeiro arquivo encontrado na lista. Para saber mais sobre o conector CSV, acesse Texto/CSV.

Para este exemplo, deixe todas as configurações padrão (exemplo de arquivo definido como Primeiro arquivo e os valores padrão para a origem do arquivo, delimitador e detecção de tipo de dados).

Agora selecione Transformar dados no canto inferior direito para ir para a consulta de saída.

Consulta de saída

Depois de selecionar Transformar dados na caixa de diálogo Combinar arquivos, você será levado de volta ao Editor do Power Query na consulta que você criou inicialmente a partir da conexão com a pasta local. A consulta de saída agora contém o nome do arquivo de origem na coluna mais à esquerda, juntamente com os dados de cada um dos arquivos de origem nas colunas restantes.

Captura de tela da consulta de saída para arquivos combinados sem transformações adicionais.

No entanto, os dados não estão na forma correta. Você precisa remover as quatro primeiras linhas de cada arquivo antes de combiná-las. Para fazer essa alteração em cada arquivo antes de combiná-los, selecione a consulta arquivo de exemplo de transformação no painel Consultas no lado esquerdo da tela.

Modificar a consulta do arquivo de exemplo do Transform

Nesta consulta de arquivo de exemplo de transformação, os valores na coluna Data indicam que os dados são para o mês de abril, que tem o formato AAAA-MM-DD (ano-mês-dia). April 2019.csv é o primeiro arquivo exibido na visualização da tabela.

Captura de tela do arquivo de exemplo de transformação com as colunas

Agora você precisa aplicar um novo conjunto de transformações para limpar os dados. Cada transformação é convertida automaticamente em uma função dentro do grupo de consultas auxiliares Helper, que são aplicadas a todos os arquivos da pasta antes de os dados de cada arquivo serem combinados.

As transformações que precisam ser adicionadas à consulta do arquivo de exemplo de transformação são:

  1. Remova as linhas superiores: para executar essa operação, selecione o menu ícone de tabela no canto superior esquerdo da tabela e selecione Remover linhas superiores.

    Captura de tela do ícone do menu de tabela com Remover linhas superiores enfatizadas.

    Na caixa de diálogo Remover linhas superiores, insira 4, e então selecione OK.

    Captura de tela da caixa de diálogo Remover linhas superiores com quatro linhas a serem removidas.

    Depois de selecionar OK, sua tabela não terá mais as quatro primeiras linhas.

    Captura de tela da consulta de exemplo com as quatro principais linhas removidas.

  2. Use a primeira linha como cabeçalhos: selecione o ícone de tabela novamente e selecione Usar a primeira linha como cabeçalhos.

    Captura de tela do menu de ícones da tabela com a opção Usar a primeira linha como cabeçalhos destacada.

    O resultado dessa operação transforma a primeira linha da tabela nos novos cabeçalhos de coluna.

    Captura de tela da tabela de exemplo com os cabeçalhos promovidos.

Após a conclusão dessa operação, o Power Query, por padrão, tenta detectar automaticamente os tipos de dados das colunas e adicionar uma nova etapa de alteração do tipo de coluna .

Revisar a consulta de saída

Quando você volta para a consulta arquivos CSV no Power Query Desktop, a última etapa oferece um erro que diz "A coluna 'Column1' da tabela não foi encontrada". Quando você volta para a consulta arquivos CSV no Power Query Online, as alterações feitas anteriormente para remover as quatro primeiras linhas e usar a primeira linha como cabeçalhos não são aplicadas à tabela. No Power Query Online, selecione Atualizar na guia Página Inicial. Após a tela ser atualizada, a mesma mensagem de erro é exibida.

O motivo por trás desse erro é que o estado anterior da consulta estava realizando uma operação em uma coluna chamada Column1. Mas devido às alterações feitas na consulta do arquivo de exemplo de Transformação , essa coluna não existe mais. Mais informações: Lidar com erros no Power Query

Captura de tela da consulta de saída com o erro de nível de etapa.

Você pode remover esta última etapa da consulta do painel Etapas aplicadas selecionando o ícone de exclusão X no lado esquerdo do nome da etapa. Depois de excluir essa etapa, sua consulta mostrará os resultados corretos.

Captura de tela dos arquivos combinados sem a etapa de erro.

No entanto, observe que nenhuma das colunas derivadas dos arquivos (Data, País, Unidades, Receita) tem um tipo de dados específico atribuído a eles. Atribua o tipo de dados correto a cada coluna usando a tabela a seguir.

Nome da coluna Tipo de dados
Data Data
País Texto
Unidades Número inteiro
Receita Moeda

Depois de definir os tipos de dados para cada coluna, você estará pronto para carregar a tabela.

Captura de tela da tabela combinada de exemplo final.

Nota

Para saber como definir ou alterar tipos de dados de coluna, acesse Tipos de dados.

Verificação

Para validar se todos os arquivos são combinados, você pode selecionar o ícone de filtro no título da coluna Source.Name, que exibe todos os nomes dos arquivos combinados. Se você receber o aviso "A lista pode estar incompleta", selecione Carregar mais na parte inferior do menu para exibir mais valores disponíveis na coluna.

Captura de tela da caixa de diálogo de filtro com uma lista incompleta dos arquivos combinados.

Depois de selecionar Carregar mais, todos os nomes de arquivo disponíveis serão exibidos.

Captura de tela da caixa de diálogo de filtro com a lista completa dos arquivos combinados.