O que é o Power Query?
O Power Query é um mecanismo de transformação de dados e preparação de dados. O Power Query vem com uma interface gráfica para obter dados de fontes e um editor do Power Query para aplicar transformações. Como o mecanismo está disponível em muitos produtos e serviços, o destino em que os dados são armazenados depende de onde o Power Query é usado. Usando o Power Query, você pode executar o processamento de dados ETL (extração, transformação e carregamento).
Diagrama com fontes de dados simbolizadas à esquerda, passando pelo Power Query para transformação no centro e, em seguida, indo para quatro destinos à direita: Microsoft Azure Data Lake Storage, Microsoft Dataverse, Microsoft Excel e Microsoft Power BI.
Como o Power Query ajuda na aquisição de dados
Os usuários empresariais gastam até 80% de seu tempo na preparação de dados, o que atrasa o trabalho de análise e tomada de decisões. Vários desafios contribuem para essa situação e o Power Query ajuda a lidar com muitos deles.
Desafio existente | Como o Power Query ajuda? |
---|---|
Localizar e conectar-se a dados é muito difícil | O Power Query permite a conectividade com uma ampla gama de fontes de dados, incluindo dados de todos os tamanhos e formas. |
As experiências de conectividade de dados são muito fragmentadas | Consistência de experiência e paridade de recursos de consulta em todas as fontes de dados. |
Os dados geralmente precisam ser remodelados antes do consumo | Experiência altamente interativa e intuitiva para criar consultas de forma rápida e iterativa em qualquer fonte de dados, de qualquer tamanho. |
Qualquer forma é única e não repetível | Ao usar Power Query para acessar e transformar dados, você define um processo repetível (consulta) que pode ser facilmente atualizado no futuro para obter dados atualizados. Caso precise modificar o processo ou a consulta para considerar as alterações de esquema ou dados subjacentes, você poderá usar a mesma experiência interativa e intuitiva usada quando definiu inicialmente a consulta. |
Volume (tamanhos de dados), velocidade (taxa de alteração) e variedade (amplitude de fontes de dados e formas de dados) | O Power Query oferece a capacidade de trabalhar em um subconjunto de todo o conjunto de dados para definir as transformações de dados necessárias, permitindo que você filtre facilmente e transforme seus dados em um tamanho gerenciável. As consultas do Power Query podem ser atualizadas manualmente ou aproveitando os recursos de atualização agendada em produtos específicos (como o Power BI) ou até mesmo programaticamente (usando o modelo de objeto do Excel). Como o Power Query fornece conectividade a centenas de fontes de dados e mais de 350 tipos diferentes de transformações de dados para cada uma dessas fontes, você pode trabalhar com dados de qualquer fonte e em qualquer forma. |
Experiências do Power Query
A experiência do usuário do Power Query é fornecida por meio da interface do usuário do editor do Power Query. O objetivo dessa interface é ajudá-lo a aplicar as transformações necessárias simplesmente interagindo com um conjunto amigável de faixas de opções, menus, botões e outros componentes interativos.
O editor do Power Query é a principal experiência de preparação de dados. No editor, você pode se conectar a uma ampla gama de fontes de dados e aplicar centenas de transformações de dados diferentes visualizando dados e selecionando transformações da interface do usuário. Esses recursos de transformação de dados são comuns em todas as fontes de dados, quaisquer que sejam as limitações da fonte de dados subjacente.
Quando você cria uma nova etapa de transformação interagindo com os componentes da interface do Power Query, o Power Query cria automaticamente o código M necessário para fazer a transformação para que você não precise escrever nenhum código.
Atualmente, duas experiências do Power Query estão disponíveis:
- Power Query Online – Encontrado em integrações como fluxos de dados do Power BI, fluxos de dados do Microsoft Power Platform, fluxos de dados de estruturação do Azure Data Factory e muito mais, que fornecem a experiência por meio de uma página da Web online.
- Power Query for Desktop— encontrado em integrações como o Power Query para Excel e o Power BI Desktop.
Nota
Embora existam duas experiências do Power Query, ambas fornecem quase a mesma experiência do usuário em todos os cenários.
Transformações
O mecanismo de transformação no Power Query inclui muitas funções de transformação predefinidas que podem ser usadas por meio da interface gráfica do editor do Power Query. Essas transformações podem ser tão simples quanto remover uma coluna ou filtrar linhas ou tão comum quanto usar a primeira linha como um cabeçalho de tabela. Há também opções avançadas de transformação, como mesclagem, acréscimo, agrupar por, dinamizar e transformar colunas em linhas.
Todas essas transformações são possíveis escolhendo a opção de transformação no menu e, em seguida, aplicando as opções necessárias para essa transformação. A ilustração a seguir mostra algumas das transformações disponíveis no editor do Power Query.
Mais informações: Início Rápido: Usando o Power Query no Power BI
Fluxos de dados
O Power Query pode ser usado em muitos produtos, como o Power BI e o Excel. No entanto, o uso do Power Query em um produto limita seu uso apenas a esse produto específico. Os fluxos de dados são uma versão do serviço independente de produto da experiência do Power Query que é executada na nuvem. Usando fluxos de dados, você pode obter dados e transformar dados da mesma maneira. Mas, em vez de enviar a saída para o Power BI ou Excel, você pode armazenar a saída em outras opções de armazenamento, como o Dataverse ou o Azure Data Lake Storage. Dessa forma, você pode usar a saída de fluxos de dados em outros produtos e serviços.
Mais informações: O que são fluxos de dados?
Linguagem de fórmula do Power Query M
Em qualquer cenário de transformação de dados, há algumas transformações que não podem ser feitas da melhor maneira usando o editor gráfico. Algumas dessas transformações podem exigir configurações e configurações especiais que a interface gráfica não dá suporte no momento. O mecanismo do Power Query usa uma linguagem de script nos bastidores para todas as transformações do Power Query: a linguagem de fórmula do Power Query M, também conhecida como M.
A linguagem M é a linguagem de transformação de dados do Power Query. Tudo o que acontece na consulta é escrito em M. Se você quiser fazer transformações avançadas usando o mecanismo do Power Query, poderá usar o editor avançado para acessar o script da consulta e modificá-lo conforme desejar. Se você descobrir que as funções e transformações da interface do usuário não podem executar as alterações exatas necessárias, use o editor avançado e a linguagem M para ajustar suas funções e transformações.
let
Source = Exchange.Contents("xyz@contoso.com"),
Mail1 = Source{[Name="Mail"]}[Data],
#"Expanded Sender" = Table.ExpandRecordColumn(Mail1, "Sender", {"Name"}, {"Name"}),
#"Filtered Rows" = Table.SelectRows(#"Expanded Sender", each ([HasAttachments] = true)),
#"Filtered Rows1" = Table.SelectRows(#"Filtered Rows", each ([Subject] = "sample files for email PQ test") and ([Folder Path] = "\Inbox\")),
#"Removed Other Columns" = Table.SelectColumns(#"Filtered Rows1",{"Attachments"}),
#"Expanded Attachments" = Table.ExpandTableColumn(#"Removed Other Columns", "Attachments", {"Name", "AttachmentContent"}, {"Name", "AttachmentContent"}),
#"Filtered Hidden Files1" = Table.SelectRows(#"Expanded Attachments", each [Attributes]?[Hidden]? <> true),
#"Invoke Custom Function1" = Table.AddColumn(#"Filtered Hidden Files1", "Transform File from Mail", each #"Transform File from Mail"([AttachmentContent])),
#"Removed Other Columns1" = Table.SelectColumns(#"Invoke Custom Function1", {"Transform File from Mail"}),
#"Expanded Table Column1" = Table.ExpandTableColumn(#"Removed Other Columns1", "Transform File from Mail", Table.ColumnNames(#"Transform File from Mail"(#"Sample File"))),
#"Changed Type" = Table.TransformColumnTypes(#"Expanded Table Column1",{{"Column1", type text}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}, {"Column8", type text}, {"Column9", type text}, {"Column10", type text}})
in
#"Changed Type"
Para obter mais informações: Linguagem de fórmula M do Power Query
Onde você pode usar o Power Query?
A tabela a seguir lista os produtos e serviços da Microsoft em que o Power Query pode ser encontrado.
Produto | Mecanismo da M1 | Power Query Desktop2 |
Power Query Online3 |
Fluxos de dados4 |
---|---|---|---|---|
Excel para Windows | Sim | Sim | Não | Não |
Excel para Mac | Sim | Sim | Não | Não |
Power BI | Sim | Sim | Sim | Sim |
Power Apps | Sim | Não | Sim | Sim |
Power Automate | Sim | Não | Sim | Não |
Servidor de Relatórios do Power BI | Sim | Sim | Não | Não |
Azure Data Factory | Sim | Não | Sim | Sim |
Data Factory no Microsoft Fabric | Sim | Não | Sim | Sim |
SQL Server Integration Services | Sim | Não | Não | Não |
SQL Server Analysis Services | Sim | Sim | Não | Não |
Customer Insights do Dynamics 365 | Sim | Não | Sim | Sim |
1Mecanismo da M | O mecanismo de execução de consulta subjacente que executa consultas expressas na linguagem de fórmula do Power Query ("M"). |
2Power Query Desktop | A experiência do Power Query, presente nos aplicativos de desktop. |
3Power Query Online | A experiência do Power Query encontrada em aplicativos de navegador da Web. |
4Fluxos de dados | O Power Query como um serviço que é executado na nuvem e é independente do produto. O resultado armazenado pode ser usado em outros aplicativos como serviços. |