Como ler e gravar dados com Pandas no Microsoft Fabric

Os notebooks Microsoft Fabric suportam interação perfeita com dados Lakehouse usando Pandas, a biblioteca Python mais popular para exploração e processamento de dados. Dentro de um bloco de anotações, você pode ler rapidamente e gravar dados de volta em seus recursos Lakehouse em vários formatos de arquivo. Este guia fornece exemplos de código para ajudá-lo a começar a usar seu próprio bloco de anotações.

Pré-requisitos

• Obtenha uma assinatura do Microsoft Fabric. Ou inscreva-se para uma avaliação gratuita do Microsoft Fabric.

• Entre no Microsoft Fabric.

• Use o seletor de experiência no lado esquerdo da sua página inicial para alternar para a experiência Synapse Data Science.

  

Carregar dados do Lakehouse em um bloco de anotações

Depois de anexar um Lakehouse ao seu bloco de anotações do Microsoft Fabric, você pode explorar os dados armazenados sem sair da página e lê-los em seu bloco de anotações, tudo com algumas etapas. A seleção de qualquer arquivo Lakehouse apresenta opções para "Carregar dados" em um DataFrame Spark ou Pandas. Você também pode copiar o caminho ABFS completo do arquivo ou um caminho relativo amigável.

A seleção de um dos prompts "Carregar dados" gera uma célula de código para carregar esse arquivo em um DataFrame em seu bloco de anotações.

Convertendo um Spark DataFrame em um Pandas DataFrame

Para referência, este comando mostra como converter um Spark DataFrame em um Pandas DataFrame:

# Replace "spark_df" with the name of your own Spark DataFrame
pandas_df = spark_df.toPandas() 

Leitura e gravação de vários formatos de arquivo

Estes exemplos de código descrevem as operações Pandas para ler e escrever vários formatos de ficheiro.

Ler dados de um arquivo CSV

import pandas as pd

# Read a CSV file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pd.read_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv")
display(df)

Gravar dados como um arquivo CSV

import pandas as pd 

# Write a Pandas DataFrame into a CSV file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_csv("/LAKEHOUSE_PATH/Files/FILENAME.csv") 

Ler dados de um arquivo Parquet

import pandas as pd 
 
# Read a Parquet file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 
display(df)

Gravar dados como um arquivo Parquet

import pandas as pd 
 
# Write a Pandas DataFrame into a Parquet file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_parquet("/LAKEHOUSE_PATH/Files/FILENAME.parquet") 

Ler dados de um ficheiro Excel

import pandas as pd 
 
# Read an Excel file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 
display(df) 

Gravar dados como um arquivo do Excel

import pandas as pd 

# Write a Pandas DataFrame into an Excel file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_excel("/LAKEHOUSE_PATH/Files/FILENAME.xlsx") 

Ler dados de um arquivo JSON

import pandas as pd 
 
# Read a JSON file from your Lakehouse into a Pandas DataFrame
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df = pandas.read_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 
display(df) 

Gravar dados como um arquivo JSON

import pandas as pd 
 
# Write a Pandas DataFrame into a JSON file in your Lakehouse
# Replace LAKEHOUSE_PATH and FILENAME with your own values
df.to_json("/LAKEHOUSE_PATH/Files/FILENAME.json") 

Conteúdos relacionados

• Use o Data Wrangler para limpar e preparar seus dados
• Comece a treinar modelos de ML