Data wrangling con l'acceleratore di codice PROSE

Si applica a: SQL Server 2019 (15.x)

L'acceleratore di codice PROSE genera codice Python leggibile per le attività di data wrangling. È possibile combinare il codice generato con il codice scritto manualmente mentre si lavora in un notebook in Azure Data Studio.

Questo articolo fornisce una panoramica di come usare l'acceleratore di codice.

L'acceleratore di codice è preinstallato in Azure Data Studio. È possibile importarlo come qualsiasi altro pacchetto Python nel notebook. Per convenzione e per brevità, viene importato come cx.

import prose.codeaccelerator as cx

Nella versione corrente l'acceleratore di codice può generare in modo intelligente codice Python per le attività seguenti:

• Lettura di file di dati in un dataframe Pandas o Pyspark.
• Correzione di tipi di dati in un dataframe.
• Ricerca di espressioni regolari che rappresentano i modelli in un elenco di stringhe.

Per una panoramica generale dei metodi dell'acceleratore di codice, vedere la documentazione.

Lettura di dati da un file in un dataframe

La lettura di file in un dataframe comporta l'analisi del contenuto del file e la determinazione dei parametri corretti da passare a una libreria di caricamento dei dati.

A seconda della complessità del file, l'identificazione dei parametri corretti può richiedere diverse iterazioni.

L'acceleratore di codice PROSE risolve questo problema analizzando la struttura del file di dati e generando automaticamente il codice per caricare il file. Normalmente il codice generato analizza correttamente i dati. In alcuni casi potrebbe essere necessario modificare il codice per soddisfare le esigenze specifiche.

Si consideri l'esempio seguente:

import prose.codeaccelerator as cx

# Call the ReadCsvBuilder builder to analyze the file content and generate code to load it
builder = cx.ReadCsvBuilder(r'C:/911.txt')

#Set target to pyspark if generating code to use pyspark library
#builder.Target = "pyspark"

#Get the code generated to fix the data types
builder.learn().code()

Il blocco di codice precedente stampa il codice Python seguente per leggere un file delimitato. Si noti che PROSE calcola automaticamente il numero di righe da ignorare, di intestazioni, di virgolette, di delimitatori e così via.

import pandas as pd

def read_file(file):
   names = ["lat",
            "lng",
            "desc",
            "zip",
            "title"]

   df = pd.read_csv(file,
       skiprows = 11,
       header = None,
       names = names,
       quotechar = "\"",
       delimiter = "|",
       index_col = False,
       dtype = str,
       na_values = [],
       keep_default_na = False,
       skipinitialspace = True)
   return df

L'acceleratore di codice può generare codice per caricare file delimitati, JSON e a larghezza fissa in un dataframe. Per la lettura dei file a larghezza fissa ReadFwfBuilder accetta facoltativamente un file di schema leggibile che può essere analizzato per ottenere le posizioni delle colonne. Per altre informazioni, vedere la documentazione.

Correzione di tipi di dati in un dataframe

Accade spesso che un dataframe Pandas o Pyspark includa tipi di dati errati. Ciò è dovuto alla presenza di alcuni valori non conformi in una colonna. Di conseguenza, i valori interi vengono letti come float o stringhe e le date vengono lette come stringhe. Il lavoro richiesto per la correzione manuale dei tipi di dati è proporzionale al numero di colonne.

In questi casi, è possibile usare DetectTypesBuilder. Analizza i dati e genera il codice per correggere i tipi di dati. Questo codice funge da punto di partenza. È possibile esaminarlo, usarlo o modificarlo in base alle esigenze.

import prose.codeaccelerator as cx

builder = cx.DetectTypesBuilder(df)

#Set target to pyspark if working with pyspark
#builder.Target = "pyspark"

#Get the code generated to fix the data types
builder.learn().code()

Per altre informazioni, vedere la documentazione.

Identificazione di modelli nelle stringhe

A seconda del volume e della diversità dei dati, la scrittura di espressioni regolari per modelli diversi nella colonna può richiedere molto tempo. FindPatternsBuilder è un potente strumento di accelerazione del codice che risolve il problema precedente generando espressioni regolari per un elenco di stringhe.

import prose.codeaccelerator as cx

builder = cx.FindPatternsBuilder(df['BirthDate'])

#Set target to pyspark if working with pyspark
#builder.Target = "pyspark"

builder.learn().regexes

Ecco le espressioni regolari generate da FindPatternsBuilder per i dati precedenti.

^[0-9]{2}-[A-Z][a-z]+-[0-9]{2}$
^[0-9]{2}[\s][A-Z][a-z]+[\s][0-9]{4}$
^[0-9]{4}$
^Unknown$

Oltre a generare espressioni regolari, FindPatternsBuilder può generare anche codice per il clustering dei valori in base alle espressioni regolari generate. Può inoltre verificare che tutti i valori di una colonna siano conformi alle espressioni regolari generate. Per altre informazioni e per altri scenari utili, vedere Microsoft PRO edizione Standard Code Accelerator SDK.

Contenuto correlato

• Opzioni per i Big Data sulla piattaforma Microsoft SQL Server