TabularDataset Classe
Rappresenta un set di dati tabulare da usare in Azure Machine Learning.
Un tabularDataset definisce una serie di operazioni valutate in modo non modificabile per caricare i dati dall'origine dati nella rappresentazione tabulare. I dati non vengono caricati dall'origine fino a quando tabularDataset non viene richiesto di recapitare i dati.
TabularDataset viene creato usando metodi come from_delimited_files dalla TabularDatasetFactory classe .
Per altre informazioni, vedere l'articolo Aggiungere set di dati di registrazione &. Per iniziare a usare un set di dati tabulare, vedere https://aka.ms/tabulardataset-samplenotebook.
Inizializzare un oggetto TabularDataset.
Questo costruttore non dovrebbe essere richiamato direttamente. Il set di dati deve essere creato usando TabularDatasetFactory la classe .
- Ereditarietà
-
TabularDataset
Costruttore
TabularDataset()Commenti
È possibile creare un oggetto TabularDataset da file CSV, TSV, Parquet o SQL usando i from_* metodi della TabularDatasetFactory classe. È possibile eseguire operazioni di sottoinsieme in un tabulareDataset, ad esempio la suddivisione, l'ignorare e filtrare i record.
Il risultato della sottoinsieme è sempre uno o più nuovi oggetti TabularDataset.
È anche possibile convertire un TabularDataset in altri formati come un dataframe pandas. Il caricamento effettivo dei dati si verifica quando viene chiesto a TabularDataset di distribuire i dati in un altro meccanismo di archiviazione, ad esempio un dataframe Pandas o un file CSV.
TabularDataset può essere usato come input di un'esecuzione dell'esperimento. Può anche essere registrato nell'area di lavoro con un nome specificato e essere recuperato in seguito da tale nome.
Metodi
| download |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Scaricare i flussi di file definiti dal set di dati nel percorso locale. |
| drop_columns |
Eliminare le colonne specificate dal set di dati. Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito. |
| filter |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Filtrare i dati, lasciando solo i record corrispondenti all'espressione specificata. |
| get_profile |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Ottenere il profilo dati dall'esecuzione più recente del profilo inviato per questo o lo stesso set di dati nell'area di lavoro. |
| get_profile_runs |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Restituisce le esecuzioni del profilo precedenti associate a questo o stesso set di dati nell'area di lavoro. |
| keep_columns |
Mantenere le colonne specificate e eliminare tutte le altre dal set di dati. Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito. |
| mount |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Creare una gestione contesto per il montaggio di flussi di file definiti dal set di dati come file locali. |
| partition_by |
I dati partizionati verranno copiati e restituiti nella destinazione specificata dalla destinazione. creare il set di dati dal percorso dati restituito con formato di partizione, registrare il set di dati se viene specificato, restituire il set di dati per il nuovo percorso dati con partizioni |
| random_split |
Suddividere i record nel set di dati in due parti in modo casuale e approssimativamente in base alla percentuale specificata. Il primo set di dati contiene circa |
| skip |
Ignorare i record dall'inizio del set di dati dal conteggio specificato. |
| submit_profile_run |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Inviare un'esecuzione di sperimentazione per calcolare il profilo dati. Un profilo dati può essere molto utile per comprendere i dati di input, identificare anomalie e valori mancanti fornendo informazioni utili sui dati come il tipo di colonna, i valori mancanti e così via. |
| take |
Eseguire un esempio di record dall'inizio del set di dati dal conteggio specificato. |
| take_sample |
Eseguire un esempio casuale di record nel set di dati approssimativamente in base alla probabilità specificata. |
| time_after |
Filtrare TabularDataset con colonne timestamp dopo un'ora di inizio specificata. |
| time_before |
Filtrare TabularDataset con colonne di timestamp prima di un'ora di fine specificata. |
| time_between |
Filtrare TabularDataset tra un orario di inizio e di fine specificato. |
| time_recent |
Filtrare TabularDataset per contenere solo la durata specificata (quantità) di dati recenti. |
| to_csv_files |
Convertire il set di dati corrente in fileDataset contenente file CSV. Il set di dati risultante conterrà uno o più file CSV, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da. |
| to_dask_dataframe |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Restituisce un dataframe Dask che può leggere in modo più pigri i dati nel set di dati. |
| to_pandas_dataframe |
Caricare tutti i record dal set di dati in un dataframe pandas. |
| to_parquet_files |
Convertire il set di dati corrente in fileDataset contenente file Parquet. Il set di dati risultante conterrà uno o più file Parquet, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da. |
| to_spark_dataframe |
Caricare tutti i record dal set di dati in un dataframe Spark. |
| with_timestamp_columns |
Definire le colonne timestamp per il set di dati. |
download
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Scaricare i flussi di file definiti dal set di dati nel percorso locale.
download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)Parametri
| Nome | Descrizione |
|---|---|
|
stream_column
Necessario
|
Colonna di flusso da scaricare. |
|
target_path
Necessario
|
Directory locale in cui scaricare i file. Se Nessuno, i dati verranno scaricati in una directory temporanea. |
|
overwrite
Necessario
|
Indica se sovrascrivere i file esistenti. Il valore predefinito è False. I file esistenti verranno sovrascritti se la sovrascrittura è impostata su True; in caso contrario, verrà generata un'eccezione. |
|
ignore_not_found
Necessario
|
Indica se non è possibile scaricare se alcuni file puntati da set di dati non vengono trovati. Il valore predefinito è True. Il download avrà esito negativo se il download di file non riesce per qualsiasi motivo se ignore_not_found è impostato su False; in caso contrario, verrà registrata una guerra per errori non trovati e il dowload avrà esito positivo finché non vengono rilevati altri tipi di errore. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce una matrice di percorsi di file per ogni file scaricato. |
drop_columns
Eliminare le colonne specificate dal set di dati.
Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito.
drop_columns(columns)Parametri
| Nome | Descrizione |
|---|---|
|
columns
Necessario
|
Nome o elenco di nomi da eliminare per le colonne. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto TabularDataset con le colonne specificate eliminate. |
filter
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Filtrare i dati, lasciando solo i record corrispondenti all'espressione specificata.
filter(expression)Parametri
| Nome | Descrizione |
|---|---|
|
expression
Necessario
|
Espressione da valutare. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Set di dati modificato (non registrato). |
Commenti
Le espressioni vengono avviate indicizzando il set di dati con il nome di una colonna. Supportano un'ampia gamma di funzioni e operatori e possono essere combinati usando operatori logici. L'espressione risultante verrà valutata in modo più pigre per ogni record quando si verifica un pull di dati e non la posizione in cui è definita.
dataset['myColumn'] > dataset['columnToCompareAgainst']
dataset['myColumn'].starts_with('prefix')
get_profile
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Ottenere il profilo dati dall'esecuzione più recente del profilo inviato per questo o lo stesso set di dati nell'area di lavoro.
get_profile(workspace=None)Parametri
| Nome | Descrizione |
|---|---|
|
workspace
Necessario
|
Area di lavoro in cui è stata inviata l'esecuzione del profilo. Impostazione predefinita per l'area di lavoro di questo set di dati. Obbligatorio se il set di dati non è associato a un'area di lavoro. Per altre informazioni sulle aree di lavoro, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace . |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Risultato del profilo dall'esecuzione più recente del tipo DatasetProfile. |
get_profile_runs
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Restituisce le esecuzioni del profilo precedenti associate a questo o stesso set di dati nell'area di lavoro.
get_profile_runs(workspace=None)Parametri
| Nome | Descrizione |
|---|---|
|
workspace
Necessario
|
Area di lavoro in cui è stata inviata l'esecuzione del profilo. Impostazione predefinita per l'area di lavoro di questo set di dati. Obbligatorio se il set di dati non è associato a un'area di lavoro. Per altre informazioni sulle aree di lavoro, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace . |
Restituisce
| Tipo | Descrizione |
|---|---|
|
oggetto iteratore di tipo azureml.core.Run. |
keep_columns
Mantenere le colonne specificate e eliminare tutte le altre dal set di dati.
Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito.
keep_columns(columns, validate=False)Parametri
| Nome | Descrizione |
|---|---|
|
columns
Necessario
|
Nome o elenco di nomi per le colonne da mantenere. |
|
validate
Necessario
|
Indica se è possibile convalidare se i dati possono essere caricati dal set di dati restituito. Il valore predefinito è False. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto TabularDataset con solo le colonne specificate mantenute. |
mount
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Creare una gestione contesto per il montaggio di flussi di file definiti dal set di dati come file locali.
mount(stream_column, mount_point=None)Parametri
| Nome | Descrizione |
|---|---|
|
stream_column
Necessario
|
Colonna di flusso da montare. |
|
mount_point
Necessario
|
Directory locale in cui montare i file. Se Nessuno, i dati verranno montati in una directory temporanea, che è possibile trovare chiamando il metodo di istanza di MountContext.mount_point . |
Restituisce
| Tipo | Descrizione |
|---|---|
|
<xref:azureml.dataprep.fuse.daemon.MountContext>
|
Restituisce un gestore del contesto per la gestione del ciclo di vita del montaggio. |
partition_by
I dati partizionati verranno copiati e restituiti nella destinazione specificata dalla destinazione.
creare il set di dati dal percorso dati restituito con formato di partizione, registrare il set di dati se viene specificato, restituire il set di dati per il nuovo percorso dati con partizioni
ds = Dataset.get_by_name('test') # indexed by country, state, partition_date
# #1: call partition_by locally
new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
target=DataPath(datastore, "repartition"))
partition_keys = newds.partition_keys # ['country']
# new_ds can be passed to PRS as input dataset
partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)Parametri
| Nome | Descrizione |
|---|---|
|
partition_keys
Necessario
|
Chiavi di partizione necessarie |
|
target
Necessario
|
Obbligatorio, il percorso dell'archivio dati in cui verranno caricati i dati parquet del dataframe. Una cartella guid verrà generata nel percorso di destinazione per evitare conflitti. |
|
name
Necessario
|
Facoltativo, Nome registrazione. |
|
show_progress
Necessario
|
Facoltativo, indica se visualizzare lo stato di avanzamento del caricamento nella console. Le impostazioni predefinite sono True. |
|
partition_as_file_dataset
Necessario
|
Facoltativo, indica se restituisce un filedataset o meno. Le impostazioni predefinite sono False. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Set di dati salvato o registrato. |
random_split
Suddividere i record nel set di dati in due parti in modo casuale e approssimativamente in base alla percentuale specificata.
Il primo set di dati contiene circa percentage i record totali e il secondo set di dati i record rimanenti.
random_split(percentage, seed=None)Parametri
| Nome | Descrizione |
|---|---|
|
percentage
Necessario
|
Percentuale approssimativa per dividere il set di dati. Questo deve essere un numero compreso tra 0,0 e 1,0. |
|
seed
Necessario
|
Inizializzazione facoltativa da usare per il generatore casuale. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce una tupla di nuovi oggetti TabularDataset che rappresentano i due set di dati dopo la suddivisione. |
skip
Ignorare i record dall'inizio del set di dati dal conteggio specificato.
skip(count)Parametri
| Nome | Descrizione |
|---|---|
|
count
Necessario
|
Numero di record da ignorare. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto TabularDataset che rappresenta un set di dati con record ignorati. |
submit_profile_run
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Inviare un'esecuzione di sperimentazione per calcolare il profilo dati.
Un profilo dati può essere molto utile per comprendere i dati di input, identificare anomalie e valori mancanti fornendo informazioni utili sui dati come il tipo di colonna, i valori mancanti e così via.
submit_profile_run(compute_target, experiment, cache_datastore_name=None)Parametri
| Nome | Descrizione |
|---|---|
|
compute_target
Necessario
|
Destinazione di calcolo su cui eseguire l'esperimento di calcolo del profilo. Specificare "local" per usare il calcolo locale. Per altre informazioni sulle destinazioni di calcolo, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.computetarget altre informazioni. |
|
experiment
Necessario
|
Oggetto esperimento. Per altre informazioni sugli esperimenti, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.experiment.experiment . |
|
cache_datastore_name
Necessario
|
nome dell'archivio dati per archiviare la cache del profilo, se none, verrà usato l'archivio dati predefinito |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Oggetto di tipo DatasetProfileRun classe. |
take
Eseguire un esempio di record dall'inizio del set di dati dal conteggio specificato.
take(count)Parametri
| Nome | Descrizione |
|---|---|
|
count
Necessario
|
Numero di record da prendere. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto TabularDataset che rappresenta il set di dati di esempio. |
take_sample
Eseguire un esempio casuale di record nel set di dati approssimativamente in base alla probabilità specificata.
take_sample(probability, seed=None)Parametri
| Nome | Descrizione |
|---|---|
|
probability
Necessario
|
Probabilità di un record incluso nell'esempio. |
|
seed
Necessario
|
Inizializzazione facoltativa da usare per il generatore casuale. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto TabularDataset che rappresenta il set di dati di esempio. |
time_after
Filtrare TabularDataset con colonne timestamp dopo un'ora di inizio specificata.
time_after(start_time, include_boundary=True, validate=True)Parametri
| Nome | Descrizione |
|---|---|
|
start_time
Necessario
|
Limite inferiore per il filtro dei dati. |
|
include_boundary
Necessario
|
Indicare se la riga associata all'ora di limite ( |
|
validate
Necessario
|
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
TabularDataset con il nuovo set di dati filtrato. |
time_before
Filtrare TabularDataset con colonne di timestamp prima di un'ora di fine specificata.
time_before(end_time, include_boundary=True, validate=True)Parametri
| Nome | Descrizione |
|---|---|
|
end_time
Necessario
|
Limite superiore per il filtro dei dati. |
|
include_boundary
Necessario
|
Indicare se la riga associata all'ora di limite ( |
|
validate
Necessario
|
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
TabularDataset con il nuovo set di dati filtrato. |
time_between
Filtrare TabularDataset tra un orario di inizio e di fine specificato.
time_between(start_time, end_time, include_boundary=True, validate=True)Parametri
| Nome | Descrizione |
|---|---|
|
start_time
Necessario
|
Limite inferiore per filtrare i dati. |
|
end_time
Necessario
|
Limite superiore per il filtro dei dati. |
|
include_boundary
Necessario
|
Indica se la riga associata all'ora di limite ( |
|
validate
Necessario
|
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
TabularDataset con il nuovo set di dati filtrato. |
time_recent
Filtrare TabularDataset per contenere solo la durata specificata (quantità) di dati recenti.
time_recent(time_delta, include_boundary=True, validate=True)Parametri
| Nome | Descrizione |
|---|---|
|
time_delta
Necessario
|
Durata (quantità) di dati recenti da recuperare. |
|
include_boundary
Necessario
|
Indicare se la riga associata all'ora di limite ( |
|
validate
Necessario
|
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
TabularDataset con il nuovo set di dati filtrato. |
to_csv_files
Convertire il set di dati corrente in fileDataset contenente file CSV.
Il set di dati risultante conterrà uno o più file CSV, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da.
to_csv_files(separator=',')Parametri
| Nome | Descrizione |
|---|---|
|
separator
Necessario
|
Separatore da usare per separare i valori nel file risultante. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto FileDataset con un set di file CSV contenenti i dati in questo set di dati. |
to_dask_dataframe
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Restituisce un dataframe Dask che può leggere in modo più pigri i dati nel set di dati.
to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')Parametri
| Nome | Descrizione |
|---|---|
|
sample_size
Necessario
|
Numero di record da leggere per determinare lo schema e i tipi. |
|
dtypes
Necessario
|
Un dict facoltativo che specifica le colonne previste e i relativi dtype. sample_size viene ignorato se viene specificato. |
|
on_error
Necessario
|
Come gestire i valori di errore nel set di dati, ad esempio quelli generati da un errore durante l'analisi dei valori. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione. |
|
out_of_range_datetime
Necessario
|
Come gestire i valori di data e ora esterni all'intervallo supportato da Pandas. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
dask.dataframe.core.DataFrame |
to_pandas_dataframe
Caricare tutti i record dal set di dati in un dataframe pandas.
to_pandas_dataframe(on_error='null', out_of_range_datetime='null')Parametri
| Nome | Descrizione |
|---|---|
|
on_error
Necessario
|
Come gestire i valori di errore nel set di dati, ad esempio quelli generati da un errore durante l'analisi dei valori. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione. |
|
out_of_range_datetime
Necessario
|
Come gestire i valori di data e ora esterni all'intervallo supportato da Pandas. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un dataframe pandas. |
to_parquet_files
Convertire il set di dati corrente in fileDataset contenente file Parquet.
Il set di dati risultante conterrà uno o più file Parquet, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da.
to_parquet_files()Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo oggetto FileDataset con un set di file Parquet contenenti i dati in questo set di dati. |
to_spark_dataframe
Caricare tutti i record dal set di dati in un dataframe Spark.
to_spark_dataframe()Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un dataframe Spark. |
with_timestamp_columns
Definire le colonne timestamp per il set di dati.
with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)Parametri
| Nome | Descrizione |
|---|---|
|
timestamp
Necessario
|
Nome della colonna come timestamp (usato per essere definito fine_grain_timestamp) (facoltativo). Il valore predefinito è None(clear). |
|
partition_timestamp
Necessario
|
Nome della colonna partition_timestamp (utilizzato per essere definito timestamp granulare grossolano) (facoltativo). Il valore predefinito è None(clear). |
|
validate
Necessario
|
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è False. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente. |
Restituisce
| Tipo | Descrizione |
|---|---|
|
Restituisce un nuovo tabularDataset con colonne timestamp definite. |
Commenti
Il metodo definisce le colonne da usare come timestamp. Le colonne timestamp in un set di dati consentono di considerare i dati come dati della serie temporale e abilitare funzionalità aggiuntive. Quando un set di dati ha entrambi timestamp (used to be referred as fine_grain_timestamp) e partition_timestamp (used to be referred as coarse grain timestamp) specificato, le due colonne devono rappresentare la stessa sequenza temporale.