Dataset Classe

Archiviare un set di dati attivo o deprecato.

archive()

Restituisce

Commenti

Dopo l'archiviazione, qualsiasi tentativo di utilizzo del set di dati genererà un errore. Se archiviato per errore, riattivarlo lo attiverà.

Analizza i file nel percorso specificato e restituisce un nuovo set di dati.

static auto_read_files(path, include_path=False, partition_format=None)

Parametri

Restituisce

Commenti

Utilizzare questo metodo quando è necessario che vengano rilevati automaticamente formati di file e delimitatori.

Dopo aver creato un set di dati, è consigliabile usare get_profile per elencare i tipi di colonna rilevati e le statistiche di riepilogo per ogni colonna.

Il set di dati restituito non è registrato nell'area di lavoro.

Confrontare il profilo del set di dati corrente con un altro profilo del set di dati.

Ciò mostra le differenze nelle statistiche di riepilogo tra due set di dati. Il parametro 'rhs_dataset' è l'acronimo di "right-hand side" ed è semplicemente il secondo set di dati. Il primo set di dati (l'oggetto set di dati corrente) viene considerato il "lato sinistro".

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parametri

Restituisce

Commenti

Questo vale solo per i set di dati registrati. Genera un'eccezione se il profilo del set di dati corrente non esiste. Per i set di dati non registrati, usare il metodo profile.compare.

Creare uno snapshot del set di dati registrato.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parametri

Restituisce

Commenti

Gli snapshot acquisisce statistiche di riepilogo temporizzato dei dati sottostanti e una copia facoltativa dei dati stessi. Per altre informazioni sulla creazione di snapshot, passare a https://aka.ms/azureml/howto/createsnapshots.

Eliminare lo snapshot del set di dati in base al nome.

delete_snapshot(snapshot_name)

Parametri

Restituisce

Commenti

Usare questa opzione per liberare spazio di archiviazione utilizzato dai dati salvati negli snapshot che non sono più necessari.

Deprecare un set di dati attivo in un'area di lavoro da un altro set di dati.

deprecate(deprecate_by_dataset_id)

Parametri

Restituisce

Commenti

I set di dati deprecati registrano avvisi quando vengono utilizzati. La deprecazione di un set di dati depreca tutte le relative definizioni.

I set di dati deprecati possono comunque essere utilizzati. Per impedire completamente l'utilizzo di un set di dati, archiviarlo.

Se deprecato per errore, riattivarlo lo attiverà.

Diff il set di dati corrente con rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parametri

Restituisce

Creare un set di dati in memoria non registrato da file binari.

static from_binary_files(path)

Parametri

Restituisce

Commenti

Usare questo metodo per leggere i file come flussi di dati binari. Restituisce un oggetto flusso di file per ogni file letto. Usare questo metodo quando si leggono immagini, video, audio o altri dati binari.

get_profile e create_snapshot non funzionerà come previsto per un set di dati creato da questo metodo.

Il set di dati restituito non è registrato nell'area di lavoro.

Creare un set di dati non registrato in memoria da file delimitati.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parametri

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Restituisce

Commenti

Utilizzare questo metodo per leggere i file di testo delimitati quando si desidera controllare le opzioni utilizzate.

Dopo aver creato un set di dati, è consigliabile usare get_profile per elencare i tipi di colonna rilevati e le statistiche di riepilogo per ogni colonna.

Il set di dati restituito non è registrato nell'area di lavoro.

Creare un set di dati non registrato in memoria dai file di Excel.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parametri

Restituisce

Commenti

Utilizzare questo metodo per leggere i file di Excel in formato .xlsx. I dati possono essere letti da un foglio in ogni file di Excel. Dopo aver creato un set di dati, è consigliabile usare get_profile per elencare i tipi di colonna rilevati e le statistiche di riepilogo per ogni colonna. Il set di dati restituito non è registrato nell'area di lavoro.

Creare un set di dati in memoria non registrato da file JSON.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parametri

Restituisce

Creare un set di dati non registrato in memoria da un dataframe pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parametri

Restituisce

Commenti

Utilizzare questo metodo per convertire un dataframe Pandas in un oggetto Dataset. Non è possibile registrare un set di dati creato da questo metodo, perché i dati provengono dalla memoria.

Se in_memory è False, il dataframe Pandas viene convertito in un file CSV in locale. Se pat è di tipo DataReference, il frame Pandas verrà caricato nell'archivio dati e il set di dati verrà basato su DataReference. Se ''path' è una cartella locale, il set di dati verrà creato al di fuori del file locale che non può essere eliminato.

Genera un'eccezione se l'oggetto DataReference corrente non è un percorso di cartella.

Creare un set di dati in memoria non registrato da file parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Parametri

Restituisce

Commenti

Usare questo metodo per leggere i file Parquet.

Dopo aver creato un set di dati, è consigliabile usare get_profile per elencare i tipi di colonna rilevati e le statistiche di riepilogo per ogni colonna.

Il set di dati restituito non è registrato nell'area di lavoro.

Creare un set di dati in memoria non registrato da una query SQL.

static from_sql_query(data_source, query)

Parametri

Restituisce

Generare un nuovo profilo per il set di dati.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parametri

Restituisce

Commenti

La chiamata sincrona verrà bloccata fino al completamento. Chiamare get_result per ottenere il risultato dell'azione.

Ottenere un set di dati già esistente nell'area di lavoro specificandone il nome o l'ID.

static get(workspace, name=None, id=None)

Parametri

Restituisce

Commenti

È possibile specificare name o id. Viene generata un'eccezione se:

• sia name che id sono specificati, ma non corrispondono.

• Il set di dati con l'oggetto specificato name o id non può essere trovato nell'area di lavoro.

Ottenere tutti i set di dati registrati nell'area di lavoro.

get_all()

Parametri

Restituisce

Ottenere tutti gli snapshot del set di dati.

get_all_snapshots()

Restituisce

Ottenere un set di dati salvato nell'area di lavoro.

get_by_id(id, **kwargs)

Parametri

Restituisce

Ottenere un set di dati registrato dall'area di lavoro in base al nome della registrazione.

get_by_name(name, version='latest', **kwargs)

Parametri

Restituisce

Ottenere una definizione specifica del set di dati.

get_definition(version_id=None)

Parametri

Restituisce

Commenti

Se version_id viene specificato, Azure Machine Learning tenta di ottenere la definizione corrispondente a tale versione. Se tale versione non esiste, viene generata un'eccezione. Se version_id viene omesso, viene recuperata la versione più recente.

Ottenere tutte le definizioni del set di dati.

get_definitions()

Restituisce

Commenti

Un set di dati registrato in un'area di lavoro di AzureML può avere più definizioni, ognuna creata chiamando update_definition. Ogni definizione ha un identificatore univoco. La definizione corrente è l'ultima creata.

Per i set di dati non registrati, esiste una sola definizione.

Ottenere statistiche di riepilogo sul set di dati calcolato in precedenza.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parametri

Restituisce

Commenti

Per un set di dati registrato con un'area di lavoro di Azure Machine Learning, questo metodo recupera un profilo esistente creato in precedenza chiamando get_profile se è ancora valido. I profili vengono invalidati quando vengono rilevati dati modificati nel set di dati o gli argomenti per get_profile sono diversi da quelli usati quando è stato generato il profilo. Se il profilo non è presente o invalidato, generate_if_not_exist determinerà se viene generato un nuovo profilo.

Per un set di dati non registrato in un'area di lavoro di Azure Machine Learning, questo metodo viene sempre eseguito generate_profile e restituisce il risultato.

Ottenere lo snapshot del set di dati in base al nome.

get_snapshot(snapshot_name)

Parametri

Restituisce

Eseguire il pull del numero specificato di record specificati da questo set di dati e restituirli come dataframe.

head(count)

Parametri

Restituisce

Elencare tutti i set di dati nell'area di lavoro, inclusi quelli con is_visible proprietà uguale a False.

static list(workspace)

Parametri

Restituisce

Riattivare un set di dati archiviato o deprecato.

reactivate()

Restituisce

Registrare il set di dati nell'area di lavoro, rendendolo disponibile ad altri utenti dell'area di lavoro.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parametri

Restituisce

Generare un nuovo esempio dal set di dati di origine usando la strategia di campionamento e i parametri forniti.

sample(sample_strategy, arguments)

Parametri

Restituisce

Commenti

Gli esempi vengono generati eseguendo la pipeline di trasformazione definita da questo set di dati e quindi applicando la strategia e i parametri di campionamento ai dati di output. Ogni metodo di campionamento supporta gli argomenti facoltativi seguenti:

• top_n

  • Argomenti facoltativi

    • n, digitare integer. Selezionare le prime N righe come esempio.

• simple_random

  • Argomenti facoltativi

    • probabilità, tipo float. Campionamento casuale semplice in cui ogni riga ha la stessa probabilità di essere selezionata. La probabilità deve essere un numero compreso tra 0 e 1.

    • valore di inizializzazione, tipo float. Utilizzato dal generatore di numeri casuali. Usare per la ripetibilità.

• Stratificato

  • Argomenti facoltativi

    • columns, type list[str]. Elenco di colonne strata nei dati.

    • valore di inizializzazione, tipo float. Utilizzato dal generatore di numeri casuali. Usare per la ripetibilità.

    • fractions, type dict[tuple, float]. Tupla: i valori di colonna che definiscono uno strato devono essere nello stesso ordine dei nomi di colonna. Float: peso collegato a uno strato durante il campionamento.

I frammenti di codice seguenti sono modelli di progettazione di esempio per metodi di esempio diversi.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Creare un dataframe Pandas eseguendo la pipeline di trasformazione definita da questa definizione del set di dati.

to_pandas_dataframe()

Restituisce

Commenti

Restituisce un dataframe Pandas completamente materializzato in memoria.

Creare un dataframe Spark in grado di eseguire la pipeline di trasformazione definita da questa definizione del set di dati.

to_spark_dataframe()

Restituisce

Commenti

Il dataframe Spark restituito è solo un piano di esecuzione e non contiene effettivamente dati, poiché i dataframe Spark vengono valutati in modo differito.

Aggiornare gli attributi modificabili del set di dati nell'area di lavoro e restituire il set di dati aggiornato dall'area di lavoro.

update(name=None, description=None, tags=None, visible=None)

Parametri

Restituisce

Aggiornare la definizione del set di dati.

update_definition(definition, definition_update_message)

Parametri

Restituisce

Commenti

Per utilizzare il set di dati aggiornato, usare l'oggetto restituito da questo metodo.

Restituisce la definizione del set di dati corrente.

Restituisce

Commenti

Una definizione del set di dati è una serie di passaggi che specificano come leggere e trasformare i dati.

Un set di dati registrato in un'area di lavoro di AzureML può avere più definizioni, ognuna creata chiamando update_definition. Ogni definizione ha un identificatore univoco. La presenza di più definizioni consente di apportare modifiche ai set di dati esistenti senza interrompere modelli e pipeline che dipendono dalla definizione precedente.

Per i set di dati non registrati, esiste una sola definizione.

Restituisce la versione della definizione corrente del set di dati.

Restituisce

Commenti

Una definizione del set di dati è una serie di passaggi che specificano come leggere e trasformare i dati.

Un set di dati registrato in un'area di lavoro di AzureML può avere più definizioni, ognuna creata chiamando update_definition. Ogni definizione ha un identificatore univoco. La definizione corrente è l'ultima creata, il cui ID viene restituito da questo.

Per i set di dati non registrati, esiste una sola definizione.

Restituisce la descrizione del set di dati.

Restituisce

Commenti

Specificare una descrizione dei dati nel set di dati consente agli utenti dell'area di lavoro di comprendere cosa rappresentano i dati e come usarli.

Se il set di dati è stato registrato in un'area di lavoro, restituire l'ID del set di dati. In caso contrario, restituisce Nessuno.

Restituisce

Controllare la visibilità di un set di dati registrato nell'interfaccia utente dell'area di lavoro di Azure ML.

Restituisce

Commenti

Valori restituiti:

• True: il set di dati è visibile nell'interfaccia utente dell'area di lavoro. Valore predefinito.

• False: il set di dati è nascosto nell'interfaccia utente dell'area di lavoro.

Non ha alcun effetto sui set di dati non registrati.

Restituisce il nome del set di dati.

Restituisce

Restituisce lo stato del set di dati.

Restituisce

Commenti

Il significato e l'effetto degli stati sono i seguenti:

• Attivo. Le definizioni attive sono esattamente simili, tutte le azioni possono essere eseguite sulle definizioni attive.

• Deprecato. La definizione deprecata può essere usata, ma genererà un avviso registrato nei log ogni volta che si accede ai dati sottostanti.

• Archiviati. Non è possibile utilizzare una definizione archiviata per eseguire alcuna azione. Per eseguire azioni su una definizione archiviata, è necessario riattivarla.

Restituisce i tag associati al set di dati.

Restituisce

Se il set di dati è stato registrato in un'area di lavoro, restituirne il valore. In caso contrario, restituisce Nessuno.

Restituisce

Factory per la creazione FileDataset

alias di TabularDatasetFactory