AbstractDataset Classe

  • Riferimento

Classe di base di set di dati in Azure Machine Learning.

Fare riferimento TabularDatasetFactory alla classe e FileDatasetFactory alla classe per creare istanze del set di dati.

Costruttore AbstractDataset della classe.

Questo costruttore non deve essere richiamato direttamente. Il set di dati deve essere creato usando TabularDatasetFactory la classe e FileDatasetFactory la classe .

Ereditarietà
builtins.object
AbstractDataset

Costruttore

AbstractDataset()

Metodi

add_tags

Aggiungere coppie chiave-valore al dizionario tag di questo set di dati.
as_named_input

Specificare un nome per questo set di dati che verrà usato per recuperare il set di dati materializzato nell'esecuzione.
get_all

Ottenere tutti i set di dati registrati nell'area di lavoro.
get_by_id

Ottenere un set di dati salvato nell'area di lavoro.
get_by_name

Ottenere un set di dati registrato dall'area di lavoro in base al nome della registrazione.
get_partition_key_values

Restituisce valori di chiave univoci di partition_keys.

verificare se partition_keys è un subset valido di chiavi di partizione complete, restituire valori di chiave univoci di partition_keys, per impostazione predefinita restituire le combinazioni di chiavi di chiave univoche accettando il set completo di chiavi di partizione di questo set di dati se partition_keys è Nessuno


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]
register

Registrare il set di dati nell'area di lavoro specificata.
remove_tags

Rimuovere le chiavi specificate dal dizionario tag di questo set di dati.
unregister_all_versions

Annullare la registrazione di tutte le versioni con il nome di registrazione di questo set di dati dall'area di lavoro.
update

Eseguire un aggiornamento sul posto del set di dati.

add_tags

Aggiungere coppie chiave-valore al dizionario tag di questo set di dati.

add_tags(tags=None)

Parametri

Nome Descrizione
tags
Necessario
dict[str, str]

Dizionario dei tag da aggiungere.

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati aggiornato.

as_named_input

Specificare un nome per questo set di dati che verrà usato per recuperare il set di dati materializzato nell'esecuzione.

as_named_input(name)

Parametri

Nome Descrizione
name
Necessario
str

Nome del set di dati per l'esecuzione.

Restituisce

Tipo Descrizione
DatasetConsumptionConfig

Oggetto di configurazione che descrive la modalità di materializzazione del set di dati nell'esecuzione.

Commenti

Il nome qui sarà applicabile solo all'interno di un'esecuzione di Azure Machine Learning. Il nome deve contenere solo caratteri alfanumerici e caratteri di sottolineatura in modo che possa essere reso disponibile come variabile di ambiente. È possibile usare questo nome per recuperare il set di dati nel contesto di un'esecuzione usando due approcci:

  • Variabile di ambiente:

    Il nome sarà il nome della variabile di ambiente e il set di dati materializzato verrà reso disponibile come valore della variabile di ambiente. Se il set di dati viene scaricato o montato, il valore sarà il percorso scaricato/montato. Ad esempio:


   # in your job submission notebook/script:
   dataset.as_named_input('foo').as_download('/tmp/dataset')

   # in the script that will be executed in the run
   import os
   path = os.environ['foo'] # path will be /tmp/dataset

Nota

Se il set di dati è impostato sulla modalità diretta, il valore sarà l'ID del set di dati. È quindi possibile

recuperare l'oggetto set di dati eseguendo Dataset.get_by_id(os.environ['foo'])

  • Run.input_datasets:

    Si tratta di un dizionario in cui la chiave sarà il nome del set di dati specificato in questo metodo e il valore sarà il set di dati materializzato. Per il set di dati scaricato e montato, il valore sarà il percorso scaricato/montato. Per la modalità diretta, il valore sarà lo stesso oggetto set di dati specificato nello script di invio del processo.


   # in your job submission notebook/script:
   dataset.as_named_input('foo') # direct mode

   # in the script that will be executed in the run
   run = Run.get_context()
   run.input_datasets['foo'] # this returns the dataset object from above.

get_all

Ottenere tutti i set di dati registrati nell'area di lavoro.

static get_all(workspace)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Area di lavoro AzureML esistente in cui sono stati registrati i set di dati.

Restituisce

Tipo Descrizione
dict[str, Union[TabularDataset, FileDataset]]

Dizionario di oggetti TabularDataset e FileDataset con chiave in base al nome della registrazione.

get_by_id

Ottenere un set di dati salvato nell'area di lavoro.

static get_by_id(workspace, id, **kwargs)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Area di lavoro AzureML esistente in cui viene salvato il set di dati.
id
Necessario
str

ID del set di dati.

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati. Se il set di dati è registrato, verrà restituito anche il nome e la versione della registrazione.

get_by_name

Ottenere un set di dati registrato dall'area di lavoro in base al nome della registrazione.

static get_by_name(workspace, name, version='latest', **kwargs)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Area di lavoro AzureML esistente in cui è stato registrato il set di dati.
name
Necessario
str

Nome della registrazione.
version
Necessario
int

Versione di registrazione. Il valore predefinito è "latest".

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati registrato.

get_partition_key_values

Restituisce valori di chiave univoci di partition_keys.

verificare se partition_keys è un subset valido di chiavi di partizione complete, restituire valori di chiave univoci di partition_keys, per impostazione predefinita restituire le combinazioni di chiavi di chiave univoche accettando il set completo di chiavi di partizione di questo set di dati se partition_keys è Nessuno


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]

get_partition_key_values(partition_keys=None)

Parametri

Nome Descrizione
partition_keys
Necessario
list[str]

chiavi di partizione

register

Registrare il set di dati nell'area di lavoro specificata.

register(workspace, name, description=None, tags=None, create_new_version=False)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Area di lavoro per registrare il set di dati.
name
Necessario
str

Nome con cui registrare il set di dati.
description
Necessario
str

Descrizione testuale del set di dati. Il valore predefinito è Nessuno.
tags
Necessario
dict[str, str]

Dizionario dei tag chiave-valore per assegnare il set di dati. Il valore predefinito è Nessuno.
create_new_version
Necessario
bool

Valore booleano per registrare il set di dati come nuova versione con il nome specificato.

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati registrato.

remove_tags

Rimuovere le chiavi specificate dal dizionario tag di questo set di dati.

remove_tags(tags=None)

Parametri

Nome Descrizione
tags
Necessario
list[str]

Elenco di chiavi da rimuovere.

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati aggiornato.

unregister_all_versions

Annullare la registrazione di tutte le versioni con il nome di registrazione di questo set di dati dall'area di lavoro.

unregister_all_versions()

Commenti

L'operazione non modifica i dati di origine.

update

Eseguire un aggiornamento sul posto del set di dati.

update(description=None, tags=None)

Parametri

Nome Descrizione
description
Necessario
str

Nuova descrizione da usare per il set di dati. Questa descrizione sostituisce la descrizione esistente. Il valore predefinito è la descrizione esistente. Per cancellare la descrizione, immettere una stringa vuota.
tags
Necessario
dict[str, str]

Dizionario di tag con cui aggiornare il set di dati. Questi tag sostituiscono i tag esistenti per il set di dati. Il valore predefinito è tag esistenti. Per cancellare i tag, immettere un dizionario vuoto.

Restituisce

Tipo Descrizione
Union[TabularDataset, FileDataset]

Oggetto set di dati aggiornato.

Attributi

data_changed_time

Restituisce l'ora di modifica dei dati di origine.

Restituisce

Tipo Descrizione
datetime

Ora in cui è stata apportata la modifica più recente ai dati di origine.

Commenti

Il tempo di modifica dei dati è disponibile per l'origine dati basata su file. Nessuno verrà restituito quando l'origine dati non è supportata per il controllo quando è stata apportata la modifica.

description

Restituisce la descrizione della registrazione.

Restituisce

Tipo Descrizione
str

Descrizione del set di dati.

id

Restituisce l'identificatore del set di dati.

Restituisce

Tipo Descrizione
str

ID set di dati. Se il set di dati non viene salvato in alcuna area di lavoro, l'ID sarà Nessuno.

name

Restituisce il nome della registrazione.

Restituisce

Tipo Descrizione
str

Nome del set di dati.

partition_keys

Restituisce le chiavi di partizione.

Restituisce

Tipo Descrizione
list[str]

chiavi di partizione

tags

Restituisce i tag di registrazione.

Restituisce

Tipo Descrizione
str

Tag del set di dati.

version

Restituisce la versione di registrazione.

Restituisce

Tipo Descrizione
int

Versione del set di dati.