AbstractDataset Klass
Basklass för datauppsättningar i Azure Machine Learning.
Referera till TabularDatasetFactory klassen och FileDatasetFactory klassen för att skapa instanser av datauppsättningen.
Konstruktor för klassen AbstractDataset.
Konstruktorn ska inte anropas direkt. Datauppsättningen är avsedd att skapas med hjälp av TabularDatasetFactory klass och FileDatasetFactory klass.
- Arv
-
builtins.objectAbstractDataset
Konstruktor
AbstractDataset()
Metoder
add_tags |
Lägg till nyckel/värde-par i ordlistan för taggar för den här datauppsättningen. |
as_named_input |
Ange ett namn för den här datauppsättningen som ska användas för att hämta den materialiserade datauppsättningen under körningen. |
get_all |
Hämta alla registrerade datauppsättningar på arbetsytan. |
get_by_id |
Hämta en datauppsättning som sparas på arbetsytan. |
get_by_name |
Hämta en registrerad datauppsättning från arbetsytan med dess registreringsnamn. |
get_partition_key_values |
Returnera unika nyckelvärden för partition_keys. kontrollera om partition_keys är en giltig delmängd av en fullständig uppsättning partitionsnycklar, returnera unika nyckelvärden för partition_keys, som standard returnerar de unika nyckelkombinationerna genom att ta den fullständiga uppsättningen partitionsnycklar för den här datauppsättningen om partition_keys är Ingen
|
register |
Registrera datauppsättningen på den angivna arbetsytan. |
remove_tags |
Ta bort de angivna nycklarna från ordlistan för taggar för den här datauppsättningen. |
unregister_all_versions |
Avregistrera alla versioner under registreringsnamnet för den här datauppsättningen från arbetsytan. |
update |
Utför en uppdatering på plats av datauppsättningen. |
add_tags
Lägg till nyckel/värde-par i ordlistan för taggar för den här datauppsättningen.
add_tags(tags=None)
Parametrar
Name | Description |
---|---|
tags
Obligatorisk
|
Ordlistan med taggar som ska läggas till. |
Returer
Typ | Description |
---|---|
Det uppdaterade datauppsättningsobjektet. |
as_named_input
Ange ett namn för den här datauppsättningen som ska användas för att hämta den materialiserade datauppsättningen under körningen.
as_named_input(name)
Parametrar
Name | Description |
---|---|
name
Obligatorisk
|
Namnet på datauppsättningen för körningen. |
Returer
Typ | Description |
---|---|
Konfigurationsobjektet som beskriver hur datauppsättningen ska materialiseras i körningen. |
Kommentarer
Namnet här gäller endast i en Azure Machine Learning-körning. Namnet får bara innehålla alfanumeriska tecken och understreck så att det kan göras tillgängligt som en miljövariabel. Du kan använda det här namnet för att hämta datauppsättningen i kontexten för en körning med hjälp av två metoder:
Miljövariabel:
Namnet blir miljövariabelns namn och den materialiserade datauppsättningen blir tillgänglig som värdet för miljövariabeln. Om datauppsättningen laddas ned eller monteras blir värdet den nedladdade/monterade sökvägen. Ett exempel:
# in your job submission notebook/script:
dataset.as_named_input('foo').as_download('/tmp/dataset')
# in the script that will be executed in the run
import os
path = os.environ['foo'] # path will be /tmp/dataset
Anteckning
Om datauppsättningen är inställd på direktläge blir värdet datauppsättningens ID. Du kan sedan
hämta datauppsättningsobjektet genom att göra Dataset.get_by_id(os.environ['foo'])
Run.input_datasets:
Det här är en ordlista där nyckeln blir det datauppsättningsnamn som du angav i den här metoden och värdet blir den materialiserade datamängden. För nedladdad och monterad datauppsättning är värdet den nedladdade/monterade sökvägen. För direktläge är värdet samma datauppsättningsobjekt som du angav i jobbets sändningsskript.
# in your job submission notebook/script:
dataset.as_named_input('foo') # direct mode
# in the script that will be executed in the run
run = Run.get_context()
run.input_datasets['foo'] # this returns the dataset object from above.
get_all
Hämta alla registrerade datauppsättningar på arbetsytan.
static get_all(workspace)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Den befintliga AzureML-arbetsytan där datauppsättningarna registrerades. |
Returer
Typ | Description |
---|---|
En ordlista med TabularDataset- och FileDataset-objekt som är nyckelade efter deras registreringsnamn. |
get_by_id
Hämta en datauppsättning som sparas på arbetsytan.
static get_by_id(workspace, id, **kwargs)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Den befintliga AzureML-arbetsytan där datauppsättningen sparas. |
id
Obligatorisk
|
ID:t för datauppsättningen. |
Returer
Typ | Description |
---|---|
Datamängdsobjektet. Om datauppsättningen registreras returneras även dess registreringsnamn och version. |
get_by_name
Hämta en registrerad datauppsättning från arbetsytan med dess registreringsnamn.
static get_by_name(workspace, name, version='latest', **kwargs)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Den befintliga AzureML-arbetsytan där datauppsättningen registrerades. |
name
Obligatorisk
|
Registreringsnamnet. |
version
Obligatorisk
|
Registreringsversionen. Standardvärdet är "senaste". |
Returer
Typ | Description |
---|---|
Det registrerade datauppsättningsobjektet. |
get_partition_key_values
Returnera unika nyckelvärden för partition_keys.
kontrollera om partition_keys är en giltig delmängd av en fullständig uppsättning partitionsnycklar, returnera unika nyckelvärden för partition_keys, som standard returnerar de unika nyckelkombinationerna genom att ta den fullständiga uppsättningen partitionsnycklar för den här datauppsättningen om partition_keys är Ingen
# get all partition key value pairs
partitions = ds.get_partition_key_values()
# Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]
partitions = ds.get_partition_key_values(['country'])
# Return [{'country': 'US'}]
get_partition_key_values(partition_keys=None)
Parametrar
Name | Description |
---|---|
partition_keys
Obligatorisk
|
partitionsnycklar |
register
Registrera datauppsättningen på den angivna arbetsytan.
register(workspace, name, description=None, tags=None, create_new_version=False)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Arbetsytan för att registrera datauppsättningen. |
name
Obligatorisk
|
Namnet som datauppsättningen ska registreras med. |
description
Obligatorisk
|
En textbeskrivning av datauppsättningen. Standardvärdet är Ingen. |
tags
Obligatorisk
|
Ordlista med nyckelvärdestaggar för att ge datauppsättningen. Standardvärdet är Ingen. |
create_new_version
Obligatorisk
|
Booleskt värde för att registrera datauppsättningen som en ny version under det angivna namnet. |
Returer
Typ | Description |
---|---|
Det registrerade datauppsättningsobjektet. |
remove_tags
Ta bort de angivna nycklarna från ordlistan för taggar för den här datauppsättningen.
remove_tags(tags=None)
Parametrar
Name | Description |
---|---|
tags
Obligatorisk
|
Listan över nycklar som ska tas bort. |
Returer
Typ | Description |
---|---|
Det uppdaterade datauppsättningsobjektet. |
unregister_all_versions
Avregistrera alla versioner under registreringsnamnet för den här datauppsättningen från arbetsytan.
unregister_all_versions()
Kommentarer
Åtgärden ändrar inte några källdata.
update
Utför en uppdatering på plats av datauppsättningen.
update(description=None, tags=None)
Parametrar
Name | Description |
---|---|
description
Obligatorisk
|
Den nya beskrivningen som ska användas för datauppsättningen. Den här beskrivningen ersätter den befintliga beskrivningen. Standardvärdet är befintlig beskrivning. Om du vill rensa beskrivningen anger du en tom sträng. |
tags
Obligatorisk
|
En ordlista med taggar att uppdatera datauppsättningen med. De här taggarna ersätter befintliga taggar för datauppsättningen. Standardvärdet är befintliga taggar. Om du vill rensa taggar anger du en tom ordlista. |
Returer
Typ | Description |
---|---|
Det uppdaterade datauppsättningsobjektet. |
Attribut
data_changed_time
Returnera tiden då källdata ändrades.
Returer
Typ | Description |
---|---|
Den tid då den senaste ändringen skedde för källdata. |
Kommentarer
Data ändrad tid är tillgänglig för filbaserad datakälla. Ingen returneras när datakällan inte stöds för att kontrollera när ändringen har skett.
description
id
Returnera datauppsättningens identifierare.
Returer
Typ | Description |
---|---|
Datauppsättnings-ID. Om datauppsättningen inte sparas på någon arbetsyta blir ID:t Ingen. |