AbstractDataset Klass

Basklass för datauppsättningar i Azure Machine Learning.

Referera till TabularDatasetFactory klassen och FileDatasetFactory klassen för att skapa instanser av datauppsättningen.

Konstruktor för klassen AbstractDataset.

Konstruktorn ska inte anropas direkt. Datauppsättningen är avsedd att skapas med hjälp av TabularDatasetFactory klass och FileDatasetFactory klass.

Arv
builtins.object
AbstractDataset

Konstruktor

AbstractDataset()

Metoder

add_tags

Lägg till nyckel/värde-par i ordlistan för taggar för den här datauppsättningen.

as_named_input

Ange ett namn för den här datauppsättningen som ska användas för att hämta den materialiserade datauppsättningen under körningen.

get_all

Hämta alla registrerade datauppsättningar på arbetsytan.

get_by_id

Hämta en datauppsättning som sparas på arbetsytan.

get_by_name

Hämta en registrerad datauppsättning från arbetsytan med dess registreringsnamn.

get_partition_key_values

Returnera unika nyckelvärden för partition_keys.

kontrollera om partition_keys är en giltig delmängd av en fullständig uppsättning partitionsnycklar, returnera unika nyckelvärden för partition_keys, som standard returnerar de unika nyckelkombinationerna genom att ta den fullständiga uppsättningen partitionsnycklar för den här datauppsättningen om partition_keys är Ingen


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]
register

Registrera datauppsättningen på den angivna arbetsytan.

remove_tags

Ta bort de angivna nycklarna från ordlistan för taggar för den här datauppsättningen.

unregister_all_versions

Avregistrera alla versioner under registreringsnamnet för den här datauppsättningen från arbetsytan.

update

Utför en uppdatering på plats av datauppsättningen.

add_tags

Lägg till nyckel/värde-par i ordlistan för taggar för den här datauppsättningen.

add_tags(tags=None)

Parametrar

Name Description
tags
Obligatorisk

Ordlistan med taggar som ska läggas till.

Returer

Typ Description

Det uppdaterade datauppsättningsobjektet.

as_named_input

Ange ett namn för den här datauppsättningen som ska användas för att hämta den materialiserade datauppsättningen under körningen.

as_named_input(name)

Parametrar

Name Description
name
Obligatorisk
str

Namnet på datauppsättningen för körningen.

Returer

Typ Description

Konfigurationsobjektet som beskriver hur datauppsättningen ska materialiseras i körningen.

Kommentarer

Namnet här gäller endast i en Azure Machine Learning-körning. Namnet får bara innehålla alfanumeriska tecken och understreck så att det kan göras tillgängligt som en miljövariabel. Du kan använda det här namnet för att hämta datauppsättningen i kontexten för en körning med hjälp av två metoder:

  • Miljövariabel:

    Namnet blir miljövariabelns namn och den materialiserade datauppsättningen blir tillgänglig som värdet för miljövariabeln. Om datauppsättningen laddas ned eller monteras blir värdet den nedladdade/monterade sökvägen. Ett exempel:


   # in your job submission notebook/script:
   dataset.as_named_input('foo').as_download('/tmp/dataset')

   # in the script that will be executed in the run
   import os
   path = os.environ['foo'] # path will be /tmp/dataset

Anteckning

Om datauppsättningen är inställd på direktläge blir värdet datauppsättningens ID. Du kan sedan

hämta datauppsättningsobjektet genom att göra Dataset.get_by_id(os.environ['foo'])

  • Run.input_datasets:

    Det här är en ordlista där nyckeln blir det datauppsättningsnamn som du angav i den här metoden och värdet blir den materialiserade datamängden. För nedladdad och monterad datauppsättning är värdet den nedladdade/monterade sökvägen. För direktläge är värdet samma datauppsättningsobjekt som du angav i jobbets sändningsskript.


   # in your job submission notebook/script:
   dataset.as_named_input('foo') # direct mode

   # in the script that will be executed in the run
   run = Run.get_context()
   run.input_datasets['foo'] # this returns the dataset object from above.

get_all

Hämta alla registrerade datauppsättningar på arbetsytan.

static get_all(workspace)

Parametrar

Name Description
workspace
Obligatorisk

Den befintliga AzureML-arbetsytan där datauppsättningarna registrerades.

Returer

Typ Description

En ordlista med TabularDataset- och FileDataset-objekt som är nyckelade efter deras registreringsnamn.

get_by_id

Hämta en datauppsättning som sparas på arbetsytan.

static get_by_id(workspace, id, **kwargs)

Parametrar

Name Description
workspace
Obligatorisk

Den befintliga AzureML-arbetsytan där datauppsättningen sparas.

id
Obligatorisk
str

ID:t för datauppsättningen.

Returer

Typ Description

Datamängdsobjektet. Om datauppsättningen registreras returneras även dess registreringsnamn och version.

get_by_name

Hämta en registrerad datauppsättning från arbetsytan med dess registreringsnamn.

static get_by_name(workspace, name, version='latest', **kwargs)

Parametrar

Name Description
workspace
Obligatorisk

Den befintliga AzureML-arbetsytan där datauppsättningen registrerades.

name
Obligatorisk
str

Registreringsnamnet.

version
Obligatorisk
int

Registreringsversionen. Standardvärdet är "senaste".

Returer

Typ Description

Det registrerade datauppsättningsobjektet.

get_partition_key_values

Returnera unika nyckelvärden för partition_keys.

kontrollera om partition_keys är en giltig delmängd av en fullständig uppsättning partitionsnycklar, returnera unika nyckelvärden för partition_keys, som standard returnerar de unika nyckelkombinationerna genom att ta den fullständiga uppsättningen partitionsnycklar för den här datauppsättningen om partition_keys är Ingen


   # get all partition key value pairs
   partitions = ds.get_partition_key_values()
   # Return [{'country': 'US', 'state': 'WA', 'partition_date': datetime('2020-1-1')}]

   partitions = ds.get_partition_key_values(['country'])
   # Return [{'country': 'US'}]
get_partition_key_values(partition_keys=None)

Parametrar

Name Description
partition_keys
Obligatorisk

partitionsnycklar

register

Registrera datauppsättningen på den angivna arbetsytan.

register(workspace, name, description=None, tags=None, create_new_version=False)

Parametrar

Name Description
workspace
Obligatorisk

Arbetsytan för att registrera datauppsättningen.

name
Obligatorisk
str

Namnet som datauppsättningen ska registreras med.

description
Obligatorisk
str

En textbeskrivning av datauppsättningen. Standardvärdet är Ingen.

tags
Obligatorisk

Ordlista med nyckelvärdestaggar för att ge datauppsättningen. Standardvärdet är Ingen.

create_new_version
Obligatorisk

Booleskt värde för att registrera datauppsättningen som en ny version under det angivna namnet.

Returer

Typ Description

Det registrerade datauppsättningsobjektet.

remove_tags

Ta bort de angivna nycklarna från ordlistan för taggar för den här datauppsättningen.

remove_tags(tags=None)

Parametrar

Name Description
tags
Obligatorisk

Listan över nycklar som ska tas bort.

Returer

Typ Description

Det uppdaterade datauppsättningsobjektet.

unregister_all_versions

Avregistrera alla versioner under registreringsnamnet för den här datauppsättningen från arbetsytan.

unregister_all_versions()

Kommentarer

Åtgärden ändrar inte några källdata.

update

Utför en uppdatering på plats av datauppsättningen.

update(description=None, tags=None)

Parametrar

Name Description
description
Obligatorisk
str

Den nya beskrivningen som ska användas för datauppsättningen. Den här beskrivningen ersätter den befintliga beskrivningen. Standardvärdet är befintlig beskrivning. Om du vill rensa beskrivningen anger du en tom sträng.

tags
Obligatorisk

En ordlista med taggar att uppdatera datauppsättningen med. De här taggarna ersätter befintliga taggar för datauppsättningen. Standardvärdet är befintliga taggar. Om du vill rensa taggar anger du en tom ordlista.

Returer

Typ Description

Det uppdaterade datauppsättningsobjektet.

Attribut

data_changed_time

Returnera tiden då källdata ändrades.

Returer

Typ Description

Den tid då den senaste ändringen skedde för källdata.

Kommentarer

Data ändrad tid är tillgänglig för filbaserad datakälla. Ingen returneras när datakällan inte stöds för att kontrollera när ändringen har skett.

description

Returnera registreringsbeskrivningen.

Returer

Typ Description
str

Beskrivning av datauppsättning.

id

Returnera datauppsättningens identifierare.

Returer

Typ Description
str

Datauppsättnings-ID. Om datauppsättningen inte sparas på någon arbetsyta blir ID:t Ingen.

name

Returnera registreringsnamnet.

Returer

Typ Description
str

Datauppsättningens namn.

partition_keys

Returnera partitionsnycklarna.

Returer

Typ Description

partitionsnycklarna

tags

Returnera registreringstaggar.

Returer

Typ Description
str

Datauppsättningstaggar.

version

Returnera registreringsversionen.

Returer

Typ Description
int

Datamängdsversion.