AdlaStep Třída

  • Reference

Vytvoří krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Příklad použití tohoto kroku AdlaStep najdete v poznámkovém bloku https://aka.ms/pl-adla.

Vytvořte krok kanálu Azure ML pro spuštění skriptu U-SQL pomocí Azure Data Lake Analytics.

Dědičnost
azureml.pipeline.core._adla_step_base._AdlaStepBase
AdlaStep

Konstruktor

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parametry

Name Description
script_name
Vyžadováno
str

[Povinné] Název skriptu U-SQL vzhledem k source_directory.
name
str

Název kroku. Pokud není zadán, script_name použije se.

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vazeb vstupních portů

Default value: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Seznam výstupních vazeb portů.

Default value: None
params
dict

Slovník dvojic název-hodnota.

Default value: None
degree_of_parallelism
int

Stupeň paralelismu, který se má použít pro tuto úlohu. Musí být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.

Default value: None
priority
int

Hodnota priority, která se má použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1000. Zadaná hodnota musí být větší než 0.

Default value: None
runtime_version
str

Verze modulu runtime Data Lake Analytics.

Default value: None
compute_target
AdlaCompute, str

[Povinné] Výpočetní prostředky ADLA, které se mají použít pro tuto úlohu.

Default value: None
source_directory
str

Složka, která obsahuje skript, sestavení atd.

Default value: None
allow_reuse
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

Default value: True
version
str

Volitelná značka verze, která označuje změnu funkčnosti kroku.

Default value: None
hash_paths
list

ZASTARALÉ: už není potřeba.

Seznam cest k hodnotě hash při kontrole změn obsahu kroku Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory souboru hashován s výjimkou souborů uvedených v .amlignore nebo .gitignore.

Default value: None
script_name
Vyžadováno
str

[Povinné] Název skriptu U-SQL vzhledem k source_directory.
name
Vyžadováno
str

Název kroku. Pokud není zadán, script_name použije se.
inputs
Vyžadováno
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vazeb vstupních portů
outputs
Vyžadováno
list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]

Seznam výstupních vazeb portů.
params
Vyžadováno
dict

Slovník dvojic název-hodnota.
degree_of_parallelism
Vyžadováno
int

Stupeň paralelismu, který se má použít pro tuto úlohu. Musí být větší než 0. Pokud je nastavená hodnota menší než 0, výchozí hodnota je 1.
priority
Vyžadováno
int

Hodnota priority, která se má použít pro aktuální úlohu. Nižší čísla mají vyšší prioritu. Ve výchozím nastavení má úloha prioritu 1000. Zadaná hodnota musí být větší než 0.
runtime_version
Vyžadováno
str

Verze modulu runtime Data Lake Analytics.
compute_target
Vyžadováno
AdlaCompute, str

[Povinné] Výpočetní prostředky ADLA, které se mají použít pro tuto úlohu.
source_directory
Vyžadováno
str

Složka, která obsahuje skript, sestavení atd.
allow_reuse
Vyžadováno
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.
version
Vyžadováno
str

Volitelná značka verze, která označuje změnu funkčnosti kroku.
hash_paths
Vyžadováno
list

ZASTARALÉ: už není potřeba.

Seznam cest k hodnotě hash při kontrole změn obsahu kroku Pokud se nezjistí žádné změny, kanál znovu použije obsah kroku z předchozího spuštění. Ve výchozím nastavení je obsah source_directory souboru hashován s výjimkou souborů uvedených v .amlignore nebo .gitignore.

Poznámky

Pomocí syntaxe @@name@@ ve skriptu můžete odkazovat na vstupy, výstupy a parametry.

  • Pokud je název název vstupní nebo výstupní vazby portu, nahradí se všechny výskyty @@name@@ ve skriptu skutečnou cestou k datům odpovídající vazby portu.

  • Pokud název odpovídá libovolnému klíči v params dict, všechny výskyty @@name@@ budou v dict nahrazeny odpovídající hodnotou.

AdlaStep funguje jenom s daty uloženými ve výchozím Data Lake Storage účtu Data Lake Analytics. Pokud jsou data v jiné než výchozí úložišti, zkopírujte je do výchozího úložiště pomocí DataTransferStep příkazu . Výchozí úložiště najdete tak, že otevřete účet Data Lake Analytics v Azure Portal a pak přejdete na položku Zdroje dat v části Nastavení v levém podokně.

Následující příklad ukazuje, jak používat AdlaStep v kanálu Azure Machine Learning.


   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb

Metody

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node

Vytvořte uzel z kroku AdlaStep a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

Name Description
graph
Vyžadováno
Graph

Objekt grafu.
default_datastore
Vyžadováno
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Výchozí úložiště dat.
context
Vyžadováno
<xref:azureml.pipeline.core._GraphContext>

Kontext grafu.

Návraty

Typ Description
Node

Objekt uzlu.