AzureBatchStep Třída

  • Reference

Vytvoří krok kanálu Azure ML pro odesílání úloh do Azure Batch.

Poznámka: Tento krok nepodporuje nahrávání a stahování adresářů a jejich obsahu.

Příklad použití AzureBatchStep najdete v poznámkovém bloku https://aka.ms/pl-azbatch.

Vytvořte krok kanálu Azure ML pro odesílání úloh do Azure Batch.

Dědičnost
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase
AzureBatchStep

Konstruktor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parametry

Name Description
name
Vyžadováno
str

[Povinné] Název kroku.
create_pool
bool

Určuje, jestli se má vytvořit fond před spuštěním úloh.

Default value: False
pool_id
str

[Povinné] ID fondu, ve kterém se úloha spouští. ID může být existující fond nebo ten, který se vytvoří při odeslání úlohy.

Default value: None
delete_batch_job_after_finish
bool

Určuje, jestli se má úloha po dokončení odstranit z účtu Batch.

Default value: True
delete_batch_pool_after_finish
bool

Určuje, jestli se má fond po dokončení úlohy odstranit.

Default value: False
is_positive_exit_code_failure
bool

Označuje, jestli úloha selže, pokud úkol existuje s pozitivním kódem.

Default value: True
vm_image_urn
str

Pokud create_pool je hodnota True a virtuální počítač používá VirtualMachineConfiguration. Formát hodnoty: urn:publisher:offer:sku. Příklad: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.

Default value: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin
bool

Určuje, jestli má úloha běžet s oprávněními správce.

Default value: False
target_compute_nodes
int

Pokud create_pool je hodnota True, označuje, kolik výpočetních uzlů se přidá do fondu.

Default value: 1
vm_size
str

Pokud create_pool je hodnota True, označuje velikost virtuálního počítače výpočetních uzlů.

Default value: standard_d1_v2
source_directory
str

Místní složka, která obsahuje binární soubory modulu, spustitelný soubor, sestavení atd.

Default value: None
executable
str

[Povinné] Název příkazu nebo spustitelného souboru, který se spustí jako součást úlohy.

Default value: None
arguments
str

Argumenty pro příkaz nebo spustitelný soubor.

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vazeb vstupních portů Před spuštěním úlohy se pro každý vstup vytvoří složka. Soubory pro každý vstup se zkopírují z úložiště do příslušné složky na výpočetním uzlu. Pokud je například vstupní název input1 a relativní cesta k úložišti je some/relative/path/that/can/be/really/long/inputfile.txt, pak cesta k souboru ve výpočetním prostředí bude : ./input1/inputfile.txt. Pokud je vstupní název delší než 32 znaků, zkrátí se a připojí se s jedinečnou příponou, aby se název složky mohl úspěšně vytvořit na cílovém výpočetním objektu.

Default value: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Seznam výstupních vazeb portů. Podobně jako u vstupů se před spuštěním úlohy vytvoří složka pro každý výstup. Název složky bude stejný jako název výstupu. Předpokladem je, že úloha vloží výstup do této složky.

Default value: None
allow_reuse
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.

Default value: True
compute_target
BatchCompute, str

[Povinné] Výpočetní prostředí BatchCompute, ve kterém se úloha spouští.

Default value: None
version
str

Volitelná značka verze, která označuje změnu funkcí modulu.

Default value: None
name
Vyžadováno
str

[Povinné] Název kroku.
create_pool
Vyžadováno
bool

Určuje, jestli se má vytvořit fond před spuštěním úloh.
pool_id
Vyžadováno
str

[Povinné] ID fondu, ve kterém se úloha spouští. ID může být existující fond nebo ten, který se vytvoří při odeslání úlohy.
delete_batch_job_after_finish
Vyžadováno
bool

Určuje, jestli se má úloha po dokončení odstranit z účtu Batch.
delete_batch_pool_after_finish
Vyžadováno
bool

Určuje, jestli se má fond po dokončení úlohy odstranit.
is_positive_exit_code_failure
Vyžadováno
bool

Označuje, jestli úloha selže, pokud úkol existuje s pozitivním kódem.
vm_image_urn
Vyžadováno
str

Pokud create_pool je hodnota True a virtuální počítač používá VirtualMachineConfiguration. Formát hodnoty: urn:publisher:offer:sku. Příklad: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
run_task_as_admin
Vyžadováno
bool

Určuje, jestli má úloha běžet s oprávněními správce.
target_compute_nodes
Vyžadováno
int

Pokud create_pool je hodnota True, označuje, kolik výpočetních uzlů se přidá do fondu.
vm_size
Vyžadováno
str

Pokud create_pool je hodnota True, označuje velikost virtuálního počítače výpočetních uzlů.
source_directory
Vyžadováno
str

Místní složka, která obsahuje binární soubory modulu, spustitelný soubor, sestavení atd.
executable
Vyžadováno
str

[Povinné] Název příkazu nebo spustitelného souboru, který se spustí jako součást úlohy.
arguments
Vyžadováno
list

Argumenty pro příkaz nebo spustitelný soubor.
inputs
Vyžadováno
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Seznam vazeb vstupních portů Před spuštěním úlohy se pro každý vstup vytvoří složka. Soubory pro každý vstup se zkopírují z úložiště do příslušné složky na výpočetním uzlu. Pokud je například vstupní název input1 a relativní cesta k úložišti je some/relative/path/that/can/be/really/long/inputfile.txt, pak cesta k souboru ve výpočetním prostředí bude : ./input1/inputfile.txt. V případě, že je název vstupu delší než 32 znaků, zkrátí se a připojí s jedinečnou příponou, aby se název složky mohl úspěšně vytvořit na výpočetním prostředí.
outputs
Vyžadováno
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Seznam výstupních vazeb portů. Podobně jako u vstupů se před spuštěním úlohy vytvoří složka pro každý výstup. Název složky bude stejný jako název výstupu. Předpokladem je, že úloha bude mít výstup do této složky.
allow_reuse
Vyžadováno
bool

Určuje, jestli má krok znovu použít předchozí výsledky při opětovném spuštění se stejným nastavením. Opakované použití je ve výchozím nastavení povolené. Pokud obsah kroku (skripty/závislosti) i vstupy a parametry zůstanou beze změny, výstup z předchozího spuštění tohoto kroku se znovu použije. Při opakovaném použití kroku se místo odeslání úlohy k výpočtu okamžitě zpřístupní výsledky z předchozího spuštění všem dalším krokům. Pokud jako vstupy použijete datové sady Azure Machine Learning, opakované použití závisí na tom, jestli se změnila definice datové sady, a ne na tom, jestli se změnila podkladová data.
compute_target
Vyžadováno
BatchCompute, str

[Povinné] Výpočetní prostředí BatchCompute, ve kterém se úloha spouští.
version
Vyžadováno
str

Volitelná značka verze, která označuje změnu funkcí modulu.

Poznámky

Následující příklad ukazuje, jak používat AzureBatchStep v kanálu služby Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Metody

create_node

Vytvořte uzel z kroku AzureBatch a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node

Vytvořte uzel z kroku AzureBatch a přidejte ho do zadaného grafu.

Tato metoda není určena k přímému použití. Když se vytvoří instance kanálu pomocí tohoto kroku, Azure ML automaticky předává požadované parametry prostřednictvím této metody, aby se tento krok mohl přidat do grafu kanálu, který představuje pracovní postup.

create_node(graph, default_datastore, context)

Parametry

Name Description
graph
Vyžadováno
Graph

Objekt grafu, do který se má uzel přidat.
default_datastore
Vyžadováno
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Výchozí úložiště dat.
context
Vyžadováno
<xref:azureml.pipeline.core._GraphContext>

Kontext grafu.

Návraty

Typ Description
Node

Vytvořený uzel.