MpiStep Classe

Cria uma etapa de pipeline do Azure ML para executar um trabalho de MPI.

Para obter um exemplo de como usar o MpiStep, confira o notebook https://aka.ms/pl-style-trans.

Crie uma etapa de pipeline do Azure ML para executar um trabalho de MPI.

PRETERIDO. Em vez disso, use CommandStep. Para obter um exemplo, consulte Como executar o treinamento distribuído em pipelines com CommandStep.

Herança

Construtor

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Parâmetros

Nome Description
name
str

[Obrigatório] O nome do módulo.

Valor padrão: None
source_directory
str

[Obrigatório] Uma pasta que contém o script Python, o ambiente do Conda e outros recursos usados na etapa.

Valor padrão: None
script_name
str

[Obrigatório] O nome de um script Python relativo a source_directory.

Valor padrão: None
arguments

[Obrigatório] Uma lista de argumentos de linha de comando.

Valor padrão: None
compute_target

[Obrigatório] Um destino de computação a ser usado.

Valor padrão: None
node_count
int

[Obrigatório] O número de nós no destino de computação usado para treinamento. Se for maior que 1, um trabalho distribuído de MPI executará. Apenas o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para os valores de PipelineParameter.

Valor padrão: None
process_count_per_node
int

[Obrigatório] O número de processos por nó. Se for maior que 1, um trabalho distribuído de MPI executará. Apenas o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para os valores de PipelineParameter.

Valor padrão: None
inputs

Uma lista de vinculações de porta de entrada.

Valor padrão: None
outputs

Uma lista de vinculações de porta de saída.

Valor padrão: None
params
Obrigatório

Um dicionário de pares nome-valor registrados como variáveis de ambiente com "AML_PARAMETER_".

allow_reuse

Indica se a etapa deve ou não reutilizar os resultados anteriores quando executada novamente com as mesmas configurações. A reutilização está habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), as entradas e os parâmetros permanecerem inalterados, será reutilizada a saída da execução anterior dessa etapa. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior serão disponibilizados imediatamente para etapas posteriores. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada dependendo de ter havido ou não alteração da definição do conjunto de dados, não de ter havido alteração dos dados subjacentes.

Valor padrão: True
version
str

Uma marca de versão opcional para denotar uma alteração na funcionalidade do módulo.

Valor padrão: None
hash_paths

PRETERIDO: não é mais necessário.

Uma lista de caminhos para hash ao verificar alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo de source_directory recebe o hash (exceto os arquivos listados em .amlignore ou .gitignore).

Valor padrão: None
use_gpu
Obrigatório

Indica se o ambiente para executar o experimento deve dar suporte a GPUs. Se True, uma imagem padrão do Docker baseada em GPU será usada no ambiente. Se False, uma imagem baseada em CPU será usada. As imagens do Docker (CPU ou GPU) padrão serão usadas somente se o parâmetro custom_docker_image não estiver definido. Essa configuração é usada apenas em destinos de computação habilitados para Docker.

use_docker
Obrigatório

Indica se o ambiente para executar o experimento deve ser baseado em Docker.

custom_docker_image
Obrigatório
str

O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base.

image_registry_details
Obrigatório

Os detalhes do registro de imagem do Docker.

user_managed
Obrigatório

Indica se o Azure ML reutiliza um ambiente Python existente; False significa que o Azure ML criará um ambiente Python com base na especificação de dependências do conda.

conda_packages
Obrigatório

Uma lista de cadeia de caracteres representando pacotes conda a serem adicionados ao ambiente do Python.

pip_packages
Obrigatório

Uma lista de cadeia de caracteres representando pacotes pip a serem adicionados ao ambiente do Python.

pip_requirements_file_path
Obrigatório
str

O caminho relativo para o arquivo de texto de requisitos de pip. Esse parâmetro pode ser especificado em combinação com o parâmetro pip_packages.

environment_definition
Obrigatório

A EnvironmentDefinition para o experimento. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção MpiStep pode ser definida usando o parâmetro environment_definition. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e erros serão relatados nessas combinações inválidas.

name
Obrigatório
str

[Obrigatório] O nome do módulo.

source_directory
Obrigatório
str

[Obrigatório] Uma pasta que contém o script Python, o ambiente do Conda e outros recursos usados na etapa.

script_name
Obrigatório
str

[Obrigatório] O nome de um script Python relativo a source_directory.

arguments
Obrigatório

[Obrigatório] Uma lista de argumentos de linha de comando.

compute_target
Obrigatório
<xref:azureml.core.compute.AmlComputeCompute>, str

[Obrigatório] Um destino de computação a ser usado.

node_count
Obrigatório
int

[Obrigatório] Número de nós no destino de computação usado para treinamento. Se for maior que 1, o trabalho distribuído de mpi será executado. Apenas o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para os valores de PipelineParameter.

process_count_per_node
Obrigatório
int

[Obrigatório] Número de processos por nó. Se for maior que 1, o trabalho distribuído de mpi será executado. Apenas o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para os valores de PipelineParameter.

inputs
Obrigatório

Uma lista de vinculações de porta de entrada.

outputs
Obrigatório

Uma lista de vinculações de porta de saída.

params
Obrigatório

Um dicionário de pares nome-valor registrados como variáveis de ambiente com ">>AML_PARAMETER_<<".

allow_reuse
Obrigatório

Indica se a etapa deve reutilizar os resultados anteriores quando a nova execução com os mesmos parâmetros permanecer inalterada, a saída da execução anterior desta etapa será reutilizado. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior serão disponibilizados imediatamente para etapas posteriores. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada dependendo de ter havido ou não alteração na definição do conjunto de dados, não de ter havido alteração nos dados subjacentes.

version
Obrigatório
str

Marca de versão opcional para indicar uma alteração na funcionalidade do módulo

hash_paths
Obrigatório

PRETERIDO: não é mais necessário.

Uma lista de caminhos para hash ao verificar alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo de source_directory recebe o hash (exceto os arquivos listados em .amlignore ou .gitignore).

use_gpu
Obrigatório

Indica se o ambiente para executar o experimento deve dar suporte a GPUs. Se True, uma imagem padrão do Docker baseada em GPU será usada no ambiente. Se False, uma imagem baseada em CPU será usada. As imagens do Docker (CPU ou GPU) padrão serão usadas somente se o parâmetro custom_docker_image não estiver definido. Essa configuração é usada apenas em destinos de computação habilitados para Docker.

use_docker
Obrigatório

Indica se o ambiente para executar o experimento deve ser baseado em Docker. custom_docker_image (str): o nome da imagem do docker da qual a imagem a ser usada para o trabalho mpi será criada. Se não é definido, uma imagem padrão baseada em CPU é usada como imagem base.

custom_docker_image
Obrigatório
str

O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base.

image_registry_details
Obrigatório

Os detalhes do registro de imagem do Docker.

user_managed
Obrigatório

Indica se o Azure ML reutiliza um ambiente Python existente; False significa que o Azure ML criará um ambiente Python com base na especificação de dependências do conda.

conda_packages
Obrigatório

Uma lista de cadeia de caracteres representando pacotes conda a serem adicionados ao ambiente do Python.

pip_packages
Obrigatório

Uma lista de cadeia de caracteres representando pacotes pip a serem adicionados ao ambiente do Python.

pip_requirements_file_path
Obrigatório
str

O caminho relativo para o arquivo de texto de requisitos de pip. Esse parâmetro pode ser especificado em combinação com o parâmetro pip_packages.

environment_definition
Obrigatório

A EnvironmentDefinition para o experimento. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção MpiStep pode ser definida usando o parâmetro environment_definition. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e erros serão relatados nessas combinações inválidas.