Chainer Classe
Representa um avaliador para treinamento em experimentos de Chainer.
PRETERIDO. Use o objeto ScriptRunConfig com seu próprio ambiente definido ou um dos ambientes selecionados do Chainer do Azure ML. Para ver uma introdução à configuração de execuções de experimento com ScriptRunConfig, confira Configurar e enviar as execuções de treinamento.
Versões com suporte: 5.1.0, 7.0.0
Inicialize um avaliador chainer.
- Herança
-
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimatorChainer
Construtor
Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Parâmetros
Nome | Description |
---|---|
source_directory
Obrigatório
|
Um diretório local que contém os arquivos de configuração do experimento. |
compute_target
Obrigatório
|
O destino de computação onde o treinamento ocorrerá. Pode ser um objeto ou a cadeia de caracteres "local". |
vm_size
Obrigatório
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores com suporte: qualquer tamanho de VM do Azure. |
vm_priority
Obrigatório
|
A prioridade da VM do destino de computação que será criada para o treinamento. Se não for especificada, será usada a 'dedicada'. Valores com suporte: 'dedicada' e 'de baixa prioridade'. Isso somente terá efeito quando o |
entry_script
Obrigatório
|
O caminho relativo para o arquivo que contém o script de treinamento. |
script_params
Obrigatório
|
Um dicionário de argumentos de linha de comando para passar para o script de treinamento especificado em |
node_count
Obrigatório
|
O número de nós no destino de computação usado para treinamento. Se for maior que 1, um trabalho distribuído de MPI executará. Apenas o destino AmlCompute tem suporte para trabalhos distribuídos. |
process_count_per_node
Obrigatório
|
O número de processos por nó. Se for maior que 1, um trabalho distribuído de MPI executará. Apenas o destino AmlCompute tem suporte para trabalhos distribuídos. |
distributed_backend
Obrigatório
|
O back-end de comunicação para treinamento distribuído. PRETERIDO. Use o parâmetro Valores com suporte: 'mpi'. 'mpi': MPI/Horovod Este parâmetro será necessário quando Quando |
distributed_training
Obrigatório
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end de MPI, use o objetoMpi para especificar |
use_gpu
Obrigatório
|
Especifica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se true, a imagem do Docker padrão baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens do Docker (CPU ou GPU) padrão serão usadas somente se o parâmetro |
use_docker
Obrigatório
|
Especifica se o ambiente para executar o experimento deve ser baseado em Docker. |
custom_docker_base_image
Obrigatório
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. PRETERIDO. Use o parâmetro Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base. |
custom_docker_image
Obrigatório
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base. |
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
user_managed
Obrigatório
|
Especifica se o Azure ML reutiliza um ambiente do Python existente. Se for false, o Azure ML criará um ambiente do Python com base na especificação de dependências de conda. |
conda_packages
Obrigatório
|
Uma lista de cadeia de caracteres representando pacotes conda a serem adicionados ao ambiente do Python para o experimento. |
pip_packages
Obrigatório
|
Uma lista de cadeia de caracteres representando pacotes de pip a serem adicionados ao ambiente do Python para o experimento. |
conda_dependencies_file_path
Obrigatório
|
O caminho relativo para o arquivo yaml de dependências conda.
Se especificado, o Azure ML não instalará pacotes relacionados à estrutura.
PRETERIDO. Use o parâmetro |
pip_requirements_file_path
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos de pip.
Isso pode ser fornecido em combinação com o parâmetro |
conda_dependencies_file
Obrigatório
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará pacotes relacionados à estrutura. |
pip_requirements_file
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos de pip.
Isso pode ser fornecido em combinação com o parâmetro |
environment_variables
Obrigatório
|
Um dicionário de valores e nomes de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. |
environment_definition
Obrigatório
|
A definição de ambiente para o experimento. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros à construção do Avaliador poderá ser definida usando esse parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente como |
inputs
Obrigatório
|
Uma lista de objetos DataReference ou DatasetConsumptionConfig para usar como entrada. |
source_directory_data_store
Obrigatório
|
O armazenamento de dados de suporte para compartilhamento de projeto. |
shm_size
Obrigatório
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não for definido, será usado o padrão azureml.core.environment._DEFAULT_SHM_SIZE. Para obter mais informações, consulte Referência de execução do Docker. |
resume_from
Obrigatório
|
O caminho de dados que contém o ponto de verificação ou os arquivos de modelo dos quais retomar o experimento. |
max_run_duration_seconds
Obrigatório
|
O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais do que esse valor. |
framework_version
Obrigatório
|
A versão do Chainer a ser usada para executar o código de treinamento.
|
source_directory
Obrigatório
|
Um diretório local que contém os arquivos de configuração do experimento. |
compute_target
Obrigatório
|
O destino de computação onde o treinamento ocorrerá. Pode ser um objeto ou a cadeia de caracteres "local". |
vm_size
Obrigatório
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores com suporte: qualquer tamanho de VM do Azure. |
vm_priority
Obrigatório
|
A prioridade da VM do destino de computação que será criada para o treinamento. Se não for especificado, o padrão será 'dedicado'. Valores com suporte: 'dedicada' e 'de baixa prioridade'. Isso entra em vigor somente quando o parâmetro vm_size é especificado na entrada. |
entry_script
Obrigatório
|
O caminho relativo para o arquivo que contém o script de treinamento. |
script_params
Obrigatório
|
Um dicionário de argumentos de linha de comando para passar para o script de treinamento especificado em |
node_count
Obrigatório
|
O número de nós no destino de computação usado para treinamento. Se for maior que 1, um trabalho distribuído de MPI executará. Apenas o destino AmlCompute tem suporte para trabalhos distribuídos. |
process_count_per_node
Obrigatório
|
O número de processos por nó. Se for maior que 1, um trabalho distribuído de MPI executará. Somente AmlCompute o destino de computação de destino tem suporte para trabalhos distribuídos. |
distributed_backend
Obrigatório
|
O back-end de comunicação para treinamento distribuído. PRETERIDO. Use o parâmetro Valores com suporte: 'mpi'. 'mpi': MPI/Horovod Este parâmetro será necessário quando Quando |
distributed_training
Obrigatório
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end de MPI, use o objetoMpi para especificar |
use_gpu
Obrigatório
|
Especifica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se true, uma imagem do Docker padrão baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens do Docker (CPU ou GPU) padrão serão usadas somente se o parâmetro |
use_docker
Obrigatório
|
Especifica se o ambiente para executar o experimento deve ser baseado em Docker. |
custom_docker_base_image
Obrigatório
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. PRETERIDO. Use o parâmetro Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base. |
custom_docker_image
Obrigatório
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem padrão baseada em CPU será usada como imagem base. |
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
user_managed
Obrigatório
|
Especifica se o Azure ML reutiliza um ambiente do Python existente. Se for false, o Azure ML criará um ambiente do Python com base na especificação de dependências de conda. |
conda_packages
Obrigatório
|
Uma lista de cadeia de caracteres representando pacotes conda a serem adicionados ao ambiente do Python para o experimento. |
pip_packages
Obrigatório
|
Uma lista de cadeia de caracteres representando pacotes de pip a serem adicionados ao ambiente do Python para o experimento. |
conda_dependencies_file_path
Obrigatório
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará pacotes relacionados à estrutura.
PRETERIDO. Use o parâmetro |
pip_requirements_file_path
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos de pip.
Isso pode ser fornecido em combinação com o parâmetro |
conda_dependencies_file
Obrigatório
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará pacotes relacionados à estrutura. |
pip_requirements_file
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos de pip.
Isso pode ser fornecido em combinação com o parâmetro |
environment_variables
Obrigatório
|
Um dicionário de valores e nomes de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. |
environment_definition
Obrigatório
|
A definição de ambiente para o experimento. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros à construção do Avaliador poderá ser definida usando esse parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente como |
inputs
Obrigatório
|
Uma lista de azureml.data.data_reference. Objetos DataReference a serem usados como entrada. |
source_directory_data_store
Obrigatório
|
O armazenamento de dados de suporte para compartilhamento de projeto. |
shm_size
Obrigatório
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não for definido, será usado o padrão azureml.core.environment._DEFAULT_SHM_SIZE. Para obter mais informações, consulte Referência de execução do Docker. |
resume_from
Obrigatório
|
O caminho de dados que contém o ponto de verificação ou os arquivos de modelo dos quais retomar o experimento. |
max_run_duration_seconds
Obrigatório
|
O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais do que esse valor. |
framework_version
Obrigatório
|
A versão do Chainer a ser usada para executar o código de treinamento.
|
_enable_optimized_mode
Obrigatório
|
Habilite a compilação de ambiente incremental com imagens de estrutura predefinidas para uma preparação de ambiente mais rápida. Uma imagem de estrutura predefinida é criada com base em imagens base de CPU/GPU padrão do Azure ML com dependências de estrutura pré-instaladas. |
_disable_validation
Obrigatório
|
Desabilite a validação de script antes de executar o envio. O padrão é True. |
_show_lint_warnings
Obrigatório
|
Mostrar avisos de lint de script. O padrão é False. |
_show_package_warnings
Obrigatório
|
Mostrar avisos de validação de pacote. O padrão é False. |
Comentários
Ao enviar um trabalho de treinamento, o Azure ML executa o script em um ambiente de conda em um contêiner do Docker. Os contêineres do Chainer têm as seguintes dependências instaladas.
Dependências | Chainer 5.1.0 | Chainer 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (somente imagem de GPU) | 9.0 | 9.0 | cuDNN (somente imagem de GPU) | 7.6.3 | 7.6.3 | NCCL (somente imagem de GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Mais Recente | Mais Recente | IntelMpi | 2018.3.222 | 2018.3.222 | horovod | 0.15.2 | 0.15.2 | miniconda | 4.5.11 | 4.5.11 | chainer | 5.1.0 | 7.0.0 | cupy-cuda90 (somente imagem de GPU) | 5.2.0 | 7.0.0 | git | 2.7.4 | 2.7.4 |
As imagens do Docker estendem o Ubuntu 16.04.
Para instalar dependências adicionais, é possível usar o parâmetro pip_packages
ou conda_packages
. Ou, você pode especificar o parâmetro pip_requirements_file
ou conda_dependencies_file
.
Como alternativa, você pode criar sua própria imagem e passar o parâmetro custom_docker_image
para o construtor avaliador.
Para obter mais informações sobre os contêineres do Docker usados no treinamento do Chainer, consulte https://github.com/Azure/AzureML-Containers.
Atributos
DEFAULT_VERSION
DEFAULT_VERSION = '5.1.0'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'Chainer'