Parallel Classe

  • Referência

Classe base para nó paralelo, utilizado para consumo paralelo de versões de componentes.

Não deve instanciar esta classe diretamente. Em vez disso, deve criar a partir da função de construtor: paralela.

Herança
azure.ai.ml.entities._builders.base_node.BaseNode
Parallel
azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin
Parallel

Construtor

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Parâmetros

component
<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>
Necessário

ID ou instância do componente/trabalho paralelo a executar para o passo

name
str
Necessário

Nome do paralelo

description
str
Necessário

Descrição da vírgula

tags
dict[str, str]
Necessário

Dicionário de etiquetas. As etiquetas podem ser adicionadas, removidas e atualizadas

properties
dict[str, str]
Necessário

O dicionário de propriedades da tarefa

display_name
str
Necessário

Nome a apresentar da tarefa

retry_settings
BatchRetrySettings
Necessário

A execução da tarefa paralela falhou ao tentar novamente

logging_level
str
Necessário

Uma cadeia do nome do nível de registo

max_concurrency_per_instance
int
Necessário

O paralelismo máximo que cada instância de computação tem

error_threshold
int
Necessário

O número de falhas de processamento de itens deve ser ignorado

mini_batch_error_threshold
int
Necessário

O número de falhas de processamento em mini lotes deve ser ignorado

task
ParallelTask
Necessário

A tarefa paralela

mini_batch_size
str
Necessário

Para entrada FileDataset, este campo é o número de ficheiros que um script de utilizador pode processar numa chamada run(). Para a entrada TabularDataset, este campo é o tamanho aproximado dos dados que o script de utilizador pode processar numa chamada run(). Os valores de exemplo são 1024, 1024 KB, 10 MB e 1 GB. (opcional, o valor predefinido é 10 ficheiros para FileDataset e 1MB para TabularDataset.) Este valor pode ser definido através de PipelineParameter

partition_keys
List
Necessário

As chaves utilizadas para particionar o conjunto de dados em mini-lotes. Se for especificado, os dados com a mesma chave serão particionados no mesmo mini-lote. Se forem especificados partition_keys e mini_batch_size, as chaves de partição entrarão em vigor. As entradas têm de ser conjuntos de dados particionados e o partition_keys tem de ser um subconjunto das chaves de cada conjunto de dados de entrada para que isto funcione.

input_data
str
Necessário

Os dados de entrada

inputs
dict
Necessário

Entradas do componente/trabalho

outputs
dict
Necessário

Saídas do componente/trabalho

Métodos

clear
copy
dump

Captura o conteúdo da tarefa num ficheiro no formato YAML.
fromkeys

Crie um novo dicionário com chaves iteráveis e valores definidos como valor.
get

Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.
items
keys
pop

Se a chave não for encontrada, devolva a predefinição se for fornecida; caso contrário, crie um KeyError.
popitem

Remova e devolva um par (chave, valor) como uma cadeia de identificação de 2 cadeias de identificação.

Os pares são devolvidos por ordem LIFO (último em, primeiro a sair). Levanta KeyError se o dict estiver vazio.
set_resources

Defina os recursos para a tarefa paralela.
setdefault

Insira a chave com um valor predefinido se a chave não estiver no dicionário.

Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.
update

Se E estiver presente e tiver um método .keys(), então faz: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então faz: para k, v em E: D[k] = v Em ambos os casos, este é seguido por: para k em F: D[k] = F[k]
values

clear 

clear() -> None.  Remove all items from D.

copy 

copy() -> a shallow copy of D

dump

Captura o conteúdo da tarefa num ficheiro no formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parâmetros

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Necessário

O caminho local ou o fluxo de ficheiros no qual escrever o conteúdo YAML. Se dest for um caminho de ficheiro, será criado um novo ficheiro. Se dest for um ficheiro aberto, o ficheiro será escrito diretamente.

kwargs
dict

Argumentos adicionais a transmitir para o serializador YAML.

Exceções

FileExistsError

Gerado se dest for um caminho de ficheiro e o ficheiro já existir.

IOError

Gerado se dest for um ficheiro aberto e o ficheiro não for gravável.

fromkeys

Crie um novo dicionário com chaves iteráveis e valores definidos como valor.

fromkeys(value=None, /)

Parâmetros

type
Necessário
iterable
Necessário
value
valor predefinido: None

get

Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.

get(key, default=None, /)

Parâmetros

key
Necessário
default
valor predefinido: None

items 

items() -> a set-like object providing a view on D's items

keys 

keys() -> a set-like object providing a view on D's keys

pop

Se a chave não for encontrada, devolva a predefinição se for fornecida; caso contrário, crie um KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Remova e devolva um par (chave, valor) como uma cadeia de identificação de 2 cadeias de identificação.

Os pares são devolvidos por ordem LIFO (último em, primeiro a sair). Levanta KeyError se o dict estiver vazio.

popitem()

set_resources

Defina os recursos para a tarefa paralela.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Parâmetros

instance_type
str ou list[str]

O tipo de instância ou uma lista de tipos de instância utilizados como suportados pelo destino de computação.

instance_count
int

O número de instâncias ou nós utilizados pelo destino de computação.

properties
dict

O dicionário de propriedades dos recursos.

docker_args
str

Argumentos adicionais para passar para o comando de execução do Docker.

shm_size
str

Tamanho do bloco de memória partilhada do contentor do Docker.

setdefault

Insira a chave com um valor predefinido se a chave não estiver no dicionário.

Devolver o valor da chave se a chave estiver no dicionário, caso contrário, predefinição.

setdefault(key, default=None, /)

Parâmetros

key
Necessário
default
valor predefinido: None

update

Se E estiver presente e tiver um método .keys(), então faz: para k em E: D[k] = E[k] Se E estiver presente e não tiver um método .keys(), então faz: para k, v em E: D[k] = v Em ambos os casos, este é seguido por: para k em F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values 

values() -> an object providing a view on D's values

Atributos

base_path

O caminho base do recurso.

Devoluções

O caminho base do recurso.

Tipo de retorno

str

component

Obtenha o componente da tarefa paralela.

Devoluções

O componente da tarefa paralela.

Tipo de retorno

str,
ParallelComponent

creation_context

O contexto de criação do recurso.

Devoluções

Os metadados de criação do recurso.

Tipo de retorno

Optional[SystemData]

id

O ID do recurso.

Devoluções

O ID global do recurso, um ID de Resource Manager do Azure (ARM).

Tipo de retorno

Optional[str]

inputs

Obtenha as entradas do objeto.

Devoluções

Um dicionário que contém as entradas do objeto.

Tipo de retorno

Dict[str, Union[Input, str, bool, int, float]]

log_files

Ficheiros de saída da tarefa.

Devoluções

O dicionário de nomes de registo e URLs.

Tipo de retorno

Optional[Dict[str, str]]

name

Obtenha o nome do nó.

Devoluções

O nome do nó.

Tipo de retorno

str

outputs

Obtenha as saídas do objeto.

Devoluções

Um dicionário que contém as saídas do objeto.

Tipo de retorno

Dict[str, Union[str, Output]]

resources

Obtenha a configuração de recursos para a tarefa paralela.

Devoluções

A configuração do recurso para a tarefa paralela.

Tipo de retorno

JobResourceConfiguration

retry_settings

Obtenha as definições de repetição para a tarefa paralela.

Devoluções

As definições de repetição da tarefa paralela.

Tipo de retorno

RetrySettings

status

O estado da tarefa.

Os valores comuns devolvidos incluem "Em Execução", "Concluído" e "Com Falhas". Todos os valores possíveis são:

  • NotStarted - Este é um estado temporário em que os objetos Run do lado do cliente estão antes da submissão da cloud.

  • A iniciar – a Execução começou a ser processada na cloud. O autor da chamada tem um ID de execução neste momento.

  • Aprovisionamento – a computação a pedido está a ser criada para uma determinada submissão de trabalho.

  • Preparação – o ambiente de execução está a ser preparado e encontra-se numa de duas fases:

    • Compilação da imagem do Docker

    • configuração do ambiente conda

  • Em fila – a tarefa está em fila de espera no destino de computação. Por exemplo, no BatchAI, a tarefa está num estado em fila

    enquanto aguarda que todos os nós pedidos estejam prontos.

  • Em execução – a tarefa começou a ser executada no destino de computação.

  • Finalização – a execução do código do utilizador foi concluída e a execução encontra-se em fases de pós-processamento.

  • CancelRequested - Foi pedido o cancelamento para a tarefa.

  • Concluído – a execução foi concluída com êxito. Isto inclui a execução do código do utilizador e a execução

    fases de pós-processamento.

  • Falha – a execução falhou. Normalmente, a propriedade Error numa execução irá fornecer detalhes sobre o motivo.

  • Cancelado – segue um pedido de cancelamento e indica que a execução foi cancelada com êxito.

  • NotResponding – para execuções com Heartbeats ativados, não foi enviado nenhum heartbeat recentemente.

Devoluções

Estado da tarefa.

Tipo de retorno

Optional[str]

studio_url

Ponto final do Azure ML Studio.

Devoluções

O URL para a página de detalhes da tarefa.

Tipo de retorno

Optional[str]

task

Obter a tarefa paralela.

Devoluções

A tarefa paralela.

Tipo de retorno

ParallelTask

type

O tipo de tarefa.

Devoluções

O tipo de tarefa.

Tipo de retorno

Optional[str]