AdlaStep Clase

  • Referencia

Crea un paso de Azure ML Pipeline para ejecutar un script U-SQL con Azure Data Lake Analytics.

Para obtener un ejemplo del uso de este AdlaStep, consulte el cuaderno https://aka.ms/pl-adla.

Cree un paso de canalización de Azure ML para ejecutar un script U-SQL con Azure Data Lake Analytics.

Herencia
azureml.pipeline.core._adla_step_base._AdlaStepBase
AdlaStep

Constructor

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parámetros

Nombre Description
script_name
Requerido
str

[Obligatorio] El nombre de un script U-SQL, relativo a source_directory.
name
str

Nombre del paso. Si no se especifica, se usa script_name.

Valor predeterminado: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Una lista de enlaces de puerto de entrada.

Valor predeterminado: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

Una lista de enlaces de puerto de salida.

Valor predeterminado: None
params
dict

Un diccionario de pares de nombre-valor.

Valor predeterminado: None
degree_of_parallelism
int

El grado de paralelismo que se va a usar en este trabajo. Debe ser mayor que 0. Si se establece en menor que 0, el valor predeterminado es 1.

Valor predeterminado: None
priority
int

El valor de prioridad que se usará en el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. El valor debe ser mayor que 0.

Valor predeterminado: None
runtime_version
str

La versión en tiempo de ejecución del motor de Data Lake Analytics.

Valor predeterminado: None
compute_target
AdlaCompute, str

[Obligatorio] El proceso de ADLA que se va a usar para este trabajo.

Valor predeterminado: None
source_directory
str

Una carpeta que contiene el script, los ensamblados, etc.

Valor predeterminado: None
allow_reuse
bool

Indica si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. La reutilización está habilitada de manera predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.

Valor predeterminado: True
version
str

Etiqueta de versión opcional para indicar un cambio en la funcionalidad del paso.

Valor predeterminado: None
hash_paths
list

EN DESUSO: ya no es necesario.

Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, se aplica un algoritmo hash al contenido de source_directory, excepto los archivos enumerados en .amlignore o .gitignore.

Valor predeterminado: None
script_name
Requerido
str

[Obligatorio] El nombre de un script U-SQL, relativo a source_directory.
name
Requerido
str

Nombre del paso. Si no se especifica, se usa script_name.
inputs
Requerido
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]

Lista de enlaces de puerto de entrada
outputs
Requerido
list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]

Una lista de enlaces de puerto de salida.
params
Requerido
dict

Un diccionario de pares de nombre-valor.
degree_of_parallelism
Requerido
int

El grado de paralelismo que se va a usar en este trabajo. Debe ser mayor que 0. Si se establece en menor que 0, el valor predeterminado es 1.
priority
Requerido
int

El valor de prioridad que se usará en el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. El valor debe ser mayor que 0.
runtime_version
Requerido
str

La versión en tiempo de ejecución del motor de Data Lake Analytics.
compute_target
Requerido
AdlaCompute, str

[Obligatorio] El proceso de ADLA que se va a usar para este trabajo.
source_directory
Requerido
str

Una carpeta que contiene el script, los ensamblados, etc.
allow_reuse
Requerido
bool

Indica si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. La reutilización está habilitada de manera predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.
version
Requerido
str

Una etiqueta de versión opcional para indicar un cambio en la funcionalidad del paso.
hash_paths
Requerido
list

EN DESUSO: ya no es necesario.

Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, se aplica un algoritmo hash al contenido de source_directory, excepto los archivos enumerados en .amlignore o .gitignore.

Comentarios

Puede usar la sintaxis @@name@@ en el script para hacer referencia a entradas, salidas y parámetros.

  • Si name es el nombre de un enlace de puerto de entrada o salida, las apariciones de @@name@@ en el script se reemplazan por la ruta de acceso de datos real de un enlace de puerto correspondiente.

  • Si name coincide con cualquier clave en params, en dict, las repeticiones de @@name@@ se reemplazarán por el valor correspondiente en dict.

AdlaStep solo funciona con los datos almacenados en la instancia de Data Lake Storage predeterminada de la cuenta de Data Lake Analytics. Si los datos están en un almacenamiento no predeterminado, use DataTransferStep para copiar los datos en el almacenamiento predeterminado. Para encontrar el almacenamiento predeterminado, abra la cuenta de Data Lake Analytics en Azure Portal y, a continuación, vaya al elemento "Orígenes de datos" en Configuración, en el panel izquierdo.

En el ejemplo siguiente se muestra cómo usar AdlaStep en una canalización de Azure Machine Learning.


   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

El ejemplo completo está disponible en https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb.

Métodos

create_node

Cree un nodo a partir del paso AdlaStep y agréguelo al grafo especificado.

No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con este paso, Azure ML pasa automáticamente los parámetros necesarios a través de este método para que ese paso se pueda agregar a un gráfico de canalización que represente el flujo de trabajo.

create_node

Cree un nodo a partir del paso AdlaStep y agréguelo al grafo especificado.

No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con este paso, Azure ML pasa automáticamente los parámetros necesarios a través de este método para que ese paso se pueda agregar a un gráfico de canalización que represente el flujo de trabajo.

create_node(graph, default_datastore, context)

Parámetros

Nombre Description
graph
Requerido
Graph

El objeto de grafo.
default_datastore
Requerido
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

El almacén de datos predeterminado.
context
Requerido
<xref:azureml.pipeline.core._GraphContext>

El contexto del grafo.

Devoluciones

Tipo Description
Node

El objeto de nodo.