Ejecución y desencadenadores de canalizaciones en Azure Data Factory o Azure Synapse Analytics

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Una ejecución de canalización en Azure Data Factory y Azure Synapse Analytics define una instancia de dicha ejecución. Por ejemplo, supongamos que tiene una canalización que se ejecuta las 8:00 a. m., 9:00 a. m. y 10:00 a. m. En este caso, hay tres ejecuciones independientes de la canalización o ejecuciones de canalización. Cada canalización ejecutar tiene un identificador de canalización único. El identificador de ejecución es un GUID que define de forma exclusiva una ejecución de canalización concreta.

Normalmente las instancias de ejecuciones de canalización se crean al pasar argumentos a parámetros que se definen en las canalizaciones. Puede ejecutar una canalización manualmente o mediante un desencadenador. En este artículo se proporcionan detalles sobre ambas maneras de ejecutar una canalización.

Creación de desencadenadores con la UI

Para desencadenar manualmente una canalización o configurar una nueva ventana programada, ventana de saltos de tamaño constante, evento de almacenamiento o desencadenador de eventos personalizados, seleccione Agregar desencadenador en la parte superior del editor de canalizaciones.

Si decide desencadenar manualmente la canalización, se ejecutará inmediatamente. De lo contrario, si elige Nuevo/Editar, se le pedirá que, en la ventana Agregar desencadenadores, elija un desencadenador existente para editarlo o que cree uno nuevo.

Verá la ventana de configuración del desencadenador, lo que le permite elegir el tipo de desencadenador.

Más adelante, puede obtener más información sobre los desencadenadores programados, de saltos de tamaño constante, de eventos de almacenamiento y de eventos personalizados.

Ejecución manual con JSON

La ejecución manual de una canalización también se conoce como ejecución a petición.

Por ejemplo, supongamos que tiene una canalización básica denominada copyPipeline que desea ejecutar. La canalización tiene una única actividad que copia de una carpeta de origen en Azure Blob Storage a una carpeta de destino en el mismo almacenamiento. En la siguiente definición de JSON se muestra esta canalización de ejemplo:

{
    "name": "copyPipeline",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                },
                "name": "CopyBlobtoBlob",
                "inputs": [
                    {
                        "referenceName": "sourceBlobDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "sinkBlobDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "parameters": {
            "sourceBlobContainer": {
                "type": "String"
            },
            "sinkBlobContainer": {
                "type": "String"
            }
        }
    }
}

En la definición de JSON, la canalización toma dos parámetros: sourceBlobContainer y sinkBlobContainer. Los valores se pasan a estos parámetros en tiempo de ejecución.

Ejecución manual con otras API o SDK

Puede ejecutar manualmente la canalización mediante uno de los métodos siguientes:

• .NET SDK
• Módulo de Azure PowerShell
• API DE REST
• SDK de Python

.NET SDK

La llamada de ejemplo siguiente muestra cómo ejecutar manualmente la canalización mediante el SDK de .NET:

client.Pipelines.CreateRunWithHttpMessagesAsync(resourceGroup, dataFactoryName, pipelineName, parameters)

Para obtener un ejemplo completo, vea Inicio rápido: Creación de una factoría de datos y una canalización con SDK de .NET.

Azure PowerShell

El comando de ejemplo siguiente muestra cómo ejecutar manualmente la canalización mediante Azure PowerShell:

Invoke-AzDataFactoryV2Pipeline -DataFactory $df -PipelineName "Adfv2QuickStartPipeline" -ParameterFile .\PipelineParameters.json -ResourceGroupName "myResourceGroup"

Los parámetros se pasan en el cuerpo de la carga de solicitud. En el SDK de .NET, Azure PowerShell y el SDK de Python, los valores se pasan en un diccionario que se pasa como argumento a la llamada:

{
  "sourceBlobContainer": "MySourceFolder",
  "sinkBlobContainer": "MySinkFolder"
}

La carga de respuesta es un identificador único de la ejecución de canalización:

{
  "runId": "0448d45a-a0bd-23f3-90a5-bfeea9264aed"
}

Para obtener un ejemplo completo, vea Inicio rápido: Creación de una factoría de datos de Azure PowerShell.

SDK de Python

Para obtener un ejemplo completo, consulte Inicio rápido: Crear una factoría de datos y una canalización mediante Python

REST API

El comando de ejemplo siguiente muestra cómo ejecutar manualmente la canalización mediante la API REST:

POST
https://management.azure.com/subscriptions/mySubId/resourceGroups/myResourceGroup/providers/Microsoft.DataFactory/factories/myDataFactory/pipelines/copyPipeline/createRun?api-version=2017-03-01-preview

Para obtener un ejemplo completo, vea Inicio rápido: Creación de una instancia de Azure Data Factory y una canalización mediante la API de REST.

Desencadenamiento de la ejecución con JSON

Los desencadenadores son otra forma de realizar una ejecución de canalización. Los desencadenadores representan una unidad de procesamiento que determina cuándo es necesario poner en marcha una ejecución de canalización. Actualmente, el servicio admite tres tipos de desencadenadores:

• Desencadenador de programación: un desencadenador que invoca una canalización en una programación de reloj.

• Desencadenador de ventana de saltos de tamaño constante: un desencadenador que opera en un intervalo periódico, mientras conserva también el estado.

• Desencadenador basado en eventos: un desencadenador que responde a un evento.

Las canalizaciones y los desencadenadores tienen una relación muchos a muchos (excepto el desencadenador periódico). Varios desencadenadores pueden dar comienzo a una única canalización o el mismo desencadenador puede iniciar varias canalizaciones. En la siguiente definición de un desencadenador, la propiedad pipelines hace referencia a una lista de canalizaciones que desencadena un desencadenador en particular. La definición de propiedad incluye los valores para los parámetros de la canalización.

Definición básica del desencadenador

{
    "properties": {
        "name": "MyTrigger",
        "type": "<type of trigger>",
        "typeProperties": {...},
        "pipelines": [
            {
                "pipelineReference": {
                    "type": "PipelineReference",
                    "referenceName": "<Name of your pipeline>"
                },
                "parameters": {
                    "<parameter 1 Name>": {
                        "type": "Expression",
                        "value": "<parameter 1 Value>"
                    },
                    "<parameter 2 Name>": "<parameter 2 Value>"
                }
            }
        ]
    }
}

Programación del desencadenador con JSON

Un desencadenador de programación ejecuta canalizaciones según una programación de reloj. Este desencadenador admite opciones de calendario periódicas y avanzadas. Por ejemplo, el desencadenador admite intervalos como "semanal" o "lunes a las 5:00 p. m. y jueves a las 9:00 p. m.". El desencadenador de programación es flexible porque el patrón de conjunto de datos es independiente y el desencadenador no distingue entre los datos de serie temporal y los datos que no son de serie temporal.

Para más información sobre los desencadenadores de programación y ejemplos, vea Creación de un desencadenador que ejecuta una canalización en una programación.

Definición de desencadenador de programación

Cuando se crea un desencadenador de programación, debe especificar la programación y periodicidad mediante una definición de JSON.

Para hacer que el desencadenador de programación dé inicio a una ejecución de canalización, incluya una referencia de canalización de la canalización en particular en la definición del desencadenador. Las canalizaciones y los desencadenadores tienen una relación de varios a varios. Varios desencadenadores pueden comenzar una única canalización. Un único desencadenador puede iniciar varias canalizaciones.

{
  "properties": {
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": <<Minute, Hour, Day, Week, Year>>,
        "interval": <<int>>, // How often to fire
        "startTime": <<datetime>>,
        "endTime": <<datetime>>,
        "timeZone": "UTC",
        "schedule": { // Optional (advanced scheduling specifics)
          "hours": [<<0-24>>],
          "weekDays": [<<Monday-Sunday>>],
          "minutes": [<<0-60>>],
          "monthDays": [<<1-31>>],
          "monthlyOccurrences": [
            {
              "day": <<Monday-Sunday>>,
              "occurrence": <<1-5>>
            }
          ]
        }
      }
    },
  "pipelines": [
    {
      "pipelineReference": {
        "type": "PipelineReference",
        "referenceName": "<Name of your pipeline>"
      },
      "parameters": {
        "<parameter 1 Name>": {
          "type": "Expression",
          "value": "<parameter 1 Value>"
        },
        "<parameter 2 Name>": "<parameter 2 Value>"
      }
    }
  ]}
}

Información general del esquema

En la tabla siguiente se muestra información general de los elementos del esquema más importantes relacionados con la periodicidad y la programación de un desencadenador:

Ejemplo de desencadenador de programación

{
  "properties": {
    "name": "MyTrigger",
    "type": "ScheduleTrigger",
    "typeProperties": {
      "recurrence": {
        "frequency": "Hour",
        "interval": 1,
        "startTime": "2017-11-01T09:00:00-08:00",
        "endTime": "2017-11-02T22:00:00-08:00"
      }
    },
    "pipelines": [{
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToBlobPipeline"
        },
        "parameters": {}
      },
      {
        "pipelineReference": {
          "type": "PipelineReference",
          "referenceName": "SQLServerToAzureSQLPipeline"
        },
        "parameters": {}
      }
    ]
  }
}

Valores predeterminados del esquema, límites y ejemplos

Propiedad startTime

En la tabla siguiente se muestra cómo la propiedad startTime controla una ejecución de desencadenador:

Veamos un ejemplo de lo que sucede cuando startTime se encuentra en el pasado, con periodicidad, pero sin programación. Suponga que la fecha actual es 2017-04-08 13:00, la hora de inicio es 2017-04-07 14:00, y la periodicidad es cada dos días. (El valor de recurrence se define estableciendo la propiedad frequency en "day" y la propiedad interval en 2). Tenga en cuenta que el valor de startTime se encuentra en el pasado y tiene lugar antes de la hora actual.

En estas condiciones, la primera ejecución será el 4 de septiembre de 2017 a las 14:00. El motor de Scheduler calcula las repeticiones de la ejecución desde la hora de inicio. Se descartan las instancias en el pasado. El motor utiliza la instancia siguiente que tiene lugar en el futuro. En este escenario, la hora de inicio es 2017-04-07 a las 2:00 p. m. La siguiente instancia es dos días a partir de ese momento, que es 2017-04-09 a las 2:00 p. m.

La hora de la primera ejecución es la misma si startTime es 2017-04-05 14:00 o 2017-04-01 14:00. Después de la primera ejecución, las ejecuciones posteriores se calculan mediante la programación. Por lo tanto, las ejecuciones siguientes se realizan el 2017-04-11 a las 2:00 p. m., luego el 2017-04-13 a las 2:00 p. m., después el 2017-04-15 a las 2:00 p. m. y así sucesivamente.

Finalmente, cuando las horas o los minutos no se establecen en el programa para un desencadenador, se utilizan las horas o minutos de la primera ejecución como valores predeterminados.

Propiedad schedule

Puede usar schedule para limitar el número de ejecuciones de desencadenadores. Por ejemplo, si un desencadenador con frecuencia mensual tiene un valor programado para ejecutarse solo el día 31, el desencadenador se ejecuta solo en los meses que tienen 31 días.

También puede usar schedule para expandir el número de ejecuciones de desencadenadores. Por ejemplo, un desencadenador con una frecuencia mensual programado para ejecutarse en los días primero y segundo del mes, se ejecuta el primer y segundo día del mes, en lugar de una vez al mes.

Si se especifican varios elementos de programación, el orden de evaluación es de la configuración de programación mayor a menor: número de semana, día del mes, día de la semana, hora y minuto.

En la siguiente tabla se describen los elementos de schedule con detalle:

Desencadenador de ventana de saltos de tamaño constante

Los desencadenadores de ventana de saltos de tamaño constante son un tipo de desencadenador que se activa en un intervalo de tiempo periódico a partir de una hora de inicio especificada, mientras conserva el estado. Las ventanas de saltos de tamaño constante son una serie de intervalos de tiempo de tamaño fijo, contiguos y que no se superponen.

Para más información sobre los desencadenadores de ventanas de saltos de tamaño constante y ejemplos, consulte Creación de un desencadenador de ventana de saltos de tamaño constante.

Ejemplos de programaciones de periodicidad del desencadenador

En esta sección se proporcionan ejemplos de programaciones de periodicidad. Se centra en el objeto schedule y sus elementos.

Los ejemplos asumen que el valor de interval es 1 y que el valor de frequency es correcto según la definición de la programación. Por ejemplo, no puede tener un valor de frequency de "day" y tener también una modificación de monthDays en el objeto schedule. Estos tipos de restricciones se describen en la tabla de la sección anterior.

Comparación de tipos de desencadenadores

El desencadenador de ventana de saltos de tamaño constante y el de programación funcionan con latidos de tiempo. ¿En qué se diferencian?

En la siguiente tabla se muestra una comparación entre el desencadenador de ventana de saltos de tamaño constante y el desencadenador de programación:

Desencadenador basado en eventos

Un desencadenador basado en eventos ejecuta canalizaciones en respuesta a un evento. Hay dos tipos de desencadenadores basados en eventos.

• El desencadenador de eventos de almacenamiento ejecuta una canalización con los eventos que ocurren en una cuenta de almacenamiento, como la llegada de un archivo o la eliminación de un archivo en la cuenta de Azure Blob Storage.
• El desencadenador de eventos personalizados procesa y administra artículos personalizados en Event Grid

Para obtener más información acerca de los desencadenadores basados en eventos, vea desencadenador de eventos de almacenamiento y desencadenador de eventos personalizados.

Contenido relacionado

Vea los siguientes tutoriales:

• Inicio rápido: Creación de una factoría de datos y una canalización con SDK de .NET.
• Creación de un desencadenador que ejecuta una canalización en una programación
• Creación de un desencadenador que ejecuta una canalización en una ventana de saltos de tamaño constante