Erstellen eines Triggers zum Ausführen einer Pipeline für ein rollierendes Fenster

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Dieser Artikel enthält die Schritte zum Erstellen, Starten und Überwachen eines Triggers für rollierende Fenster. Allgemeine Informationen zu Triggern und unterstützten Triggertypen finden Sie unter Pipelineausführung und Trigger in Azure Data Factory.

Trigger für ein rollierendes Fenster werden ab einem angegebenen Startzeitpunkt in regelmäßigen Zeitintervallen ausgelöst, während der Zustand beibehalten wird. Bei rollierenden Fenstern handelt es sich um eine Reihe von nicht überlappenden, aneinandergrenzenden Zeitintervallen mit fester Größe. Ein Trigger für ein rollierendes Fenster hat eine 1:1-Beziehung zu einer Pipeline und kann nur auf eine einzelne Pipeline verweisen.

Ein Trigger mit rollierendem Fenster ist eine komplexere Alternative zu einem Plantrigger. Er bietet verschiedene Features für komplexe Szenarios wie die Abhängigkeit von anderen Triggern mit rollierendem Fenster, das erneute Ausführen eines fehlgeschlagenen Auftrags und das Einrichten der Benutzerwiederholung für Pipelines. Weitere Informationen zum Unterschied zwischen einem Plantrigger und einem Trigger mit rollierendem Fenster finden Sie unter Vergleich von Triggertypen.

Die Benutzerportale von Azure Data Factory und Azure Synapse

1. Zum Erstellen eines Triggers für ein rollierendes Fenster im Azure-Portal wählen Sie die Registerkarte Trigger und dann Neu aus.
2. Wählen Sie im Bereich zur Triggerkonfiguration Rollierendes Fenster aus. Definieren Sie dann die Eigenschaften des Triggers mit rollierendem Fenster.
3. Wählen Sie abschließend Speichern aus.

Triggertypeigenschaften eines rollierenden Fensters

Ein rollierendes Fenster weist die folgenden Triggertypeigenschaften auf:

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
        "runtimeState": "<<Started/Stopped/Disabled - readonly>>",
        "typeProperties": {
            "frequency": <<Minute/Hour>>,
            "interval": <<int>>,
            "startTime": "<<datetime>>",
            "endTime": <<datetime - optional>>,
            "delay": <<timespan - optional>>,
            "maxConcurrency": <<int>> (required, max allowed: 50),
            "retryPolicy": {
                "count": <<int - optional, default: 0>>,
                "intervalInSeconds": <<int>>,
            },
            "dependsOn": [
                {
                    "type": "TumblingWindowTriggerDependencyReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan - optional>>,
                    "referenceTrigger": {
                        "referenceName": "MyTumblingWindowDependency1",
                        "type": "TriggerReference"
                    }
                },
                {
                    "type": "SelfDependencyTumblingWindowTriggerReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan>>
                }
            ]
        },
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "parameter1": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter2": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter3": "https://mydemo.azurewebsites.net/api/demoapi"
            }
        }
    }
}

Die folgende Tabelle enthält eine allgemeine Übersicht über die wichtigsten JSON-Elemente im Zusammenhang mit der Wiederholung und Zeitplanung eines Triggers mit rollierendem Fenster:

Systemvariablen „WindowStart“ und „WindowEnd“

Sie können die Systemvariablen WindowStart und WindowEnd des Triggers mit rollierendem Fenster in Ihrer Pipelinedefinition (d.h. für einen Teil einer Abfrage) verwenden. Übergeben Sie die Systemvariablen als Parameter an Ihre Pipeline in der Trigger-Definition. Im folgenden Beispiel wird gezeigt, wie diese Variablen als Parameter übergeben werden.

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
            ...
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "MyWindowStart": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "MyWindowEnd": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                }
            }
        }
    }
}

Um die Werte der Systemvariablen WindowStart und WindowEnd in der Pipelinedefinition zu verwenden, verwenden Sie Ihre Parameter MyWindowStart bzw. MyWindowEnd.

Ausführungsreihenfolge von Fenstern in einem Abgleichsszenario

Wenn der startTime-Wert des Triggers in der Vergangenheit liegt, generiert der Trigger basierend auf der Formel „M=(CurrentTime- TriggerStartTime)/TumblingWindowSize“ {M} parallele Ausführungen von „backfill(past)“. Hierbei wird die Triggerparallelität berücksichtigt, bevor die zukünftigen Ausführungen erfolgen. Die Ausführungsreihenfolge für Fenster ist deterministisch, und die ältesten Intervalle werden zuerst ausgeführt. Dieses Verhalten kann derzeit nicht geändert werden.

Vorhandene TriggerResource-Elemente

Die folgenden Punkte gelten für die Aktualisierung bestehender TriggerResource-Elemente:

• Der Wert des frequency-Elements (oder die Fenstergröße) des Triggers sowie auch das interval-Element können nicht geändert werden, nachdem der Trigger erstellt wurde. Diese Einschränkung ist für die richtige Funktionsweise von erneuten triggerRun-Ausführungen sowie für Abhängigkeitsauswertungen erforderlich.
• Wenn der Wert des endTime-Elements des Triggers geändert wird (durch Hinzufügen oder Aktualisieren), wird der Zustand der bereits verarbeiteten Fenster nicht zurückgesetzt. Der Trigger berücksichtigt den neuen endTime-Wert. Wenn der neue endTime-Wert vor den bereits ausgeführten Fenstern liegt, wird der Trigger angehalten. Andernfalls wird der Trigger angehalten, sobald der neue endTime-Wert erreicht wird.

Benutzerseitig zugewiesene Pipelinewiederholungen

Bei Pipelineausfällen kann ein Trigger mit rollierendem Fenster versuchen, die Ausführung der referenzierten Pipeline automatisch ohne Benutzereingriff zu wiederholen, indem die gleichen Eingabeparameter verwendet werden. Verwenden Sie die retryPolicy-Eigenschaft in der Triggerdefinition, um diese Aktion anzugeben.

Triggerabhängigkeit für ein rollierendes Fenster

Wenn Sie sicherstellen möchten, dass ein Trigger für ein rollierendes Fenster erst nach der erfolgreichen Ausführung eines anderen Triggers für das rollierende Fenster ausgeführt wird, erstellen Sie eine Triggerabhängigkeit für das rollierende Fenster in der Data Factory.

Abbrechen der Ausführung eines rollierenden Fensters

Sie können Ausführungen eines Triggers mit rollierendem Fenster abbrechen, wenn sich das Fenster im Zustand Wartend, Auf Abhängigkeit warten oder Wird ausgeführt befindet.

• Wenn sich das Fenster im Zustand Wird ausgeführt befindet, brechen Sie die zugehörige Pipelineausführung ab. Danach wird die Triggerausführung als Abgebrochen markiert.
• Wenn sich das Fenster im Zustand Wartend oder im Zustand Auf Abhängigkeit warten befindet, können Sie das Fenster unter Überwachung abbrechen:

Sie können ein abgebrochenes Fenster auch erneut ausführen. Die erneute Ausführung übernimmt die neuesten veröffentlichten Definitionen des Triggers. Abhängigkeiten des angegebenen Fensters werden beim erneuten Ausführen erneut ausgewertet.

Beispiel für Azure PowerShell und die Azure CLI

Informationen zum Überwachen von Trigger- bzw. Pipelineausführungen im Azure-Portal finden Sie unter Überwachen der Pipelineausführungen.

Zugehöriger Inhalt

• Pipeline-Ausführung und Auslöser
• Erstellen einer Triggerabhängigkeit für ein rollierendes Fenster
• Verweisen auf Triggermetadaten in Pipelineausführungen