Criar um gatilho que execute um pipeline em uma janela em cascata

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo fornece etapas para criar, iniciar e monitorar um gatilho de janela em cascata. Para obter informações gerais sobre gatilhos e os tipos com suporte, consulte Gatilhos e execução de pipeline.

Os gatilhos de janela em cascata são um tipo de gatilho acionado em um intervalo de tempo periódico a partir de uma hora de início especificada, enquanto mantém o estado. Os periódicos são uma série de intervalos de tempo de tamanho fixo, não sobrepostos e contíguos. Um gatilho de janela em cascata tem uma relação de um para um com um pipeline, e só pode fazer referência a um único pipeline.

Um gatilho periódico é uma alternativa mais pesada para um gatilho de agendamento. Ele oferece um conjunto de recursos para cenários complexos, como (dependência de outros gatilhos periódicos, nova execução de um trabalho com falha e configuração de repetição de usuário para pipelines). Para entender melhor a diferença entre um gatilho de agendamento e um gatilho periódico, confira Comparação de tipos de gatilhos.

Experiência do portal do Azure Data Factory e do Azure Synapse

1. Para criar um gatilho periódico no portal do Azure, selecione a guia Gatilhos e selecione Novo.
2. Depois que o painel de configuração do gatilho for aberto, selecione Periódico. Em seguida, defina as propriedades do gatilho periódico.
3. Quando terminar, selecione Salvar.

Propriedades do tipo de gatilho da janela em cascata

Uma janela em cascata tem as seguintes propriedades de tipo de gatilho:

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
        "runtimeState": "<<Started/Stopped/Disabled - readonly>>",
        "typeProperties": {
            "frequency": <<Minute/Hour>>,
            "interval": <<int>>,
            "startTime": "<<datetime>>",
            "endTime": <<datetime - optional>>,
            "delay": <<timespan - optional>>,
            "maxConcurrency": <<int>> (required, max allowed: 50),
            "retryPolicy": {
                "count": <<int - optional, default: 0>>,
                "intervalInSeconds": <<int>>,
            },
            "dependsOn": [
                {
                    "type": "TumblingWindowTriggerDependencyReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan - optional>>,
                    "referenceTrigger": {
                        "referenceName": "MyTumblingWindowDependency1",
                        "type": "TriggerReference"
                    }
                },
                {
                    "type": "SelfDependencyTumblingWindowTriggerReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan>>
                }
            ]
        },
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "parameter1": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter2": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter3": "https://mydemo.azurewebsites.net/api/demoapi"
            }
        }
    }
}

A seguinte tabela fornece uma visão geral de alto nível dos principais elementos JSON relacionados à recorrência e ao agendamento de um gatilho periódico.

Variáveis do sistema WindowStart e WindowEnd

Você pode usar as variáveis de sistema WindowStart e WindowEnd do gatilho periódico na definição do pipeline (ou seja, como parte de uma consulta). Passar as variáveis de sistema como parâmetros para o pipeline na definição de gatilho. O exemplo a seguir mostra como passar essas variáveis como parâmetros.

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
            ...
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "MyWindowStart": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "MyWindowEnd": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                }
            }
        }
    }
}

Para usar os valores das variáveis do sistema WindowStart e WindowEnd na definição do pipeline, use seus parâmetros MyWindowStart e MyWindowEnd de acordo.

Ordem de execução de janelas em um cenário de compensação

Se o gatilho startTime estiver no passado, com base na fórmula M=(CurrentTime- TriggerStartTime)/TumblingWindowSize, o gatilho gerará {M} execuções de provisionamento (passado) em paralelo, respeitando a simultaneidade do gatilho, antes de executar as execuções futuras. A ordem de execução das janelas é determinística, dos intervalos mais antigo aos mais recentes. Atualmente, esse comportamento não pode ser modificado.

Elementos TriggerResource existentes

Os pontos a seguir se aplicam à atualização de elementos TriggerResource existentes:

• O valor do elemento frequency (ou tamanho da janela) do gatilho, juntamente com o elemento interval, não poderá ser alterado após a criação do gatilho. Essa restrição é necessária para o funcionamento adequado de novas execuções de triggerRun e avaliações de dependência.
• Se o valor do elemento endTime do gatilho for alterado (por adição ou atualização), o estado das janelas que já estão sendo processadas não será redefinido. O gatilho respeitará o novo valor endTime. Se o novo valor endTime for anterior às janelas que já foram executadas, o gatilho será interrompido. Caso contrário, o gatilho será interrompido quando o novo valor endTime for encontrado.

Novas tentativas de pipelines atribuídas pelo usuário

No caso de falhas de pipeline, um gatilho periódico poderá tentar novamente a execução do pipeline referenciado automaticamente usando os mesmos parâmetros de entrada, sem intervenção do usuário. Use a propriedade retryPolicy na definição do gatilho para especificar essa ação.

Dependência de gatilho de janela em cascata

Se você quiser garantir que um gatilho de janela em cascata seja executado somente após a execução bem-sucedida de outro gatilho de janela em cascata na data factory, crie uma dependência de gatilho de janela em cascata.

Cancelar a execução do periódico

Você pode cancelar as execuções de um gatilho periódico se a janela específica estiver nos estados Aguardando, Aguardando dependência ou Executando:

• Se a janela estiver em um estado Em execução, cancele a Execução de Pipeline associada e a execução do gatilho será marcada como Cancelada posteriormente.
• Se a janela estiver em um estado Aguardando ou Aguardando dependência, você poderá cancelar a janela em Monitoramento.

Você também pode executar novamente uma janela cancelada. A nova execução usará as definições publicadas mais recentes do gatilho. As dependências da janela especificada serão reavaliadas após a nova execução.

Exemplo do Azure PowerShell e da CLI do Azure

Para monitorar execuções de gatilho e de pipeline no portal do Azure, consulte Monitorar execuções de pipeline.

Conteúdo relacionado

• Gatilhos e execução do pipeline
• Criar uma dependência de gatilho periódico
• Referenciar metadados de gatilho em execuções de pipeline