Atividade de validação nos pipelines do Azure Data Factory e do Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Você pode usar uma Validação em um pipeline para garantir que o pipeline só continue a execução depois de validar a referência do conjunto de dados anexado existir, atender aos critérios especificados ou atingir o tempo limite.

Criar uma atividade de validação com a interface do usuário

Para usar uma atividade de Validação em um pipeline, conclua as seguintes etapas:

  1. Procure Validação no painel Atividades do pipeline e arraste uma atividade de Validação para a tela do pipeline.
  2. Selecione a nova atividade Validação na tela, se ainda não estiver selecionada, e a guia Configurações para editar seus detalhes. A captura de tela mostra a interface do usuário de uma atividade de Validação.
  3. Selecione um conjunto de dados ou defina um novo selecionando o botão Novo. Para conjuntos de dados baseados em arquivos, como o exemplo de texto delimitado acima, você pode selecionar um arquivo específico ou uma pasta. Quando uma pasta é selecionada, a atividade Validação permite ignorar a validação da existência de itens filho na pasta ou exigir a existência ou não de itens filho.
  4. A saída da atividade de Validação pode ser usada como entrada para quaisquer outras atividades e referenciada dentro dessas atividades para qualquer uma de suas propriedades usando expressões dinâmicas.

Sintaxe


{
"name": "Validation_Activity",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_File",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"minimumSize": 20
}
},
{
"name": "Validation_Activity_Folder",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_Folder",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"childItems": true
}
}

Propriedades do tipo

Property Description Valores permitidos Necessário
nome Nome da atividade «Validação» Cadeia (de carateres) Sim
tipo Deve ser definido como Validação. Cadeia (de carateres) Sim
conjunto de dados A execução de blocos de atividade até que tenha validado que essa referência de conjunto de dados exista e que ela atenda aos critérios especificados ou que o tempo limite tenha sido atingido. O conjunto de dados fornecido deve suportar a propriedade "MinimumSize" ou "ChildItems". Referência do conjunto de dados Sim
tempo limite Especifica o tempo limite para a execução da atividade. Se nenhum valor for especificado, o valor padrão será 12 horas ("0.12:00:00"). O formato é d.hh:mm:ss String Não
dormir Um atraso de segundos entre as tentativas de validação. Se nenhum valor for especificado, o valor padrão será 10 segundos. Número inteiro Não
childItems Verifica se a pasta tem itens filho.
true: Valida a pasta existe e tem itens. Bloqueia até que pelo menos um item esteja presente na pasta ou o valor de tempo limite seja atingido.
false: Valida que a pasta existe e está vazia. Bloqueia até que a pasta esteja vazia ou até que o valor de tempo limite seja atingido. Se nenhum valor for especificado, a atividade será bloqueada até que a pasta exista ou até que o tempo limite seja atingido.		 Boolean Não
mínimoTamanho Tamanho mínimo de um ficheiro em bytes. Se nenhum valor for especificado, o valor padrão será 0 bytes Número inteiro Não

Conteúdos relacionados

Veja outras atividades de fluxo de controle suportadas: