Parametrizar os fluxos de dados de mapeamento

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

O mapeamento de fluxos de dados no Azure Data Factory e nos pipelines Synapse dá suporte ao uso de parâmetros. Defina parâmetros dentro de sua definição de fluxo de dados e use-os em todas as suas expressões. Os valores dos parâmetros são definidos pelo pipeline de chamada por meio da atividade Executar fluxo de dados. Você tem três opções para definir os valores nas expressões de atividade de fluxo de dados:

• Use a linguagem de expressão de fluxo de controle de pipeline para definir um valor dinâmico
• Usar a linguagem de expressão de fluxo de dados para definir um valor dinâmico
• Use qualquer linguagem de expressão para definir um valor literal estático

Use esse recurso para tornar seus fluxos de dados de uso geral, flexíveis e reutilizáveis. Você pode parametrizar configurações e expressões de fluxo de dados com esses parâmetros.

Criar parâmetros em um fluxo de dados de mapeamento

Para adicionar parâmetros ao seu fluxo de dados, clique na parte em branco da tela de fluxo de dados para ver as propriedades gerais. No painel de configurações, você verá uma guia chamada Parâmetro. Selecione Novo para gerar um novo parâmetro. Para cada parâmetro, você deve atribuir um nome, selecionar um tipo e, opcionalmente, definir um valor padrão.

Usar parâmetros em um fluxo de dados de mapeamento

Os parâmetros podem ser referenciados em qualquer expressão de fluxo de dados. Os parâmetros começam com $ e são imutáveis. você encontrará a lista de parâmetros disponíveis dentro do Construtor de Expressões na guia Parâmetros .

Você pode adicionar rapidamente parâmetros adicionais selecionando Novo parâmetro e especificando o nome e o tipo.

Usando serviços vinculados parametrizados em um fluxo de dados de mapeamento

Os serviços vinculados parametrizados podem ser usados em um fluxo de dados de mapeamento (para tipos de fonte de conjunto de dados ou embutidos).

Para o tipo de fonte embutida, os parâmetros de serviço vinculados são expostos nas configurações de atividade de fluxo de dados dentro do pipeline, conforme mostrado abaixo.

Para o tipo de fonte do conjunto de dados, os parâmetros de serviço vinculados são expostos diretamente na configuração do conjunto de dados.

Atribuir valores de parâmetro a partir de um pipeline

Depois de criar um fluxo de dados com parâmetros, você pode executá-lo a partir de um pipeline com a Executar atividade de fluxo de dados. Depois de adicionar a atividade à tela do pipeline, você verá os parâmetros de fluxo de dados disponíveis na guia Parâmetros da atividade.

Ao atribuir valores de parâmetro, você pode usar a linguagem de expressão de pipeline ou a linguagem de expressão de fluxo de dados com base em tipos de faísca. Cada fluxo de dados de mapeamento pode ter qualquer combinação de pipeline e parâmetros de expressão de fluxo de dados.

Parâmetros de expressão de pipeline

Os parâmetros de expressão do pipeline permitem fazer referência a variáveis do sistema, funções, parâmetros do pipeline e variáveis semelhantes a outras atividades do pipeline. Quando você clica em Expressão de pipeline, um painel de navegação lateral é aberto permitindo que você insira uma expressão usando o construtor de expressões.

Quando referenciados, os parâmetros de pipeline são avaliados e, em seguida, seu valor é usado na linguagem de expressão de fluxo de dados. O tipo de expressão de pipeline não precisa corresponder ao tipo de parâmetro de fluxo de dados.

Literais de cadeia de caracteres vs expressões

Ao atribuir um parâmetro de expressão de pipeline do tipo string, por padrão, as aspas serão adicionadas e o valor será avaliado como um literal. Para ler o valor do parâmetro como uma expressão de fluxo de dados, marque a caixa de expressão ao lado do parâmetro.

Se o parâmetro stringParam de fluxo de dados fizer referência a um parâmetro de pipeline com valor upper(column1).

• Se a expressão estiver marcada, $stringParam avalia para o valor de coluna1 todas as letras maiúsculas.
• Se a expressão não estiver marcada (comportamento padrão), $stringParam avalia como 'upper(column1)'

Passagem em carimbos de data/hora

Na linguagem de expressão de pipeline, variáveis de sistema como pipeline().TriggerTime e funções como utcNow() carimbos de data/hora de retorno como cadeias de caracteres no formato 'aaaa-MM-dd'T'HH:mm:ss. SSSSSSZ». Para convertê-los em parâmetros de fluxo de dados do tipo carimbo de data/hora, use a interpolação de cadeia de caracteres para incluir o carimbo de data/hora desejado em uma toTimestamp() função. Por exemplo, para converter o tempo de gatilho do pipeline em um parâmetro de fluxo de dados, você pode usar toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS').

Exemplo de parâmetro de pipeline

Digamos que você tenha um parâmetro intParam inteiro que esteja fazendo referência a um parâmetro de pipeline do tipo String, @pipeline.parameters.pipelineParam.

@pipeline.parameters.pipelineParam é atribuído um valor de abs(1) at runtime.

Quando $intParam é referenciado em uma expressão, como uma coluna derivada, ele avaliará abs(1) o retorno 1.

Parâmetros de expressão de fluxo de dados

Selecione Expressão de fluxo de dados abrirá o construtor de expressões de fluxo de dados. Você poderá fazer referência a funções, outros parâmetros e qualquer coluna de esquema definida em todo o seu fluxo de dados. Esta expressão será avaliada como está quando referenciada.

Passando um nome de coluna como parâmetro

Um padrão comum é passar um nome de coluna como um valor de parâmetro. Se a coluna for definida no esquema de fluxo de dados, você poderá fazer referência a ela diretamente como uma expressão de cadeia de caracteres. Se a coluna não estiver definida no esquema, use a byName() função. Lembre-se de converter a coluna para o tipo apropriado com uma função de fundição, como toString().

Por exemplo, se você quiser mapear uma coluna de cadeia de caracteres com base em um parâmetro columnName, poderá adicionar uma transformação de coluna derivada igual a toString(byName($columnName)).

Conteúdos relacionados

• Executar atividade de fluxo de dados
• Expressões de fluxo de controle