Criar expressões no mapeamento do fluxo de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

No mapeamento do fluxo de dados, muitas propriedades de transformação são inseridas como expressões. Essas expressões são compostas por valores de coluna, parâmetros, funções, operadores e literais que são avaliados para um tipo de dados do Spark em tempo de execução. O mapeamento de fluxos de dados tem uma experiência dedicada destinada a ajudá-lo a criar essas expressões chamadas Construtor de Expressões. Utilizando o autocompletar de código IntelliSense para realce, verificação de sintaxe e preenchimento automático, o construtor de expressões foi projetado para facilitar os fluxos de dados de criação. Este artigo explica como usar o construtor de expressões para criar efetivamente sua lógica de negócios.

Abrir o Construtor de Expressões

Há vários pontos de entrada para abrir o construtor de expressões. Tudo isso depende do contexto específico da transformação do fluxo de dados. O caso de uso mais comum é em transformações como coluna derivada e agregação , onde os usuários criam ou atualizam colunas usando a linguagem de expressão de fluxo de dados. O construtor de expressões pode ser aberto selecionando Abrir construtor de expressões acima da lista de colunas. Você também pode selecionar um contexto de coluna e abrir o construtor de expressões diretamente para essa expressão.

Em algumas transformações, como filtro, clicar em uma caixa de texto de expressão azul abre o construtor de expressões.

Quando você faz referência a colunas em uma condição de correspondência ou grupo por, uma expressão pode extrair valores de colunas. Para criar uma expressão, selecione Coluna computada.

Nos casos em que uma expressão ou um valor literal são entradas válidas, selecione Adicionar conteúdo dinâmico para criar uma expressão avaliada como um valor literal.

Elementos de expressão

No mapeamento de fluxos de dados, as expressões podem ser compostas por valores de coluna, parâmetros, funções, variáveis locais, operadores e literais. Essas expressões devem ser avaliadas para um tipo de dados do Spark, como string, booleano ou inteiro.

Funções

O mapeamento de fluxos de dados tem funções e operadores internos que podem ser usados em expressões. Para obter uma lista de funções disponíveis, consulte a referência de linguagem de fluxo de dados de mapeamento.

Funções definidas pelo usuário (visualização)

O mapeamento de fluxos de dados suporta a criação e o uso de funções definidas pelo usuário. Para ver como criar e usar funções definidas pelo usuário, consulte Funções definidas pelo usuário.

Índices de matriz de endereços

Quando você estiver lidando com colunas ou funções que retornam tipos de matriz, use colchetes ([]) para acessar um elemento específico. Se o índice não existir, a expressão será avaliada em NULL.

Esquema de entrada

Se o fluxo de dados usar um esquema definido em qualquer uma de suas fontes, você poderá fazer referência a uma coluna pelo nome em muitas expressões. Se você estiver utilizando desvio de esquema, poderá fazer referência a colunas explicitamente usando as byName() funções ou byNames() corresponder usando padrões de coluna.

Nomes de colunas com caracteres especiais

Quando você tiver nomes de coluna que incluam caracteres especiais ou espaços, coloque o nome entre chaves para fazer referência a eles em uma expressão.

{[dbo].this_is my complex name$$$}

Parâmetros

Parâmetros são valores que são passados para um fluxo de dados em tempo de execução a partir de um pipeline. Para fazer referência a um parâmetro, selecione o parâmetro na visualização Elementos de expressão ou faça referência a ele com um cifrão na frente de seu nome. Por exemplo, um parâmetro chamado parameter1 é referenciado por $parameter1. Para saber mais, consulte Parametrizando fluxos de dados de mapeamento.

Pesquisa em cache

Uma pesquisa em cache permite que você faça uma pesquisa embutida da saída de um coletor armazenado em cache. Há duas funções disponíveis para uso em cada pia, lookup() e outputs(). A sintaxe para fazer referência a essas funções é cacheSinkName#functionName(). Para obter mais informações, consulte coletores de cache.

lookup() Recebe as colunas correspondentes na transformação atual como parâmetros e retorna uma coluna complexa igual à linha correspondente às colunas de chave no coletor de cache. A coluna complexa retornada contém uma subcoluna para cada coluna mapeada no coletor de cache. Por exemplo, se você tinha um coletor errorCodeCache de cache de código de erro que tinha uma coluna de chave correspondente no código e uma coluna chamada Message. A chamada errorCodeCache#lookup(errorCode).Message retornaria a mensagem correspondente ao código passado.

outputs() não usa parâmetros e retorna todo o coletor de cache como uma matriz de colunas complexas. Isso não pode ser chamado se as colunas de chave forem especificadas no coletor e só deve ser usado se houver algumas linhas no coletor de cache. Um caso de uso comum é acrescentar o valor máximo de uma chave de incremento. Se uma única linha CacheMaxKey agregada em cache contiver uma coluna MaxKey, você poderá fazer referência ao primeiro valor chamando CacheMaxKey#outputs()[1].MaxKey.

Locals

Se você estiver compartilhando lógica em várias colunas ou quiser compartimentar sua lógica, poderá criar uma variável local. Um local é um conjunto de lógica que não é propagado a jusante para a seguinte transformação. Os locais podem ser criados dentro do construtor de expressões indo para Elementos de expressão e selecionando Locais. Crie um novo selecionando Criar novo.

Os locais podem fazer referência a qualquer elemento de expressão, incluindo funções, esquema de entrada, parâmetros e outros locais. Ao fazer referência a outros locais, a ordem importa, pois o local referenciado precisa estar "acima" do atual.

Para fazer referência a um local em uma transformação, selecione o local na exibição Elementos de expressão ou faça referência a ele com dois pontos na frente de seu nome. Por exemplo, um local chamado local1 seria referenciado por :local1. Para editar uma definição local, passe o mouse sobre ela na visualização de elementos de expressão e selecione o ícone de lápis.

Visualizar resultados da expressão

Se o modo de depuração estiver ativado, você poderá usar interativamente o cluster de depuração para visualizar o que sua expressão avalia. Selecione Atualizar ao lado da visualização de dados para atualizar os resultados da visualização de dados. Você pode ver a saída de cada linha dadas as colunas de entrada.

Interpolação de cadeias

Ao criar cadeias de caracteres longas que usam elementos de expressão, use a interpolação de cadeias de caracteres para criar facilmente uma lógica de cadeia de caracteres complexa. A interpolação de cadeias de caracteres evita o uso extensivo de concatenação de cadeias de caracteres quando os parâmetros são incluídos em cadeias de caracteres de consulta. Use aspas duplas para incluir texto de cadeia de caracteres literal junto com expressões. Você pode incluir funções de expressão, colunas e parâmetros. Para usar a sintaxe da expressão, coloque-a em chaves encaracoladas,

Alguns exemplos de interpolação de cordas:

• "My favorite movie is {iif(instr(title,', The')>0,"The {split(title,', The')[1]}",title)}"

• "select * from {$tablename} where orderyear > {$year}"

• "Total cost with sales tax is {round(totalcost * 1.08,2)}"

• "{:playerName} is a {:playerRating} player"

Comentar expressões

Adicione comentários às suas expressões usando a sintaxe de comentário de linha única e multilinha.

Os seguintes exemplos são comentários válidos:

• /* This is my comment */

• /* This is a

• multi-line comment */

Se você colocar um comentário na parte superior da expressão, ele aparecerá na caixa de texto de transformação para documentar suas expressões de transformação.

Expressões regulares

Muitas funções de linguagem de expressão usam sintaxe de expressão regular. Quando você usa funções de expressão regular, o Construtor de Expressões tenta interpretar uma barra invertida (\) como uma sequência de caracteres de escape. Quando você usa barras invertidas em sua expressão regular, coloque todo o regex em backticks (') ou use uma barra invertida dupla.

Um exemplo que usa backticks:

regex_replace('100 and 200', `(\d+)`, 'digits')

Um exemplo que usa barras duplas:

regex_replace('100 and 200', '(\\d+)', 'digits')

Atalhos de teclado

Abaixo está uma lista de atalhos disponíveis no construtor de expressões. A maioria dos atalhos do intellisense estão disponíveis ao criar expressões.

• Ctrl+K Ctrl+C: Comente toda a linha.
• Ctrl+K Ctrl+U: Descomente.
• F1: Forneça comandos de ajuda do editor.
• Alt+Tecla de seta para baixo: Mover a linha atual para baixo.
• Alt+Seta para cima: Mover a linha atual para cima.
• Ctrl+Barra de espaço: mostra ajuda de contexto.

Expressões mais usadas

Converter em datas ou carimbos de data/hora

Para incluir literais de cadeia de caracteres na saída do carimbo de data/hora, envolva a conversão em toString().

toString(toTimestamp('12/31/2016T00:12:00', 'MM/dd/yyyy\'T\'HH:mm:ss'), 'MM/dd /yyyy\'T\'HH:mm:ss')

Para converter milissegundos de época em um carimbo de data ou hora, use toTimestamp(<number of milliseconds>). Se o tempo estiver chegando em segundos, multiplique por 1.000.

toTimestamp(1574127407*1000l)

O "l" à direita no final da expressão anterior significa conversão para um tipo longo como sintaxe embutida.

Encontre tempo de época ou tempo Unix

toLong( currentTimestamp() - toTimestamp('1970-01-01 00:00:00.000', 'aaaa-MM-dd HH:mm:ss. SSS') * 1000l

Avaliação do tempo de fluxo de dados

O fluxo de dados processa até milissegundos. Para 2018-07-31T20:00:00.2170000, você verá 2018-07-31T20:00:00.217 na saída. No portal do serviço, o carimbo de data/hora está sendo mostrado na configuração atual do navegador, que pode eliminar 217, mas quando você executará o fluxo de dados de ponta a ponta, 217 (parte de milissegundos também é processada). Você pode usar toString(myDateTimeColumn) como expressão e ver dados de precisão total na visualização. Processe datetime como datetime em vez de string para todos os fins práticos.

Conteúdos relacionados

Comece a criar expressões de transformação de dados.