Преобразование изменения строк в потоке данных для сопоставления

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Потоки данных доступны в конвейерах как Фабрики данных Azure, так и Azure Synapse. Эта статья относится к потокам данных для сопоставления. Если вы не знакомы с преобразованиями, см. вводную статью Преобразование данных с помощью потока данных для сопоставления.

Преобразование изменения строк позволяет задать для строк политики вставки, удаления, обновления и вставки с обновлением. В качестве выражений можно добавить условия "один ко многим". Эти условия должны быть указаны в порядке приоритета, так как каждая строка помечается политикой, соответствующей первому выражению сопоставления. Каждое из этих условий может вызвать вставку, обновление, удаление или вставку с обновлением одной или нескольких строк. С помощью инструкции изменения строк можно создавать в базе действия DDL и DML.

Изменение преобразований строк работает только с приемниками базы данных, REST или Azure Cosmos DB в потоке данных. Действия, назначенные строкам (вставка, обновление, удаление, upsert) не происходят во время сеансов отладки. Чтобы принять политики изменений строк в таблицах базы данных, выполните действие Execute Поток данных в конвейере.

Указание политики строк по умолчанию

Создайте преобразование изменения строк и укажите политику строк с условием true(). Каждая строка, которая не соответствует ранее определенным выражениям, помечается для указанной политики строк. По умолчанию каждая строка, которая не соответствует условному выражению, помечается для Insert.

Просмотр политик в режиме предварительного просмотра данных

Используйте режим отладки, чтобы в области просмотра данных изучить результаты применения политик изменения строк. Предварительный просмотр данных преобразования alter row не создает действия DDL или DML для целевого объекта.

Значок для каждой политики изменения строк указывает, происходит ли действие insert, update, upsert или deleted. Верхний заголовок показывает, сколько строк каждой политики влияет на предварительную версию..

Включение политик изменения строк в приемнике

Чтобы изменить политики строк для работы, поток данных должен записываться в базу данных или приемник Azure Cosmos DB. На вкладке Параметры для этого приемника укажите, какие политики изменения строк допустимы для этого приемника.

По умолчанию допускаются только политики вставки. Чтобы разрешить обновления, вставки с обновлением и (или) удаления, установите для приемника флажки, соответствующие этим условиям. Если вы разрешите операции обновления, вставки с обновлением и (или) удаления, необходимо указать в приемнике ключевые столбцы, по которым проверяется соответствие.

Чтобы преобразовать приемник, необходимо указать один или несколько ключей для уникальной идентификации строк в целевой базе данных. Для приемников SQL задайте ключи на вкладке параметров приемника. Для Azure Cosmos DB задайте ключ секции в параметрах и задайте в сопоставлении приемника поле системы Azure Cosmos DB .ID. Для Azure Cosmos DB необходимо включить системный столбец "ID" для обновлений, upserts и удаления.

Операции слияния и вставки с обновлением в Базе данных SQL Azure и Azure Synapse

Потоки данных поддерживают операции слияния для Базы данных SQL Azure и пула баз данных Azure Synapse (хранилище данных) с возможностью вставки с обновлением (upsert).

Однако вы можете столкнуться с сценариями, в которых схема целевой базы данных использовала свойство удостоверения ключевых столбцов. Служба требует определить ключи, используемые для сопоставления значений строк для обновлений и upserts. Но если целевой столбец имеет набор свойств удостоверения, и вы используете политику upsert, целевая база данных не позволяет записывать данные в столбец. Кроме того, могут возникнуть ошибки при попытке вставки с обновлением, которая затрагивает столбец распределения распределенной таблицы.

Устранить эту проблему можно следующими способами:

1. Откройте параметры преобразования для этого приемника и установите флажок Skip writing key columns (Пропустить запись ключевых столбцов). Это указывает службе не записывать столбец, выбранный в качестве ключевого значения для сопоставления.

2. Если этот ключевой столбец не является столбцом, вызывающим проблему для столбцов удостоверений, можно использовать параметр препроцессирования SQL преобразования приемника: SET IDENTITY_INSERT tbl_content ON Затем отключите его с помощью свойства SQL для пост-обработки: SET IDENTITY_INSERT tbl_content OFF.

3. Для обоих вариантов (с использованием свойства identity или столбца распределения) можно изменить логику, заменив Upsert отдельными условиями обновления и вставки через преобразование условного разбиения. Так вы можете задать для пути обновления сопоставление, в котором игнорируется сопоставление ключевых столбцов.

Скрипт потока данных

Синтаксис

<incomingStream>
    alterRow(
           insertIf(<condition>?),
           updateIf(<condition>?),
           deleteIf(<condition>?),
           upsertIf(<condition>?),
        ) ~> <alterRowTransformationName>

Пример

Ниже приведен пример преобразования изменения строк с именем CleanData. В примере принимается входящий поток SpecifyUpsertConditions и создается три условия изменения строк. В предыдущем преобразовании вычисляется столбец с именем alterRowCondition, который определяет, будет ли выполняться операция обновления, вставки с обновлением и (или) удаления в базе данных. Если значение столбца имеет строковое значение, соответствующее правилу alter row, оно назначается этой политике.

В пользовательском интерфейсе это преобразование выглядит следующим образом:

Скрипт потока данных для этого преобразования представлен в следующем фрагменте кода:

SpecifyUpsertConditions alterRow(insertIf(alterRowCondition == 'insert'),
	updateIf(alterRowCondition == 'update'),
	deleteIf(alterRowCondition == 'delete')) ~> AlterRow

Связанный контент

После преобразования Alter Row может потребоваться приемник данных в целевое хранилище данных.