Подготовка данных с помощью первичной обработки

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Первичная обработка данных на фабрике данных позволяет создать собственные гибридные запросы Power Query в ADF, а затем выполнять их в большом масштабе в пределах конвейера ADF.

Создание действия Power Query

Существует два способа создания Power Query в Фабрике данных Azure. Первый способ — на панели ресурсов фабрики нажать на значок "+" и выбрать Power Query.

Снимок экрана, демонстрирующий Power Query на панели

Другой способ доступен на панели действий на холсте конвейера. Откройте меню–гармошку Power Query и перетащите действие Power Query на холст.

Снимок экрана с выделенным параметром

Создание действия Power Query по первичной обработке данных

Добавьте Исходный набор данных для гибридного запроса Power Query. Можно выбрать существующий набор или создать новый. После сохранения mash-up можно создать конвейер, добавить действие обработки данных Power Query в конвейер и выбрать набор данных приемника, чтобы сообщить ADF, где приземлить данные. Хотя допускается выбор одного или нескольких исходных наборов данных, но в настоящее время разрешено указывать только один приемник. Набор данных приемника указывать необязательно, но требуется хотя бы один исходный набор данных.

Первичная обработка

Нажмите Создать, чтобы открыть редактор гибридных веб-запросов Power Query.

Сначала необходимо выбрать источник набора данных для редактора гибридных веб-приложений.

Источник

После завершения создания Power Query его можно сохранить, а затем создать конвейер. Необходимо добавить mashup в качестве действия в конвейер. Это происходит при создании или выборе набора данных приемника для посадки данных. Вы также можете задать свойства набора данных приемника, нажав вторую кнопку справа от приемника набора данных. Не забудьте изменить параметр секции в разделе "Оптимизация" на "Один раздел", если требуется получить только один выходной файл.

Приемник Power Query.

Создайте свою первичную обработку в Power Query с помощью подготовки данных без кода. Список доступных функций см. в статье о функциях преобразования. ADF преобразует сценарий M в сценарий потока данных, чтобы можно было выполнять запросы Power Query в большом масштабе с использованием потока данных Фабрики данных Azure в среде Spark.

Снимок экрана, на котором показан процесс разработки первичной обработки данных Power Query.

Выполнение и отслеживание действия Power Query по первичной обработке данных

Чтобы выполнить отладку конвейера для действия Power Query, нажмите Отладка на холсте конвейера. После публикации вашего конвейера Триггер будет выполнять запуск по требованию последнего опубликованного конвейера. Работу конвейеров Power Query можно планировать с помощью всех существующих триггеров Фабрики данных Azure.

Снимок экрана, показывающий добавление действия первичной обработки данных Power Query.

Перейдите на вкладку Монитор, чтобы визуализировать выходные данные выполнения запущенного триггером действия Power Query.

Снимок экрана, на котором показаны выходные данные выполнения запущенного действия первичной обработки данных Power Query.

Связанный контент

Дополнительные сведения о том, как создать поток данных для сопоставления.