Комплексный сценарий фабрики данных: введение и архитектура

Это руководство поможет ускорить процесс оценки фабрики данных в Microsoft Fabric, предоставив пошаговое руководство по полному сценарию интеграции данных в течение одного часа. В конце этого руководства вы узнаете о ценности и ключевых возможностях Фабрики данных и узнаете, как выполнить общий комплексный сценарий интеграции данных.

Обзор. Почему фабрика данных в Microsoft Fabric?

В этом разделе вы узнаете, как правило, роль Fabric и роль фабрики данных играет в ней.

Общие сведения о значении Microsoft Fabric

Microsoft Fabric предоставляет единый магазин для всех аналитических потребностей для каждого предприятия. Он охватывает полный спектр служб, включая перемещение данных, озеро данных, проектирование данных, интеграцию данных и обработку данных, аналитику в режиме реального времени и бизнес-аналитику. В Fabric нет необходимости объединять разные службы от нескольких поставщиков. Вместо этого пользователи получают комплексный, высоко интегрированный, единый и комплексный продукт, который легко понять, подключить, создать и работать.

Общие сведения о значении фабрики данных в Microsoft Fabric

Фабрика данных в Fabric объединяет простоту использования Power Query с масштабом и мощностью Фабрика данных Azure. Он объединяет лучшие из обоих продуктов в единый интерфейс. Цель заключается в том, чтобы убедиться, что Интеграция данных в фабрике хорошо работает как для граждан, так и для профессиональных разработчиков данных. Он предоставляет низкокодируемые возможности подготовки и преобразования с поддержкой ИИ, преобразования петабайтов, сотни соединителей с гибридным, многооблачными подключениями. Purview обеспечивает управление, а также функции корпоративного масштабирования data/Op, CI/CD, управление жизненным циклом приложений и мониторинг.

Общие сведения о трех ключевых функциях фабрики данных

• Прием данных: действие Copy в конвейерах позволяет перемещать данные петабайтов из сотен источников данных в Data Lakehouse для дальнейшей обработки.
• Преобразование и подготовка данных. Поток данных 2-го поколения предоставляет интерфейс низкого кода для преобразования данных с помощью преобразования данных 300+ с возможностью загрузки преобразованных результатов в несколько назначений, таких как базы данных SQL Azure, Lakehouse и многое другое.
• Сквозная автоматизация потока интеграции: конвейеры обеспечивают оркестрацию действий, включающих действия копирования, потока данных и записной книжки и многое другое. Это позволяет управлять действиями в одном месте. Действия в конвейере можно объединить в цепочку для последовательной работы, или они могут работать независимо друг от друга.

В этом комплексном варианте использования интеграции данных вы узнаете:

• Прием данных с помощью помощник копирования в конвейере
• Как преобразовать данные с помощью потока данных либо с интерфейсом без кода, либо путем написания собственного кода для обработки данных с помощью действия "Скрипт" или "Записная книжка"
• Как автоматизировать весь сквозной поток интеграции данных с помощью конвейера с триггерами и действиями гибкого потока управления.

Архитектура

В течение следующих 50 минут вам нужно выполнить комплексный сценарий интеграции данных. Это включает прием необработанных данных из исходного хранилища в бронзовую таблицу Lakehouse, обработку всех данных, перемещение ее в таблицу Gold data Lakehouse, отправку сообщения электронной почты, чтобы уведомить вас после завершения всех заданий, и, наконец, настройка всего потока для выполнения на запланированной основе.

Сценарий делится на три модуля:

• Модуль 1. Создание конвейера с фабрикой данных для приема необработанных данных из хранилища BLOB-объектов в таблицу Bronze в data Lakehouse.
• Модуль 2. Преобразование данных с помощью потока данных в фабрике данных для обработки необработанных данных из таблицы Bronze и перемещения их в таблицу Gold в Data Lakehouse.
• Модуль 3. Завершите первое путешествие по интеграции данных, чтобы отправить сообщение электронной почты, чтобы уведомить вас после завершения всех заданий и, наконец, настройте весь поток для выполнения на запланированной основе.

Пример набора данных NYC-Taxi используется в качестве источника данных для руководства. После завершения вы сможете получить представление о ежедневных скидках на тарифы на такси за определенный период времени с помощью фабрики данных в Microsoft Fabric.

Связанный контент

В этом кратком руководстве по первой интеграции данных с помощью Фабрики данных в Microsoft Fabric вы узнали:

Перейдите к следующему разделу, чтобы создать конвейер данных.