Потоки событий Microsoft Fabric — обзор
Функция потоков событий в интерфейсе аналитики Microsoft Fabric в режиме реального времени позволяет перенести события реального времени в Fabric, преобразовать их и перенаправить их в различные назначения без написания кода (без кода). Вы создаете поток событий, который является экземпляром элемента Eventstream в Fabric, добавьте источники данных событий в поток, при необходимости добавьте преобразования для преобразования данных события, а затем перенаправьте данные в поддерживаемые назначения.
Перенос событий в Fabric
Функция потоков событий предоставляет различные соединители источника для получения данных о событиях из различных источников. При включении расширенных возможностей во время создания потока событий доступны дополнительные источники.
Внимание
Расширенные возможности потоков событий Fabric в настоящее время находятся в предварительной версии.
| Источники | Description |
|---|---|
| Центры событий Azure | Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream. |
| Центр Интернета вещей Azure | Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream. |
| База данных SQL Azure отслеживания измененных данных (CDC) | Соединитель источника CDC База данных SQL Azure позволяет записывать моментальный снимок текущих данных в базе данных SQL Azure. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Postgre База данных SQL CDC | Соединитель источника записи измененных данных (CDC) Postgre База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| My База данных SQL CDC | Соединитель источника отслеживания измененных данных Azure My База данных SQL позволяет записывать моментальный снимок текущих данных в базе данных База данных Azure для MySQL. Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы. |
| Azure Cosmos DB CDC | Соединитель источника отслеживания измененных данных Azure Cosmos DB для потоков событий Microsoft Fabric позволяет записать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| Google Cloud Pub/Sub | Google Pub/Sub — это служба обмена сообщениями, которая позволяет публиковать и подписываться на потоки событий. Вы можете добавить Google Pub/Sub в качестве источника в поток событий для отслеживания, преобразования и маршрутизации событий в режиме реального времени в различные места назначения в Fabric. |
| Потоки данных Amazon Kinesis | Amazon Kinesis Data Streams — это масштабируемая, высокопрочная прием данных и служба обработки, оптимизированная для потоковой передачи данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| события Хранилище BLOB-объектов Azure | Хранилище BLOB-объектов Azure события активируются при создании, замене или удалении большого двоичного объекта. Соединитель позволяет связать события хранилища BLOB-объектов с событиями Fabric в центре реального времени. Эти события можно преобразовать в непрерывные потоки данных и преобразовать их перед маршрутизацией в различные назначения в Fabric. |
| События элемента рабочей области Fabric | События элемента рабочей области Fabric — это дискретные события Fabric, которые происходят при внесении изменений в рабочую область Fabric. Эти изменения включают создание, обновление или удаление элемента Fabric. С помощью потоков событий Fabric можно записывать эти события рабочей области Fabric, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. |
| Пример данных | Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий. |
| Пользовательская конечная точка (т. е. настраиваемое приложение в стандартной возможности) | Функция пользовательской конечной точки позволяет приложениям или клиентам Kafka подключаться к Eventstream с помощью строка подключения, что позволяет плавно получать потоковые данные в Eventstream. |
Обработка событий с помощью интерфейса без кода
Интерфейс перетаскивания обеспечивает интуитивно понятный и простой способ создания обработки, преобразования и маршрутизации событий без написания кода. Сквозная схема потока данных в потоке событий позволяет получить полное представление о потоке данных и организации. Редактор обработчика событий — это интерфейс без кода, который позволяет перетаскивать и перетаскивать для разработки логики обработки данных событий.
| Преобразование | Description |
|---|---|
| Фильтр | Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию, например is null или is not null. |
| Управление полями | Преобразование "Управление полями" позволяет добавлять, удалять, изменять тип данных или переименовать поля, поступающие из входных данных или другого преобразования. |
| Агрегированное | Используйте преобразование "Агрегат" для вычисления агрегирования (суммы, минимального, максимального или среднего) при каждом возникновении нового события в течение определенного периода времени. Эта операция также позволяет переименовать эти вычисляемые столбцы и отфильтровать или срезы агрегирования на основе других измерений в данных. В одном или нескольких агрегатах можно выполнить одно или несколько агрегатов. |
| Группировать по | Используйте группу путем преобразования для вычисления агрегатов во всех событиях в течение определенного периода времени. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на преобразование "Агрегат" позволяет переименовать столбцы, но предоставляет дополнительные возможности агрегирования и включает более сложные параметры для временных окон. Например, агрегат можно добавить несколько агрегатов для каждого преобразования. |
| Объединение | Используйте преобразование Union для подключения двух или нескольких узлов и добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные. |
| Разверните | Используйте преобразование "Развернуть массив" для создания новой строки для каждого значения в массиве. |
| Присоединиться | Используйте преобразование Join для объединения данных из двух потоков на основе соответствующего условия между ними. |
Если вы включили расширенные возможности при создании потока событий, операции преобразования поддерживаются для всех назначений (с производным потоком, выполняющим роль промежуточного моста для некоторых назначений, таких как пользовательская конечная точка, Рефлектор). Если вы этого не сделали, операции преобразования доступны только для назначений Базы данных Lakehouse и KQL (обработка событий перед приемом).
Маршрутизация событий в места назначения
Функция потоков событий Fabric поддерживает отправку данных в следующие поддерживаемые назначения.
| Назначение | Description |
|---|---|
| Пользовательская конечная точка (т. е. настраиваемое приложение в стандартной возможности) | С помощью этого назначения можно легко направлять события в режиме реального времени в пользовательскую конечную точку. Вы можете подключить собственные приложения к потоку событий и использовать данные событий в режиме реального времени. Это назначение полезно, если требуется исходящие данные в режиме реального времени во внешнюю систему за пределами Microsoft Fabric. |
| База данных KQL | Это назначение позволяет получать данные событий в режиме реального времени в базу данных KQL, где можно использовать мощные язык запросов Kusto (KQL) для запроса и анализа данных. С помощью данных в базе данных Kusto вы можете получить более подробные сведения о данных о событиях и создавать расширенные отчеты и панели мониторинга. Перед приемом можно выбрать два режима приема: прямая прием и обработка событий. |
| Lakehouse | Это назначение дает возможность преобразовывать события в режиме реального времени перед приемом их в озеро. События в режиме реального времени преобразуются в формат Delta Lake, а затем хранятся в назначенных таблицах lakehouse. Это назначение поддерживает сценарии хранения данных. |
| Рефлекс | Это назначение позволяет напрямую подключать данные событий в режиме реального времени к Рефлектору. Рефлектор — это тип интеллектуального агента, который содержит всю информацию, необходимую для подключения к данным, отслеживания условий и действия. Когда данные достигают определенных пороговых значений или соответствуют другим шаблонам, Рефлектор автоматически принимает соответствующие действия, такие как оповещение пользователей или запуск рабочих процессов Power Automate. |
| Производный поток | Производный поток — это специализированный тип назначения, который можно создать после добавления операций потока, таких как фильтрация или управление полями, в поток событий. Производный поток представляет преобразованный поток по умолчанию после обработки потока. Вы можете перенаправить производный поток в несколько назначений в Fabric и просмотреть производный поток в концентраторе реального времени. |
Вы можете подключить несколько назначений в потоке событий, чтобы одновременно получать данные из потоков событий, не вмешиваясь друг в друга.
Примечание.
Рекомендуется использовать функцию потоков событий Microsoft Fabric с по крайней мере 4 единицами емкости (SKU: F4)
Расширенные возможности (предварительная версия)
При создании потока событий существуют дополнительные возможности, источники и назначения, доступные при включении параметра расширенных возможностей (предварительная версия ). Используйте вкладки расширенных возможностей (предварительная версия) и стандартные возможности, чтобы узнать о дополнительных источниках и назначениях, поддерживаемых расширенными возможностями.
Ниже приведены некоторые другие важные функции расширенных возможностей (предварительная версия):
- Изменение режима и динамического представления. Изучите два разных режима визуализации и проектирования потоковой обработки.
- Потоки по умолчанию и производные. Создайте непрерывный поток потоков с форматом, который вы разрабатываете, с обработчиком событий, который можно использовать позже в концентраторе реального времени.
- Маршрутизация потоков данных на основе содержимого. Преобразование и маршрутизация потоков данных в любом месте в Fabric на основе содержимого потока данных, разработанного с помощью обработчика событий.