Microsoft Fabric イベント ストリーム - 概要

  • [アーティクル]

Microsoft Fabric リアルタイム インテリジェンス エクスペリエンスのイベント ストリーム機能を使用すると、リアルタイム イベントを Fabric に取り込み、それらを変換し、コードを記述せずにさまざまな宛先にルーティングできます (コードなし)。 Eventstream (Fabric の Eventstream 項目のインスタンス) を作成し、イベント データ ソースをストリームに追加し、必要に応じて、イベント データを変換する変換を追加してから、サポートされている宛先にデータをルーティングします。 さらに、Eventstream 項目で使用できる Apache Kafka エンドポイントを使用すると、Kafka プロトコルを使用してリアルタイム イベントを送信または使用できます。

Fabric にイベントを取り込む

イベント ストリーム機能には、サンプル データや Azure Event Hubs など、さまざまなソースからイベント データをフェッチするためのさまざまなソース コネクタが用意されています。 イベントストリームの作成時に拡張機能を有効にすると、さらに多くのソースを使用できます。

重要

Fabric イベント ストリームの拡張機能は現在プレビュー段階です。

ソース 説明
Azure Event Hubs Azure イベント ハブがある場合は、イベントストリーム を使用してイベント ハブ データを Microsoft Fabric に取り込むことができます。
Azure IoT Hub Azure IoT ハブがある場合は、イベントストリーム を使用して IoT データを Microsoft Fabric に取り込むことができます。
Azure SQL データベースの変更データ キャプチャ (CDC) Azure SQL データベース CDC ソース コネクタを使用すると、Azure SQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
PostgreSQL データベースの CDC PostgreSQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、PostgreSQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
MySQL Database CDC Azure MySQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、Azure Database for MySQL データベース内の現在のデータのスナップショットをキャプチャできます。 監視するテーブルを指定でき、eventstream はテーブルに対する将来の行レベルの変更を記録します。
Azure Cosmos DB の CDC Microsoft Fabric イベントストリーム用の Azure Cosmos DB Change Data Capture (CDC) ソースコネクタを使用すると、Azure Cosmos DB データベース内の現在のデータのスナップショットを取得できます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
VM DB 上の SQL Server (CDC) ファブリック イベント ストリーム用の SQL Server on VM DB (CDC) ソース コネクタを使用すると、VM 上の SQL Server データベース内の現在のデータのスナップショットをキャプチャできます。 その後、コネクタは、データに対する将来の行レベルの変更を監視して記録します。
Azure SQL Managed Instance CDC Microsoft Fabric イベント ストリーム用の Azure SQL Managed Instance CDC ソース コネクタを使用すると、SQL Managed Instance データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
Google Cloud Pub/Sub Google Pub/Sub は、イベントのストリームを公開してサブスクライブできるメッセージング サービスです。 Google Pub/Sub をソースとしてイベントストリームに追加して、リアルタイムイベントをキャプチャ、変換し、ファブリック内のさまざまな宛先にルーティングできます。
Amazon Kinesis Data ストリーム Amazon Kinesis Data ストリーム は、ストリーミング データ用に最適化された、非常にスケーラブルで耐久性の高いデータ インジェストおよび処理サービスです。 Amazon Kinesis Data ストリームをイベントストリーム内のソースとして統合することで、リアルタイムデータストリームをファブリック内の複数の宛先にルーティングする前にシームレスに処理できます。
Confluent Cloud Kafka Confluent Cloud Kafka は、Apache Kafka を使用した強力なデータ ストリーミングと処理機能を提供するストリーミング プラットフォームです。 Confluent Cloud Kafka をイベントストリーム内のソースとして統合することで、リアルタイム データ ストリームをシームレスに処理してから、Fabric 内の複数の宛先にルーティングできます。
Apache Kafka Apache Kafka は、スケーラブルでリアルタイムのデータ システムを構築するためのオープンソースの分散プラットフォームです。 Apache Kafka をイベントストリーム内のソースとして統合することで、Apache Kafka からリアルタイム イベントをシームレスに取り込み、それらを処理してから Fabric 内の複数の宛先にルーティングできます。
Amazon MSK Kafka Amazon MSK Kafka は、セットアップ、スケーリング、管理を簡素化するフル マネージドの Kafka サービスです。 Amazon MSK Kafka をイベントストリーム内のソースとして統合することで、MSK Kafka からのリアルタイム イベントをシームレスに取り込み、それを処理してから Fabric 内の複数の宛先にルーティングできます。 
Azure Blob Storage のイベント これらのイベントは、クライアントが BLOB REST API を呼び出して BLOB を作成、置換、または削除するときにトリガーされます。 コネクタを使用すると、Blob Storage イベントをリアルタイム ハブの Fabric イベントにリンクできます。 これらのイベントを連続データ ストリームに変換し、それらを変換してから、Fabric のさまざまな宛先にルーティングできます。
Fabric Workspace Item イベント Fabric ワークスペース項目イベントは、Fabric ワークスペースに変更が加えられたときに発生する個別の Fabric イベントです。 これらの変更には、Fabric アイテムの作成、更新、または削除が含まれます。 Fabric イベント ストリームを使用すると、これらの Fabric ワークスペース イベントをキャプチャし、それらを変換し、さらに分析するために Fabric のさまざまな宛先にルーティングできます。
サンプル データ サンプル データ ソースとして Bicycles、Yellow Taxi、または Stock Market イベントを選択して、イベントストリームの設定中にデータ インジェストをテストできます。
カスタム エンドポイント (すなわち、標準機能のカスタム アプリ) カスタム エンドポイント機能を使用すると、アプリケーションまたは Kafka クライアントは接続文字列を使用して イベントストリーム に接続できるため、イベントストリーム へのストリーミング データのスムーズな取り込みを可能にします。

コードなしのエクスペリエンスを使用してイベントを処理する

ドラッグ アンド ドロップ エクスペリエンスは、コードを一切記述することなく、イベント データの処理、変換、ルーティングのロジックを作成する直感的かつ簡単な方法を提供します。 イベントストリーム内のエンドツーエンドのデータ フロー図を使用すると、データ フローと構成を包括的に理解できます。 イベント プロセッサ エディターはコードなしのエクスペリエンスであり、イベント データ処理ロジックをドラッグ アンド ドロップで設計できます。

変換 説明
Assert フィルター変換を使用して、入力のフィールドの値に基づいてイベントをフィルター処理します。 データ型 (数値またはテキスト) に応じて、変換では選択した条件に一致する値が保持されます。
フィールドの管理 フィールドの管理変換では、入力または別の変換から受信するフィールドに対して、追加、削除、データ型の変更、または名前の変更を行うことができます。
集計 [集計] 変換を使用すると、一定期間内に新しいイベントが発生するたびに、集計 ([合計]、[最小]、[最大]、または [平均]) を計算できます。 この操作では、これらの計算列の名前を変更したり、データ内の他のディメンションに基づいて集計をフィルター処理またはスライスしたりすることもできます。 同じ変換に 1 つ以上の集計を含めることができます。
グループ化 グループ化変換を使用して、特定の時間ウィンドウ内のすべてのイベントの集計を計算します。 1 つまたは複数のフィールドの値でグループ化することができます。 これは集計変換で列の名前を変更できることに似ていますが、より多くの集計オプションが用意されており、より複雑な時間枠のオプションが含まれています。 集計と同様に、変換ごとに複数の集計を追加できます。
Union (結合) UNION 変換は、2 つ以上のノードを接続し、共有フィールド (名前とデータ型が同じ) を持つイベントを 1 つのテーブルに追加するために使用します。 一致しないフィールドは削除され、出力に含まれません。
Expand 配列の展開変換は、配列内の値ごとに新しい行を作成する場合に使用します。
Join 結合変換を使用して、2 つのストリーム間の一致条件に基づいて 2 つのストリームのデータを結合します。

イベントストリームの作成中に拡張機能を有効にした場合、変換操作はすべての変換先でサポートされます (派生ストリームは、カスタム エンドポイント、Reflection などの一部の宛先の中間ブリッジとして機能する)。 そうしないと、変換操作は、Lakehouse と Eventhouse (インジェスト前のイベント処理) の変換先でのみ使用できます。

イベントを転送先にルーティングする

Fabric イベント ストリーム機能では、サポートされている次の宛先へのデータの送信がサポートされています。

宛先 説明
カスタム エンドポイント (すなわち、標準機能のカスタム アプリ) この宛先を使用すると、リアルタイム イベントをカスタム エンドポイントに簡単にルーティングできます。 独自のアプリケーションをイベントストリームに接続し、リアルタイムでイベント データを使用できます。 この宛先は、Microsoft Fabric の外にある外部システムにリアルタイム データのエグレスを行いたい場合に便利です。
Eventhouse この変換先を使用すると、リアルタイムのイベント データを Eventhouse に取り込むことができます。ここでは、強力なKusto 照会言語 (KQL) を使用してデータのクエリと分析を行うことができます。 Eventhouse のデータを使用すると、イベント データに関するより深い洞察を得て、豊富なレポートとダッシュボードを作成できます。 インジェスト モードは、直接インジェストとインジェスト前イベント処理という 2 つから選択できます。
レイクハウス この宛先を使用すると、レイクハウスに取り込む前にリアルタイム イベントを変換できます。 リアルタイム イベントは、Delta Lake 形式に変換してから、指定されたレイクハウス テーブルに保存します。 この宛先は、データ ウェアハウスのシナリオをサポートします。
Reflex この宛先では、リアルタイム イベント データを直接 Reflex に接続できます。 Reflex は、データに接続し、条件を監視し、行動するために必要なすべての情報を含むインテリジェント エージェントの種類です。データが特定のしきい値に達したり、他のパターンに一致した場合、Reflex は自動的にユーザーへの警告や Power Automate ワークフローのキックオフなど、適切なアクションを実行します。
派生ストリーム 派生ストリームは、フィルターやフィールドの管理などのストリーム操作をイベントストリームに追加した後に作成できる特殊な種類の変換先です。 派生ストリームは、ストリーム処理の後に変換された既定のストリームを表します。 派生ストリームを Fabric の複数の宛先にルーティングし、リアルタイム ハブで派生ストリームを表示できます。

イベントストリーム内では複数の宛先をアタッチして、相互に干渉することなく、イベントストリームからデータを同時に受信できます。

Eventstream アイテムの概要を示すスクリーンショット。

Note

少なくとも 4 つの容量ユニット (SKU: F4) で Microsoft Fabric イベント ストリーム機能を使用することをお勧めします

Apache Kafka on Fabric イベント ストリーム

Fabric イベント ストリーム機能は、Eventstream 項目に Apache Kafka エンドポイントを提供し、ユーザーが Kafka プロトコルを介してストリーミング イベントに接続して使用できるようにします。 Apache Kafka プロトコルを使用して特定の Kafka トピックでストリーミング イベントを送信または使用するアプリケーションが既にある場合は、イベントストリームで提供される Kafka エンドポイントを指すように接続設定を更新するだけで、イベントストリーム内のストリーミング イベントを送信または使用するように同じアプリケーションを簡単に調整できます。

ファブリック イベント ストリーム機能は、フル マネージドのクラウド ネイティブ サービスである Azure Event Hubs を利用します。 イベントストリームが作成されると、イベント ハブ名前空間が自動的にプロビジョニングされ、プロビジョニング構成を必要とせずに既定のストリームにイベント ハブが割り当てられます。 Azure Event Hubs サービスの Kafka と互換性のある機能の詳細については、Apache Kafka 用 Azure Event Hubs に関するページを参照してください 。

イベントストリームにイベントを送信するための Kafka エンドポイントの詳細を取得する方法の詳細については、「イベントストリームにカスタム エンドポイント ソースを追加する」を参照 してください。また、eventstream からのイベントを使用する場合は、「カスタム エンドポイントの送信先を eventstream に追加する」を参照してください 。

強化された機能

イベントストリームの作成時に拡張機能 (プレビュー) オプションを有効にすると、その他の機能、ソース、および変換先を使用できます。 拡張機能 (プレビュー) タブと Standard 機能タブを使用して、強化された機能でサポートされる追加のソースと変換先について確認します。

拡張機能 (プレビュー) のその他の注目すべき機能をいくつか次に示します。

  • 編集モードとライブ ビュー。 ストリーム処理を視覚化および設計するための 2 つの異なるモードについて調べる。
  • 既定のストリームと派生ストリーム。 後でリアルタイム ハブで使用できるイベント プロセッサを使用して、設計した形式でストリームの連続フローを作成します。
  • コンテンツに基づくデータ ストリーム ルーティング。 イベント プロセッサで設計したデータ ストリーム コンテンツに基づいて、Fabric 内の任意の場所にデータ ストリームを変換してルーティングします。

関連するコンテンツ