Microsoft Fabric のリアルタイム インテリジェンスの新機能と計画内容
重要
リリース計画で説明されている機能は、まだリリースされていない場合があります。 提供タイムラインおよび予定されている機能は、変更される可能性、またはリリースされない可能性があります。 詳細については、「Microsoft ポリシー」をご覧ください。
リアルタイム インテリジェンスを使用すると、データの専門家、アナリスト、ビジネス ユーザーは、大規模で時間的に機密性の高い高度なデータを取り込み、処理、分析、変換、視覚化、および操作できるため、組織はより迅速かつ情報に基づくビジネス上の意思決定を行うことができます。 これはエンドツーエンドのエクスペリエンスであり、最初にデータを取り込む必要なく、リアルタイム データをシームレスに処理できます。 リアルタイム インテリジェンスは、既存のリアルタイム分析機能と Data Activator 機能に基づいて構築され、あらゆるスキル レベルのユーザーがリアルタイム データを最大限に活用しやすくする新機能を提供します。 これには、高い細分性でストリーミング データを取り込む、ストリーミング データを動的に変換する、リアルタイムでデータにクエリを実行してすぐに分析情報を得る、機器が過熱しているときに運用マネージャーにアラートを送信する、データ パイプラインが失敗したときにジョブを再実行するなどのアクションをトリガーすることが含まれます。
"リアルタイム" と呼ばれますが、真のビジネス価値を得るために、データが高速かつ大量に流れる必要はありません。 リアルタイム インテリジェンスを使用すると、スケジュールドリブンのソリューションではなく、イベントドリブンのソリューションが提供され、時間どおりに最善の決定を下せるようにします。
この強力なワークロードの背後には、リアルタイム ハブがあります。これは、Fabric、他の Microsoft データ ソース、および外部データ ソースからのイベント ストリーミング データを検出、管理、使用するための単一の場所です。 OneLake データ ハブと同様に、保存データを簡単に検出、管理、使用できます。リアルタイム ハブは、移動中のデータに対して同じ操作を行うのに役立ちます。 リアルタイム ハブを通過するすべてのイベントは、任意の Fabric データ ストアに簡単に変換およびルーティングでき、検出して使用できる新しいストリームを作成できます。
詳細については、リアルタイム インテリジェンスドキュメントを参照しお知らせブログをご覧ください。
リアルタイム インテリジェンスで使用できる項目は次のとおりです。
リアルタイム ハブ、Fabric、その他の Microsoft データ ソース、および外部データ ソースからのイベント ストリーミング データを検出、管理、使用するための 1 つの場所
コードを使わずにリアルタイム イベントを取り込み、変換し、さまざまな宛先にルーティングする Eventstream。
イベントハウスおよび KQL データベースは、移動中のデータを処理するのに理想的な分析エンジンです。 構造化データ、半構造化データ、非構造化データを含む時間ベースのストリーミング イベントに合わせて調整されています。 このデータはインジェスト時間に基づいて自動的にインデックスが作成され、パーティション分割されるため、高い粒度のデータに対して非常に高速で複雑な分析クエリ機能が得られます。 イベント ハウスに格納されているデータは、OneLake で、他の Fabric エクスペリエンスに使用させることができます。
データに対するクエリの実行、クエリ結果の表示、カスタマイズを行う KQL クエリセット。 KQL クエリセットを使うと、クエリを保存して後で使ったり、クエリをエクスポートして他のユーザーと共有したりできます。 これには、Power BI レポートを生成するオプションが含まれています。
タイルのコレクションを含むリアルタイム ダッシュボード。 各タイルには、基になるクエリと、データの探索、監視、フォレンジクスに最適な視覚的表現があります。
Data Activator はリアルタイム ハブ、Eventstream、リアルタイム ダッシュボード、KQL クエリセットと統合し、任意のパターンでのトリガーやリアルタイム データの変更をシームレスに実行します。
投資分野
Cosmos DB から Fabric Eventhouse への Azure Synapse Link
リリース予定のタイムライン: 2024 年第 3 四半期
お客様は、Cosmos DB から KQL データベースにすべての更新プログラムをストリーミングできるので、大規模で強力な分析が可能になります。
多変量異常検出
リリース予定のタイムライン: 2024 年第 3 四半期
Azure Anomaly Detector のマルチ可変テクノロジを、Fabric でネイティブに利用できるようになります。 Spark とノートブックを使用するか Eventhouses を使用して検出器をトレーニングし、新しいデータが到着するとリアルタイムで異常を検出します。
Eventhouse プラットフォームの監視
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
Eventhouse のログとメトリックにアクセスして、パフォーマンスを微調整し、問題のトラブルシューティングを行い、異常を特定します。 Eventhouse は、クエリ ログ、インジェスト メトリック、インジェスト エラー イベントをレポートします。 Eventhouse イベント ログとメトリック ログは、読み取り専用の KQL データベースに格納されます。 ユーザーは、KQL クエリセットとリアルタイム ダッシュボードを使用してイベントを分析できます。
Eventstream 項目の CI/CD サポート
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
お客様は、Fabric プラットフォームの統合された Git 統合とデプロイ エクスペリエンスを使用して、開発、テスト、運用の各ワークスペースで Eventstream のバージョン管理とデプロイを簡単に行うことができます。
その他のトリガー オプション
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
さまざまなビジネス条件を監視するためのさらなる要求に対処するために、Data Activator は、日付/時刻値、基本的な数学関数などをチェックするトリガーをサポートします。
待機時間の短いトリガー
リリース予定のタイムライン: 2024 年第 3 四半期
お客様からのフィードバックでは、トリガーは、指定された条件が満たされたときに迅速に対応する必要があると聞いています。 Data Activator は、単純な条件と少量のデータを含むシナリオで、待機時間の短いトリガーをサポートします。この機能は、この期間のプライベート プレビューになります。
KQL クエリセットにアラートを設定する
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
Data Activator は、KQL クエリセットで管理されるクエリの結果を監視し、通常のスケジュールでクエリを実行し、結果に基づいて動作することができます。
Kafka パブリック クラスター用の新しいストリーミング コネクタと、SQL Server DB CDC のインスタンスの追加
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
Kafka パブリック クラスターや SQL Server DB CDC など、イベントの取得エクスペリエンスを通じて追加のコネクタを使用できるようになります。
Eventstream とマネージド プライベート エンドポイントの統合
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
マネージド プライベート エンドポイントと統合することによって、ファイアウォールの背後にあるデータ ソースやパブリック インターネット アクセスからブロックされているデータ ソースへのセキュリティで保護されたプライベート アクセスが可能になり、アウトバウンド接続を介してデータを Fabric Eventstream にストリーミングできるようになります。
Eventhouse 宛先として Eventstreams をサポート
リリース予定のタイムライン: 2024 年第 3 四半期
リリースの種類: パブリック プレビュー
Eventstreams の宛先として Eventhouse がサポートされます。
KQL データベース エンティティの図
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
KQL DB エンティティとその関係 (テーブル、関数、具体化されたビューなど) の視覚的表現。
Webhook のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
Webhook は、さまざまなシナリオで使用できるアプリケーション統合の大規模なベースを表します。 Data Activator は、トリガーが発生したときに Webhook を呼び出すアクションをサポートします。
Fabric アクションと Webhook のトリガーでのパラメーターのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
Fabric ジョブを開始するか、Webhook を呼び出してアクションを実行するトリガーは、Reflex モデルのプロパティの値をパラメーターとしてジョブまたは Webhook に渡すことができます。
出荷済み機能
リアルタイム ダッシュボードでアラートを設定する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Data Activator は、Power BI と Eventstream データの監視に加えて、リアルタイム ダッシュボードに保存された KQL クエリに対する定期的なクエリをサポートします。 これらのクエリを使用すると、例外を返したり、時間の経過と同時に結果を追跡してデータの変更やしきい値の条件を検出したりできます。
移動中のすべてのデータのリアルタイム ハブ
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
リアルタイム ハブは、組織全体のすべてのデータインモーションのための単一の資産です。
リアルタイム ハブでイベント エクスペリエンスを取得する (18/24 の値を説明するように変更または削除)
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
データが新しいソース、既存のソース、ストリーム、または使用可能なイベントのいずれから取得されるかにかかわらず、Get イベント エクスペリエンスを使用すると、リアルタイム ハブ、Eventstream、Data Activator からさまざまなソースに直接接続できます。
Confluent Kafka、AWS Kinesis、PostgresSQL CDC などの新しいストリーミング コネクタ
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Microsoft のソースを超えて、ユーザーは Google Cloud、Amazon Kinesis、データベース変更データ キャプチャ ストリームなどの他のプラットフォームからデータをストリーミングできるようになりました。 新しいメッセージング コネクタを使用します。 Microsoft のメッセージング コネクタは、Kafka 接続と Camel Kafka コネクタを利用し、プラグ可能な宣言型データ統合フレームワークと、一般的なデータ プラットフォーム上の多様なソース接続の柔軟性、および変更データ キャプチャ (CDC) ストリームをフェッチするためにデータベースを接続できる Debezium を提供します。
Fabric システム イベントと Azure Storage イベントからの個別イベントの新しいソース
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
個別イベント (通知イベント) は、発生した重要なファクトであり、ダウンストリーム コンシューマー アプリケーション (サブスクライバー) で状態の変更またはアクションをトリガーします。 たとえば、注文システムでの OrderPlaced などのイベント、Azure ソースでの Blob Storage の変更、Fabric システムでの項目の変更などがあります。
強化された Eventstream のリアルタイム ハブからのソース
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Eventstream ホームページを使用すると、データの取り込みがさらに簡単になります。 [外部ソースの追加] をクリックすると、いくつかの手順でソースを設定するのに役立つイベントの取得ウィザードに、これらのソースが表示されます。 ソースを Eventstream に追加したら、それを発行して、Eventstream にデータをストリーミングできます。 Eventstream を個別ソースと共に使用して、より詳細な分析のためにイベントをストリームに変換します。 ストリームは、Lakehouse や KQL データベースなどのさまざまな Fabric データ宛先に送信できます。
Eventstream の編集モードとライブ モード
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Eventstream には、Eventstream の開発プロセスを柔軟に制御するための 2 つの異なるモード (編集とライブ) が用意されています。 拡張機能を有効にして新しい Eventstream を作成する場合は、それを編集モードで変更できます。 ここでは、ノーコード エディターを使用して、データ ストリームのストリーム処理操作を設計できます。 編集が完了したら、Eventstream を発行し、Eventstream によりデータのストリーミングと処理がライブ モードでどのように開始されるかを視覚化できます。
既定のストリームと派生ストリーム
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
既定のストリームと派生ストリームを含め、リアルタイム ハブ内に複数のストリームが一覧表示されます。 ストリーミング ソースが Eventstream に追加されると、既定のストリームが自動的に生成されます。 既定のストリームは、変換または分析の準備ができている生のイベント データをソースから直接取得します。 派生ストリーム: ユーザーが Eventstream 内の宛先として作成できる特殊なストリーム。 派生ストリームは、フィルター処理や集計などの一連の操作の後に作成でき、リアルタイム ハブを通じて組織内の他のユーザーがさらに使用したり分析したりできるようになります。
リアルタイム インテリジェンスのための Copilot
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Copilot を使用すると、自然言語でクエリを記述し、Kusto 照会言語 (KQL) に変換することができます。 Copilot を使用して、ハウツー クエリの質問、KQL データベース内のデータの探索、テーブル、関数、具体化されたビューなどの Kusto エンティティの作成を行うことができます。
リアルタイム ダッシュボード
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
ダッシュボードはタイルのコレクションであり、必要に応じてページ単位で編成され、各タイルには基になるクエリと視覚的表現があります。 Kusto 照会言語 (KQL) クエリをビジュアルとしてダッシュボードにネイティブにエクスポートし、後で基になるクエリとビジュアルの書式設定を必要に応じて変更できます。 この完全に統合されたダッシュボード エクスペリエンスは、データ探索の容易さに加えて、細分性の高い待機時間の短いデータに対する軽量で柔軟なモデリングにより、クエリと視覚化のパフォーマンスを向上させます。
Eventstream 内の宛先へのコンテンツ ベースのイベント ルーティング
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
コードなしのイベント プロセッサを Eventstream メイン キャンバスに取り込むことで、イベント プロセッサで定義されたイベント処理ロジックを使用して、イベント コンテンツに基づいてイベント データを宛先にルーティングできます。
Data Activator を使用してアクションとアラートを作成する
出荷済み (2024 年第 2 四半期)
この機能を使用すると、リアルタイム ダッシュボードに表示される KQL データベース データからアクションとアラートを実行するためのロー コード/コードなしのエクスペリエンスが提供されます。 Data Activator を使用すると、データ内のアクション可能なパターンを 1 か所で定義できます。 これらのパターンは、単純なしきい値 (値の超過など) から、時間の経過に伴うより複雑なパターン (値の急上昇など) まで多岐にわたります。 Data Activator は、アクション可能なパターンを検出すると、アクションをトリガーします。 そのアクションには、組織内の関連するユーザーに対するメールまたは Teams のアラートを指定できます。 また、Power Automate フローまたは組織のいずれかの基幹業務アプリのアクションを使用して、自動プロセスをトリガーすることもできます。
Eventstream フローを一時停止、停止、または再起動する
出荷済み (2024 年第 2 四半期)
この機能を使用すると、リアルタイムのイベント フローを一時停止、停止、または再起動できるため、開発フェーズ中に変換またはイベント フロー ロジックを反復処理できます。
Eventhouse
出荷済み (2024 年第 2 四半期)
リリースの種類: 一般提供
Eventhouse は、イベントベースのデータを管理および格納するために細心の注意を払って作成された最先端のデータベース ワークスペースであり、正式に一般使用できるようになりました。 Eventhouse を使用すると、ユーザーはビッグ データとリアルタイムのデータ クエリのハイ パフォーマンス分析を実行し、数十億のイベントを数秒で処理できます。 このプラットフォームを使用すると、ユーザーは 1 つの論理項目内のコンパートメント (データベース) にデータを整理でき、効率的なデータ管理が容易になります。 さらに、Eventhouse を使用すると、データベース間でコンピューティング リソースとキャッシュ リソースを共有し、リソース使用率を最大化できます。
イベントハウス OneLake の可用性
出荷済み (2024 年第 2 四半期)
リリースの種類: 一般提供
OneLake で Eventhouse のデータ可用性を有効にすると、お客様は両方のメリットを享受できるようになります。Eventhouse でハイ パフォーマンスかつ待機時間の短いでデータをクエリし、Power BI Direct Lake モード、Warehouse、Lakehouse、Notebooks などの他の Fabric エンジンを介して Delta Lake 形式で同じデータをクエリできます。
別の KQL データベースへのデータベース ショートカットを作成する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Eventhouse のデータベース ショートカットは、ソース データベースへの埋め込み参照です。 データベース ショートカットは読み取り専用モードでアタッチされるため、ソース KQL データベースに取り込まれたデータを取り込まずに、そのデータを表示したりクエリを実行したりできるようになります。 これは、チーム内または外部の顧客とデータをインプレースで共有できるデータ共有シナリオに役立ちます。
AI Anomaly Detector のサポート
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
AI Anomaly Detector アルゴリズムは Microsoft Fabric でサポートされており、リアルタイム インテリジェンスのインライン Python を使用して KQL によるリアルタイム スコアリングを可能にします。
Eventhouse テナント レベルのプライベート エンドポイントのサポート
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
お客様は、プライベート リンクを介して 1 つ以上の仮想ネットワーク (VNet) からテナント レベルで Eventhouse へのアクセスを制限することで、ネットワーク セキュリティを強化できます。 これにより、パブリック ネットワークからの不正アクセスが防止され、特定の VNet からのデータ プレーン操作のみが許可されます。
リアルタイム ダッシュボードからのデータ探索の新しいエクスペリエンス
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
ユーザーはユーザー フレンドリなフォームのようなインターフェイスを使用して、リアルタイム ダッシュボードから直接探索を調整できます。 この直感的で動的なエクスペリエンスは、リアルタイム データに基づいて分析情報を求める分析情報エクスプローラー向けに調整されています。 クエリを記述せずにフィルターの追加、集計の作成、視覚化の種類の切り替えを行い、分析情報を簡単に見つけ出すことができます。
リアルタイム ハブを使用して Eventhouse の KQL データベースのデータを取得する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
KQL Database エクスペリエンスにリアルタイム ハブを埋め込む場合、テナント内の各ユーザーは、アクセスできるストリームを表示および追加し、Eventhouse の KQL データベース テーブルに直接取り込むことができます。
Data Activator のデータをリアルタイム ハブから取得する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
埋め込まれたリアルタイム ハブ ブラウザーを使用して、新しいイベントを Reflex 項目に取り込みます。
リアルタイム ハブからトリガーを作成する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
リアルタイム ハブ全体で、ビジネス イベントとシステム イベントの両方で新しいトリガーとアラートを作成するオプションが表示されます。
Fabric 項目を使用したアクションの実行
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Reflex 項目は、Fabric 項目ジョブの開始をアクションとしてサポートします。 データ パイプラインとノートブックを開始できます。
拡張トリガー オプション
出荷済み (2024 年第 2 四半期)
監視のビジネス条件を表すために、Data Activator は、時間的変化率、日付/時刻関数、基本的な数学関数、シグナルの欠如検出など、より多くのトリガー条件をサポートします。
ノートブックの統合
出荷済み (2024 年第 1 四半期)
お客様は、Microsoft Fabric ノートブックから KQL データベースに対してネイティブにクエリを実行できます。 Notebooks を使用して、KQL データベースに対するクエリの実行、結果のデータ フレームの保存、KQL データベースへのデータの取り込みなどを行います。
Eventstream 処理用に最大 100 MB/秒にスケールアップ
出荷済み (2024 年第 1 四半期)
Eventstream では、KQL データベースと Lakehouse にデータを取り込むときに、最大 100 MB/秒のイベント インジェスト スループットをサポートできます。
Eventstreams でのカスタマイズ可能なイベント データ保持
出荷済み (2024 年第 1 四半期)
お客様は、イベント データ保持時間を柔軟に設定でき、イベント データが特定のビジネス要件に従って Eventstream に保持されるようにすることができます。
Eventstream でのイベント プロセッサの機能強化
出荷済み (2024 年第 1 四半期)
これには 3 つの機能強化が含まれます。 まず、操作ノードをカスタマイズし、データから 'null' 値を簡単に除外できます。 次に、集計操作で列フィールドを簡単に管理および名前変更できます。 3 番目に、[フィールドの管理] 操作を使用して、値を異なるデータ型に変更できます。
Eventstream Lakehouse 宛先のテーブル最適化ショートカット
出荷済み (2024 年第 1 四半期)
テーブル最適化ショートカットは、Spark ジョブを使用してノートブックを開くことで機能します。このジョブにより、レイクハウス テーブル内の小さなストリーミング ファイルが圧縮されます。
カスタム アプリの拡張された [詳細] タブに包括的なエンドポイント情報を表示
出荷済み (2024 年第 1 四半期)
カスタム アプリのソースとターゲットの [詳細] タブには、Eventstream エンドポイントに関する包括的な情報が表示されます。 利用可能な情報には、Kafka、Eventhub、AMQP 形式の接続文字列と、これら 3 つのプロトコルを使用したイベント インジェストと使用のためのサンプル Java コードが含まれます。
コードなしのストリーム処理デザイナーの改善
出荷済み (2024 年第 1 四半期)
ユーザーは、コードなしのデザイナーでより直感的なジェスチャを使用して、Eventstream 編集エクスペリエンスが向上します。
複数の Fabric 項目の "Eventstream からデータを取得"
出荷済み (2024 年第 1 四半期)
お客様は、Lakehouse、KQL Database、Reflex など、複数の Fabric 項目の Eventstream からイベント データを取得できます。
KQL データベース OneLake 表現に対する差分サポート
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
KQL データベース データは、Parquet 形式で OneLake で既に使用できます。 差分サポートを追加すると、他の Fabric 機能で、ファイルの一覧ではなく、テーブルとして OneLake 表現を使用できます。
管理上の監視
出荷済み (2024 年第 1 四半期)
管理上の監視を使用して監査ログを検索し、使用状況と導入、容量の消費量、可用性を追跡できます。
Data Activator への Eventstream の新しい宛先
出荷済み (2024 年第 1 四半期)
Data Activator 宛先オプションは、イベントを Data Activator にルーティングするのに役立ちます。これにより、Eventstreams からのイベント データに基づいてトリガーをネイティブに作成できます。
Eventstream の自動スケーリング
出荷済み (2024 年第 1 四半期)
この機能を使用すると、イベント データ トラフィック量に応じて容量を自動的にスケーリングする柔軟性が提供され、事業運営を中断することなく、Eventstream スループットをシームレスに向上させることができます。
KQL データベース宛先への Eventstream データの前処理
出荷済み (2024 年第 1 四半期)
データ変換を使用して KQL データベース変換先を追加することで、お客様は KQL データベースにルーティングされる前にデータ ボリュームを変換、エンリッチ、および削減できます。
データ取得エクスペリエンスの向上
出荷済み (2024 年第 1 四半期)
ユーザーは、データを KQL データベースに取り込むのに、シンプルで改善されたデータの取得エクスペリエンスを体験します。
Eventstream に埋め込まれたクラウド接続の作成
出荷済み (2024 年第 1 四半期)
お客様は、別の Web ページに移動することなく、Eventstream 内に直接クラウド接続を作成できます。
Eventstream Lakehouse 宛先の 2 つのインジェスト モード
出荷済み (2024 年第 1 四半期)
Eventstream Lakehouse の宛先では、低待機時間と高スループットという 2 つのインジェスト モードがサポートされます。