統合の概要

  • [アーティクル]

インジェスト、オーケストレーション、出力、データ クエリのために、プラットフォームとシームレスに動作する多くのデータ コネクタ、ツール、統合があります。 このドキュメントは、利用可能なコネクタ、ツール、および統合に関する大まかな概要です。 各コネクタの詳細情報は、完全なドキュメントへのリンクとともに提供されます。

特定の種類の統合に関する概要ページの場合は、次のボタンのいずれかを選択します。

データ統合

クエリの統合

視覚化の統合

比較表

次の表に、各項目の機能をまとめます。 コネクタまたはツールと統合に対応するタブを選択します。 各項目名は詳しい説明にリンクされています。

次の表は、利用可能なコネクタとその機能をまとめたものです。

名前 取り込み Export 調整 クエリ
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark for Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Azure IoT Hub ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Logic Apps ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Open Telemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk Universal Forwarder ✔️
Telegraf ✔️

詳しい説明

コネクタ、ツール、および統合の詳しい説明を次に示します。 コネクタまたはツールと統合に対応するタブを選択します。 使用可能なすべての項目は、上記の [比較表] にまとめられています。

Apache Kafka

Apache Kafka は、システム間やアプリケーション間で確実にデータを移動するリアルタイム ストリーミング データ パイプラインを構築するための分散ストリーミング プラットフォームです。 Kafka Connect は、Apache Kafka と他のデータ システムとの間でスケーラブルかつ高い信頼性でデータをストリーム配信するためのツールです。 Kafka Sink は Kafka からのコネクタとして機能し、コードを使用する必要はありません。 これは Confluent によってゴールド認定されており、品質、機能の完全性、標準へのコンプライアンス、およびパフォーマンスに関する包括的なレビューとテストが行われています。

Apache Flink は、境界なしと境界ありのデータ ストリームに対するステートフルな計算のためのフレームワークおよび分散処理エンジンです。 コネクタを使用すると、Azure Data Explorer と Flink クラスター間でデータを移動するためのデータ シンクを実装できます。 Azure Data Explorer と Apache Flink を使用すると、データ ドリブン シナリオをターゲットとする、高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。

Apache Log4J 2

Log4J は、Apache Foundation によって管理される Java アプリケーションの一般的なログ記録フレームワークです。 Log4j を使用すると、開発者はロガーの名前、ロガーのレベル、メッセージ パターンに基づいて任意の粒度で出力されるログ ステートメントを制御できます。 Apache Log4J 2 シンクを使用すると、ログ データをデータベースにストリーミングでき、そこでログをリアルタイムで分析および視覚化できます。

Apache Spark

Apache Spark は、"大規模なデータ処理のための統合された分析エンジン" です。 Spark コネクタは、あらゆる Spark クラスターで実行できるオープン ソース プロジェクトです。 Spark クラスター間でデータを移動するためのデータ ソースとデータ シンクを実装します。 Apache Spark コネクタを使用すると、データ ドリブン シナリオをターゲットとする、高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。 このコネクタを使用すると、データベースは読み取り、書き込み、writeStream などの標準的な Spark のソースおよびシンク操作に有効なデータ ストアになります。

Apache Spark for Azure Synapse Analytics

Apache Spark は、ビッグ データ分析アプリケーションのパフォーマンスを向上させるためのメモリ内処理をサポートする並列処理フレームワークです。 Azure Synapse Analytics の Apache Spark は、Microsoft が Apache Spark をクラウドに実装したものです。 Apache Spark for Azure Synapse Analytics を使用して、Synapse Studio からデータベースにアクセスできます。

Azure Cosmos DB

Azure Cosmos DB の変更フィード データ接続は、Cosmos DB の変更フィードをリッスンし、データをデータベースに取り込むインジェスト パイプラインです。

Azure Data Factory

Azure Data Factory (ADF) は、異なるデータ ストアを統合し、データに対してアクティビティを実行できるクラウドベースのデータ統合サービスです。

Azure Event Grid

Event Grid インジェストは、Azure ストレージをリッスンし、サブスクライブしたイベントが発生したときに情報をプルするようにデータベースを更新するパイプラインです。 BLOB 作成または BLOB 名前変更の通知に対する Azure Event Grid サブスクリプションを使用して Azure Storage (Blob Storage と ADLSv2) から継続的なインジェストを構成し、Azure Event Hubs を介して通知がストリーミングされます。

  • 機能: インジェスト
  • サポートされているインジェストの種類: バッチ処理、ストリーミング
  • ユース ケース: イベント処理
  • ドキュメント: Event Grid データ接続

Azure Event Hubs

Azure Event Hubs は、ビッグ データのストリーミング プラットフォームとなるイベント インジェスト サービスです。 カスタマー マネージドの Event Hubs から継続的なインジェストを構成できます。

  • 機能: インジェスト
  • サポートされているインジェストの種類: バッチ処理、ストリーミング
  • ドキュメント: Azure Event Hubs データ接続

Azure Functions

Azure Functions を使用すると、スケジュールに従って、またはイベントに応答して、クラウドでサーバーレス コードを実行できます。 Azure Functions の入力バインドと出力バインドを使用すると、データベースをワークフローに統合してデータを取り込み、データベースに対してクエリを実行できます。

Azure IoT Hub

Azure IoT Hub は、クラウド内でホストされているマネージド サービスであり、IoT アプリケーションとそれが管理するデバイスの間の双方向通信に対する中央メッセージ ハブとして機能します。 デバイスからクラウドへのメッセージの Event Hubs と互換性のある組み込みエンドポイントを使用して、お客様が管理する IoT Hub からの継続的インジェストを構成できます。

  • 機能: インジェスト
  • サポートされているインジェストの種類: バッチ処理、ストリーミング
  • ユース ケース: IoT データ
  • Documentation: IoT Hub データ接続

Azure Stream Analytics

Azure Stream Analytics は複数のソースからの大量の高速ストリーミング データを同時に処理するように設計された、リアルタイムの分析および複合イベント処理エンジンです。

Fluent Bit

Fluent Bit は、さまざまなソースからログ、メトリック、トレースを収集するオープンソース エージェントです。 これにより、イベント データをストレージに送信する前に、フィルター処理、変更、集計することができます。

JDBC

Java Database Connectivity (JDBC) は、データベースへの接続とクエリの実行に使われる Java API です。 JDBC を使って Azure Data Explorer に接続できます。

Logic Apps

Microsoft Logic Apps コネクタでは、スケジュールされたタスクまたはトリガーされたタスクの一部としてクエリおよびコマンドを自動的に実行できます。

  • 機能: インジェスト、エクスポート
  • サポートされているインジェストの種類: バッチ処理
  • ユース ケース: データ オーケストレーション
  • ドキュメント: Microsoft Logic Apps と Azure Data Explorer

Logstash

Logstash プラグインを使用すると、後の分析のために Logstash のイベントを Azure Data Explorer データベースへと処理できます。

Matlab

MATLAB は、データの分析、アルゴリズムの開発、モデルの作成に使用されるプログラミングおよび数値コンピューティング プラットフォームです。 Azure Data Explorer でデータのクエリを実行するための認証トークンを MATLAB で取得できます。

NLog

NLog は、.NET Standard を含むさまざまな .NET プラットフォーム向けの、柔軟で無料のログ記録プラットフォームです。 NLog を使用すると、データベース、ファイル、コンソールなど、複数のターゲットに書き込みを行うことができます。 NLog を使用すると、ログ記録の構成をオンザフライで変更できます。 NLog シンクは、ログ メッセージをデータベースに送信できる NLog のターゲットです。 このプラグインにより、ログをクラスターにシンクする効率的な方法が提供されます。

ODBC

Open Database Connectivity (ODBC) は、データベース アクセスのために広く受け入れられているアプリケーション プログラミング インターフェイス (API) です。 Azure Data Explorer は、SQL Server 通信プロトコルのサブセット (MS-TDS) と互換性があります。 この互換性により、SQL Server 用 ODBC ドライバーを Azure Data Explorer で使用できるようになります。

Open Telemetry

OpenTelemetry コネクタでは、多くのレシーバーからデータベースへのデータの取り込みがサポートされています。 これは、ニーズに応じてエクスポートされたデータの形式をカスタマイズすることで、Open テレメトリによって生成されたデータをデータベースに取り込むためのブリッジとして機能します。

Power Apps

Power Apps は、ビジネス データに接続するカスタム アプリを構築するための RAD (Rapid Application Development) 環境を提供する、アプリ、サービス、コネクタ、データ プラットフォームのスイートです。 Power Apps コネクタは、Azure Data Explorer に大規模かつ増大しているストリーミング データのコレクションがあり、このデータを利用するためにロー コードで高機能なアプリをビルドする場合に便利です。

Power Automate

Power Automate は、ビジネス プロセスを自動化するために使用されるオーケストレーション サービスです。 Power Automate コネクタ (以前の Microsoft Flow) を使用すると、フローのオーケストレーションおよびスケジュール設定や、通知とアラートの送信を、スケジュール設定されたタスクまたはトリガーされたタスクの一部として実行できます。

  • 機能: インジェスト、エクスポート
  • サポートされているインジェストの種類: バッチ処理
  • ユース ケース: データ オーケストレーション
  • ドキュメント: Microsoft Power Automate コネクタ

Serilog

Serilog は、.NET アプリケーションの一般的なログ記録フレームワークです。 Serilog を使用すると、開発者はロガーの名前、ロガーのレベル、メッセージ パターンに基づいて任意の粒度で出力されるログ ステートメントを制御できます。 アペンダーとも呼ばれる Serilog シンクでは、ログ データをデータベースにストリーミングし、ログをリアルタイムで分析および視覚化できます。

Splunk

Splunk Enterprise は、多くのソースから同時にデータを取り込むことができるソフトウェア プラットフォームです。Azure Data Explorer アドオンは、Splunk からクラスター内のテーブルにデータを送信します。

Splunk Universal Forwarder

Telegraf

Telegraf は、ログ、メトリック、IoT データを含むテレメトリ データの収集、処理、書き込みを行うための、オープンソース、軽量、最小限のメモリ フットプリント エージェントです。 Telegraf では、数百の入力および出力プラグインがサポートされています。 これは、オープン ソース コミュニティで広く使用され、適切にサポートされています。 出力プラグインは、Telegraf からのコネクタとして機能し、多くの種類の入力プラグインからデータベースへのデータの取り込みをサポートします。

関連するコンテンツ