Azure Data Explorerとは
まず、サービスを定義し、Azure Data Explorer のコア機能について紹介します。 この概要は、保有データの管理と分析に適したサービスかどうかを判断する際に役立ちます。
Azure Data Explorerとは
Azure Data Explorer は、大量のデータを凖リアルタイムで簡単に分析することができるビッグ データ分析プラットフォームです。 主要な分析情報を抽出し、パターンと傾向を見つけ、予測モデルを作成できます。
Azure Data Explorer ツールボックスにより、データ インジェスト、クエリ、視覚化、管理のためのエンドツーエンドのソリューションを利用できます。 これらのツールを使用すると、構造化データ、半構造化データ、非構造化データを時系列全体で分析し、Machine Learning を適用できます。
Azure Data Explorer は、フル マネージド、スケーラブル、安全、堅牢、エンタープライズ対応です。 ログ分析、時系列分析、IoT、汎用探索分析に役立ちます。
ビッグ データを理解する方法
衣料品会社の例を思い出してみると、さまざまなドメインからさまざまな種類のデータを受け取っています。 これらのデータの種類に対してさまざまな種類の分析を行い、その結果をさまざまな利害関係者と共有する必要があります。 そこで、Azure Data Explorer を使用して、会社全体のすべてのデータから分析情報を得ようとしています。
製造では、製品ログを分析して在庫が管理され、製造に関する意思決定が行われます。 これらの意思決定には地理空間分析も利用されています。これは、パフォーマンスの高い広告の地理的領域を特定し、在庫を予測するために使用されるものです。
この会社の倉庫には IoT デバイスが設置されています。その一部は、倉庫の入退室ログを管理するためにセキュリティによって使用され、その他は倉庫内の環境を監視するために業務に使用されます。 個々の店舗では、時系列分析を使用して売上の異常が把握され、将来の在庫イベントが予測されます。
グローバル マーケティング チームでは、クリックストリーム データ (これもログ解析の一種です) を使用して広告キャンペーンとカスタマー ファネルの両方がオンラインで最適化およびスキャンされます。一方、カスタマー サクセス部門では、テキスト検索を使用してソーシャル メディア上のユーザー フィードバックが分析されます。
毎分、Azure Data Explorer に流入するデータに基づいて、会社の意思決定が行われます。
Azure Data Explorer の主な機能
Azure Data Explorer の用途がわかったところで、その主な機能を見てみましょう。
データのベロシティ、種類、量
Azure Data Explorer は、バッチ モードまたはストリーミング モードで、テラバイト単位のデータを数分で取り込むことができます。 ペタバイト単位のデータに対してクエリを実行し、数ミリ秒から数秒以内に結果を返すことができます。 この能力により、高速 (数百万イベント/秒)、低待機時間 (秒)、線形スケーリングする生データ インジェストができるようになります。 この生データはさまざまな形式と構造で取り込まれ、さまざまなパイプラインやソースから入力できます。
ユーザーフレンドリなクエリ言語
Azure Data Explorer には、チームが最初に考案したオープンソース言語である Kusto Query Language (KQL) が使用されています。 この言語は、理解と習得が簡単であり、生産性を高めることができます。 単純な演算子と高度な分析を使用できます。
高度な分析
Azure Data Explorer には、時系列分析用関数セットが多数あります。 時系列の加算と減算、フィルター処理、回帰、季節性検出、地理空間分析、異常検出、スキャン、予測、などが含まれます。 時系列関数は、何千もの時系列を秒単位で処理するように最適化されています。 異常を診断し、根本的な原因を分析することができるクラスター プラグインを使用すると、パターン検出が簡単になります。 また、KQL クエリに python コードを埋め込むことで、Azure Data Explorer の機能を拡張することもできます。
使いやすいウィザード
インジェスト ウィザードを使用すると、データ インジェスト プロセスを簡単、迅速、かつ直感的に行うことができます。 Web UI には直感的でガイド付きのエクスペリエンスが備わっており、データ インジェスト、データベース テーブルの作成、構造のマッピングをすぐに始められます。 これにより、さまざまなソースからさまざまなデータ形式で、1 回限りまたは連続したデータ インジェストができるようになります。 テーブルのマッピングとスキーマは自動的に提案され、簡単に変更することができます。
さまざまな用途に使えるデータの視覚化
データの視覚化は、重要な分析情報を得るために役立ちます。 Azure Data Explorer は、さまざまなグラフと視覚化をサポートしており、すぐに利用できる組み込みの視覚化とダッシュボードが用意されています。 Power BI とのネイティブ統合、Grafana、Kibana、Databricks 用ネイティブ コネクタ、Tableau、Sisense、Qlik などの ODBC サポートを備えています。
自動取り込み、処理、およびエクスポート
Azure Data Explorer は、サーバー側のストアド関数、連続的な取り込み、Azure Data Lake ストアへの連続エクスポートをサポートしています。 また、サーバー側でのインジェスト時のマッピング変換、更新ポリシー、具体化されたビューを使用して事前に計算されたスケジュール集計もサポートしています。
他のサービスとの統合
インジェスト、視覚化、オーケストレーション、監視など、ワークフローのあらゆる側面で他のツールと簡単かつシームレスに統合できます。