AKS を使用したデータ ストリーミング

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

ソリューションのアイデア

この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトはこのガイダンスを使用すると、このアーキテクチャの一般的な実装の主要コンポーネントを視覚化しやすくなります。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。

この記事では、Azure Kubernetes Service (AKS) を使用してデバイスからの大量のストリーミング データをすばやく処理および分析するためのソリューションについて説明します。

Apache®、Apache KafkaApache Spark は、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

デバイスからのストリーミング データの取り込み、処理、分析方法を示すアーキテクチャ図。

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

  1. センサーによってデータが生成され、Azure API Management にストリーミングされます。
  2. AKS クラスターで、サービス メッシュの背後にコンテナーとしてデプロイされているマイクロサービスが実行されます。 コンテナーが DevOps プロセスにより構築され Azure Container Registry に格納されます。
  3. インジェスト サービスによりデータが Azure Cosmos DB に格納されます。
  4. 分析サービスによって非同期的にデータが受信され、それが Apache Kafka と Azure HDInsight にストリーミングされます。
  5. データ サイエンティストが、機械学習モデルと Splunk プラットフォームを使用してデータを分析します。
  6. 処理サービスによってデータが処理され、結果が Azure Database for PostgreSQL に格納されます。 また、このサービスにより Azure Cache for Redis のデータがキャッシュされます。
  7. Azure App Service で実行されている Web アプリで、結果の視覚化が作成されます。

Components

このソリューションでは、以下の主要なテクノロジが使用されます。

シナリオの詳細

このソリューションは、何百万ものデータ ポイントを扱うシナリオに適しています。データ ソースにはモノのインターネット (IoT) デバイス、センサー、自動車などが含まれます。 このような場合、大量のデータを処理することが課題の 1 つです。 組織は複雑なシナリオに関する分析情報を得ようとするため、データを迅速に分析することも要求の多いタスクの 1 つです。

AKS のコンテナー化されたマイクロサービスは、ソリューションの重要な部分を形成しています。 これらの自己完結型サービスでは、リアルタイム データ ストリームが取り込まれ、処理されます。 また、必要に応じてスケーリングすることもできます。 コンテナーの移植性により、サービスをさまざまな環境で実行し、複数のソースからのデータを処理できます。 マイクロサービスの開発やデプロイには、DevOps と継続的インテグレーション/継続的デリバリー (CI/CD) が使用されます。 これらのアプローチにより、開発サイクルが短縮されます。

このソリューションでは、取り込まれたデータの格納に Azure Cosmos DB が使用されます。 このデータベースは、スループットやストレージの柔軟なスケーリングが可能なため、大量のデータにも対応できます。

このソリューションでは、Kafka も使用されます。 この低遅延ストリーミング プラットフォームでは、リアルタイムのデータ フィードが非常に高速に処理されます。

もう 1 つの主要なソリューション コンポーネントは HDInsight です。これは、マネージドかつオープンソースのクラウド分析サービスです。 HDInsight により、Azure で Apache Spark を使用しながら、簡単にビッグ データ フレームワークを大量かつ高速に実行できるようになります。 Splunk は、データ分析プロセスに役立ちます。 このプラットフォームでは、リアルタイム データから視覚化が作成され、ビジネス インテリジェンスが得られます。

考えられるユース ケース

このソリューションは、次のような分野に役立ちます。

  • 自動車の安全性 (特に自動車業界)
  • 顧客サービス (小売業界など)
  • 医療クラウド ソリューション
  • 金融技術ソリューション (金融業界)

次のステップ

製品ドキュメント:

Microsoft トレーニング モジュール: