解決方案構想
本文說明解決方案概念。 您的雲端架構設計人員可以使用本指南,協助可視化此架構的一般實作的主要元件。 使用本文作為起點,設計符合您工作負載特定需求的架構良好解決方案。
本文提供使用 Azure Kubernetes Service (AKS) 快速處理和分析來自裝置的大量串流數據的解決方案。
Apache、Apache® Kafka 和 Apache Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
資料流程
- 感測器會產生數據並將其串流至 Azure API 管理。
- AKS 叢集會執行部署為服務網格後方容器的微服務。 容器是使用DevOps程式所建置,並儲存在 Azure Container Registry 中。
- 內嵌服務會將數據儲存在 Azure Cosmos DB 中。
- 以異步方式,分析服務會接收數據,並將其串流至 Apache Kafka 和 Azure HDInsight。
- 數據科學家會使用機器學習模型和 Splunk 平臺來分析數據。
- 處理服務會處理數據,並將結果儲存在 適用於 PostgreSQL 的 Azure 資料庫。 服務也會快取 Azure Cache for Redis 中的數據。
- 在 Azure App 服務 中執行的 Web 應用程式會建立結果的視覺效果。
元件
此解決方案會使用下列重要技術:
- API 管理
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- 適用於 PostgreSQL 的 Azure 資料庫
- HDInsight
- AKS
- Azure Pipelines
案例詳細資料
此解決方案非常適合涉及數百萬個數據點的案例,其中數據源包括物聯網(IoT)裝置、感測器和車輛。 在這種情況下,處理大量數據是一項挑戰。 快速分析數據是另一項苛刻的工作,因為組織會尋求深入瞭解複雜的案例。
AKS 中的容器化微服務會形成解決方案的重要部分。 這些獨立的服務會內嵌及處理實時數據流。 它們也會視需要進行調整。 容器的可移植性可讓服務在不同的環境中執行,並處理來自多個來源的數據。 為了開發和部署微服務,會使用DevOps和持續整合/持續傳遞(CI/CD)。 這些方法可縮短開發週期。
為了儲存內嵌的數據,解決方案會使用 Azure Cosmos DB。 此資料庫可彈性地調整輸送量和記憶體,因此適合用於大量數據。
解決方案也會使用 Kafka。 這個低延遲串流平臺會以極高速處理即時數據摘要。
另一個主要解決方案元件是 HDInsight,這是受控的開放原始碼雲端分析服務。 HDInsight 可簡化在 Azure 中使用 Apache Spark 時,以大量和速度執行巨量數據架構。 Splunk 有助於數據分析程式。 此平臺會從實時數據建立視覺效果,並提供商業智慧。
潛在使用案例
此解決方案可受益於下列領域:
- 車輛安全,特別是在汽車工業
- 零售和其他產業的客戶服務
- 醫療保健雲端解決方案
- 金融業的金融技術解決方案
下一步
產品檔案:
- 關於 Azure Cache for Redis
- 什麼是 Azure API 管理?
- App Service 概觀
- Azure Kubernetes Service
- Azure 中私人 Docker 容器登錄簡介
- 歡迎使用 Azure Cosmos DB
- 什麼是適用於 PostgreSQL 的 Azure 資料庫? (部分機器翻譯)
- 什麼是 Azure HDInsight?
- 什麼是 Azure Pipelines?
Microsoft訓練模組:
- 使用 Azure Container Registry 建置及儲存容器映像
- 設定 Azure App 服務 方案
- 使用 Azure Cosmos DB
- 建立並連線至 適用於 PostgreSQL 的 Azure 資料庫
- 針對 Azure Cache for Redis 進行開發
- 探索 API 管理
- 使用 Azure 和 DSC 管理基礎結構即程式代碼
- Azure HDInsight 簡介