雲端級分析
隨著更大型且更複雜的雲端採用形式,您的雲端旅程會變得更複雜。 Azure 雲端規模分析是可調整且可重複的架構,符合您組織建置新式資料平臺的獨特需求。
雲端規模分析涵蓋雲端中分析和治理的技術和非技術考慮。 本指南致力於藉由不受雲端限制來支援混合式和多重雲端採用,但包含的技術實作範例著重于 Azure 產品。
雲端規模分析具有下列目標:
- 以產品的形式提供資料,而不是依產品提供資料
- 提供資料產品的生態系統,而不是可能不符合您資料案例的單一資料倉儲
- 推動強制執行資料控管和安全性的預設方法
- 推動小組以一致的方式排定業務成果的優先順序,而不是只專注于基礎技術。
雲端規模分析是以 Microsoft 的雲端採用架構為基礎,而且需要瞭解 登陸區域。 如果您還沒有 Azure 登陸區域的實作,請洽詢您的雲端小組,以瞭解如何符合必要條件。 如需詳細資訊,請參閱確定已對雲端採用方案準備好環境。
參考架構可讓您從小型的使用量開始,並隨著時間成長,將案例適應您的使用案例。
雲端規模分析包含可重複的範本,可加速五個核心基礎結構和資源部署。 它也適用于不同的組織大小。 如果您是具有有限資源的小型企業,與某些商務主題專家混合的集中式作業模型可能會符合您的情況。 如果您是具有自發業務單位的大型企業, (每個企業都有自己的資料工程師和分析師) 作為目標,則分散式作業模型,例如資料網格或資料網狀架構可能會更能解決您的需求。
目標
雲端規模分析提供以下列原則為基礎的架構。 這些原則會解決複雜資料架構的挑戰,這些架構不會調整到組織的需求。
原則 | 描述 |
---|---|
允許 |
|
追隨 |
|
支援 |
|
採用 |
|
認可 |
|
啟用 |
|
實作指引
實作指引可分成兩個區段:
- 適用于所有工作負載的全域指引。
- 雲端規模特定指引
全域指引
文件 | 描述 |
---|---|
雲端採用架構 (機器翻譯) | 管理和控管資料是生命週期程式,從建置現有的雲端策略開始,並持續執行您的作業。 雲端採用架構可協助您引導資料資產的完整生命週期。 |
Azure 結構完善的架構 | 工作負載架構和作業對資料有直接的影響。 瞭解架構如何改善工作負載資料的管理和控管。 |
雲端規模特定指引
區段 | 描述 |
---|---|
建置初始策略 | 如何建置您的資料策略和樞紐,以成為資料驅動組織。 |
定義您的計劃 | 如何開發雲端規模分析的計畫。 |
準備分析資產 | 資料管理和資料登陸區域的概觀,其中包含企業註冊、網路、身分識別和存取管理、原則、商務持續性和災害復原等重要設計區域考慮。 |
控管您的分析 | 管理資料、資料目錄、譜系、主要資料管理、資料品質、資料共用合約和中繼資料的需求。 |
保護您的分析資產 | 如何使用驗證和授權、資料隱私權和資料存取管理來保護分析資產。 |
組織人員和小組 | 如何組織有效的作業、角色、小組和小組功能。 |
管理您的分析資產 | 如何布建案例的平臺和可檢視性。 |
架構
本節說明雲端規模分析實體實作的詳細資料。 它會對應資料管理登陸區域和資料登陸區域的實體架構。
雲端規模分析有兩個重要架構概念:
- 資料登陸區域
- 資料管理登陸區域
這些架構會標準化最佳做法,並將開發小組的部署瓶頸降到最低,並可加速部署常見的雲端規模分析解決方案。 您可以針對 Lakehouse 和資料網格架構採用其指引。 該指引強調妥善控管的分析平臺所需的功能,以符合您的需求。
下圖提供資料平臺的概觀,其中包含中央資料管理登陸區域和多個資料登陸區域。
您可以從單一登陸區域開始,並調整為多個登陸區域,並從資料管理登陸區域管理所有登陸區域。
如需詳細資訊,請參閱: 架構概觀
部署範本
本節包含許多可部署的參考範本。
Repository | Content | 必要 | 部署模型 |
---|---|---|---|
資料管理範本 | 中央資料管理服務和共用資料服務,例如資料目錄和自我裝載整合執行時間 | 是 | 每個雲端規模分析一個 |
資料登陸區域範本 | 資料登陸區域共用服務,包括擷取、管理和資料儲存服務 | Yes | 每個資料登陸區域一個 |
資料整合範本 - 批次處理 | 批次處理所需的其他服務 | No | 每個資料登陸區域一或多個 |
資料整合範本 - 串流處理 | 資料流程處理所需的其他服務 | No | 每個資料登陸區域一或多個 |
資料產品範本 - 分析與資料科學 | 資料分析和 AI 所需的其他服務 | No | 每個資料登陸區域一或多個 |
這些範本包含 Azure Resource Manager 範本、範本的參數檔案,以及用於資源部署的 CI/CD 管線定義。
範本可能會隨著時間而變更,因為新的 Azure 服務和需求。 保護每個存放庫的主要分支,使其保持無錯誤狀態,並可供取用和部署。 使用開發訂用帳戶來測試範本組態變更,再將功能增強功能合併回主要分支。
如需詳細資訊,請參閱 部署範本。
解決方案加速器
解決方案加速器是 GitHub 上的開放原始碼專案。 這些存放庫包含資源和資訊,可簡化及加速您使用技術解決問題的能力。
如需詳細資訊,請參閱 解決方案加速器。
最佳做法
雲端 規模分析 目錄中的下列進階層級 300+ 文章可協助中央 IT 小組部署工具和管理資料管理流程:
- 雲端規模分析的資料擷取
- 適用于雲端規模分析的 Data Lake Storage
- 在雲端規模分析中使用 Azure Databricks
- 使用 Azure Synapse Analytics 進行雲端規模分析
- 適用于雲端規模分析的 Azure Purview 整備檢查清單
- Azure Machine Learning 作為雲端規模分析的資料產品
精選 Azure 產品
展開雲端規模分析目錄中的 [精選 Azure 產品] 區段,以瞭解支援雲端規模分析的 Azure 產品。
常見的客戶旅程
下列常見的客戶旅程支援雲端規模分析:
準備您的環境。 使用 準備您的環境 文章作為資源。 建立可支援整個資料資產工作負載組合的程式和方法。
影響個別工作負載的變更。 隨著雲端規模的分析程式改善,您的中央資料控管小組會發現需求,取決於個別工作負載背後的架構知識。 使用 架構 文章來瞭解如何在 中使用案例,以用於您的使用案例。
將個別工作負載和工作負載小組最佳化。 從 Azure Well-Architected Framework 指引開始,將雲端規模分析策略整合到個別工作負載中。 本指南說明中央 IT 和治理小組應該用來加速個別工作負載開發的最佳做法和架構。
使用最佳做法讓個別資產上線。 展開雲端規模分析目錄中的最佳做法一節,以尋找將整個資料資產上線至一個雲端規模分析控制平面的程式相關文章。
使用特定的 Azure 產品。 使用雲端規模分析資料表的 精選 Azure 產品 區段中的 Azure 產品,加速並改善您的 雲端規模分析 功能。
採取動作
如需規劃實作雲端規模分析的詳細資訊,請參閱:
下一步
開始您的雲端規模分析旅程: