針對中小型企業使用新式數據倉儲

Azure Data Lake
Azure SQL Database
Azure Synapse Analytics
Dynamics 365
Microsoft Power Platform

本文說明中小企業可以透過數種方式將舊版數據存放區現代化,並探索巨量數據工具和功能,而不需要過度擴充目前的預算和技能集。 這些完整的數據倉儲解決方案會與 Azure 機器學習、Azure AI 服務、Microsoft Power Platform、Microsoft Dynamics 365和其他Microsoft技術緊密整合。 這些解決方案可讓您輕鬆地進入 Microsoft Fabric 上完全受控的軟體即服務 (SaaS) 數據平臺,隨著需求成長而擴充。

針對 500 GB 以下的數據倉儲解決方案使用內部部署 SQL Server 的 SMB,可能會受益於使用此模式。 它們使用各種工具來將數據擷取至其數據倉儲解決方案,包括 SQL Server Integration Services (SSIS)、SQL Server Analysis Services (SSAS)、SQL Server Reporting Services (SSRS)、常見的 SQL 預存程式、外部擷取、轉換和載入 (ETL) 和擷取、載入、轉換 (ELT) 工具、SQL Server Agent 作業和 SQL 快照式複寫。 數據同步處理作業通常是以快照集為基礎的,每天執行一次,而且沒有實時報告需求。

簡化的架構

說明簡化SMB架構的圖表。

下載此架構的 Visio 檔案

概念性現代化機會牽涉到將舊版數據倉儲解決方案轉換為 Azure SQL 資料庫、Azure SQL 受控執行個體 和 Fabric 的組合。 此策略可確保與 SQL Server Management Studio (SSMS) 等傳統 SQL Server 和 SQL 用戶端工具的廣泛相容性。 它也提供現有程式的隨即轉移選項,而且支援小組需要最少的向上技能。 此解決方案是全面現代化的第一步,可讓組織在數據倉儲擴充且小組的技能集成長時,完全採用 Lakehouse 方法。

架構

此圖說明專為符合未來需求而設計的擴充架構。

下載此架構的 Visio 檔案

舊版 SMB 數據倉儲可以包含數種類型的數據:

  • 非結構化數據,例如文件和圖形。

  • 半結構化數據,例如記錄、CSV、JSON 和 XML 檔案。

  • 結構化關係型數據,包括使用 ETL 和 ELT 活動的預存程式的資料庫。

資料流程

下列數據流會對應至上圖。 它示範您選擇之資料類型的擷取:

  1. 網狀架構數據管線或 Azure Data Factory 管線會將事務數據擷取協調至數據倉儲解決方案。

    • 管線會將移轉或部分重構的舊版資料庫和 SSIS 套件的流程協調到 SQL 資料庫 和 SQL 受管理執行個體。 您可以快速實作此隨即轉移方法,以確保從內部部署 SQL 解決方案順暢地轉換到未來的 Fabric SaaS 環境。 您可以在隨即轉移之後,以累加方式將資料庫現代化。

    • 管線可以將非結構化、半結構化和結構化數據傳遞至 Azure Data Lake Storage,以便與其他來源進行集中式記憶體和分析。 當模糊數據提供比重新格式化數據更多的商務優勢時,請使用此方法。

  2. 使用Microsoft Dynamics 365數據源,使用網狀架構無伺服器分析工具,在增強數據集上建置集中式商業智慧 (BI) 儀錶板。 您可以將融合和已處理的數據帶回 Dynamics,並在 Fabric 中用於進一步分析。

  3. 來自串流來源的即時數據可以透過 Azure 事件中樞 或其他串流解決方案進入系統。 對於具有即時儀錶板需求的客戶,Fabric 即時分析可以立即分析此數據。

  4. 數據可以內嵌至集中式網狀架構 OneLake,以使用 Data Lake Storage 快捷方式進一步分析、儲存和報告。 此程式可進行就地分析,並協助下游耗用量。

  5. 無伺服器分析工具,例如 SQL 分析端點和網狀架構 Spark 功能,可在 Fabric 內隨選使用,且不需要任何佈建的資源。 無伺服器分析工具很適合:

    • OneLake 數據的 ETL 和 ELT 活動。

    • 透過 DirectLake 功能向 Power BI 報表提供金層獎章架構。

    • T-SQL 格式或 Python 的即興數據科學探索。

    • 數據倉儲實體的早期原型設計。

網狀架構與多來源數據集的潛在取用者緊密整合,包括Power BI前端報表、機器學習、Power Apps、Azure Logic Apps、Azure Functions 和 Azure App 服務 Web 應用程式。

元件

  • Fabric 是一種分析服務,結合了數據工程、數據倉儲、數據科學,以及實時數據和 BI 功能。 在此解決方案中, Fabric 數據工程功能 可為數據工程師、數據科學家、數據分析師和 BI 專業人員提供共同作業平臺。 此主要元件由無伺服器計算引擎提供,並藉由產生散發給客戶的深入解析來提供商業價值。

  • SQL 資料庫和 SQL 受管理執行個體 是雲端式關係資料庫服務。 SQL 資料庫 和 SQL 受管理執行個體 使用 SSMS 來開發和維護舊版成品,例如預存程式。 在此解決方案中,這些服務會裝載企業數據倉儲,並使用預存程式或外部套件來執行 ETL 和 ELT 活動。 SQL 資料庫 和 SQL 受管理執行個體是平臺即服務(PaaS)環境,可用來符合高可用性和災害復原需求。 請務必選擇符合您需求的 SKU。 如需詳細資訊,請參閱 SQL 資料庫 高可用性和 SQL 受管理執行個體 高可用性。

  • SSMS 是整合式環境,可用來管理 SQL 基礎結構,可用來開發和維護舊版成品,例如預存程式。

  • 事件中 樞是實時數據串流平臺和事件擷取服務。 事件中樞可順暢地與 Azure 數據服務整合,並可從任何地方內嵌數據。

替代項目

  • 您可以使用 Azure IoT 中樞 來取代或補充事件中樞。 根據串流數據的來源,以及您是否需要與報告裝置進行複製和雙向通訊,選擇您的解決方案。

  • 您可以使用 網狀架構數據管線 ,而不是 Data Factory 管線來進行數據整合。 您的決定將取決於數個因素。 如需詳細資訊,請參閱 從 Azure Data Factory 到 Fabric 中的 Data Factory。

  • 您可以使用網狀架構倉儲,而不是 SQL 資料庫 或 SQL 受管理執行個體 來儲存企業數據。 本文會針對想要將其數據倉儲現代化的客戶排定上市時間。 如需 Fabric 數據存放區選項的詳細資訊,請參閱 網狀架構決策指南

案例詳細資料

當 SMB 針對雲端將其內部部署數據倉儲現代化時,可以採用巨量數據工具,以取得未來的延展性,或使用傳統的 SQL 型解決方案來獲得成本效益、輕鬆維護,以及順暢的轉換。 混合式方法提供兩個世界的最佳功能,並可讓您輕鬆移轉現有的數據資產,同時使用新式工具和 AI 功能。 SMB 可以保留其 SQL 型數據源在雲端中執行,並視需要將其現代化。

本文說明數個適用於SMB的策略,可將舊版數據存放區現代化,並探索巨量數據工具和功能,而不需要延展目前的預算和技能集。 這些完整的 Azure 數據倉儲解決方案可順暢地與 Azure 和 Microsoft 服務 整合,包括 AI 服務、Microsoft Dynamics 365,以及Microsoft Power Platform。

潛在使用案例

  • 移轉小於 1 TB 的傳統內部部署關係型數據倉儲,並使用 SSIS 套件來協調預存程式。

  • 使用批次和即時 Data Lake 來源將現有的 Dynamics 或 Microsoft Power Platform Dataverse 數據網格。

  • 使用創新技術與集中式 Azure Data Lake Storage Gen2 數據互動。 這些技術包括無伺服器分析、知識採礦、網域之間的數據融合,以及用戶數據探索,包括網狀架構 Copilot。

  • 設定電子商務公司以採用數據倉儲來優化其作業。

不建議使用此解決方案:

  • 數據 倉儲的綠地部署

  • 移轉大於 1 TB 或預計在一年內達到該大小的內部部署數據倉儲。

考量

這些考量能實作 Azure Well-Architected Framework 的要素,其為一組指導原則,可以用來改善工作負載的品質。 如需詳細資訊,請參閱 Microsoft Azure Well-Architected Framework (部分機器翻譯)。

成本最佳化

成本最佳化是關於考慮如何減少不必要的費用,並提升營運效率。 如需詳細資訊,請參閱 成本優化的設計檢閱檢查清單。

  • Azure 定價計算機 可讓您修改值,以瞭解您的特定需求如何影響成本。 您可以在 Azure 定價計算機中看到 SMB 數據倉儲案例的定價範例。

  • SQL 資料庫 定價取決於您選擇的計算和服務層級,以及虛擬核心和資料庫交易單位的數目。 此範例描述具有布建計算和八個虛擬核心的單一資料庫,並假設您需要在 SQL 資料庫 中執行預存程式。

  • Data Lake Storage Gen2 定價取決於您儲存的數據量,以及您使用數據的頻率。 範例定價涵蓋 1 TB 的數據記憶體和其他交易式假設。 1 TB 是指數據湖的大小,而不是原始舊版資料庫的大小。

  • 網狀架構定價取決於網 狀架構 F 容量價格或 Premium Per Person 價格。 無伺服器功能會使用您購買專用容量中的CPU和記憶體。

  • 事件中 樞定價取決於您選擇的層級、布建的輸送量單位數目,以及收到的輸入流量。 此範例假設標準層中每月處理超過一百萬個事件的輸送量單位。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主體作者:

若要查看非公開的 LinkedIn 設定檔,請登入 LinkedIn。

下一步