Azure Databricks 架構概觀

本文提供 Azure Databricks 架構的高階概觀,包括其企業架構與 Azure 的組合。

高階架構

Azure Databricks 會從 控制平面計算平面運作。

  • 控制 平面 包含 Azure Databricks 在您的 Azure Databricks 帳戶中管理的後端服務。 Web 應用程式位於控制平面中。
  • 計算 平面 是處理數據的位置。 根據您使用的計算,計算平面有兩種類型。
    • 針對無伺服器計算,無伺服器計算資源會在 Azure Databricks 帳戶的無伺服器計算平面執行。
    • 針對傳統 Azure Databricks 計算,計算資源位於 Azure 訂用帳戶中,稱為 傳統計算平面。 這是指 Azure 訂用帳戶及其資源中的網路。

每個 Azure Databricks 工作區都有一個相關聯的記憶體帳戶,稱為 工作區記憶體帳戶。 工作區記憶體帳戶位於您的 Azure 訂用帳戶中。

下圖說明整體 Azure Databricks 架構。

圖表:Databricks 架構

無伺服器計算平面

在無伺服器計算平面中,Azure Databricks 計算資源會在 Azure Databricks 帳戶內的計算層中執行。 Azure Databricks 會在與工作區傳統計算平面相同的 Azure 區域中建立無伺服器計算平面。

為了保護無伺服器計算平面內的客戶數據,無伺服器計算會在工作區的網路界限內執行,並透過各種安全性層級來隔離不同的 Azure Databricks 客戶工作區,以及相同客戶叢集之間的其他網路控制。

若要深入瞭解無伺服器計算平面中的網路功能, 無伺服器計算平面網路

傳統計算平面

在傳統計算平面中,Azure Databricks 計算資源會在您的 Azure 訂用帳戶中執行。 新的計算資源會在客戶 Azure 訂用帳戶中的每個工作區虛擬網路內建立。

傳統計算平面具有自然隔離,因為它會在每個客戶自己的 Azure 訂用帳戶中執行。 若要深入瞭解傳統計算平面中的網路功能,請參閱 傳統計算平面網路

如需區域支援,請參閱 Azure Databricks 區域

工作區記憶體帳戶

當您建立工作區時,Azure Databricks 會在 Azure 訂用帳戶中建立帳戶,以作為工作區記憶體帳戶使用。

工作區記憶體帳戶包含:

  • 工作區系統數據: 當您使用各種 Azure Databricks 功能,例如建立筆記本時,會產生工作區系統數據。 此貯體包含筆記本修訂、作業執行詳細數據、命令結果和Spark記錄
  • DBFS: DBFS(Databricks 文件系統)是可在命名空間下 dbfs:/ 存取的 Azure Databricks 環境中分散式文件系統。 DBFS 根和 DBFS 掛接都位於 命名空間中 dbfs:/ 。 使用 DBFS 根或 DBFS 掛接來儲存和存取數據是已被取代的模式,Databricks 不建議這麼做。 如需詳細資訊,請參閱 什麼是 DBFS?
  • Unity 目錄工作區目錄: 如果您的工作區已針對 Unity 目錄自動啟用,工作區記憶體帳戶會包含預設工作區目錄。 工作區中的所有使用者可以在此目錄中的預設架構中建立資產。 請參閱 設定和管理 Unity 目錄

若要限制僅來自授權資源和網路的工作區記憶體帳戶存取,請參閱 啟用工作區記憶體帳戶的防火牆支援。