Fabric 環境中的 Spark 計算組態設定

Microsoft Fabric 資料工程師和資料科學體驗可在完全受控的 Spark 計算平台上運作。 此平台的旨在提供一流的速度和效率。 其中包含入門集區和自訂集區。

Fabric 環境包含組態的集合,其中包括 Spark 計算屬性,可讓使用者在連結至筆記本和 Spark 工作之後設定 Spark 工作階段。 透過環境,可以使用彈性方式來自訂執行 Spark 工作的計算組態。 在環境中,可在計算區段中設定 Spark 工作階段層級屬性,以便根據工作負載需求自訂執行程式記憶體和核心。

工作區管理員可以使用 [工作區設定] 畫面中 [資料工程師/科學] 區段之 [集區] 索引標籤中的 [項目的自訂計算組態] 交換器來啟用或停用計算自訂。

工作區管理員可以透過啟用此設定,委派成員和參與者變更 Fabric 環境中的預設工作階段層級計算組態。

螢幕擷取畫面,其中顯示 [工作區] 設定中的項目層級計算自訂選項。

如果工作區管理員在 [工作區] 設定中停用此選項,則會停用環境的計算區段,並使用工作區的預設集區計算組態來執行 Spark 工作。

環境中的自訂工作階段層級計算屬性

作為使用者,可以從 Fabric 工作區中提供的集區清單中選取環境的集區。 Fabric 工作區管理員會建立預設入門集區和自訂集區。

螢幕擷取畫面,其中顯示在環境 [計算] 區段中選取集區的位置。

在 [計算] 區段中選取集區之後,可以在所選集區的節點大小和限制範圍內調整執行程式的核心和記憶體。

例如:選取節點大小較大 (即 16 個 Spark 虛擬核心) 的自訂集區作為環境集區。 然後,可以根據工作層級需求,選擇 4、8 或 16 個驅動程式/執行程式核心。 針對配置給驅動程式和執行程式的記憶體,可以選擇 28 g、56 g 或 112 g,這些記憶體大小全都在大型節點記憶體限制的範圍內。

螢幕擷取畫面,其中顯示在環境 [計算] 區段中選取核心數量的位置。

如需有關 Spark 計算大小及其核心或記憶體選項的詳細資訊,請參閱<什麼是 Microsoft Fabric Spark 計算?>。