在 Azure Databricks Web 終端機中執行殼層命令

  • 發行項

Azure Databricks Web 終端機提供方便且高度互動的方式，可在命令行介面（CLI）中執行殼層命令，包括 Databricks CLI 命令，以程式設計方式對 Databricks 對象採取動作。 這對於進階使用案例特別有用，例如多個檔案上的批次作業，而現有使用者介面 （UI） 可能無法完全支援這些檔案。

多個用戶可以在一個計算上使用 Web 終端機。

您可以使用 Web 終端機來執行下列動作：

  • 使用 Vim 或 Emacs 快速編輯檔案。
  • 使用 （叢集使用量） 或 nvidia-smi （GPU 使用量） 等htop命令監視資源使用量。
  • 執行非 Spark Python 腳本。
  • 使用和 mkdir等mv殼層命令執行檔案作業。
  • 在計算上安裝和管理連結庫。
  • 使用 Databricks CLI 將 Azure Databricks 的各個層面自動化。

需求

警告

Azure Databricks 會從計算 Spark 驅動程式上的埠 7681 代理 Web 終端機服務。 此 Web Proxy 僅適用於 Web 終端機。 如果計算啟動時或發生某種衝突時佔用埠，Web 終端機可能無法如預期般運作。 如果埠 7681 上啟動其他 Web 服務，計算使用者可能會暴露在潛在的安全性惡意探索中。 Databricks 和 Microsoft 都不負責計算上安裝不支持軟體所造成的任何問題。

啟動 Web 終端機

您可以從計算詳細數據頁面或筆記本啟動 Web 終端機。

從筆記本

若要從筆記本啟動 Web 終端機：

  1. 將筆記本連線到計算。
  2. 在筆記本右側邊欄底部，按下 [ 開啟底部] 面板 圖示 在筆記本中開啟底部面板。
  3. 或者，按下附加的計算下拉式清單，將滑鼠停留在附加的計算上，然後按兩下 [Web 終端機]。

Web 終端機會在畫面底部的面板中開啟。 面板右上角的按鈕可讓您：

  • 在新索引標籤 開啟新的終端機會話開啟新的終端機會話。
  • 重載終端機會話 重載終端機會話。
  • 關閉底部面板 關閉底部面板。 若要重新開啟面板，請按下 重新開啟底部面板 右側提要欄位底部的 。

從計算詳細數據頁面

若要從計算詳細數據頁面啟動 Web 終端機：

  1. 在工作區的提要欄位中，按兩下 [ 計算]。
  2. 在 [ 所有用途計算 ] 索引標籤上，按兩下計算的名稱。
  3. 按兩下 [ 開始] 以啟動計算。
  4. 在 [ 應用程式] 索引標籤上，按兩下 [Web 終端機]。

新的索引標籤隨即開啟，其中包含 Web 終端機 UI 和 Bash 提示字元。

使用 Web 終端機

在 Web 終端機中，您可以從計算驅動程式節點容器內的根目錄執行命令。

每個使用者最多可以開啟 100 個作用中的 Web 終端機會話（索引標籤）。 閑置的 Web 終端機會話可能會逾時，而 Web 終端機 Web 應用程式將會重新連線，進而產生新的殼層程式。 如果您想要保留 Bash 會話，Databricks 建議使用 tmux。

執行 Databricks CLI 命令

您也可以使用 Web 終端機來執行 Databricks CLI 命令。 可用的 CLI 一律為最新版本，而驗證是以目前的用戶為基礎。 計算必須符合下列需求：

  • 叢集必須已安裝 Databricks Runtime 15.0 或更新版本。
  • 私人連結不得啟用工作區。

啟動 Web 終端機並執行下列命令，以輸出目前使用者的相關信息：

   databricks current-user me

您也可以使用套件組合命令，讓您直接從 Databricks 工作區內的 Web 終端機建立和管理 Databricks 資產套件組合 。 例如，若要使用預設範本建立、部署及執行簡單的套件組合：

  1. 從 Web 終端機根目錄，瀏覽至工作區首頁並執行 bundle init：

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. 接受預設範本提示，然後變更為套件組合目錄並加以部署：

    cd my_project
databricks bundle deploy

    您可以在 Databricks 工作區 UI 中檢視已部署的 my_project 套件組合。

  3. 最後，在套件組合中執行預設作業：

    databricks bundle run my_project_job

    瀏覽至 [作業執行 ] 以查看執行中的作業。

限制

  • Azure Databricks 不支援從 Web 終端機執行 Spark 作業。

  • 下列計算類型無法使用 Azure Databricks Web 終端機：

    • 作業計算
    • 無伺服器計算
    • 以環境變數集啟動的 DISABLE_WEB_TERMINAL=true 計算。
    • 以存取模式設為 [共用] 啟動的計算。
    • 已將 Spark 組態 spark.databricks.pyspark.enableProcessIsolation 設定設定為 true啟動的計算。

  • 自初始頁面載入之後，硬性限製為12小時，之後即使使用中，任何連接仍會終止。 您可以重新整理 Web 終端機以重新連線。 Databricks 建議使用 tmux 來保留殼層會話。

  • ARM 計算資源無法使用 Web 終端機來存取工作區檔案，包括 Git 資料夾中的檔案。

  • 啟用 Docker Container Services 會停用 Web 終端機。