Azure Databricks web terminalinde kabuk komutlarını çalıştırma

  • Makale

Azure Databricks web terminali, Databricks CLI komutları dahil olmak üzere bir komut satırı arabiriminde (CLI) kabuk komutlarını çalıştırmak için programlı olarak Databricks nesneleri üzerinde eylem gerçekleştirmenin kullanışlı ve son derece etkileşimli bir yolunu sağlar. Mevcut kullanıcı arabirimlerinin (URI) tam olarak desteklenmeyebileceği birden çok dosyadaki toplu işlem gibi gelişmiş kullanım örnekleri için özellikle yararlıdır.

Web terminalini tek bir işlemde birden çok kullanıcı kullanabilir.

Aşağıdakileri yapmak için web terminalini kullanabilirsiniz:

  • Vim veya Emacs kullanarak hızlı dosya düzenlemeleri yapın.
  • (küme kullanımı) veya nvidia-smi (GPU kullanımı) gibi htop komutlarla kaynak kullanımını izleyin.
  • Spark olmayan Python betiklerini çalıştırın.
  • ve mkdirgibi mv kabuk komutlarıyla dosya işlemlerini yürütür.
  • İşlemde kitaplıkları yükleyin ve yönetin.
  • Azure Databricks'in çeşitli yönlerini otomatikleştirmek için Databricks CLI'yi kullanın.

Gereksinimler

Uyarı

Azure Databricks, işlem Spark sürücüsündeki 7681 numaralı bağlantı noktasından web terminali hizmetini proxy'ler. Bu web proxy'si yalnızca web terminali ile kullanılmak üzere tasarlanmıştır. İşlem başlatıldığında bağlantı noktası meşgulse veya bir tür çakışma varsa, web terminali beklendiği gibi çalışmayabilir. Diğer web hizmetleri 7681 numaralı bağlantı noktasında başlatılırsa işlem kullanıcıları olası güvenlik açıklarına maruz kalabilir. Bir işlemde desteklenmeyen yazılımların yüklenmesinden kaynaklanan sorunlardan ne Databricks ne de Microsoft sorumludur.

Web terminalini başlatma

web terminalini işlem ayrıntıları sayfasından veya bir not defterinden başlatabilirsiniz.

Not defterinden

Web terminalini bir not defterinden başlatmak için:

  1. Not defterini işlem için bağlayın.
  2. Not defterinin sağ kenar çubuğunun alt kısmında Alt paneli aç simgesineNot defterinde alt paneli açma tıklayın.
  3. Alternatif olarak, ekli işlem açılan menüsüne tıklayın, ekli işlem üzerine gelin ve ardından Web Terminali'ne tıklayın.

Web terminali, ekranın alt kısmındaki bir panelde açılır. Panelin sağ üst kısmındaki düğmeler şunları yapmanızı sağlar:

  • Yeni bir sekmede yeni bir terminal oturumu açmayeni bir terminal oturumu açın.
  • Terminal oturumlarını terminal oturumlarını yeniden yüklemeyeniden yükleyin.
  • Alt paneli alt paneli kapatkapatın. Paneli yeniden açmak için sağ kenar çubuğunun alt kısmına tıklayın alt paneli yeniden açma .

İşlem ayrıntıları sayfasından

İşlem ayrıntıları sayfasından web terminalini başlatmak için:

  1. Çalışma alanının kenar çubuğunda İşlem'e tıklayın.
  2. Çok amaçlı işlem sekmesinde, işlem adına tıklayın.
  3. İşlemi başlatmak için Başlat'a tıklayın.
  4. Uygulamalar sekmesinde Web Terminali'ne tıklayın.

Web terminali kullanıcı arabirimi ve Bash istemiyle yeni bir sekme açılır.

Web terminali kullanma

Web terminalinde, işlem sürücüsü düğümünün kapsayıcısının içindeki kökten komut çalıştırabilirsiniz.

Her kullanıcının en fazla 100 etkin web terminali oturumu (sekme) açık olabilir. Boşta kalan web terminali oturumları zaman aşımına neden olabilir ve web terminali web uygulaması yeniden bağlanarak yeni bir kabuk işlemine neden olur. Bash oturumunuzu korumak istiyorsanız Databricks, smokin kullanmanızı önerir.

Databricks CLI komutlarını çalıştırma

Databricks CLI komutlarını çalıştırmak için web terminalini de kullanabilirsiniz. Kullanılabilir CLI her zaman en son sürümdür ve kimlik doğrulaması geçerli kullanıcıyı temel alır. İşlem aşağıdaki gereksinimleri karşılamalıdır:

  • Kümede Databricks Runtime 15.0 veya üzeri yüklü olmalıdır.
  • Çalışma alanı Özel Bağlantı için etkinleştirilmemelidir.

Geçerli kullanıcı hakkında bilgi almak için web terminalini başlatın ve aşağıdaki komutu çalıştırın:

   databricks current-user me

Databricks Varlık Paketlerinizi doğrudan Databricks çalışma alanı içindeki web terminalinden oluşturmanıza ve yönetmenize olanak tanıyan paket komutları da mevcuttur. Örneğin, varsayılan şablonu kullanarak basit bir paket oluşturmak, dağıtmak ve çalıştırmak için:

  1. Web terminali kökünden çalışma alanınızın giriş sayfasına gidin ve komutunu çalıştırın bundle init:

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Varsayılan şablon istemlerini kabul edin, ardından paket dizinine geçin ve dağıtın:

    cd my_project
databricks bundle deploy

    Dağıtılan my_project paketi Databricks çalışma alanı kullanıcı arabiriminde görüntüleyebilirsiniz.

  3. Son olarak pakette varsayılan işi çalıştırın:

    databricks bundle run my_project_job

    Çalışan işi görmek için İş Çalıştırmaları'na gidin.

Sınırlamalar

  • Azure Databricks, Spark işlerinin web terminalinden çalıştırılmasını desteklemez.

  • Azure Databricks web terminali aşağıdaki işlem türlerinde kullanılamaz:

    • İş işlemi
    • Sunucusuz işlem
    • İşlem, ortam değişkeni kümesiyle DISABLE_WEB_TERMINAL=true başlatıldı.
    • Erişim modu Paylaşılan olarak ayarlanmış şekilde başlatılan işlem.
    • Spark yapılandırması spark.databricks.pyspark.enableProcessIsolation olarak ayarlanmış olarak truebaşlatılan işlem.

  • İlk sayfa yüklemesinin üzerinden 12 saat sabit bir sınır vardır ve bundan sonra etkin olsa bile herhangi bir bağlantı sonlandırılır. Yeniden bağlanmak için web terminalini yenileyebilirsiniz. Databricks, kabuk oturumunuzu korumak için smokin kullanmanızı önerir.

  • ARM işlem kaynakları, Git klasörlerindeki dosyalar dahil olmak üzere çalışma alanı dosyalarına erişmek için web terminallerini kullanamaz.

  • Docker Container Services'ın etkinleştirilmesi web terminalini devre dışı bırakır.