Köra shell-kommandon i Azure Databricks-webbterminalen

Azure Databricks-webbterminalen är ett bekvämt och mycket interaktivt sätt att köra gränssnittskommandon i ett kommandoradsgränssnitt (CLI), inklusive Databricks CLI-kommandon, för att vidta åtgärder på Databricks-objekt programmatiskt. Det är särskilt användbart för avancerade användningsfall, till exempel batchåtgärder på flera filer, som befintliga användargränssnitt (UIs) kanske inte har fullt stöd för.

Flera användare kan använda webbterminalen på en beräkning.

Du kan använda webbterminalen för att göra följande:

• Gör snabbfilredigeringar med Vim eller Emacs.
• Övervaka resursanvändning med kommandon som htop (klusteranvändning) eller nvidia-smi (GPU-användning).
• Kör icke-Spark Python-skript.
• Kör filåtgärder med gränssnittskommandon som mv och mkdir.
• Installera och hantera bibliotek vid beräkning.
• Använd Databricks CLI för att automatisera olika aspekter av Azure Databricks.

Krav

• Webbterminalen är inaktiverad som standard för alla arbetsyteanvändare. Information om hur du aktiverar den finns i Aktivera webbterminalen.
• KAN KOPPLA TILL-behörighet för en beräkning.
• Beräkningen måste använda ett åtkomstläge för Enskild användare eller Ingen isolering delas.

Starta webbterminalen

Du kan starta webbterminalen från sidan med beräkningsinformation eller från en notebook-fil.

Från en notebook-fil

Så här startar du webbterminalen från en notebook-fil:

1. Anslut notebook-filen för att beräkna.
2. Klicka på ikonen Öppna den nedre panelen längst ned i anteckningsbokens högra sidofält.
3. Du kan också klicka på den bifogade listrutan för beräkning, hovra över den anslutna beräkningen och sedan klicka på Webbterminal.

Webbterminalen öppnas i en panel längst ned på skärmen. Med knapparna längst upp till höger i panelen kan du:

• Öppna en ny terminalsession på en ny flik .
• Ladda om en terminalsession .
• Stäng den nedre panelen . Om du vill öppna panelen igen klickar du längst ned i det högra sidofältet.

Från sidan med beräkningsinformation

Så här startar du webbterminalen från sidan med beräkningsinformation:

1. Klicka på Beräkning i arbetsytans sidofält.
2. På fliken All-purpose compute (All-purpose compute ) klickar du på namnet på beräkningen.
3. Starta beräkningen genom att klicka på Start .
4. På fliken Appar klickar du på Webbterminal.

En ny flik öppnas med webbterminalens användargränssnitt och Bash-prompten.

Använda webbterminal

I webbterminalen kan du köra kommandon från roten i containern för beräkningsdrivrutinsnoden.

Varje användare kan ha upp till 100 aktiva webbterminalsessioner (flikar) öppna. Inaktiva webbterminalsessioner kan överskrida tidsgränsen och webbterminalwebbprogrammet återansluts, vilket resulterar i en ny gränssnittsprocess. Om du vill behålla Bash-sessionen rekommenderar Databricks att du använder tmux.

Köra Databricks CLI-kommandon

Du kan också använda webbterminalen för att köra Databricks CLI-kommandon. Det tillgängliga CLI:et är alltid den senaste versionen och autentiseringen baseras på den aktuella användaren. Beräkningen måste uppfylla följande krav:

• Klustret måste ha Databricks Runtime 15.0 eller senare installerat.
• Arbetsytan får inte vara aktiverad för Private Link.

Starta webbterminalen och kör följande kommando för att mata ut information om den aktuella användaren:

   databricks current-user me

Paketkommandon är också tillgängliga, vilket gör att du kan skapa och hantera databricks-tillgångspaket direkt från webbterminalen på Databricks-arbetsytan. Om du till exempel vill skapa, distribuera och köra ett enkelt paket med hjälp av standardmallen:

1. Från webbterminalroten går du till arbetsytans startsida och kör bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Acceptera standardmallprompterna och ändra sedan till paketkatalogen och distribuera den:

   cd my_project
   databricks bundle deploy
   

   Du kan visa det distribuerade my_project paketet i användargränssnittet för Databricks-arbetsytan.

3. Kör slutligen standardjobbet i paketet:

   databricks bundle run my_project_job
   

   Gå till Jobbkörningar för att se det jobb som körs.

Begränsningar

• Azure Databricks stöder inte körning av Spark-jobb från webbterminalen.

• Azure Databricks-webbterminalen är inte tillgänglig i följande beräkningstyper:

  • Jobbberäkning
  • Serverlös databearbetning
  • Beräkning som startas med miljövariabeluppsättningen DISABLE_WEB_TERMINAL=true .
  • Beräkning startad med åtkomstläge inställt på Delad.
  • Compute startade med Spark-konfigurationen spark.databricks.pyspark.enableProcessIsolation inställd på true.

• Det finns en hård gräns på 12 timmar sedan den första sidinläsningen, varefter alla anslutningar, även om de är aktiva, avslutas. Du kan uppdatera webbterminalen för att återansluta. Databricks rekommenderar att du använder tmux för att bevara shell-sessionen.

• ARM-beräkningsresurser kan inte använda webbterminaler för att komma åt arbetsytefiler, inklusive filer i Git-mappar.

• Om du aktiverar Docker Container Services inaktiveras webbterminalen.