Używanie klasycznego notesu Jupyter Notebook z usługą Databricks Connect dla języka Python

W tym artykule opisano sposób używania programu Databricks Connect dla języka Python z klasycznym notesem Jupyter Notebook. Usługa Databricks Connect umożliwia łączenie popularnych serwerów notesów, środowisk IDE i innych aplikacji niestandardowych z klastrami usługi Azure Databricks. Zobacz Co to jest usługa Databricks Connect?.

Aby użyć usługi Databricks Connect z klasycznym notesem Jupyter i językiem Python, postępuj zgodnie z tymi instrukcjami.

1. Aby zainstalować klasyczny notes Jupyter Notebook z aktywowanym środowiskiem wirtualnym języka Python, uruchom następujące polecenie w terminalu lub wierszu polecenia:

   pip3 install notebook
   

2. Aby uruchomić klasyczny notes Jupyter Notebook w przeglądarce internetowej, uruchom następujące polecenie w aktywowanym środowisku wirtualnym języka Python:

   jupyter notebook
   

   Jeśli klasyczny notes Jupyter Notebook nie jest wyświetlany w przeglądarce internetowej, skopiuj adres URL rozpoczynający się od localhost lub 127.0.0.1 ze środowiska wirtualnego i wprowadź go na pasku adresu przeglądarki internetowej.

3. Utwórz nowy notes: w klasycznym notesie Jupyter Notebook na karcie Pliki kliknij pozycję Nowy > język Python 3 (ipykernel).

4. W pierwszej komórce notesu wprowadź przykładowy kod lub własny kod. Jeśli używasz własnego kodu, musisz co najmniej zainicjować DatabricksSession kod, jak pokazano w przykładowym kodzie.

5. Aby uruchomić notes, kliknij pozycję Komórka > Uruchom wszystko. Cały kod w języku Python działa lokalnie, podczas gdy cały kod PySpark obejmujący operacje ramki danych jest uruchamiany w klastrze w zdalnym obszarze roboczym usługi Azure Databricks i uruchamiane odpowiedzi są wysyłane z powrotem do lokalnego obiektu wywołującego.

6. Aby debugować notes, dodaj następujący wiersz kodu na początku notesu:

   from IPython.core.debugger import set_trace

   Następnie wywołaj metodę set_trace() , aby wprowadzić instrukcje debugowania w tym momencie wykonywania notesu. Cały kod języka Python jest debugowany lokalnie, podczas gdy cały kod PySpark nadal działa w klastrze w zdalnym obszarze roboczym usługi Azure Databricks. Nie można debugować podstawowego kodu aparatu Spark bezpośrednio z klienta.

7. Aby zamknąć klasyczny notes Jupyter Notebook, kliknij pozycję Zamknij i zatrzymaj plik>. Jeśli klasyczny proces notesu Jupyter jest nadal uruchomiony w terminalu lub wierszu polecenia, zatrzymaj ten proces, naciskając Ctrl + c , a następnie wprowadzając polecenie y , aby potwierdzić.