Zadanie skryptu języka Python dla zadań

  • Artykuł

Użyj zadania skryptu języka Python, aby uruchomić plik w języku Python.

Konfigurowanie zadania skryptu języka Python

Przed rozpoczęciem należy przekazać skrypt języka Python do lokalizacji dostępnej dla użytkownika konfigurującego zadanie. Usługa Databricks zaleca używanie plików obszaru roboczego dla skryptów języka Python. Zobacz Co to są pliki obszaru roboczego?.

Uwaga

Interfejs użytkownika zadań wyświetla opcje dynamicznie na podstawie innych skonfigurowanych ustawień.

Usługa Databricks zaleca przechowywanie kodu lub danych przy użyciu katalogu głównego lub instalacji systemu plików DBFS. Zamiast tego można migrować skrypty języka Python do plików obszarów roboczych lub woluminów lub używać identyfikatorów URI do uzyskiwania dostępu do magazynu obiektów w chmurze.

Aby rozpocząć przepływ w celu skonfigurowania Python script zadania:

  1. Przejdź do karty Zadania w interfejsie użytkownika zadań.
  2. W menu rozwijanym Typ wybierz pozycję Python script.

Konfigurowanie źródła

W menu rozwijanym Źródło wybierz lokalizację skryptu języka Python przy użyciu jednej z następujących opcji.

Obszar roboczy

Użyj obszaru roboczego , aby skonfigurować skrypt języka Python przechowywany przy użyciu plików obszaru roboczego.

  1. Kliknij pole Ścieżka. Zostanie wyświetlone okno dialogowe Wybieranie pliku języka Python.
  2. Przejdź do skryptu języka Python, kliknij, aby wyróżnić plik, a następnie kliknij przycisk Potwierdź.

Uwaga

Możesz użyć tej opcji, aby skonfigurować zadanie w skryscie języka Python przechowywanym w folderze Git usługi Databricks. Usługa Databricks zaleca użycie opcji dostawcy Git i zdalnego repozytorium Git do wersji zasobów zaplanowanych za pomocą zadań.

DBFS/ADLS

Użyj systemu DBFS/ADLS , aby skonfigurować skrypt języka Python przechowywany w woluminie, lokalizacji magazynu obiektów w chmurze lub katalogu głównego systemu plików DBFS.

Usługa Databricks zaleca przechowywanie skryptów języka Python w woluminach katalogu aparatu Unity lub magazynie obiektów w chmurze.

W polu Ścieżka wprowadź identyfikator URI skryptu języka Python. Na przykład: /Volumes/path/to/script.py lub abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/script.py.

Dostawca usługi Git

Użyj dostawcy git, aby skonfigurować skrypt języka Python przechowywany w zdalnym repozytorium Git.

Opcje wyświetlane przez interfejs użytkownika zależą od tego, czy dostawca git został już skonfigurowany w innym miejscu. Tylko jedno zdalne repozytorium Git może być używane dla wszystkich zadań w zadaniu. Zobacz Używanie usługi Git z zadaniami.

Pole Ścieżka zostanie wyświetlone po skonfigurowaniu odwołania git.

Wprowadź ścieżkę względną skryptu języka Python, na przykład etl/bronze/ingest.py.

Ważne

Po wprowadzeniu ścieżki względnej nie zaczynaj się od / ani ./. Jeśli na przykład ścieżka bezwzględna kodu języka Python, do którego chcesz uzyskać dostęp, to /etl/bronze/ingest.py, wprowadź etl/bronze/ingest.py wartość w polu Ścieżka .

Konfigurowanie bibliotek obliczeniowych i zależnych

  1. Użyj funkcji Compute , aby wybrać lub skonfigurować klaster, który obsługuje logikę w skryscie.

  2. Jeśli używasz Serverless obliczeń, użyj pola Środowisko i biblioteki , aby wybrać, edytować lub dodać nowe środowisko. Zobacz Instalowanie zależności notesu.

  3. Dla wszystkich innych konfiguracji obliczeniowych kliknij pozycję + Dodaj w obszarze Biblioteki zależne. Zostanie wyświetlone okno dialogowe Dodawanie biblioteki zależnej .

    • Możesz wybrać istniejącą bibliotekę lub przekazać nową bibliotekę.
    • Biblioteki przechowywane w lokalizacji obsługiwanej przez konfiguracje obliczeniowe można używać tylko w lokalizacji. Zobacz Obsługa biblioteki języka Python.
    • Każde źródło biblioteki ma inny przepływ do wybierania lub przekazywania biblioteki. Zobacz Biblioteki.

  4. Użyj funkcji Compute , aby wybrać lub skonfigurować klaster, który obsługuje logikę w skryscie.

  5. Kliknij pozycję + Dodaj w obszarze Biblioteki zależne. Zostanie wyświetlone okno dialogowe Dodawanie biblioteki zależnej .

    • Możesz wybrać istniejącą bibliotekę lub przekazać nową bibliotekę.
    • Biblioteki przechowywane w lokalizacji obsługiwanej przez konfiguracje obliczeniowe można używać tylko w lokalizacji. Zobacz Obsługa biblioteki języka Python.
    • Każde źródło biblioteki ma inny przepływ do wybierania lub przekazywania biblioteki. Zobacz Biblioteki.

Finalizowanie konfiguracji zadania

  1. (Opcjonalnie) Skonfiguruj parametry jako listę ciągów przekazywanych jako argumenty interfejsu wiersza polecenia do skryptu języka Python. Zobacz Konfigurowanie parametrów zadania.
  2. Kliknij pozycję Zapisz zadanie.