Ustawienia kolejkowania i współbieżności zadań usługi Databricks

Ten artykuł zawiera instrukcje i zalecenia dotyczące konfigurowania ustawień zaawansowanych w zadaniach usługi Databricks.

Włączanie kolejkowania przebiegów zadań

Aby zapobiec pomijaniu przebiegów zadania z powodu limitów współbieżności, możesz włączyć kolejkowanie zadania. Po włączeniu kolejkowania przebieg jest kolejkowany przez maksymalnie 48 godzin, jeśli zasoby są niedostępne dla uruchomienia zadania. Gdy pojemność jest dostępna, uruchomienie zadania jest odsyłane i uruchamiane. Uruchomienia w kolejce są wyświetlane na liście przebiegów dla zadania i listy ostatnich uruchomień zadania.

Przebieg jest kolejkowany po osiągnięciu jednego z następujących limitów:

• Maksymalna liczba współbieżnych aktywnych przebiegów w obszarze roboczym.
• Maksymalne współbieżne zadania są uruchamiane Run Job w obszarze roboczym.
• Maksymalna liczba współbieżnych uruchomień zadania.

Kolejkowanie to właściwość na poziomie zadania, która kolejki są uruchamiane tylko dla tego zadania.

Aby włączyć lub wyłączyć kolejkowanie, kliknij pozycję Ustawienia zaawansowane i kliknij przycisk przełączania kolejki w panelu bocznym Szczegóły zadania.

Konfigurowanie maksymalnej liczby współbieżnych przebiegów

Domyślnie maksymalna liczba współbieżnych uruchomień dla wszystkich nowych zadań wynosi 1.

Kliknij pozycję Edytuj współbieżne uruchomienia w obszarze Ustawienia zaawansowane, aby ustawić maksymalną liczbę przebiegów równoległych tego zadania.

Usługa Azure Databricks pomija przebieg, jeśli zadanie osiągnęło już maksymalną liczbę aktywnych przebiegów podczas próby uruchomienia nowego przebiegu.

Ustaw tę wartość większą niż 1, aby zezwolić na wiele współbieżnych uruchomień tego samego zadania. Jest to przydatne, na przykład jeśli wyzwalasz zadanie zgodnie z częstym harmonogramem i chcesz włączyć kolejne uruchomienia, aby nakładały się na siebie lub wyzwalały wiele przebiegów, które różnią się od ich parametrów wejściowych.