Параметризация заданий

  • Статья

В этой статье представлен обзор использования параметров с заданиями и задачами.

Ниже приведены основные понятия для понимания параметров заданий:

Что можно сделать с параметрами?

Добавьте параметры в задания и задачи для расширенных вариантов использования, включая следующие:

  • Добавьте расширяемую логику в ресурсы кода.
  • Условные запуски.
  • Ссылка на общие параметры в нескольких задачах.
  • Используйте сведения, созданные в одной задаче в другой задаче.
  • Ссылки на метаданные и сведения о состоянии в выполнении задания.

Какова разница между параметрами задания и задачи?

Параметры задания — это пары "ключ-значение", определенные на уровне задания. Вы можете переопределить параметры по умолчанию для параметров задания при запуске с разными параметрами или запустить задание с помощью REST API. Параметры задания отправляются в задачи, использующие параметры "ключ-значение". Другие задачи могут ссылаться на параметры задания с помощью динамических ссылок на значения.

Параметры задачи — это пары "ключ-значение" массивов JSON, определенных на уровне задачи. Каждый тип задачи передает значения задач в настроенные ресурсы кода по-разному. Например, задачи записной книжки используют dbutils.widgets подмодул, а скрипты Python передают значения в качестве аргументов скрипту, как если бы он был вызван из командной строки. Подчиненные задачи могут ссылаться на параметры задачи из вышестоящих задач с помощью динамических ссылок на значения.

Примечание.

Некоторые задачи не имеют выделенного поля параметров , но разрешают ссылки на значения задач или динамические ссылки на значения в других полях. См . примеры параметризованных команд dbt и добавление логики ветвления в задание с задачей If/else.

Создание рабочих процессов с помощью динамических значений

Параметры задачи, заданные со статическими значениями, можно переопределить только путем обновления определения задачи. Установка статического значения для параметра задания просто настраивает значение по умолчанию, которое можно переопределить при запуске с разными параметрами или запустить задание с помощью REST API.

Используйте динамические ссылки на значения при определении параметров задачи для реализации шаблонов, таких как:

  • Используйте параметр задания в качестве output_table одной задачи и input_table другой.
  • Запечатлейте выходные данные запроса записной книжки в виде списка и циклического цикла в каждой задаче.
  • Создание логики вилки на основе количества записей, обработанных с помощью задачи условия If/else.
  • Ознакомьтесь с параметрами других задач.

См . статью "Что такое ссылка на динамическое значение?".