Что такое пакеты ресурсов Databricks?

  • Статья

Наборы активов Databricks (DAB) — это средство для упрощения внедрения рекомендаций по проектированию программного обеспечения, включая управление версиями, проверку кода, тестирование и непрерывную интеграцию и доставку (CI/CD) для ваших данных и проектов ИИ. Пакеты позволяют описать ресурсы Databricks, такие как задания, конвейеры и записные книжки в качестве исходных файлов. Эти исходные файлы предоставляют комплексное определение проекта, включая структуру, тестирование и развертывание, что упрощает совместную работу над проектами во время активной разработки.

Пакеты предоставляют способ включения метаданных вместе с исходными файлами проекта. При развертывании проекта с помощью пакетов эти метаданные используются для подготовки инфраструктуры и других ресурсов. Затем коллекция исходных файлов и метаданных проекта развертывается в качестве одного пакета в целевой среде. Пакет включает следующие части:

  • Обязательные конфигурации облачной инфраструктуры и рабочей области
  • Исходные файлы, такие как записные книжки и файлы Python, которые включают бизнес-логику
  • Определения и параметры для ресурсов Databricks, таких как задания Azure Databricks, конвейеры Delta Live Tables, конечные точки обслуживания моделей, эксперименты MLflow и зарегистрированные модели MLflow
  • Модульные тесты и тесты интеграции

На следующей схеме представлено высокоуровневое представление конвейера разработки и CI/CD с пакетами:

Общие сведения о пакетах активов Databricks

Когда следует использовать пакеты ресурсов Databricks?

Пакеты ресурсов Databricks — это подход к управлению проектами Databricks как кода (IaC). Используйте их, если требуется управлять сложными проектами, в которых необходимы несколько участников и автоматизации, а также непрерывная интеграция и развертывание (CI/CD) являются обязательными. Так как пакеты определяются и управляются с помощью шаблонов и файлов YAML, которые создаются и поддерживаются вместе с исходным кодом, они хорошо сопоставляются с сценариями, где IaC является подходящим подходом.

Ниже приведены некоторые идеальные сценарии для пакетов:

  • Разработка проектов данных, аналитики и машинного обучения в командной среде. Пакеты помогают эффективно упорядочивать и управлять различными исходными файлами. Это обеспечивает гладкую совместную работу и упрощенные процессы.
  • Итерацию проблем машинного обучения быстрее. Управление ресурсами конвейера машинного обучения (например, задания обучения и пакетного вывода) с помощью проектов машинного обучения, которые соответствуют рабочим рекомендациям с самого начала.
  • Настройте организационные стандарты для новых проектов, создав пользовательские шаблоны пакетов, включающие разрешения по умолчанию, субъекты-службы и конфигурации CI/CD.
  • Соответствие нормативным требованиям. В отраслях, где соответствие нормативным требованиям является значительным, пакеты могут помочь поддерживать версию журнала работы кода и инфраструктуры. Это помогает в управлении и гарантирует соблюдение необходимых стандартов соответствия.

Как работают пакеты ресурсов Databricks?

Метаданные пакета определяются с помощью файлов YAML, которые указывают артефакты, ресурсы и конфигурацию проекта Databricks. Этот файл YAML можно создать вручную или создать его с помощью шаблона пакета. Затем интерфейс командной строки Databricks можно использовать для проверки, развертывания и запуска пакетов с помощью этих файлов YAML пакета. Вы можете запускать проекты пакета из удостоверений, терминалов или в Databricks напрямую. В этой статье используется интерфейс командной строки Databricks.

Пакеты можно создавать вручную или на основе шаблона. Интерфейс командной строки Databricks предоставляет шаблоны по умолчанию для простых вариантов использования, но для более конкретных или сложных заданий можно создать настраиваемые шаблоны пакетов для реализации рекомендаций вашей команды и обеспечения согласованности распространенных конфигураций.

Дополнительные сведения о конфигурации YAML, используемой для выражения пакетов активов Databricks, см. в разделе "Конфигурация пакета активов Databricks".

Настройка среды для использования пакетов

Используйте интерфейс командной строки Databricks, чтобы легко развертывать пакеты из командной строки. Чтобы установить интерфейс командной строки Databricks, см. статью "Установка или обновление интерфейса командной строки Databricks".

Пакеты активов Databricks доступны в Интерфейсе командной строки Databricks версии 0.218.0 или выше. Чтобы найти установленную версию интерфейса командной строки Databricks, выполните следующую команду:

databricks --version

После установки интерфейса командной строки Databricks убедитесь, что удаленные рабочие области Databricks настроены правильно. Для пакетов требуется включить функцию файлов рабочей области, так как эта функция поддерживает работу с файлами, отличными от записных книжек Databricks, например .py и .yml файлов. Если вы используете Databricks Runtime версии 11.3 LTS или более поздней, эта функция включена по умолчанию.

Проверка подлинности

Azure Databricks предоставляет несколько методов проверки подлинности:

  • Для сценариев проверки подлинности, таких как ручной рабочий процесс, в котором вы используете веб-браузер для входа в целевую рабочую область Azure Databricks (при появлении запроса интерфейса командной строки Databricks), используйте проверку подлинности OAuth для компьютера (U2M). Этот метод идеально подходит для экспериментов с руководствами по началу работы с пакетами ресурсов Databricks или для быстрого разработки пакетов.
  • Для сценариев автоматической проверки подлинности, таких как полностью автоматизированные рабочие процессы, в которых нет возможности использовать веб-браузер для входа в целевую рабочую область Azure Databricks в то время, используйте проверку подлинности OAuth на компьютере (M2M). Этот метод требует использования субъектов-служб Azure Databricks и идеально подходит для использования пакетов ресурсов Databricks с системами CI/CD, такими как GitHub.

Для проверки подлинности OAuth U2M выполните следующие действия.

  1. Используйте интерфейс командной строки Databricks для локального запуска управления маркерами OAuth, выполнив следующую команду для каждой целевой рабочей области.

    В следующей команде замените <workspace-url> URL-адрес Azure Databricks для каждой рабочей области, напримерhttps://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --host <workspace-url>

  2. Интерфейс командной строки Databricks предлагает сохранить сведения, введенные в качестве профиля конфигурации Azure Databricks. Нажмите, Enter чтобы принять предлагаемое имя профиля, или введите имя нового или существующего профиля. Любой существующий профиль с тем же именем перезаписывается с введенными сведениями. Профили можно использовать для быстрого переключения контекста проверки подлинности в нескольких рабочих областях.

    Чтобы получить список существующих профилей, в отдельном терминале или командной строке используйте интерфейс командной строки Databricks для выполнения команды databricks auth profiles. Чтобы просмотреть существующие параметры конкретного профиля, выполните команду databricks auth env --profile <profile-name>.

  3. В веб-браузере выполните инструкции на экране, чтобы войти в рабочую область Azure Databricks.

  4. Чтобы просмотреть текущее значение маркера OAuth профиля и метку времени окончания срока действия маркера, выполните одну из следующих команд:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Если у вас есть несколько профилей с --host одинаковым значением, может потребоваться указать и -p параметры --host вместе, чтобы помочь Databricks CLI найти правильные соответствующие сведения о маркере OAuth.

Имя этого профиля конфигурации можно использовать одним или несколькими способами при проверке, развертывании, запуске или уничтожении пакетов:

  • С параметром -p <profile-name>командной строки, добавленным к командамdatabricks bundle validate, databricks bundle deploydatabricks bundle runилиdatabricks bundle destroy. См. статью о разработке пакетов активов Databricks.
  • В качестве значения profile сопоставления в сопоставлении верхнего уровня workspace файла конфигурации пакета (хотя Databricks рекомендует использовать host набор сопоставлений с URL-адресом рабочей области Azure Databricks вместо profile сопоставления, так как он делает файлы конфигурации пакета более переносимыми). См. сведения о сопоставлении profile в рабочей области.
  • Если имя профиля конфигурации равноDEFAULT, оно используется по умолчанию, если параметр командной строки -p <profile-name> или profile сопоставление (илиhost) не указано.

Для проверки подлинности OAuth M2M выполните следующие действия.

  1. Выполните инструкции по настройке проверки подлинности OAuth M2M. Ознакомьтесь с проверкой подлинности доступа к Azure Databricks с помощью субъекта-службы с помощью OAuth (OAuth M2M).

  2. Установите интерфейс командной строки Databricks в целевом вычислительном ресурсе одним из следующих способов:

  3. Задайте следующие переменные среды для вычислительного ресурса следующим образом:

    Чтобы задать эти переменные среды, ознакомьтесь с документацией по операционной системе целевого вычислительного ресурса или системе CI/CD.

Разработка первого пакета ресурсов Databricks

Самый быстрый способ начать разработку пакетов — использовать шаблон проекта пакета. Создайте первый проект пакета с помощью команды init пакета Databricks CLI. Эта команда представляет выбор шаблонов пакетов по умолчанию, предоставляемых Databricks, и задает ряд вопросов для инициализации переменных проекта.

databricks bundle init

Создание пакета является первым шагом в жизненном цикле пакета. Второй шаг — разработка пакета, ключевой элемент которого определяет параметры пакета и ресурсы в databricks.yml файлах конфигурации ресурсов и файлов конфигурации ресурсов. Сведения о конфигурации пакета см. в разделе "Конфигурация пакета ресурсов Databricks".

Совет

Примеры конфигурации пакета можно найти в примерах конфигурации пакета и репозитории примеров пакетов в GitHub.

Следующие шаги