Обновление рабочих процессов машинного обучения до целевых моделей в каталоге Unity

В этой статье объясняется, как перенести и обновить существующие рабочие процессы Databricks для использования моделей в каталоге Unity.

Требования

Необходимые привилегии

Чтобы выполнить обучение модели, развертывание или рабочий процесс вывода в каталоге Unity, субъект, выполняющий рабочий процесс, должен иметь USE CATALOG и USE SCHEMA привилегии в каталоге и схеме, в которых хранится модель.

Также требуются следующие привилегии:

• Чтобы создать модель, субъект должен иметь привилегии CREATE MODEL .
• Чтобы загрузить или развернуть модель, субъект должен иметь EXECUTE привилегии для зарегистрированной модели.

Только владелец зарегистрированной модели может выполнить следующие действия:

• Создайте новую версию модели.
• Задайте псевдоним для зарегистрированной модели.

Требования к вычислениям

Вычислительный ресурс, указанный для рабочего процесса, должен иметь доступ к каталогу Unity. См . режимы доступа.

Создание параллельных рабочих процессов обучения, развертывания и вывода

Для обновления рабочих процессов обучения и вывода моделей в каталог Unity Databricks рекомендуется добавочный подход, в котором создается параллельный конвейер обучения, развертывания и вывода, который использует модели в каталоге Unity. Когда вы комфортно с результатами с помощью каталога Unity, вы можете переключить подчиненных потребителей на чтение выходных данных пакетного вывода или увеличить трафик, перенаправленный в модели в каталоге Unity, в конечных точках обслуживания.

Рабочий процесс обучения модели

Клонируйте рабочий процесс обучения модели. Убедитесь, что субъект, выполняющий рабочий процесс, и вычислительные ресурсы, указанные для рабочего процесса, соответствуют требованиям.

Затем измените код обучения модели в клонированного рабочего процесса. Возможно, потребуется клонировать записную книжку, запущенную рабочим процессом, или создать и нацелить новую ветвь Git в клонированный рабочий процесс. Выполните следующие действия , чтобы установить необходимую версию MLflow и настроить клиент для целевого каталога Unity в коде обучения. Затем обновите код обучения модели, чтобы зарегистрировать модели в каталоге Unity. См. статью "Обучение и регистрация моделей, совместимых с каталогом Unity".

Рабочий процесс развертывания модели

Клонируйте рабочий процесс развертывания модели. Убедитесь, что субъект, выполняющий рабочий процесс, и вычислительные ресурсы, указанные для рабочего процесса, соответствуют требованиям.

Если в рабочем процессе развертывания есть логика проверки модели, обновите ее, чтобы загрузить версии модели из UC. Используйте псевдонимы для управления развертываниями рабочей модели.

Рабочий процесс вывода модели

Рабочий процесс вывода пакетной службы

Клонируйте рабочий процесс вывода пакета. Убедитесь, что субъект, выполняющий рабочий процесс, и вычислительные ресурсы, указанные для рабочего процесса, соответствуют требованиям.

Рабочий процесс обслуживания модели

Если вы используете службу модели ИИ Мозаики, вам не нужно клонировать существующую конечную точку. Вместо этого используйте функцию разделения трафика, чтобы начать маршрутизацию небольшого количества трафика в модели в каталоге Unity. При просмотре результатов с помощью каталога Unity увеличьте объем трафика, пока не будет перенаправлен весь трафик.

Повышение уровня модели в разных средах

Продвижение модели в разных средах работает по-разному с моделями в каталоге Unity. Дополнительные сведения см. в статье "Повышение уровня модели в разных средах".

Использование веб-перехватчиков заданий для утверждения вручную для развертывания модели

Databricks рекомендует автоматизировать развертывание модели, если это возможно, с помощью соответствующих проверок и тестов во время процесса развертывания модели. Однако если вам нужно выполнить утверждения вручную для развертывания рабочих моделей, вы можете использовать уведомления о задании для вызова внешним системам CI/CD, чтобы запросить утверждение вручную для развертывания модели после успешного завершения задания обучения модели. После предоставления утверждения вручную система CI/CD может развернуть версию модели для обслуживания трафика, например задав псевдоним "Чемпион".