Задания обработки эластичных баз данных в Базе данных SQL Azure

Применимо к: База данных SQL Azure

В этой статье мы рассмотрим возможности и сведения об эластичных заданиях для База данных SQL Azure.

• Руководство по настройке эластичных заданий см. в руководстве по эластичным заданиям.
• Дополнительные сведения о концепциях автоматизации на платформах баз данных Azure.

Обзор эластичных заданий

Вы можете создавать и планировать задания обработки эластичных баз данных, с помощью которых можно периодически выполнять запросы Transact-SQL (T-SQL) и задачи по обслуживанию для одной или нескольких баз данных SQL Azure.

Вы можете определить целевую базу данных или группы баз данных, в которых будет выполняться задание, а также определить расписания для запуска задания. Все даты и время в эластичных заданиях находятся в часовом поясе UTC.

Задание выполняет задачу входа в целевую базу данных. Вы также можете определять, поддерживать и сохранять сценарии Transact-SQL, которые могут выполняться в группе баз данных.

Каждое задание регистрирует состояние выполнения и автоматически пытается повторить выполнение операции при возникновении сбоев.

В каких случаях следует использовать задания обработки эластичных баз данных

Есть несколько сценариев автоматизации с применением заданий обработки эластичных баз данных:

• Автоматизируйте задачи управления и запланируйте их выполнение каждый рабочий день, через часы и т. д.
  • Развертывание изменений схемы, управление учетными данными.
  • Сбор данных производительности или сбор данных телеметрии клиента (клиента).
  • Обновление эталонных данных (например, сведений о продукте, которые являются общими для всех баз данных).
  • Загрузите данные из хранилища BLOB-объектов Azure.
• Настройте задания для выполнения в коллекции баз данных на регулярной основе, например в нерабочие часы.
  • Сбор результатов запроса из набора баз данных в центральную таблицу на постоянной основе.
  • Запросы можно постоянно выполнять и настраивать для активации дополнительных задач для выполнения.
• Сбор данных для создания отчетов
  • Сбор данных из коллекции баз данных в одну целевую таблицу.
  • Выполняйте запросы обработки данных с повышенным временем выполнения для большого набора баз данных, например коллекции телеметрии клиентов. Результаты собираются в одну целевую таблицу для дальнейшего анализа.
• Перемещение данных
  • Для пользовательских разработанных решений, бизнес-автоматизации или управления другими задачами.
  • Обработка ETL для извлечения и обработки и вставки данных между таблицами в базе данных.

При выполнении эластичных заданий следует учитывать следующие действия:

• У вас должна быть задача, которая должна выполняться регулярно по расписанию, нацелив одну или несколько баз данных.
• У вас должна быть задача, которая должна выполняться один раз, но в нескольких базах данных.
• Необходимо выполнять задания для любой комбинации баз данных: одной или нескольких отдельных баз данных, всех баз данных на сервере, всех баз данных в эластичном пуле с добавленной гибкостью для включения или исключения определенной базы данных. Задания могут выполняться на нескольких серверах, в нескольких пулах и даже в базах данных в разных подписках. Серверы и пулы динамически перечисляются во время выполнения, поэтому задания выполняются во всех базах данных, имеющихся в целевой группе на момент выполнения.
  • Это значительное различие от агента SQL, которое не может динамически перечислять целевые базы данных, особенно в сценариях клиентов SaaS, где базы данных добавляются и удаляются динамически.

Компоненты заданий обработки эластичных баз данных

Агент заданий обработки эластичных баз данных

Агент эластичных заданий — это ресурс Azure для создания, запуска и управления заданиями. Агент эластичных заданий — это ресурс Azure, создаваемый на портале (также поддерживаются создание эластичных заданий и управление ими с помощью PowerShell и REST API).

Для создания агента эластичных заданий требуется существующая база данных в База данных SQL Azure. Агент настраивает существующий База данных SQL Azure в качестве базы данных заданий.

Можно запустить, отключить или отменить задание с помощью портал Azure. Портал Azure также позволяет просматривать определения заданий и журнал выполнения.

Стоимость агента эластичных заданий

Счета за использование базы данных заданий выставляются по тем же тарифам, что и за использование любой базы данных в Базе данных SQL Azure. Для стоимости агента заданий Elastic он основан на фиксированных ценах уровня служб, выбранного для агента задания. См. страницу цен База данных SQL Azure.

База данных заданий обработки эластичных баз данных

База данных заданий используется для определения заданий и отслеживания состояния и журнала выполнения заданий. Задания выполняются в целевых базах данных. База данных заданий также используется для хранения метаданных агента, журналов, результатов, определений заданий, а также содержит множество полезных хранимых процедур и других объектов базы данных для создания, выполнения и управления заданиями с помощью T-SQL.

Для создания агента эластичного задания рекомендуется создать База данных SQL Azure (S1 или более поздней версии).

База данных заданий должна быть чистой, пустой, S1 или более поздней цели службы База данных SQL Azure.

Рекомендуемая цель службы базы данных заданий — S1 или выше, но оптимальный выбор зависит от потребностей в производительности заданий: количества шагов задания, количества целевых объектов задания и частоты выполнения заданий.

Если операции с базой данных заданий выполняются медленнее, чем ожидалось, то производительность базы данных и использование ресурсов в базе данных заданий в периоды медленной работы нужно отслеживать с помощью портала Azure или динамического административного представления sys.dm_db_resource_stats. Если использование ресурса, например ЦП, операций ввода-вывода данных или записи журналов, приближается к 100 % и сопоставляется с периодами медленности, рассмотрите возможность постепенного масштабирования базы данных до более высоких целей службы (в модели приобретения на основе DTU или в модели приобретения виртуальных ядер) до тех пор, пока производительность базы данных заданий не будет достаточно улучшена.

Задания обработки эластичных баз данных и их этапы

Задание — это единица работы, которая выполняется по расписанию или одноразово. Задание состоит из одного или нескольких шагов.

Каждый шаг задания определяет сценарий T-SQL для выполнения, одну или несколько целевых групп для запуска сценария T-SQL и учетные данные, которые агент заданий должен подключить к целевой базе данных. На каждом шаге задания настраиваются время ожидания и повторные политики, а также могут указываться выходные параметры.

Цели Заданий обработки эластичных баз данных

Эластичные задания обеспечивают возможность параллельного выполнения одного или нескольких скриптов T-SQL в большом количестве баз данных по расписанию или по запросу. Целевой объект может быть любым уровнем База данных SQL Azure.

Вы можете выполнять запланированные задания для любого сочетания баз данных: одной или нескольких отдельных баз данных, всех баз данных на сервере, всех баз данных в эластичном пуле с добавленной гибкостью, чтобы включить или исключить любую конкретную базу данных. Задания могут выполняться на нескольких серверах, в нескольких пулах и даже в базах данных в разных подписках. Серверы и пулы динамически перечисляются во время выполнения, поэтому задания выполняются во всех базах данных, имеющихся в целевой группе на момент выполнения.

На следующем изображении показан агент задания, выполняющий задания в разных типах целевых групп:

Целевая группа

Целевая группа определяет набор баз данных, в которых будет выполняться шаг задания. Целевая группа может содержать любое количество следующих комбинаций:

• Логический сервер SQL Server — если указан сервер, все базы данных, существующие на сервере во время выполнения задания, являются частью группы. Учетные master данные базы данных должны быть предоставлены, чтобы можно было перечислить и обновить группу перед выполнением задания. Дополнительные сведения о логических серверах см. в статье "Что такое логический сервер в База данных SQL Azure и Azure Synapse?
• Эластичный пул — если указан эластичный пул, все базы данных, находящиеся в нем во время выполнения задания, являются частью группы. Что касается сервера, необходимо указать учетные данные базы данных, master чтобы группа была обновлена до выполнения задания.
• Единственная база данных — укажите одну или несколько отдельных баз данных, которые будут частью группы.

Пулы и отдельные базы данных могут быть указаны как включенные или исключенные из группы. Это позволяет создать целевую группу с любой комбинацией баз данных. Например, вы можете добавить сервер в целевую группу, но исключить конкретные базы данных в эластичном пуле (или исключить весь пул).

Целевая группа может содержать базы данных в нескольких подписках в разных регионах. Выполнение между регионами имеет более высокую задержку, чем выполнение в одном регионе.

В следующих примерах показано, как различные определения целевых групп динамически перечисляются в момент выполнения задания, чтобы определить, в каких базах данных будет запущено задание:

• В примере 1 показана целевая группа, состоящая из списка отдельных баз данных. Когда шаг задания выполняется с использованием этой целевой группы, действие шага задания будет выполняться в каждой из этих баз данных.
• В примере 2 показана целевая группа, которая содержит сервер в качестве целевого объекта. Когда шаг задания выполняется с использованием этой целевой группы, осуществляется динамическое перечисление ресурсов сервера, чтобы определить список баз данных, которые в настоящее время находятся на нем. Действие шага задания будет выполнено в каждой из этих баз данных.
• В примере 3 показана такая же целевая группа, как и в примере 2, но отдельная база данных специально исключена. Действие шага задания не будет выполнено в исключенной базе данных.
• В примере 4 показана целевая группа, которая содержит эластичный пул в качестве целевого объекта. Как и в примере 2, во время выполнения задания осуществляется динамическое перечисление ресурсов пула, чтобы определить список баз данных в нем.

• В примерах 5 и 6 показаны расширенные сценарии, в которых серверы, эластичные пулы и базы данных могут быть объединены с использованием правил включения и исключения.

Проверка подлинности

Выберите один метод для всех целевых объектов для агента эластичных заданий. Например, для одного агента эластичных заданий нельзя настроить один целевой сервер для использования учетных данных с областью базы данных и другого для использования проверки подлинности Идентификатора Microsoft Entra.

Агент эластичных заданий может подключаться к серверам или базам данных, указанным целевой группой, с помощью двух параметров проверки подлинности:

• Используйте проверку подлинности Microsoft Entra (ранее Azure Active Directory) с управляемым удостоверением, назначаемое пользователем (UMI).
• Используйте учетные данные с областью базы данных.

Проверка подлинности с помощью управляемого удостоверения, назначаемого пользователем (UMI)

Проверка подлинности Microsoft Entra (ранее — Azure Active Directory) с помощью управляемого удостоверения, назначаемого пользователем (UMI), является рекомендуемым вариантом подключения эластичных заданий к База данных SQL Azure. С поддержкой идентификатора Microsoft Entra агент заданий сможет подключаться к целевым базам данных (базам данных, серверам, эластичным пулам) и выходным базам данных с помощью UMI.

При необходимости проверка подлинности идентификатора Microsoft Entra также может быть включена на логическом сервере с базой данных эластичных заданий для доступа к базе данных или запроса к ней через подключения идентификатора Microsoft Entra ID. Однако сам агент заданий использует внутреннюю проверку подлинности на основе сертификатов для подключения к базе данных заданий.

Вы можете создать один UMI или использовать существующий UMI и назначить один и тот же UMI нескольким агентам заданий. Для каждого агента задания поддерживается только один UMI. После назначения UMI агенту задания этот идентификатор будет использоваться только для подключения и запуска заданий t-SQL в целевых базах данных. Проверка подлинности SQL не будет использоваться для целевого сервера или баз данных этого агента задания.

Имя UMI должно начинаться с буквы или числа и длиной от 3 до 128. Он может содержать - и _ символы.

Дополнительные сведения об UMI в База данных SQL Azure см. в статье Управляемые удостоверения для SQL Azure, включая действия, необходимые и преимущества использования UMI в качестве удостоверения База данных SQL Azure логического сервера. Дополнительные сведения см. в статье Использование проверки подлинности Microsoft Entra.

Использование управляемого удостоверения, назначаемого системой (SMI), не поддерживается.

Проверка подлинности с помощью учетных данных с областью базы данных

Хотя проверка подлинности Microsoft Entra (прежнее название — Azure Active Directory) является рекомендуемым вариантом, задания можно настроить для использования учетных данных с областью базы данных для подключения к базам данных, указанным целевой группой при выполнении. До октября 2023 года учетные данные в области базы данных были единственным вариантом проверки подлинности.

Если целевая группа содержит серверы или пулы, эти учетные данные в области базы данных используются для подключения к master базе данных для перечисления доступных баз данных.

• Учетные данные с областью базы данных должны быть созданы в базе данных задания.
• Все целевые базы данных должны иметь имя входа с достаточными разрешениями для успешного выполнения задания (jobuser на следующей схеме).
• Учетные данные, созданные в целевых базах данных (LOGINи для и PASSWORD jobusermasteruser , на следующей схеме), должны соответствовать IDENTITY SECRET учетным данным, созданным в базе данных заданий.
• Учетные данные будут повторно использоваться в заданиях, а пароли учетных данных будут зашифрованы и защищены от пользователей, имеющих доступ только для чтения объектов заданий.

На следующем рисунке показано, как настроить правильные учетные данные задания и как агент эластичных заданий подключается с использованием учетных данных базы данных в качестве проверки подлинности для входа или пользователей в целевых серверах или базах данных.

Частные конечные точки эластичного задания

Агент эластичных заданий поддерживает частные конечные точки эластичного задания. Создание частной конечной точки эластичных заданий устанавливает частную связь между эластичным заданием и целевым сервером. Функция частных конечных точек эластичных заданий отличается от Приватный канал Azure.

Функция частных конечных точек эластичного задания поддерживает частные подключения к целевым и выходным серверам, таким образом агент задания по-прежнему может связаться с ними, даже если включен параметр "Запрет общедоступного доступа". Использование частных конечных точек также является одним из возможных решений, если вы хотите отключить параметр "Разрешить службам и ресурсам Azure доступ к серверу".

Частные конечные точки эластичного задания поддерживают все параметры проверки подлинности агента эластичных заданий.

Функция частной конечной точки эластичного задания позволяет выбрать управляемую службой частную конечную точку, чтобы установить безопасное подключение между агентом задания и его целевыми и выходными серверами. Частная конечная точка, управляемая службой, — это частный IP-адрес в определенной виртуальной сети и подсети. При выборе использования частных конечных точек на одном из целевых или выходных серверов агента заданий, частная конечная точка, управляемая службой, создается корпорацией Майкрософт. Затем эта частная конечная точка используется исключительно агентом заданий для подключения и выполнения заданий или записи выходных данных задания в этих целевых и выходных базах данных.

Частные конечные точки эластичного задания можно создавать и разрешать с помощью портал Azure. Целевые серверы, подключенные через приватный канал, могут находиться в любой точке Azure, даже в разных географических регионах и подписках. Чтобы включить эту связь, необходимо создать частную конечную точку для каждого требуемого целевого сервера и выходного сервера задания.

Руководство по настройке новой управляемой службой частной конечной точки для эластичных заданий см. в статье "Настройка частной конечной точки эластичных заданий SQL Azure".

Требования к частным конечным точкам эластичного задания

• Чтобы использовать частную конечную точку эластичных заданий, агент заданий и целевые серверы или базы данных должны размещаться в Azure (одни и те же или разные регионы), а также в одном и том же облачном типе (например, в общедоступном облаке или в облаке для государственных организаций).
• Microsoft.Network Поставщик ресурсов должен быть зарегистрирован для подписок узла агента задания и целевых и выходных серверов.
• Частные конечные точки эластичного задания создаются на целевой или выходной сервер. Они должны быть утверждены, прежде чем агент эластичных заданий может использовать их. Это можно сделать с помощью панели "Сеть " этого логического сервера или предпочтительного клиента. Затем агент эластичных заданий сможет получить доступ к любым базам данных под этим сервером с помощью частного подключения.
• Подключение от агента эластичного задания к базе данных заданий не будет использовать частную конечную точку. Сам агент заданий использует внутреннюю проверку подлинности на основе сертификатов для подключения к базе данных заданий. Одна из предостережения заключается в добавлении базы данных заданий в качестве члена целевой группы. Затем он ведет себя как обычный целевой объект, который необходимо настроить с частной конечной точкой по мере необходимости.

Разрешения базы данных заданий обработки эластичных баз данных

Во время создания агента заданий в базе данных заданий создаются схема, таблицы и роль с именем jobs_reader. Роль создается со следующим разрешением и предназначена для более точного контроля доступа администраторов для мониторинга заданий. Администраторы могут предоставить пользователям возможность отслеживать выполнение задания, добавляя их в роль jobs_reader в базе данных заданий.

Мониторинг эластичных заданий

Агент эластичных заданий интегрируется с оповещениями Azure для уведомлений о состоянии задания, упрощая решение для мониторинга состояния и истории выполнения заданий.

В портал Azure также есть новые, дополнительные функции для поддержки эластичных заданий и мониторинга заданий. На странице обзора агента заданий Elastic отображаются последние выполнения заданий, как показано на следующем снимке экрана.

Вы можете создавать правила генерации оповещений Azure Monitor с помощью портал Azure, Azure CLI, PowerShell и REST API. Метрика неудачных эластичных заданий является хорошей отправной точкой для мониторинга и получения оповещений о выполнении эластичных заданий. Кроме того, вы можете выбрать оповещение с помощью настраиваемого действия, например SMS или электронной почты в средстве оповещения Azure. Дополнительные сведения см. в разделе "Создание оповещений для База данных SQL Azure" в портал Azure.

Пример см. в разделе "Создание, настройка и управление эластичными заданиями".

Выходные данные заданий

Результаты выполнения шагов задания в каждой целевой базе данных подробно записываются, а выходные данные скрипта можно записать в указанную таблицу. Вы можете указать базу данных для сохранения любых данных, возвращаемых из задания.

Журнал заданий

Просмотрите журнал выполнения эластичных заданий в базе данных заданий, запрашивая таблицу jobs.job_executions. Задание очистки системы очищает историю выполнения, которой больше 45 дней. Чтобы удалить журнал менее 45 дней вручную, выполните sp_purge_jobhistory хранимую процедуру в базе данных заданий.

Состояние задания

Вы можете отслеживать выполнение эластичных заданий в базе данных заданий, запрашивая таблицу jobs.job_executions.

Рекомендации

При работе с заданиями эластичной базы данных рассмотрите следующие рекомендации.

Рекомендации по обеспечению безопасности

• Предоставляйте доступ к API-интерфейсам только доверенным лицам.
• Учетные данные должны иметь только те права, которые необходимы для выполнения шагов задания. Дополнительные сведения см. в статье Авторизация и разрешения.
• При использовании члена целевой группы сервера или пула настоятельно рекомендуется создать отдельные учетные данные с правами на master базу данных для просмотра и перечисления баз данных, которые используются для расширения списков баз данных серверов и (или) пулов до выполнения задания.

Производительность эластичного задания

Эластичные задания используют минимальные вычислительные ресурсы, ожидая завершения длительных заданий.

В зависимости от размера целевой группы баз данных и требуемого времени выполнения для задания (число параллельных рабочих ролей), агенту требуется разные объемы вычислений и производительности базы данных заданий (чем больше целевых объектов, тем выше количество необходимых вычислений).

Одновременные уровни емкости

Начиная с октября 2023 года агент эластичных заданий имеет несколько уровней производительности, чтобы обеспечить увеличение емкости.

Увеличение емкости указывает общее количество параллельных целевых баз данных, к которому может подключиться агент заданий и запустить задание. Для получения дополнительных параллельных целевых подключений для выполнения задания обновите уровень агента задания с уровня JA100 по умолчанию, который имеет ограничение в 100 одновременных целевых подключений.

Большинство сред требуют менее 100 параллельных заданий в любое время, поэтому JA100 — это значение по умолчанию.

Превышение уровня емкости агента заданий с целевыми объектами заданий создаст задержки очереди для некоторых целевых баз данных или серверов. Например, если вы запускаете задание с 110 целевыми объектами на уровне JA100, 10 целевых объектов будут ждать, пока другие не завершат работу.

Цель уровня или службы агента эластичного задания может быть изменена с помощью портал Azure, PowerShell или REST API агентов заданий. Пример см. в разделе "Масштабирование агента задания".

Ограничение влияния задания на эластичные пулы

Чтобы гарантировать, что ресурсы не перегружены при выполнении заданий в базах данных в эластичном пуле База данных SQL Azure, можно настроить задания, чтобы ограничить количество баз данных, с помощью которых задание может выполняться одновременно.

Задайте количество параллельно запущенных баз данных, в которых выполняется задание, задав параметр @max_parallelism хранимой процедуры sp_add_jobstep в T-SQL.

Идемпотентные сценарии

Скрипты T-SQL эластичного задания должны быть идемпотентными. Идемпотент означает, что если скрипт успешно выполнен, и он выполняется снова, то же самое происходит. Сценарий может завершиться ошибкой из-за временных проблем с сетью. В этом случае задание будет автоматически пытаться выполнить сценарий указанное количество раз, после чего попытки будут прекращены. Идемпотентный скрипт имеет тот же результат, даже если он успешно запущен дважды (или более).

Прежде чем создавать объект, рекомендуется сначала проверить, не существует ли он уже. Ниже приведен гипотетический пример:

IF NOT EXISTS (SELECT * FROM sys.objects WHERE [name] = N'some_object')
    print 'Object does not exist'
    -- Create the object
ELSE
    print 'Object exists'
    -- If it exists, drop the object before recreating it.

Аналогичным образом сценарий должен успешно завершаться, выполняя логическую проверку на существование различных условий и их обработку.

Ограничения

Это текущие ограничения для службы эластичных заданий. Мы активно работаем над удалением максимально возможного множества этих ограничений.

Связанный контент

• Создание, настройка и управление заданиями обработки эластичных баз данных
• Автоматизация задач управления в SQL Azure
• Создание эластичных заданий и управление ими с помощью PowerShell
• Создание эластичных заданий и управление ими с помощью T-SQL

Следующий шаг