Настройка кластеров больших данных после развертывания

Область применения: SQL Server 2019 (15.x)

Параметры кластера, службы и ресурсов для SQL Server Кластеры больших данных можно настроить после развертывания с помощью интерфейса командной azdata строки. Эта функция позволяет администраторам SQL Server Кластеры больших данных настраивать конфигурации в соответствии с требованиями рабочей нагрузки. В этой статье рассматриваются примеры сценариев с настройкой часовых поясов и требования к рабочей нагрузке Spark. Для настройки после развертывания используется процесс "задание — определение различий — применение".

Пошаговый сценарий. Настройка часового пояса в SQL Server Кластеры больших данных

Начиная с SQL Server Кластеры больших данных CU13 можно настроить конфигурацию часового пояса кластера, поэтому метки времени служб соответствуют выбранному часовой поясу. Этот параметр не применяется к уровню управления кластерами больших данных, а задает новую конфигурацию часового пояса для всех пулов SQL Server (главный, вычислительный и для данных), а также компонентов Hadoop и Spark.

Следующая команда позволяет изменить конфигурацию часового пояса:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Применение ожидающих изменения параметров к кластеру

Следующая команда применит конфигурацию и перезапустит все службы. Процессы отслеживания изменений и управления настройкой см. в последних разделах этой статьи.

azdata bdc settings apply

Пошаговый сценарий: настройка кластера в соответствии с требованиями рабочей нагрузки Spark

Просмотр текущих конфигураций службы Spark кластера больших данных

В приведенном ниже примере показано, как можно просмотреть настроенные пользователем параметры службы Spark. С помощью дополнительных параметров можно просмотреть все возможные настраиваемые параметры, параметры, управляемые системой, и ожидающие параметры. Дополнительные сведения см. в справке по командам azdata bdc spark statement.

azdata bdc spark settings show

Пример полученных результатов

Служба Spark

Изменение объема памяти и количества ядер, выделяемых по умолчанию для драйвера Spark

Укажите новые значения по умолчанию для службы Spark: 2 ядра и 7424 МБ памяти. Это изменение влияет на все ресурсы, используемые в Spark для службы Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Изменение числа ядер и размера памяти по умолчанию для исполнителей Spark в пуле носителей

Измените число ядер исполнителей по умолчанию на 4 для пула носителей.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Настройка дополнительных путей для пути к классам приложений Spark по умолчанию

Путь /opt/hadoop/share/hadoop/tools/lib/ содержит несколько библиотек, используемых приложениями Spark, но ссылка на путь по умолчанию не включается в путь к классам для приложений Spark. Чтобы включить этот параметр, примените следующий шаблон конфигурации.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Просмотр ожидающих изменений параметров, подготовленных в кластере больших данных

Вы можете просмотреть ожидающие изменения параметров только для службы Spark и для всего кластера больших данных.

Ожидающие параметры службы Spark

azdata bdc spark settings show --filter-option=pending --include-details

Служба Spark

Все ожидающие параметры

azdata bdc settings show --filter-option=pending --include-details --recursive

Ожидающие параметры службы Spark

Ожидающие параметры ресурса Spark Storage-0

Применение ожидающих изменения параметров к кластеру больших данных

azdata bdc settings apply

Мониторинг состояния изменения конфигурации

azdata bdc status show

Другие необязательные шаги

Отмена ожидающих параметров конфигурации

Если вы решите, что больше не хотите применять ожидающие параметры конфигурации, их подготовку можно отменить. При этом ожидающие параметры отменяются на всех уровнях.

azdata bdc settings revert

Прерывание обновления конфигурации

Если обновление конфигурации для любого из компонентов завершилось сбоем, можно отменить процесс обновления и восстановить предыдущие конфигурации кластера. Параметры, которые были подготовлены к изменению во время обновления, снова перейдут в состояние ожидания.

azdata bdc settings cancel-apply

Следующие шаги

Настройка кластера больших данных SQL Server