Como configurar a pós-implantação de definições do cluster de Big Data
Aplica-se a: 
SQL Server 2019 (15.x)
Importante
O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.
As definições com escopo de cluster, serviço e recurso para Clusters de Big Data do SQL Server podem ser configuradas após a implantação por meio da CLI do azdata. Essa funcionalidade permite que os administradores do Clusters de Big Data do SQL Server ajustem as configurações para ele sempre atender aos requisitos de carga de trabalho. Este artigo explica os cenários de exemplo sobre como configurar o fuso horário e os requisitos de carga de trabalho do Spark. A funcionalidade de configuração pós-implantação segue um fluxo set, diff, apply.
Observação
As configurações de pós-implantação só estão disponíveis nas implantações do Clusters de Big Data do SQL Server de versão CU9 e posteriores. A definição de configurações não inclui a configuração de escala, armazenamento nem ponto de extremidade. Opções e instruções para configurar o Clusters de Big Data do SQL Server de versões anteriores à CU9 podem ser encontradas aqui.
Cenário passo a passo: configurar o fuso horário no Clusters de Big Data do SQL Server
A partir do Clusters de Big Data do SQL Server CU13, é possível personalizar a configuração de fuso horário do cluster, de modo que os carimbos de data/hora dos serviços se alinhem com o fuso horário selecionado. A configuração não se aplica ao plano de controle do cluster de Big Data, ela define a nova configuração de fuso horário para todos os pools do SQL Server (mestre, computação e dados), componentes do Hadoop e Spark.
Observação
Por padrão, Clusters de Big Data do SQL Server define UTC como o fuso horário.
Use o seguinte comando para definir a configuração de fuso horário:
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
Aplicar as configurações pendentes ao cluster
O comando a seguir aplicará a configuração e reiniciará todos os serviços. Examine as últimas seções deste artigo sobre como rastrear as alterações e controlar o processo de configuração.
azdata bdc settings apply
Cenário passo a passo: configurar o cluster para atender aos requisitos de carga de trabalho do Spark
Exibir as configurações atuais do serviço Spark do cluster de Big Data
O exemplo a seguir mostra como exibir as configurações definidas pelo usuário do serviço Spark. Por meio de parâmetros opcionais, você pode exibir todas as definições configuráveis possíveis, as definições pendentes ou aquelas gerenciadas pelo sistema juntamente com todas as definições configuráveis. Visite a instrução azdata bdc spark para obter mais informações.
azdata bdc spark settings show
Saída de exemplo
Serviço Spark
| Configuração | Valor em uso |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Alterar o número padrão de núcleos e memória para o driver do Spark
Atualize o número padrão de núcleos para dois e a memória padrão para 7.424 MB para o serviço Spark. Isso afeta todos os recursos com o Spark para o serviço Spark.
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
Alterar o número padrão de núcleos e memória para os executores do Spark no pool de armazenamento
Atualize o número padrão de núcleos do executor para quatro para o Pool de Armazenamento.
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Configurar caminhos adicionais para o classpath padrão de aplicativos Spark
O caminho /opt/hadoop/share/hadoop/tools/lib/ contém várias bibliotecas a serem usadas pelos aplicativos Spark, mas o caminho referenciado não é carregado por padrão no classpath dos aplicativos Spark. Para habilitar essa configuração, aplique o padrão de configuração a seguir.
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
Exibir as alterações de configurações pendentes preparadas no cluster de Big Data
Exiba as alterações de configurações pendentes somente para o serviço Spark e em todo o cluster de Big Data.
Configurações do Serviço Spark pendentes
azdata bdc spark settings show --filter-option=pending --include-details
Serviço Spark
| Configuração | Valor em uso | Valor Configurado | Configurável | Configurado | Hora da Última Atualização |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Todas as Configurações Pendentes
azdata bdc settings show --filter-option=pending --include-details --recursive
Configurações do Serviço Spark – Pendentes
| Configuração | Valor em uso | Valor Configurado | Configurável | Configurado | Hora da Última Atualização |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Configurações do Spark do Recurso Storage-0 – Pendente
| Configuração | Valor em uso | Valor Configurado | Configurável | Configurado | Hora da Última Atualização |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
Aplicar as configurações pendentes ao cluster de Big Data
azdata bdc settings apply
Monitorar o status da atualização de configuração
azdata bdc status show
Etapas opcionais
Reverter definições de configuração pendentes
Se você determinar que não deseja mais alterar as definições de configuração pendentes, poderá anular a preparação dessas configurações. Isso reverterá as configurações pendentes em todos os escopos.
azdata bdc settings revert
Anular a atualização da configuração
Se a atualização da configuração falhar para qualquer um dos componentes, você poderá cancelar o processo de atualização e fazer com que o cluster retorne para as configurações anteriores. As configurações que foram preparadas para alteração durante a atualização serão listadas novamente como configurações pendentes.
azdata bdc settings cancel-apply