Configurar um Cluster de Big Data do SQL Server – versão anterior à CU9

  • Artigo

Aplica-se a: SQL Server 2019 (15.x)

Importante

O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.

Nos Clusters de Big Data do SQL Server 2019 versão CU8 e anteriores, você pode definir as configurações do Cluster de Big Data no momento da instalação por meio do arquivo de implantação bdc.json. A instância mestra do SQL Server pode ser configurada após a implantação somente pelo uso de mssql-conf.

Observação

Antes da versão CU9 e do suporte a clusters habilitados para configuração, os Clusters de Big Data podiam ser configurados somente no momento da implantação, com exceção à instância mestra do SQL Server, que podia ser configurada após a implantação pelo uso de mssql-conf. Para obter instruções sobre como configurar uma versão CU9 e posterior, confira Configurar um Cluster de Big Data do SQL Server.

Escopos de configuração

A configuração de Clusters de Big Data de versão anterior à CU9 tem dois níveis de escopo: service e resource. A hierarquia das configurações segue nessa ordem também, da mais alta para a mais baixa. Os componentes do BDC utilizarão o valor da configuração definida no escopo mais baixo. Se a configuração não estiver definida em determinado escopo, ela herdará o valor de seu escopo pai mais alto.

Por exemplo, talvez você queira definir o número padrão de núcleos que o driver do Spark usará no pool de armazenamento e nos recursos do Sparkhead. É possível fazer isso de duas formas:

  • Especifique um valor de núcleos padrão no escopo de serviço Spark
  • Especifique um valor de núcleos padrão no escopo de recurso storage-0 e sparkhead

No primeiro cenário, todos os recursos de escopo inferior do serviço Spark (pool de armazenamento e Sparkhead) herdarão o número padrão de núcleos do valor padrão do serviço Spark.

No segundo cenário, cada recurso usará o valor definido em seu respectivo escopo.

Se o número padrão de núcleos estiver configurado no escopo de serviço e de recurso, o valor do escopo de recurso substituirá o valor do escopo de serviço, pois esse é o escopo mais baixo definido pelo usuário para a configuração especificada.

Confira informações específicas sobre a configuração nos artigos apropriados:

Configurar a instância mestra do SQL Server

Configure a instância mestra do Clusters de Big Data do SQL Server.

As definições de configuração do servidor não podem ser configuradas para a instância mestra do SQL Server no momento da implantação. Este artigo descreve uma solução alternativa temporária de como definir configurações como a edição do SQL Server, habilitar ou desabilitar o SQL Server Agent, habilitar sinalizadores de rastreamento específicos ou habilitar/desabilitar comentários do cliente.

Para alterar uma dessas configurações, siga estas etapas:

  1. Crie um arquivo mssql-custom.conf personalizado que inclua as configurações de destino. O seguinte exemplo habilita o SQL Agent, a telemetria, define um PID para a Edição Enterprise e habilita o sinalizador de rastreamento 1204:

    [sqlagent]
enabled=true

[telemetry]
customerfeedback=true
userRequestedLocalAuditDirectory = /tmp/audit

[DEFAULT]
pid = Enterprise

[traceflag]
traceflag0 = 1204

  2. Copie o arquivo mssql-custom.conf para /var/opt/mssql no contêiner mssql-server no pod master-0. Substitua <namespaceName> pelo nome do cluster de Big Data.

    kubectl cp mssql-custom.conf master-0:/var/opt/mssql/mssql-custom.conf -c mssql-server -n <namespaceName>

  3. Reinicie a Instância do SQL Server. Substitua <namespaceName> pelo nome do cluster de Big Data.

    kubectl exec -it master-0  -c mssql-server -n <namespaceName> -- /bin/bash
supervisorctl restart mssql-server
exit

Importante

Se a instância mestra do SQL Server estiver em uma configuração de grupos de disponibilidade, copie o arquivo mssql-custom.conf em todos os pods master. Observe que cada reinicialização causará um failover, portanto, você precisa verificar se está cronometrando essa atividade durante períodos de tempo de inatividade.

Limitações conhecidas

  • As etapas acima exigem permissões de administrador do cluster do Kubernetes
  • Não é possível alterar a ordenação do servidor na instância mestra do SQL Server do cluster de Big Data após a implantação.

Configurar o Apache Spark e o Apache Hadoop

Para configurar o Apache Spark e o Apache Hadoop em Clusters de Big Data, você precisa modificar o perfil de cluster no momento da implantação.

Um cluster de Big Data tem quatro categorias de configuração:

  • sql
  • hdfs
  • spark
  • gateway

sql, hdfs, spark, sql são serviços. Cada serviço é mapeado para a mesma categoria de configuração nomeada. Todas as configurações de gateway vão para a categoria gateway.

Por exemplo, todas as configurações no hdfs de serviço pertencem à categoria hdfs. Observe que todas as configurações do Hadoop (core-site), HDFS e ZooKeeper pertencem à categoria hdfs. Todas as configurações de metastore do Livy, Spark, Yarn, Hive pertencem à categoria spark.

As configurações com suporte listam as propriedades do Apache Spark e do Hadoop que você pode definir ao implantar um Cluster de Big Data do SQL Server.

As seções a seguir listam as propriedades que você não pode modificar em um cluster:

Próximas etapas

Configurar um cluster de Big Data do SQL Server