Criar um cluster Apache Flink® no HDInsight no AKS com o portal do Azure

Conclua as etapas a seguir para criar um cluster Apache Flink no portal do Azure.

Pré-requisitos

Preencha os pré-requisitos nas seguintes seções:

• Pré-requisitos de subscrição
• Pré-requisitos de recursos
• Criar um pool de clusters

Criar um cluster Apache Flink

Os clusters Flink podem ser criados assim que a implantação do pool de clusters for concluída, deixe-nos examinar as etapas caso você esteja começando com um pool de clusters existente

1. No portal do Azure, digite pools de cluster HDInsight/HDInsight/HDInsight no AKS e selecione Azure HDInsight em pools de clusters AKS para ir para a página de pools de clusters. Na página Pools de clusters do HDInsight no AKS, selecione o pool de clusters no qual você deseja criar um novo cluster Flink.

   

2. Na página pool de clusters específico, clique em + Novo cluster e forneça as seguintes informações:

   Property	Descrição
   Subscrição	Este campo é preenchido automaticamente com a assinatura do Azure que foi registrada para o Pool de Clusters.
   Grupo de Recursos	Este campo é preenchido automaticamente e mostra o grupo de recursos no pool de clusters.
   País/Região	Este campo é preenchido automaticamente e mostra a região selecionada no pool de clusters.
   Pool de clusters	Este campo é preenchido automaticamente e mostra o nome do pool de clusters no qual o cluster está sendo criado. Para criar um cluster em um pool diferente, localize esse pool de clusters no portal e clique em + Novo cluster.
   HDInsight na versão do pool AKS	Este campo é preenchido automaticamente e mostra a versão do pool de clusters na qual o cluster está sendo criado.
   HDInsight na versão AKS	Selecione a versão secundária ou de patch do HDInsight no AKS do novo cluster.
   Tipo de cluster	Na lista suspensa, selecione Flink.
   Nome do cluster	Insira o nome do novo cluster.
   Identidade gerida atribuída pelo utilizador	Na lista suspensa, selecione a identidade gerenciada a ser usada com o cluster. Se você for o proprietário da Identidade de Serviço Gerenciado (MSI) e o MSI não tiver a função de Operador de Identidade Gerenciada no cluster, clique no link abaixo da caixa para atribuir a permissão necessária do MSI do pool de agentes do AKS. Se o MSI já tiver as permissões corretas, nenhum link será mostrado. Consulte os Pré-requisitos para outras atribuições de função necessárias para o MSI.
   Conta de armazenamento	Na lista suspensa, selecione a conta de armazenamento a ser associada ao cluster Flink e especifique o nome do contêiner. A identidade gerenciada também recebe acesso à conta de armazenamento especificada, usando a função 'Proprietário de Dados de Blob de Armazenamento' durante a criação do cluster.
   Rede virtual	A rede virtual para o cluster.
   Sub-rede	A sub-rede virtual para o cluster.

3. Habilitando o catálogo do Hive para Flink SQL.

   Property	Description
   Usar o catálogo do Hive	Habilite essa opção para usar um metastore externo do Hive.
   Banco de dados SQL para Hive	Na lista suspensa, selecione o Banco de dados SQL no qual adicionar tabelas de metastore de colmeia.
   Nome de usuário do administrador do SQL	Insira o nome de usuário do administrador do SQL Server. Essa conta é usada pelo metastore para se comunicar com o banco de dados SQL.
   Key Vault	Na lista suspensa, selecione o Cofre da Chave, que contém um segredo com senha para o nome de usuário do administrador do SQL Server. É necessário configurar uma política de acesso com todas as permissões necessárias, como permissões de chave, permissões secretas e permissões de certificado para o MSI, que está sendo usado para a criação do cluster. O MSI precisa de uma função de Administrador do Cofre de Chaves, adicione as permissões necessárias usando o IAM.
   Nome secreto da senha SQL	Digite o nome secreto do Cofre de Chaves onde a senha do banco de dados SQL está armazenada.

   

   Nota

   Por padrão, usamos a conta de armazenamento para o catálogo do Hive da mesma forma que a conta de armazenamento e o contêiner usados durante a criação do cluster.

4. Selecione Next: Configuration para continuar.

5. Na página Configuração, forneça as seguintes informações:

   Property	Description
   Tamanho do nó	Selecione o tamanho do nó a ser usado para os nós Flink nos nós principal e de trabalho.
   Número de nós	Selecione o número de nós para o cluster Flink; Por padrão, os nós principais são dois. O dimensionamento dos nós de trabalho ajuda a determinar as configurações do gerenciador de tarefas para o Flink. O gerenciador de tarefas e o servidor de histórico estão nos nós principais.

6. Na seção Configuração do Serviço, forneça as seguintes informações:

   Property	Description
   CPU do gestor de tarefas	Inteiro. Insira o tamanho das CPUs do gerenciador de tarefas (em núcleos).
   Memória do gestor de tarefas em MB	Introduza o tamanho da memória do Gestor de tarefas em MB. Mínimo de 1800 MB.
   CPU do gerenciador de tarefas	Inteiro. Insira o número de CPUs para o gerenciador de tarefas (em núcleos).
   Memória do gestor de tarefas em MB	Insira o tamanho da memória em MB. Mínimo de 1800 MB.
   CPU do servidor de histórico	Inteiro. Insira o número de CPUs para o gerenciador de tarefas (em núcleos).
   Memória do servidor de histórico em MB	Insira o tamanho da memória em MB. Mínimo de 1800 MB.

   

   Nota

   • O servidor de histórico pode ser ativado/desativado conforme necessário.
   • A escala automática baseada em programação é suportada no Flink. Você pode agendar o número de nós de trabalho conforme necessário. Por exemplo, é habilitado um dimensionamento automático baseado em agendamento com contagem de nó de trabalho padrão como 3. E durante os dias úteis das 9:00 UTC às 20:00 UTC, os nós de trabalho estão programados para serem 10. Mais tarde, ele precisa ser padronizado para 3 nós (entre 20:00 UTC e 09:00 UTC do dia seguinte). Durante os fins de semana, das 9:00 UTC às 20:00 UTC, os nós de trabalho são 4.

7. Na seção Auto Scale & SSH, atualize o seguinte:

   Property	Description
   Dimensionar automaticamente	Após a seleção, você poderá escolher a escala automática baseada em cronograma para configurar a agenda para operações de dimensionamento.
   Ativar SSH	Após a seleção, você pode optar pelo número total de nós SSH necessários, que são os pontos de acesso para a CLI do Flink usando o Secure Shell. O máximo de nós SSH permitidos é 5.

   

   

8. Clique no botão Next: Integration para continuar para a próxima página.

9. Na página Integração, forneça as seguintes informações:

   Property	Description
   Log Analytics	Esse recurso estará disponível somente se o pool de clusters tiver um espaço de trabalho de análise de log associado, uma vez habilitado, os logs a serem coletados poderão ser selecionados.
   Azure Prometheus	Esse recurso é para exibir Insights e Logs diretamente em seu cluster enviando métricas e logs para o espaço de trabalho do Azure Monitor.

   

10. Clique no botão Next: Tags para continuar para a próxima página.

11. Na página Etiquetas, forneça as seguintes informações:

    Property	Descrição
    Name	Opcional. Insira um nome como HDInsight no AKS para identificar facilmente todos os recursos associados aos recursos do cluster.
    Value	Você pode deixar isso em branco.
    Recurso	Selecione Todos os recursos selecionados.

12. Selecione Seguinte: Rever + criar para continuar.

13. Na página Rever + criar, procure a mensagem Validação bem-sucedida na parte superior da página e, em seguida, clique em Criar.

A página Implantação está em processo é exibida na qual o cluster é criado. Leva de 5 a 10 minutos para criar o cluster. Depois que o cluster for criado, a mensagem "Sua implantação está concluída" será exibida. Se você sair da página, poderá verificar suas Notificações para saber o status atual.