Gerenciar clusters do Apache Hadoop no HDInsight usando o portal do Azure

  • Artigo

Usando o portal do Azure, você pode gerenciar clusters do Apache Hadoop no Azure HDInsight. Use o seletor de guias para saber mais sobre como criar clusters Hadoop no HDInsight usando outras ferramentas.

Pré-requisitos

Um cluster existente do Apache Hadoop no HDInsight. Consulte Criar clusters baseados em Linux no HDInsight usando o portal do Azure.

Introdução

Entrar no https://portal.azure.com.

Listar e mostrar clusters

A página Clusters do HDInsight lista os clusters existentes. Do portal:

  1. Selecione Todos os serviços no menu esquerdo.
  2. Selecione Clusters do HDInsight em ANÁLISES.

Página inicial do cluster

Selecione o nome do cluster na página Clusters do HDInsight. Isso abrirá a exibição Visão geral, que é semelhante à seguinte imagem:

Fundamentos do cluster HDInsight do portal do Azure.

Menu principal:

Item Descrição
Mover Move o cluster para outro grupo de recursos ou outra assinatura.
Excluir Exclui o cluster.
Atualizar Atualiza a exibição.

Menu à esquerda:

  • Menu do canto superior esquerdo

    Item Descrição
    Visão geral Fornece informações gerais para o cluster.
    Log de atividades Mostra e consulta logs de atividades.
    Controle de acesso (IAM) Utiliza as atribuições de função. Confira Atribuir funções do Azure para gerenciar o acesso a seus recursos de assinatura do Azure.
    Marcações Permite estabelecer pares de chave/valor para definir uma taxonomia personalizada dos serviços de nuvem. Por exemplo, você pode criar uma chave chamada projetoe usar um valor comum para todos os serviços associados a um projeto específico.
    Diagnosticar e resolver problemas Exibe informações sobre solução de problemas.
    Guia de Início Rápido Exibe informações que ajudam você a começar a usar o HDInsight.
    Ferramentas Informações de ajuda para ferramentas relacionadas ao HDInsight.

  • Menu Configurações

    Item Descrição
    Tamanho do cluster Verifique, aumente e diminua o número de nós do trabalhador do cluster. Ver Dimensionar clusters.
    Limites de cota Exibe os núcleos usados e disponíveis para sua assinatura.
    SSH + logon do Cluster Mostra as instruções para se conectar ao cluster usando uma conexão Secure Shell (SSH). Para obter mais informações, confira Usar SSH com HDInsight.
    Armazenamento do Data Lake Gen2 Configure o acesso ao Data Lake Storage Gen2. Consulte Início rápido: Configurar clusters no HDInsight.
    Contas de armazenamento Exibe as contas de armazenamento e as chaves. As contas de armazenamento são configuradas durante o processo de criação do cluster.
    Aplicativos Adicionar/remove aplicativos do HDInsight. Consulte Instalar aplicativos personalizados do HDInsight.
    Ações de script Execute scripts Bash no cluster. Confira Personalizar clusters HDInsight baseados em Linux usando a Ação de Script.
    Metastores externas Exiba os metastores Apache Hive e Apache Oozie. Os metastores só podem ser configurados durante o processo de criação do cluster.
    Parceiro HDInsight Adiciona/remove o parceiro do HDInsight atual.
    Propriedades Exibe as propriedades do cluster.
    Locks Adiciona um bloqueio para impedir que o cluster seja modificado ou excluído.
    Exportar modelo Exibe e exporta o modelo do Azure Resource Manager para o cluster. No momento, você pode exportar apenas a conta de armazenamento do Azure dependente. Consulte Criar clusters do Apache Hadoop baseados em Linux no HDInsight usando os modelos do Azure Resource Manager.

  • Menu Monitoramento

    Item Descrição
    Alertas Gerencia os alertas e ações.
    Métricas Monitora as métricas do cluster nos logs do Azure Monitor.
    Configurações de diagnóstico Configurações sobre onde armazenar as métricas de diagnóstico.
    Azure Monitor Monitore seu cluster no Azure Monitor.

  • Menu Suporte + solução de problemas

    Item Descrição
    Integridade de recursos Confira Visão geral do Azure Resource Health.
    Nova solicitação de suporte Permite criar um tíquete de suporte com o suporte da Microsoft.

Propriedades do Cluster

Na página inicial do cluster, em Configurações, selecione Propriedades.

Item Descrição
NOME DO HOST Nome do cluster.
URL DO CLUSTER A URL para a interface da Web do Ambari.
Ponto de extremidade privado O ponto de extremidade privado para o cluster.
Secure Shell (SSH) O nome de usuário e o nome do host a ser usado para acessar o cluster por meio do SSH.
STATUS Um destes: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued ou ClusterCustomization.
REGION Localização do Azure. Para ter acesso à lista de locais do Azure com suporte, veja a caixa de listagem suspensa Região em Preços do HDInsight.
DATA DE CRIAÇÃO A data em que o cluster foi implantado.
SISTEMA OPERACIONAL Windows ou Linux.
TYPE Hadoop, HBase, Spark.
Versão Consulte HDInsight versions (Versões do HDInsight).
Versão mínima do TLS A versão do TLS.
ASSINATURA Nome da assinatura.
FONTE DE DADOS PADRÃO O sistema de arquivos padrão do cluster.
Tamanho dos nós de trabalho O tamanho selecionado da VM dos nós de trabalho.
Tamanho de nó de cabeçalho O tamanho selecionado da VM dos nós de cabeçalho.
Rede virtual O nome da Rede Virtual na qual o cluster é implantado, caso uma tenha sido selecionada durante a implantação.

Mover clusters

Você pode mover um cluster do HDInsight para outro grupo de recursos do Azure ou outra assinatura.

Na home page do cluster:

  1. Selecione Mover no menu superior.
  2. Selecione Mover para outro grupo de recursos ou Mover para outra assinatura.
  3. Siga as instruções da página nova.

Excluir clusters

Excluir um cluster não excluirá a conta de armazenamento padrão, nem nenhuma conta de armazenamento vinculada. Você pode recriar o cluster usando as mesmas contas de armazenamento e as mesmas metastores. Recomendamos usar um novo contêiner de Blobs padrão ao recriar o cluster.

Na home page do cluster:

  1. Selecione Excluir no menu superior.
  2. Siga as instruções da página nova.

Consulte também Pausar/desligar clusters.

Adicionar outras contas de armazenamento

Depois de criar um cluster, você pode adicionar outras contas do Armazenamento do Azure e contas do Azure Data Lake Storage. Para saber mais, confira Adicionar outras contas de armazenamento ao HDInsight.

Dimensionar clusters

O recurso de colocação em escala de clusters permite que você altere o número de nós de trabalhador usados por um cluster Azure HDInsight sem precisar recriar o cluster.

Confira Dimensionar clusters do HDInsight para obter informações completas.

Pausar/desligar clusters

A maioria dos trabalhos do Hadoop é composta por trabalhos em lotes que só são executados ocasionalmente. Para a maioria dos clusters do Hadoop, há grandes períodos de tempo em que o cluster não está sendo usado para processamento. Com o HDInsight, seus dados são armazenados no Armazenamento do Azure, assim você poderá excluir, com segurança, um cluster quando ele não estiver em uso. Você também é cobrado por um cluster HDInsight, mesmo quando ele não está em uso. Como os encargos para o cluster são muitas vezes maiores do que os encargos para armazenamento, faz sentido, do ponto de vista econômico, excluir os clusters quando não estiverem em uso.

Há várias maneiras de programar o processo:

Para saber mais sobre preços, consulte Preços do HDInsight. Para excluir um cluster do Portal, veja Excluir clusters

Atualizar clusters

Consulte Atualizar o cluster do HDInsight para uma versão mais recente.

Abra a interface do usuário do Apache Ambari web

O Ambari fornece uma interface do usuário da Web de gerenciamento do Hadoop intuitiva e fácil de usar com suporte de suas APIs RESTful. O Ambari permite aos administradores do sistema gerenciar e monitorar clusters Hadoop.

Na home page do cluster:

  1. Selecione Painéis do cluster.

    Menu do cluster Apache Hadoop do HDInsight.

  2. Selecione Página inicial do Ambari na página nova.

  3. Insira o nome de usuário do cluster e a senha. O nome de usuário do cluster padrão é admin.

Para obter mais informações, consulte Gerenciar clusters do HDInsight usando a interface da Web do Apache Ambari.

Alterar senhas

Um cluster HDInsight pode ter duas contas de usuário. A conta de usuário do cluster do HDInsight (conta de usuário HTTP) e a conta de usuário SSH são criadas durante o processo de criação. Você pode usar a interface do usuário do portal para alterar a senha da conta de usuário do cluster e ações de script para alterar a conta de usuário do SSH.

Alterar a senha de usuário do cluster

Observação

Alterar a senha de usuário (admin) do cluster poderá fazer as ações de script executadas em relação a esse cluster falharem. Se você tiver ações de script persistente direcionadas para nós de trabalho, esses scripts poderão falhar quando você adicionar nós ao cluster por meio de operações de redimensionamento. Para saber mais sobre as Ações de Script, confira Personalizar clusters HDInsight usando ações de Script.

Na home page do cluster:

  1. Selecione SSH + login do cluster em Configurações.
  2. Selecione Redefinir credencial.
  3. Insira e confirme a nova senha nas caixas de texto.
  4. Selecione OK.

A senha é alterada em todos os nós no cluster.

Alterar a senha do usuário SSH ou a chave pública

  1. Usando um editor de texto, salve o seguinte texto como um arquivo denominado changecredentials.sh.

    Importante

    Você deve usar um editor que usa LF como o fim da linha. Se o editor usar CRLF, então ele não funcionará.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Carregue o arquivo para um local de armazenamento que possa ser acessado no HDInsight usando um endereço HTTP ou HTTPS. Por exemplo, um repositório de arquivos público como o OneDrive ou o Armazenamento de Blobs do Azure. Salve o URI (endereço HTTP ou HTTPS) no arquivo, pois esse URI será necessário na próxima etapa.

  3. Na home page do cluster, selecione Ações do script em Configurações.

  4. Na página Ações de script, selecione Enviar novo.

  5. Na página Enviar ação do script, insira as seguintes informações:

Observação

As senhas SSH não podem conter os seguintes caracteres:

" ' ` / \ < % ~ | $ & ! #

Campo Valor
Tipo de script Selecione - Personalizar na lista suspensa.
Nome “Alterar credenciais ssh”
URI do script Bash O URI para o arquivo changecredentials.sh
Tipos de nó: (Principal, Trabalho, Nimbus, Supervisor ou Zookeeper). ✓ para todos os tipos de nó listados
Parâmetros Insira o nome de usuário SSH e a nova senha. Deve haver um espaço entre o nome de usuário e a senha.
Persistir esta ação de script... Deixe este campo desmarcado.
  1. Selecione Criar para aplicar o script. Quando o script for concluído, você poderá se conectar ao cluster usando SSH com as novas credenciais.

Localizar a ID da assinatura

Cada cluster é vinculado a uma assinatura do Azure. A ID de assinatura do Azure está visível na página inicial do cluster.

Encontrar o grupo de recursos

No modo Azure Resource Manager, cada cluster HDInsight é criado com um grupo do Azure Resource Manager. O grupo Resource Manager está visível na página inicial do cluster.

Localizar contas de armazenamento

Os clusters do HDInsight usam uma conta de Armazenamento do Azure ou um Azure Data Lake Storage para armazenar dados. Cada cluster do HDInsight pode ter uma conta de armazenamento padrão e um número de contas de armazenamento vinculadas. Para listar as contas de armazenamento, na página inicial do cluster, em Configurações, selecione Contas de armazenamento.

Monitorar trabalhos

Consulte Gerenciar clusters do HDInsight usando a interface da Web do Apache Ambari.

Tamanho do cluster

O bloco Tamanho do cluster da home page de cluster exibe o número de núcleos alocados para esse cluster e como eles são alocados para os nós dentro deste cluster.

Importante

Para monitorar os serviços fornecidos pelo cluster HDInsight, você deve usar o Ambari Web ou a API REST do Ambari. Para obter mais informações sobre o uso do Ambari, consulte Gerenciar clusters do HDInsight usando o Apache Ambari

Conectar a um cluster

Próximas etapas

Neste artigo, você aprendeu algumas funções administrativas básicas. Confira os seguintes artigos para saber mais: