Conectar o HDInsight (Apache Hadoop) usando SSH

Saiba como usar SSH (Secure Shell) para conectar com segurança o Apache Hadoop no Azure HDInsight. Para obter informações sobre como se conectar por meio de uma rede virtual, consulte Arquitetura de rede virtual do Azure HDInsight. Consulte também Planejar uma implantação de rede virtual para clusters do Azure HDInsight.

A tabela a seguir contém as informações de endereço e porta necessárias para se conectar ao HDInsight usando SSH:

Substitua <clustername> pelo nome do cluster. Substitua <edgenodename> pelo nome do nó de borda.

Se o cluster contém um nó de borda, recomendamos que você sempre se conecte ao nó de borda usando SSH. Os nós de cabeçalho hospedam serviços que são essenciais para a integridade do Hadoop. O nó de borda executa apenas o que você coloca nele. Para obter mais informações sobre o uso de nós de borda, confira Usar nós de borda no HDInsight.

Clientes SSH

Os sistemas Linux, Unix e macOS fornecem os comandos ssh e scp. O cliente ssh normalmente é usado para criar uma sessão de linha de comando remota com um sistema baseado em Unix ou Linux. O cliente scp é usado para copiar os arquivos entre o cliente e o sistema remoto com segurança.

Por padrão, o Microsoft Windows não instala clientes SSH. Os clientes ssh e scp estão disponíveis para Windows nos seguintes pacotes:

• Cliente OpenSSH. O cliente é um recurso opcional introduzido no Windows 10 Fall Creators Update.

• Bash no Ubuntu no Windows 10.

• Azure Cloud Shell. O Cloud Shell fornece um ambiente Bash no navegador da Web.

• Git.

Também há vários clientes SSH gráficos, como PuTTY e MobaXterm. Embora esses clientes possam ser usados para se conectar ao HDInsight, o processo de conexão é diferente do que usa o utilitário ssh. Para obter mais informações, consulte a documentação do cliente gráfico que está usando.

Autenticação: chaves SSH

As chaves SSH usam criptografia de chave pública para autenticar as sessões SSH. Chaves SSH são mais seguras do que senhas e fornecem uma maneira fácil de proteger o acesso ao seu cluster Hadoop.

Se a conta SSH for protegida usando uma chave, o cliente deverá fornecer a chave privada correspondente ao se conectar:

• A maioria dos clientes pode ser configurada para usar uma chave padrão. Por exemplo, o cliente ssh procura uma chave privada em ~/.ssh/id_rsa em ambientes Unix e Linux.

• Você pode especificar o caminho para uma chave particular. Com o cliente ssh, o parâmetro -i é usado para especificar o caminho para a chave privada. Por exemplo, ssh -i ~/.ssh/id_rsa sshuser@myedge.mycluster-ssh.azurehdinsight.net.

• Se você tiver várias chaves privadas para uso com servidores diferentes, considere usar um utilitário como ssh-agent (https://en.wikipedia.org/wiki/Ssh-agent). O utilitário ssh-agent pode ser usado para selecionar a chave a ser usada ao estabelecer uma sessão SSH automaticamente.

Criar um par de chaves SSH

Use o comando ssh-keygen para criar arquivos de chaves públicas e privadas. O comando a seguir gera um par de chaves RSA de 2048 bits que podem ser usadas com o HDInsight:

ssh-keygen -t rsa -b 2048

Serão solicitadas informações durante o processo de criação de chave. Por exemplo, onde as chaves são armazenadas ou se deseja usar uma frase secreta. Após a conclusão do processo, dois arquivos são criados: uma chave pública e uma chave privada.

• A chave pública é usada para criar um cluster HDInsight. A chave pública tem uma extensão de .pub.

• A chave privada é usado para autenticar o cliente no cluster HDInsight.

Criar o HDInsight usando a chave pública

Método de criação	Como usar a chave pública
Portal do Azure	Desmarque Usar a senha de logon do cluster para SSH e selecione Chave Pública como o tipo de autenticação SSH. Por fim, selecione o arquivo de chave pública ou cole o conteúdo do arquivo de texto no campo Chave pública SSH.
PowerShell do Azure	Use o parâmetro -SshPublicKey do cmdlet New-AzHdinsightCluster e passe o conteúdo da chave pública como uma cadeia de caracteres.
CLI do Azure	Use o parâmetro --sshPublicKey do az hdinsight create comando e passe o conteúdo da chave pública como uma cadeia de caracteres.
Modelo do Resource Manager	Para obter um exemplo de como usar chaves SSH com um modelo, confira Implantar o HDInsight no Linux com uma chave SSH. O elemento publicKeys o arquivo azuredeploy.json são usados para passar as chaves do Azure ao criar o cluster.

Autenticação: senha

Contas SSH podem ser protegidas usando uma senha. Ao se conectar ao HDInsight usando SSH, será necessário digitar a senha.

Criar o HDInsight usando uma senha

Método de criação	Como especificar a senha
Portal do Azure	Por padrão, a conta de usuário SSH tem a mesma senha que a conta de logon do cluster. Para usar uma senha diferente, desmarque Usar a senha de logon do cluster para SSH e digite a senha no campo Senha SSH.
PowerShell do Azure	Use o parâmetro --SshCredential do cmdlet New-AzHdinsightCluster e passe um objeto PSCredential que contém o nome da conta de usuário SSH e a senha.
CLI do Azure	Use o parâmetro --ssh-password do comando az hdinsight create e forneça o valor da senha.
Modelo do Resource Manager	Para obter um exemplo de como usar uma senha com um modelo, confira Implantar o HDInsight no Linux com uma senha SSH. O elemento linuxOperatingSystemProfile no arquivo azuredeploy.json é usado para passar o nome de conta do SSH e a senha para o Azure ao criar o cluster.

Alterar a senha SSH

Para obter informações sobre como alterar a senha de conta de usuário do SSH, confira a seção Alterar senhas do documento Gerenciar o HDInsight.

HDInsight ingressado no domínio de autenticação

Se estiver usando um cluster HDInsight associado ao domínio, deverá usar o comando kinit após conectar com o usuário local SSH. Esse comando solicita um usuário de domínio e senha e autentica sua sessão com o domínio do Microsoft Entra associado ao cluster.

Também é possível habilitar a Autenticação Kerberos em cada nó ingressado no domínio (por exemplo, nó de cabeçalho, nó de borda) para ssh usando a conta de domínio. Para fazer isso, edite o arquivo de configuração do sshd:

sudo vi /etc/ssh/sshd_config

remova os comentários e altere KerberosAuthentication para yes

sudo service sshd restart

Use o comando klist para verificar se a autenticação Kerberos foi bem-sucedida.

Para obter mais informações, confira Configurar o HDInsight associado ao domínio.

Conectar os nós

Os nós principais e o nó de borda (se houver) podem ser acessados pela Internet nas portas 22 e 23.

• Ao conetar os nós principais, use a porta 22 para conectar o nó principal primário e a porta 23 para conectar o nó principal secundário. O nome de domínio totalmente qualificado a usar é clustername-ssh.azurehdinsight.net, no qual clustername é o nome do cluster.

  # Connect to primary head node
  # port not specified since 22 is the default
  ssh sshuser@clustername-ssh.azurehdinsight.net
  
  # Connect to secondary head node
  ssh -p 23 sshuser@clustername-ssh.azurehdinsight.net
  

• Ao se conectar ao nó de borda, use a porta 22. O nome de domínio totalmente qualificado é edgenodename.clustername-ssh.azurehdinsight.net, no qual edgenodename é o nome fornecido ao criar o nó de borda. clustername é o nome do cluster.

  # Connect to edge node
  ssh sshuser@edgnodename.clustername-ssh.azurehdinsight.net
  

Uma vez conectado, o prompt muda para indicar o nome de usuário SSH e o nó ao qual você está conectado. Por exemplo, quando conectado ao nó principal primário como sshuser, o prompt é sshuser@<active-headnode-name>:~$.

Conectar o trabalho e nós do Apache ZooKeeper

Os nós de trabalho e de Zookeeper não podem ser acessados pela Internet diretamente. Eles podem ser acessados dos nós principais do cluster ou do nós de borda. A seguir estão as etapas gerais para se conectar-se a outros nós:

1. Use o SSH para se conectar a um nó de cabeçalho ou de borda:

   ssh sshuser@myedge.mycluster-ssh.azurehdinsight.net
   

2. Da conexão SSH para o nó de cabeçalho ou de borda, use o comando ssh para se conectar a um nó de trabalho no cluster:

   ssh sshuser@wn0-myhdi
   

   Para recuperar uma lista dos nomes dos nós, consulte o documento Gerenciar HDInsight usando a API REST do Apache Ambari.

Se a conta SSH é protegida com senha, digite a senha ao se conectar.

Se a conta SSH é protegida usando chaves SSH, verifique se o encaminhamento de SSH está habilitado no cliente.

Configurar o encaminhamento do agente SSH

1. Usando um editor de texto, abra ~/.ssh/config. Se esse arquivo não existir, você poderá criá-lo digitando touch ~/.ssh/config na linha de comando.

2. Adicione o texto a seguir ao arquivo config.

   Host <edgenodename>.<clustername>-ssh.azurehdinsight.net
       ForwardAgent yes
   

   Substitua as informações de Host pelo endereço do nó ao qual você se conecta usando o SSH. O exemplo anterior usa o nó de borda. Essa entrada configura o encaminhamento de agente SSH para o nó especificado.

3. Teste o encaminhamento do agente SSH usando o seguinte comando no terminal:

   echo "$SSH_AUTH_SOCK"
   

   Esse comando retorna informações semelhantes ao seguinte texto:

   /tmp/ssh-rfSUL1ldCldQ/agent.1792
   

   Se nada for retornado, o ssh-agent não estará em execução.

4. Após confirmar que o ssh-agent está em execução, use o seguinte para adicionar sua chave privada SSH ao agente:

   ssh-add ~/.ssh/id_rsa
   

   Se a chave privada estiver armazenada em um arquivo diferente, substitua ~/.ssh/id_rsa pelo caminho para o arquivo.

5. Conecte-se ao nó de borda de cluster ou aos nós de cabeçalho usando o SSH. Em seguida, use o comando SSH para se conectar a um nó de trabalho ou zookeeper. A conexão é estabelecida usando a chave encaminhada.

Próximas etapas

• Usar o túnel SSH com o HDInsight
• Usar nós de borda no HDInsight
• Usar o SCP com o HDInsight