Habilitar Link Privado em um cluster HDInsight

Neste artigo, você aprenderá a usar o Azure Private Link para se conectar a um cluster HDInsight de forma privada em redes através da rede de backbone da Microsoft. Este artigo é uma extensão do artigo Restringir conectividade de cluster no Azure HDInsight, que se concentra na restrição da conectividade pública. Se você quiser conectividade pública para ou dentro de seus clusters HDInsight e recursos dependentes, considere restringir a conectividade do cluster seguindo as diretrizes em Controlar tráfego de rede no Azure HDInsight.

O Private Link pode ser usado em cenários entre redes em que o emparelhamento de rede virtual não está disponível ou habilitado.

O uso do Private Link para se conectar a um cluster HDInsight é um recurso opcional e está desabilitado por padrão. O recurso está disponível somente quando a resourceProviderConnection propriedade de rede está definida como saída, conforme descrito no artigo Restringir conectividade de cluster no Azure HDInsight.

Quando privateLink é definido como habilitado, os SLBs (balanceadores de carga padrão internos ) são criados e um serviço de Link Privado do Azure é provisionado para cada SLB. O serviço Private Link é o que permite acessar o cluster HDInsight a partir de pontos de extremidade privados.

Etapas de implantação de link privado

A criação bem-sucedida de um cluster de Link Privado leva muitas etapas, por isso as descrevemos aqui. Siga cada uma das etapas abaixo para garantir que tudo esteja configurado corretamente.

Passo 1: Criar pré-requisitos

Para começar, implante os seguintes recursos se ainda não os tiver criado. Você precisa ter pelo menos um grupo de recursos, duas redes virtuais e um grupo de segurança de rede para se conectar à sub-rede onde o cluster HDInsight será implantado, conforme mostrado abaixo.

Passo 2: Configurar a sub-rede do HDInsight

• Desative privateLinkServiceNetworkPolicies na sub-rede. Para escolher um endereço IP de origem para o seu serviço de Link Privado, é necessária uma configuração privateLinkServiceNetworkPolicies de desativação explícita na sub-rede. Siga as instruções aqui para desativar as políticas de rede para serviços Private Link.
• Habilite os pontos de extremidade de serviço na sub-rede. Para uma implantação bem-sucedida de um cluster HDInsight de Link Privado, recomendamos que você adicione o Microsoft.SQL(s) ponto(s) de extremidade , Microsoft.Storagee Microsoft.KeyVault de serviço à sua sub-rede antes da implantação do cluster. Os pontos de extremidade de serviço roteiam o tráfego diretamente de sua rede virtual para o serviço na rede de backbone do Microsoft Azure. Manter o tráfego na rede backbone do Azure permite-lhe continuar a auditar e a monitorizar o tráfego de Internet de saída das suas redes virtuais através da imposição de túnel e sem afetar o tráfego de serviço.

Etapa 3: Implantar gateway NAT ou firewall

Os balanceadores de carga padrão não fornecem automaticamente NAT de saída pública como os balanceadores de carga básicos. Uma vez que Private Link clusters utilizam balanceadores de carga padrão, tem de fornecer a sua própria solução NAT, como um NAT gateway ou um NAT fornecido pela firewall, para ligar a dependências públicas de saída do HDInsight.

Implantar um gateway NAT (Opção 1)

Você pode optar por usar um gateway NAT se não quiser configurar um firewall ou um dispositivo virtual de rede (NVA) para NAT. Para começar, adicione um gateway NAT (com um novo endereço IP público na sua rede virtual) à sub-rede configurada da sua rede virtual. Este gateway é responsável por traduzir o seu endereço IP interno privado para endereços públicos quando o tráfego precisa sair da sua rede virtual.

Para uma configuração básica para começar:

1. Procure 'Gateways NAT' no portal do Azure e clique em Criar.

2. Use as seguintes configurações no gateway NAT. (Não estamos incluindo todas as configurações aqui, então você pode usar os valores padrão.)

   Configurar	Value
   Nome do gateway NAT	hdi-privlink-nat-gateway
   Prefixos de IP Públicos	Criar um novo prefixo IP público
   Nome do prefixo IP público	hdi-privlink-nat-gateway-prefixo
   Tamanho do prefixo IP público	/28 (16 endereços)
   Rede virtual	hdi-privlink-cluster-vnet
   Nome da sub-rede	default

3. Quando a implantação do NAT Gateway estiver concluída, você estará pronto para ir para a próxima etapa.

Configurar um firewall (Opção 2)

Para uma configuração básica para começar:

1. Adicione uma nova sub-rede chamada AzureFirewallSubnet à sua rede virtual.
2. Use a nova sub-rede para configurar um novo firewall e adicionar suas políticas de firewall.
3. Use o endereço IP privado do novo firewall como o nextHopIpAddress valor em sua tabela de rotas.
4. Adicione a tabela de rotas à sub-rede configurada da sua rede virtual.

Seu cluster HDInsight ainda precisa de acesso às suas dependências de saída. Se essas dependências de saída não forem permitidas, a criação do cluster poderá falhar. Para obter mais informações sobre como configurar um firewall, consulte Controlar o tráfego de rede no Azure HDInsight.

Etapa 4: Implantar cluster de link privado

Neste momento, todos os pré-requisitos devem ser tratados e está pronto para implementar o cluster Private Link. O diagrama a seguir mostra um exemplo da configuração de rede necessária antes de criar o cluster. Neste exemplo, todo o tráfego de saída é forçado ao Firewall do Azure por meio de uma rota definida pelo usuário. As dependências de saída necessárias devem ser permitidas no firewall antes da criação do cluster. Para clusters do Pacote de Segurança Empresarial, o emparelhamento de rede virtual pode fornecer a conectividade de rede aos Serviços de Domínio Microsoft Entra.

Criar o cluster

O trecho de código JSON a seguir inclui as duas propriedades de rede que você deve configurar em seu modelo do Azure Resource Manager para criar um cluster HDInsight privado:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Para obter um modelo completo com muitos dos recursos de segurança empresarial do HDInsight, incluindo o Private Link, consulte Modelo de segurança empresarial do HDInsight.

Para criar um cluster usando o PowerShell, consulte o exemplo.

Para criar um cluster usando a CLI do Azure, consulte o exemplo.

Passo 5: Criar pontos finais privados

O Azure cria automaticamente um serviço de Ligação privada para os balanceadores de carga do Ambari e SSH durante a implementação do cluster de Private Link. Após a implementação do cluster, tem de criar dois Pontos finais privados nas VNET(s) cliente, um para o Ambari e outro para o acesso SSH. Em seguida, ligue-os aos serviços de Ligação privada que foram criados como parte da implementação do cluster.

Para criar os pontos de extremidade privados:

1. Abra o portal do Azure e procure por 'Link privado'.

2. Nos resultados, clique no ícone Link privado.

3. Clique em 'Criar ponto de extremidade privado' e use as seguintes configurações para configurar o ponto de extremidade privado do Ambari:

   Configurar	Valor
   Nome	hdi-privlink-cluster
   Tipo de recurso	Microsoft.Network/privateLinkServices
   Recurso	gateway-* (Esse valor deve corresponder ao ID de implantação do HDI do cluster, por exemplo, gateway-4eafe3a2a67e4cd88762c22a55fe4654)
   Rede virtual	hdi-privlink-cliente-vnet
   Sub-rede	default

   

4. Repita o processo para criar outro ponto de extremidade privado para acesso SSH usando as seguintes configurações:

   Configurar	Valor
   Nome	hdi-privlink-cluster-ssh
   Tipo de recurso	Microsoft.Network/privateLinkServices
   Recurso	headnode-* (Este valor deve corresponder ao ID de implantação do HDI do seu cluster, por exemplo, headnode-4eafe3a2a67e4cd88762c22a55fe4654)
   Rede virtual	hdi-privlink-cliente-vnet
   Sub-rede	default

Depois que os pontos de extremidade privados forem criados, você terminará essa fase da configuração. Se você não anotou os endereços IP privados atribuídos aos pontos de extremidade, siga as etapas abaixo:

1. Abra a VNET do cliente no portal do Azure.
2. Clique no separador 'Pontos finais privados'.
3. Você deve ver as interfaces Ambari e ssh Network listadas.
4. Clique em cada um deles e navegue até a folha 'Configuração de DNS' para ver o endereço IP privado.
5. Anote esses endereços IP porque eles são necessários para se conectar ao cluster e configurar corretamente o DNS.

Passo 6: Configurar o DNS para ligar através de pontos finais privados

Para aceder a clusters privados, pode configurar a resolução DNS através de zonas DNS privadas. As entradas de Link Privado criadas na zona azurehdinsight.net DNS pública gerenciada pelo Azure são as seguintes:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

A imagem a seguir mostra um exemplo das entradas DNS privadas configuradas para habilitar o acesso a um cluster a partir de uma rede virtual que não está emparelhada ou não tem uma linha de visão direta para o cluster. Você pode usar uma zona privada do DNS do Azure para substituir *.privatelink.azurehdinsight.net FQDNs (nomes de domínio totalmente qualificados) e resolver endereços IP de pontos de extremidade privados na rede do cliente. A configuração é apenas para <clustername>.azurehdinsight.net o exemplo, mas também se estende a outros pontos de extremidade de cluster.

Para configurar a resolução DNS através de uma zona DNS privada:

1. Crie uma zona DNS Privada do Azure. (Não estamos incluindo todas as configurações aqui, todas as outras configurações são deixadas em valores padrão)

   Configurar	Valor
   Nome	privatelink.azurehdinsight.net

   

2. Adicione um conjunto de Registros à zona DNS privada do Ambari.

   Configurar	Valor
   Nome	YourPrivateLinkClusterName
   Type	A - Registro de alias para endereço IPv4
   TTL	1
   Unidade de TTL	Horas
   Endereço IP	IP privado do ponto de extremidade privado para acesso Ambari

   

3. Adicione um conjunto de Registros à zona DNS privada para SSH.

   Configurar	Valor
   Nome	YourPrivateLinkClusterName-ssh
   Type	A - Registro de alias para endereço IPv4
   TTL	1
   Unidade de TTL	Horas
   Endereço IP	IP privado do ponto de extremidade privado para acesso SSH

   

4. Associe a zona DNS privada à VNET do cliente adicionando um Link de Rede Virtual.

   1. Abra a zona DNS privada no portal do Azure.
   2. Clique no separador 'Ligações de rede virtual'.
   3. Clique no botão 'Adicionar'.
   4. Preencha os detalhes: Nome do link, Assinatura e Rede Virtual (sua VNET cliente)
   5. Clique em Guardar.

   

Passo 7: Verificar a conectividade do cluster

A última etapa é testar a conectividade com o cluster. Uma vez que este cluster é isolado ou privado, não podemos aceder ao cluster com um IP público ou FQDN. Em vez disso, temos algumas opções:

• Configurar o acesso VPN à VNET do cliente a partir da sua rede local
• Implantar uma VM na VNET do cliente e acessar o cluster a partir dessa VM

Neste exemplo, implantaremos uma VM na VNET do cliente usando a seguinte configuração para testar a conectividade.

Depois que a VM cliente for implantada, você poderá testar o acesso Ambari e SSH.

Para testar o acesso ao Ambari:

1. Abra um navegador da Web na VM.
2. Navegue até o FQDN regular do cluster: https://<clustername>.azurehdinsight.net
3. Se a interface do usuário do Ambari for carregada, a configuração estará correta para o acesso do Ambari.

Para testar o acesso ssh:

1. Abra um prompt de comando para obter uma janela do terminal.
2. Na janela do terminal, tente conectar-se ao cluster com SSH: ssh sshuser@<clustername>.azurehdinsight.net (Substitua "sshuser" pelo usuário ssh que você criou para o cluster)
3. Se você conseguir se conectar, a configuração estará correta para acesso SSH.

Gerenciar pontos de extremidade privados para o HDInsight

Você pode usar pontos de extremidade privados para seus clusters do Azure HDInsight para permitir que clientes em uma rede virtual acessem com segurança seu cluster por Link Privado. O tráfego de rede entre os clientes na rede virtual e o cluster HDInsight atravessa a rede de backbone da Microsoft, eliminando a exposição da Internet pública.

Um consumidor de serviço de Link Privado (por exemplo, Azure Data Factory) pode escolher entre dois métodos de aprovação de conexão:

• Automático: se o consumidor de serviço tiver permissões RBAC (controle de acesso baseado em função) do Azure no recurso HDInsight, poderá escolher o método de aprovação automática. Nesse caso, quando a solicitação chega ao recurso HDInsight, nenhuma ação é necessária do recurso HDInsight e a conexão é aprovada automaticamente.
• Manual: se o consumidor de serviço não tiver permissões do Azure RBAC no recurso HDInsight, poderá escolher o método de aprovação manual. Nesse caso, a solicitação de conexão aparece nos recursos do HDInsight como Pendente. O recurso HDInsight precisa aprovar manualmente a solicitação antes que as conexões possam ser estabelecidas.

Para gerir pontos de extremidade privados, na vista de cluster no portal do Azure, aceda à secção Rede em Segurança + Rede. Aqui, você pode ver todas as conexões existentes, estados de conexão e detalhes de ponto de extremidade privado.

Você também pode aprovar, rejeitar ou remover conexões existentes. Ao criar uma conexão privada, você pode especificar a qual subrecurso do HDInsight (por exemplo, gateway ou nó principal) você também deseja se conectar.

A tabela a seguir mostra as várias ações de recursos do HDInsight e os estados de conexão resultantes para pontos de extremidade privados. Um recurso HDInsight também pode alterar o estado da conexão da conexão de ponto de extremidade privado posteriormente sem a intervenção do consumidor. A ação atualizará o estado do ponto de extremidade no lado do consumidor.

Próximos passos

• Pacote de Segurança Empresarial para Azure HDInsight
• Informações gerais e diretrizes de segurança corporativa no Azure HDInsight