Controlar o tráfego de rede no Azure HDInsight

  • Artigo

O tráfego de rede em uma Redes Virtuais do Azure pode ser controlado usando os seguintes métodos:

  • Os grupos de segurança de rede (NSG) permitem filtrar o tráfego de entrada e de saída para a rede. Para obter mais informações, consulte o documento Filtrar tráfego de rede com grupos de segurança de rede.

  • As ferramentas virtuais de rede (NVA) podem ser usadas apenas com tráfego de saída. Os NVAs replicam a funcionalidade de dispositivos como firewalls e roteadores. Para obter mais informações, consulte o documento Network Appliances .

Como um serviço gerenciado, o HDInsight requer acesso irrestrito aos serviços de integridade e gerenciamento do HDInsight para tráfego de entrada e saída da VNET. Ao usar NSGs, você deve garantir que esses serviços ainda possam se comunicar com o cluster HDInsight.

Diagrama de entidades HDInsight criadas na VNET personalizada do Azure.

HDInsight com grupos de segurança de rede

Se você planeja usar grupos de segurança de rede para controlar o tráfego de rede, execute as seguintes ações antes de instalar o HDInsight:

  1. Identifique a região do Azure que você planeja usar para o HDInsight.

  2. Identifique as etiquetas de serviço exigidas pelo HDInsight para a sua região. Há várias maneiras de obter essas tags de serviço:

    1. Consulte a lista de marcas de serviço publicadas em Marcas de serviço NSG (Grupo de segurança de rede) para o Azure HDInsight.
    2. Se sua região não estiver presente na lista, use a API de descoberta de etiqueta de serviço para encontrar uma marca de serviço para sua região.
    3. Se você não conseguir usar a API, baixe o arquivo JSON da marca de serviço e procure a região desejada.

  3. Crie ou modifique os grupos de segurança de rede para a sub-rede na qual você planeja instalar o HDInsight.

    • Grupos de segurança de rede: permitem o tráfego de entrada na porta 443 a partir dos endereços IP. Isso garantirá que os serviços de gerenciamento do HDInsight possam acessar o cluster de fora da rede virtual. Para clusters habilitados para proxy Kafka REST, permita o tráfego de entrada na porta 9400 também. Isso garantirá que o servidor proxy Kafka REST esteja acessível.

Para obter mais informações sobre grupos de segurança de rede, consulte a visão geral de grupos de segurança de rede.

Controlando o tráfego de saída de clusters HDInsight

Para obter mais informações sobre como controlar o tráfego de saída de clusters HDInsight, consulte Configurar restrição de tráfego de rede de saída para clusters HDInsight do Azure.

Tunelamento forçado para o local

O túnel forçado é uma configuração de roteamento definida pelo usuário em que todo o tráfego de uma sub-rede é forçado para uma rede ou local específico, como sua rede local ou firewall. O tunelamento forçado de toda a transferência de dados de volta para o local não é recomendado devido a grandes volumes de transferência de dados e potencial impacto no desempenho.

Os clientes interessados em configurar o túnel forçado devem usar metastores personalizados e configurar a conectividade apropriada da sub-rede do cluster ou da rede local para esses metastores personalizados.

Para ver um exemplo da UDR configurada com o Firewall do Azure, consulte Configurar restrição de tráfego de rede de saída para clusters do Azure HDInsight.

Portas necessárias

Se você planeja usar um firewall e acessar o cluster de fora em determinadas portas, talvez seja necessário permitir o tráfego nessas portas necessárias para o seu cenário. Por padrão, nenhuma filtragem especial de portas é necessária, desde que o tráfego de gerenciamento do Azure explicado na seção anterior tenha permissão para alcançar o cluster na porta 443.

Para obter uma lista de portas para serviços específicos, consulte o documento Portas usadas pelos serviços Apache Hadoop no HDInsight .

Para obter mais informações sobre regras de firewall para dispositivos virtuais, consulte o documento de cenário do dispositivo virtual.

Próximos passos