Pré-requisitos para o Cache HPC do Azure

Antes de criar um novo Cache HPC do Azure, verifique se seu ambiente atende a esses requisitos.

Subscrição do Azure

Recomenda-se uma subscrição paga.

Infraestrutura de rede

Esses pré-requisitos relacionados à rede precisam ser configurados antes que você possa usar o cache:

• Uma sub-rede dedicada para a instância do Cache HPC do Azure
• Suporte a DNS para que o cache possa acessar o armazenamento e outros recursos
• Acesso da sub-rede a serviços de infraestrutura adicionais do Microsoft Azure, incluindo servidores NTP e o serviço de Armazenamento de Filas do Azure.

Sub-rede de cache

O Cache HPC do Azure precisa de uma sub-rede dedicada com estas qualidades:

• A sub-rede deve ter pelo menos 64 endereços IP disponíveis.
• A comunicação dentro da sub-rede deve ser irrestrita. Se você usar um grupo de segurança de rede para a sub-rede de cache, verifique se ele permite todos os serviços entre endereços IP internos.
• A sub-rede não pode hospedar outras VMs, mesmo para serviços relacionados, como máquinas cliente.
• Se você usar várias instâncias do Cache HPC do Azure, cada uma precisará de sua própria sub-rede.

A prática recomendada é criar uma nova sub-rede para cada cache. Você pode criar uma nova rede virtual e sub-rede como parte da criação do cache.

Ao criar essa sub-rede, tenha cuidado para que suas configurações de segurança permitam o acesso aos serviços de infraestrutura necessários mencionados mais adiante nesta seção. Você pode restringir a conectividade de saída com a Internet, mas certifique-se de que há exceções para os itens documentados aqui.

Acesso DNS

O cache precisa de DNS para acessar recursos fora de sua rede virtual. Dependendo dos recursos que estiver a utilizar, poderá ter de configurar um servidor DNS personalizado e configurar o encaminhamento entre esse servidor e os servidores DNS do Azure:

• Para acessar os pontos de extremidade de armazenamento de Blob do Azure e outros recursos internos, você precisa do servidor DNS baseado no Azure.
• Para acessar o armazenamento local, você precisa configurar um servidor DNS personalizado que possa resolver seus nomes de host de armazenamento. Você deve fazer isso antes de criar o cache.

Se você usar apenas o armazenamento de Blob, poderá usar o servidor DNS padrão fornecido pelo Azure para seu cache. No entanto, se precisar de acesso ao armazenamento ou a outros recursos fora do Azure, deve criar um servidor DNS personalizado e configurá-lo para reencaminhar quaisquer pedidos de resolução específicos do Azure para o servidor DNS do Azure.

Para usar um servidor DNS personalizado, você precisa executar estas etapas de configuração antes de criar o cache:

• Crie a rede virtual que hospedará o Cache HPC do Azure.

• Crie o servidor DNS.

• Adicione o servidor DNS à rede virtual do cache.

  Siga estas etapas para adicionar o servidor DNS à rede virtual no portal do Azure:

  1. Abra a rede virtual no portal do Azure.
  2. Escolha Servidores DNS no menu Configurações na barra lateral.
  3. Selecione Personalizado
  4. Insira o endereço IP do servidor DNS no campo.

Um servidor DNS simples também pode ser usado para balancear a carga de conexões do cliente entre todos os pontos de montagem de cache disponíveis.

Saiba mais sobre redes virtuais do Azure e configurações de servidor DNS em Resolução de nomes para recursos em redes virtuais do Azure.

Acesso NTP

O cache HPC precisa de acesso a um servidor NTP para operação regular. Se você restringir o tráfego de saída de suas redes virtuais, certifique-se de permitir o tráfego para pelo menos um servidor NTP. O servidor padrão é time.windows.com e o cache entra em contato com esse servidor na porta UDP 123.

Crie uma regra no grupo de segurança de rede da rede de cache que permita o tráfego de saída para o servidor NTP. A regra pode simplesmente permitir todo o tráfego de saída na porta UDP 123 ou ter mais restrições.

Este exemplo abre explicitamente o tráfego de saída para o endereço IP 168.61.215.74, que é o endereço usado por time.windows.com.

Certifique-se de que a regra NTP tenha uma prioridade maior do que quaisquer regras que neguem amplamente o acesso de saída.

Mais dicas para acesso NTP:

• Se você tiver firewalls entre o cache HPC e o servidor NTP, verifique se esses firewalls também permitem acesso NTP.

• Você pode configurar qual servidor NTP seu cache HPC usa na página Rede . Leia Configurar configurações adicionais para obter mais informações.

Acesso ao Armazenamento de Filas do Azure

O cache deve ser capaz de acessar com segurança o serviço de Armazenamento de Filas do Azure de dentro de sua sub-rede dedicada. O Cache HPC do Azure usa o serviço de filas ao comunicar informações de configuração e estado.

Se o cache não puder acessar o serviço de fila, você poderá ver uma mensagem CacheConnectivityError ao criar o cache.

Há duas maneiras de fornecer acesso:

• Crie um ponto de extremidade do serviço de Armazenamento do Azure em sua sub-rede de cache. Leia Adicionar uma sub-rede de rede virtual para obter instruções sobre como adicionar o ponto de extremidade do serviço Microsoft.Storage .

• Configure individualmente o acesso ao domínio do serviço de fila de armazenamento do Azure em seu grupo de segurança de rede ou outros firewalls.

  Adicione regras para permitir o acesso nestas portas:

  • Porta TCP 443 para tráfego seguro para qualquer host no domínio queue.core.windows.net (*.queue.core.windows.net).

  • Porta TCP 80 - usada para verificação do certificado do lado do servidor. Isso às vezes é chamado de verificação de lista de revogação de certificados (CRL) e comunicações de protocolo de status de certificado on-line (OCSP). Todos os *.queue.core.windows.net usam o mesmo certificado e, portanto, os mesmos servidores CRL/OCSP. O nome do host é armazenado no certificado SSL do lado do servidor.

  Consulte as dicas de regras de segurança no acesso NTP para obter mais informações.

  Este comando lista os servidores CRL e OSCP que precisam ter acesso permitido. Esses servidores devem ser resolúveis pelo DNS e acessíveis na porta 80 a partir da sub-rede de cache.

  
  openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
  
  

  A saída tem esta aparência e pode mudar se o certificado SSL for atualizado:

  OCSP - URI:http://ocsp.msocsp.com
  CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  

Você pode verificar a conectividade da sub-rede usando este comando de uma VM de teste dentro da sub-rede:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Uma conexão bem-sucedida dá esta resposta:

OCSP Response Status: successful (0x0)

Acesso ao servidor de eventos

O Cache HPC do Azure usa pontos de extremidade do servidor de eventos do Azure para monitorar a integridade do cache e enviar informações de diagnóstico.

Certifique-se de que o cache pode acessar com segurança os hosts no domínio events.data.microsoft.com - ou seja, abra a porta TCP 443 para o tráfego para *.events.data.microsoft.com.

Permissões

Verifique esses pré-requisitos relacionados a permissões antes de começar a criar seu cache.

• A instância de cache precisa ser capaz de criar interfaces de rede virtual (NICs). O usuário que cria o cache deve ter privilégios suficientes na assinatura para criar NICs.

• Se estiver usando o armazenamento de Blob, o Cache HPC do Azure precisará de autorização para acessar sua conta de armazenamento. Use o controle de acesso baseado em função do Azure (Azure RBAC) para conceder ao cache acesso ao seu armazenamento de Blob. Duas funções são necessárias: Colaborador da Conta de Armazenamento e Colaborador de Dados de Blob de Armazenamento.

  Siga as instruções em Adicionar destinos de armazenamento para adicionar as funções.

Infraestrutura de armazenamento

O cache dá suporte a contêineres de Blob do Azure, exportações de armazenamento de hardware NFS e contêineres de blob ADLS montados em NFS. Adicione destinos de armazenamento depois de criar o cache.

Cada tipo de armazenamento tem pré-requisitos específicos.

Requisitos de armazenamento de Blob

Se quiser usar o armazenamento de Blob do Azure com seu cache, você precisará de uma conta de armazenamento compatível e um contêiner de Blob vazio ou um contêiner preenchido com dados formatados do Cache HPC do Azure, conforme descrito em Mover dados para o armazenamento de Blob do Azure.

Crie a conta antes de tentar adicionar um destino de armazenamento. Você pode criar um novo contêiner ao adicionar o destino.

Para criar uma conta de armazenamento compatível, use uma destas combinações:

A conta de armazenamento deve estar acessível a partir da sub-rede privada do cache. Se sua conta usa um ponto de extremidade privado ou público restrito a redes virtuais específicas, certifique-se de habilitar o acesso a partir da sub-rede do cache. (Um ponto de extremidade público aberto não é recomendado.)

Leia Trabalhar com pontos de extremidade privados para obter dicas sobre como usar pontos de extremidade privados com destinos de armazenamento de cache HPC.

É uma boa prática usar uma conta de armazenamento na mesma região do Azure que seu cache.

Você também deve conceder ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado em Permissões, acima. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias. Se você não for o proprietário da conta de armazenamento, peça ao proprietário que faça esta etapa.

Requisitos de armazenamento NFS

Se estiver usando um sistema de armazenamento NFS (por exemplo, um sistema NAS de hardware local), verifique se ele atende a esses requisitos. Talvez seja necessário trabalhar com os administradores de rede ou gerenciadores de firewall do seu sistema de armazenamento (ou data center) para verificar essas configurações.

Mais informações estão incluídas em Solucionar problemas de configuração do NAS e de destino de armazenamento NFS.

• Conectividade de rede: o Cache HPC do Azure precisa de acesso à rede de alta largura de banda entre a sub-rede de cache e o data center do sistema NFS. ExpressRoute ou acesso semelhante é recomendado. Se estiver usando uma VPN, talvez seja necessário configurá-la para fixar TCP MSS em 1350 para garantir que pacotes grandes não sejam bloqueados. Leia as restrições de tamanho de pacote VPN para obter mais ajuda na solução de problemas de configurações de VPN.

• Acesso à porta: o cache precisa ter acesso a portas TCP/UDP específicas no sistema de armazenamento. Diferentes tipos de armazenamento têm requisitos de porta diferentes.

  Para verificar as configurações do sistema de armazenamento, siga este procedimento.

  • Emita um rpcinfo comando para o sistema de armazenamento para verificar as portas necessárias. O comando abaixo lista as portas e formata os resultados relevantes em uma tabela. (Use o endereço IP do seu sistema no lugar do <> storage_IP termo.)

    Você pode emitir este comando a partir de qualquer cliente Linux que tenha a infraestrutura NFS instalada. Se você usar um cliente dentro da sub-rede do cluster, ele também poderá ajudar a verificar a conectividade entre a sub-rede e o sistema de armazenamento.

    rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
    

  Certifique-se de que todas as portas retornadas pela rpcinfo consulta permitam tráfego irrestrito da sub-rede do Cache HPC do Azure.

  • Se você não puder usar o comando, verifique se essas portas comumente usadas permitem tráfego rpcinfo de entrada e saída:

    Protocolo	Porta	Service
    TCP/UDP	111	rpcbind
    TCP/UDP	2049	NFS
    TCP/UDP	4045	Nlockmgr
    TCP/UDP	4046	montado
    TCP/UDP	4047	estado

    Alguns sistemas usam números de porta diferentes para esses serviços - consulte a documentação do sistema de armazenamento para ter certeza.

  • Verifique as configurações do firewall para ter certeza de que elas permitem o tráfego em todas essas portas necessárias. Certifique-se de verificar os firewalls usados no Azure, bem como os firewalls locais em seu data center.

• O armazenamento back-end NFS deve ser uma plataforma de hardware/software compatível. O armazenamento deve suportar NFS Versão 3 (NFSv3). Entre em contato com a equipe do Cache HPC do Azure para obter detalhes.

Requisitos de armazenamento de blob montado em NFS (ADLS-NFS)

O Cache HPC do Azure também pode usar um contêiner de blob montado com o protocolo NFS como destino de armazenamento.

Leia mais sobre esse recurso no suporte ao protocolo NFS 3.0 no armazenamento de Blob do Azure.

Os requisitos da conta de armazenamento são diferentes para um destino de armazenamento de blob ADLS-NFS e para um destino de armazenamento de blob padrão. Siga as instruções em Montar armazenamento de Blob usando o protocolo NFS (Network File System) 3.0 cuidadosamente para criar e configurar a conta de armazenamento habilitada para NFS.

Esta é uma visão geral das etapas. Essas etapas podem mudar, portanto, consulte sempre as instruções do ADLS-NFS para obter detalhes atuais.

1. Certifique-se de que as funcionalidades de que necessita estão disponíveis nas regiões onde planeia trabalhar.

2. Habilite o recurso de protocolo NFS para sua assinatura. Faça isso antes de criar a conta de armazenamento.

3. Crie uma rede virtual segura (VNet) para a conta de armazenamento. Você deve usar a mesma rede virtual para sua conta de armazenamento habilitada para NFS e para seu Cache HPC do Azure. (Não use a mesma sub-rede que o cache.)

4. Crie a conta de armazenamento.

   • Em vez de usar as configurações da conta de armazenamento para uma conta de armazenamento de blob padrão, siga as instruções no documento de instruções. O tipo de conta de armazenamento suportada pode variar de acordo com a região do Azure.

   • Na seção Rede, escolha um ponto de extremidade privado na rede virtual segura que você criou (recomendado) ou escolha um ponto de extremidade público com acesso restrito da rede virtual segura.

     Leia Trabalhar com pontos de extremidade privados para obter dicas sobre como usar pontos de extremidade privados com destinos de armazenamento de cache HPC.

   • Não se esqueça de preencher a seção Avançado, onde você habilita o acesso NFS.

   • Dê ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado em Permissões, acima. Você pode fazer isso na primeira vez que criar um destino de armazenamento. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias.

     Se você não for o proprietário da conta de armazenamento, peça ao proprietário que execute esta etapa.

Saiba mais sobre como usar destinos de armazenamento ADLS-NFS com o Cache HPC do Azure em Usar armazenamento de blob montado em NFS com o Cache HPC do Azure.

Trabalhar com terminais privados

O Armazenamento do Azure dá suporte a pontos de extremidade privados para permitir o acesso seguro a dados. Você pode usar pontos de extremidade privados com destinos de armazenamento de blob montados no Azure Blob ou NFS.

Saiba mais sobre endpoints privados

Um ponto de extremidade privado fornece um endereço IP específico que o cache HPC usa para se comunicar com seu sistema de armazenamento back-end. Se esse endereço IP for alterado, o cache não poderá restabelecer automaticamente uma conexão com o armazenamento.

Se você precisar alterar a configuração de um ponto de extremidade privado, siga este procedimento para evitar problemas de comunicação entre o armazenamento e o cache HPC:

1. Suspenda o destino de armazenamento (ou todos os destinos de armazenamento que usam esse ponto de extremidade privado).
2. Faça alterações no ponto de extremidade privado e salve essas alterações.
3. Coloque o destino de armazenamento novamente em serviço com o comando "resume".
4. Atualize a configuração DNS do destino de armazenamento.

Leia Exibir e gerenciar destinos de armazenamento para saber como suspender, retomar e atualizar o DNS para destinos de armazenamento.

Configurar o acesso à CLI do Azure (opcional)

Se quiser criar ou gerenciar o Cache HPC do Azure a partir da CLI do Azure, será necessário instalar a CLI do Azure e a extensão hpc-cache. Siga as instruções em Configurar a CLI do Azure para o Cache HPC do Azure.

Próximos passos

• Criar uma instância de Cache HPC do Azure a partir do portal do Azure