제조 HPC 네트워크 토폴로지 및 연결

아티클
07/11/2023

이 참고 자료는 Azure 랜딩 존 문서에 정의된 네트워크 토폴로지 및 연결에 대한 고려 사항과 권장 사항을 기반으로 합니다. 이 문서의 참고 자료에 따라 Microsoft Azure 및 HPC 배포와 관련된 네트워킹 및 연결에 대한 주요 디자인 고려 사항과 모범 사례를 알아 볼 수 있습니다.

IP 주소, 가상 네트워크 및 서브넷 계획

다음을 보장하기 위해 Azure에서 IP 주소 요구 사항을 계획하는 것이 중요합니다.

IP 주소 공간이 온-프레미스 위치와 Azure 지역에서 겹치지 않습니다.
기존 또는 계획된 VNet에 대한 향후 VNet 피어링이 가능합니다.
VNet(가상 네트워크)에 올바른 주소 공간이 포함되어 있습니다.
서브넷 구성에 대한 적절한 계획이 미리 진행됩니다.
향후 확장 또는 기타 서비스에 충분한 초과 주소 지정이 고려됩니다.

HPC 제조 디자인 고려 사항

환경의 기능 구성 요소 간에 IP 주소를 할당하기 위해 별도의 서브넷을 만드는 것이 좋습니다. 예를 들어 전용 HPC VNet에는 다음 서브넷이 포함될 수 있습니다.

컴퓨팅
스토리지
인프라
시각화
로그인
ANF
HPC Cache

Azure NetApp Files, Azure HPC Cache 등의 여러 서비스와 향후 스토리지 제품에는 적절한 운영을 위해 전용 위임 서브넷이 필요합니다. 이러한 서비스를 고려하는 경우 적절한 주소 지정 공간을 계획해야 합니다.

온-프레미스 및 Azure 리소스에 대한 DNS 및 이름 확인 구성

DNS(Domain Name System)는 전체 Azure 랜딩 존 아키텍처에서 중요한 디자인 요소입니다. 기존에 투자한 DNS 자산을 사용하려는 조직도 있을 것이고, 클라우드 채택을 내부 DNS 인프라를 현대화하고 네이티브 Azure 기능을 사용할 수 있는 기회로 간주하는 조직도 있을 것입니다.

HPC 네트워킹 디자인 고려 사항

다음은 마이그레이션 중에 가상 머신의 DNS 또는 가상 이름이 변경되지 않을 때의 권장 사항입니다.

사용 사례:

백그라운드 DNS 및 가상 이름은 HPC 환경에서 많은 시스템 인터페이스를 연결합니다. 고객은 가끔씩만 개발자가 시간이 지남에 따라 정의하는 인터페이스를 알게 됩니다. 마이그레이션 후 가상 또는 DNS 이름이 변경될 때 다양한 시스템 간에 연결 문제가 발생합니다. 이러한 어려움을 방지하려면 DNS 별칭을 유지하는 것이 좋습니다.
서로 다른 DNS 영역을 사용하여 각 환경(샌드박스, 개발, 사전 프로덕션 및 프로덕션)을 서로 구분합니다. 예외는 자체 VNet을 사용하는 HPC 배포의 경우입니다. 여기서는 프라이빗 DNS 영역이 필요하지 않을 수 있습니다.
스토리지 및 기타 리소스에 액세스할 수 있도록 HPC 캐시를 사용하는 동안 DNS 지원이 필수입니다.

고성능 네트워크 서비스

가속화된 네트워킹

많은 HPC 워크로드(예: 지진 처리)에는 많은 양의 데이터 처리가 필요합니다. 데이터는 Azure Blob, Azure NetApp Files, Lustre ClusterStor 및 네트워크를 통해 액세스하는 기타 사용자 지정 스토리지 솔루션과 같은 대규모 공유 파일 시스템에 저장됩니다. 데이터 전송 시간을 줄이기 위해 고성능 네트워크를 사용하는 것이 가장 중요합니다.

가속화된 네트워킹을 사용하도록 설정하면 지터 감소 및 CPU 사용률 최소화와 함께 VM 간 및 Azure 서비스 간에 높은 처리량과 짧은 대기 시간 연결이 VM에 제공됩니다.

InfiniBand

MPI(메시지 전달 인터페이스) 라이브러리를 사용하는 병렬 HPC 애플리케이션은 많은 VM 간에 상당한 양의 정보를 전송해야 할 수 있습니다. RDMA 지원 H 시리즈 및 N 시리즈 VM에서 사용할 수 있는 InfiniBand 상호 연결은 HPC 및 AI 애플리케이션의 성능과 스케일링 성능을 최대화하기 위해 필요한 짧은 대기 시간과 높은 대역폭을 제공합니다.

MPI 작업의 몇 가지 예는 다음과 같습니다.

분자 역학
전산 유체 역학
석유 및 가스 저장소 시뮬레이션
제조 분야의 새로운 분산 기계 학습 워크로드

InfiniBand 연결은 동일한 배치 그룹 내에 할당된 VM 간에만 가능합니다.

Azure ExpressRoute

온-프레미스 데이터 세트가 공유되고 Azure 컴퓨팅이 확장이 되는 저류층 시뮬레이션 및 모델링을 위한 하이브리드 설정 같은 버스트 애플리케이션이 있는 경우 Express Route를 사용하면 연결 공급자의 도움을 받아 프라이빗 연결을 통해 온-프레미스 환경을 Microsoft Cloud에 연결할 수 있습니다. 엔터프라이즈급 복원력 및 가용성과 글로벌 ExpressRoute 파트너 에코시스템의 이점을 제공합니다. ExpressRoute를 사용하여 네트워크를 Microsoft에 연결하는 방법에 대한 내용은 ExpressRoute 연결 모델을 참조하세요.
ExpressRoute 연결은 공용 인터넷을 통해 연결되지 않으며 일반적인 인터넷 연결보다 안정적이고 속도가 빠르며 대기 시간이 짧습니다. 지점과 사이트 간 VPN 및 사이트 간 VPN의 경우 해당 VPN 옵션과 Azure ExpressRoute의 조합을 사용하여 온-프레미스 디바이스 또는 네트워크를 가상 네트워크에 연결할 수 있습니다.

Azure 네트워크 토폴로지 정의

엔터프라이즈 규모 랜딩 존은 두 가지 네트워크 토폴로지(하나는 Azure Virtual WAN 기반, 다른 하나는 허브 스포크 아키텍처 기반의 기존 네트워크 토폴로지)를 지원합니다. 이 섹션에서는 두 배포 모델에 대한 HPC 구성 및 모범 사례를 권장합니다.

조직에서 다음을 계획하는 경우 Virtual WAN 기반의 네트워크 토폴로지를 사용합니다.

여러 Azure 지역에 리소스를 배포하고 글로벌 위치를 Azure 및 온-프레미스 모두에 연결합니다.
소프트웨어 정의 WAN 배포를 Azure와 완전히 통합합니다.
하나의 Virtual WAN 허브에 연결된 모든 VNet에 최대 50,000개의 가상 머신 워크로드를 배포합니다.

조직에서 Virtual WAN을 사용하여 대규모 상호 연결 요구 사항을 충족합니다. 전체 네트워크 복잡성을 줄이고 조직의 네트워크를 현대화하는 데 도움이 되는 이 서비스는 Microsoft에서 관리합니다.

조직에서 다음 사항에 해당하는 경우 허브 및 스포크 아키텍처 기반의 기존 Azure 네트워크 토폴로지를 사용합니다.

선택한 Azure 지역에만 리소스를 배포할 계획입니다.
상호 연결된 글로벌 네트워크가 필요 없습니다.
지역별 원격 또는 분기 위치가 거의 없으며 30개 미만의 IP 보안(IPsec) 터널이 필요합니다.
Azure 네트워크를 수동으로 구성할 수 있도록 모든 권한 및 세분성이 필요합니다.
로컬 및 글로벌 VNet 피어링을 사용하여 연결을 제공합니다. 로컬 및 글로벌 VNet 피어링은 여러 Azure 지역에서 HPC 배포를 위한 랜딩 존 간의 연결을 보장할 때 선호하는 접근 방식입니다.

인바운드 및 아웃바운드 인터넷 연결 계획

이 섹션에서는 공용 인터넷과 인바운드 및 아웃바운드 연결을 설정할 때 권장하는 연결 모델을 설명합니다. Azure Firewall, Application Gateway의 Azure Web Application Firewall, Azure Front Door와 같은 Azure 기본 네트워크 보안 서비스는 완전 관리형 서비스입니다. 따라서 대규모에서는 복잡해질 수 있는 인프라 배포와 관련된 운영 및 관리 비용이 발생하지 않습니다.

HPC 구현을 위한 디자인 권장 사항:

전 세계에 인프라가 있는 고객의 경우 Azure Front Door는 Azure Web Application Firewall 정책을 사용하여 Azure 지역 전체에서 글로벌 HTTP/S 애플리케이션을 제공하고 보호함으로써 HPC 배포를 도와 줍니다.
이 서비스 및 Azure Application Gateway를 사용하여 HTTP/S 애플리케이션을 보호할 때 Azure Front Door의 웹 애플리케이션 방화벽 정책을 활용합니다. Azure Front Door에서만 트래픽을 수신하도록 Azure Application Gateway를 잠급니다.

네트워크 암호화 요구 사항 정의

이 섹션에서는 온-프레미스와 Azure 간 그리고 Azure 지역 간에 네트워크를 암호화하기 위한 주요 권장 사항을 살펴봅니다.

HPC 구현을 위한 디자인 고려 사항:

현재는 Azure ExpressRoute를 사용하여 프라이빗 피어링을 구성하는 경우 트래픽이 암호화되지 않습니다.
HPC 배포를 위해 반드시 ExpressRoute를 통해 트래픽을 암호화할 필요는 없습니다. IPsec 터널은 기본적으로 인터넷 트래픽을 암호화합니다. 암호화 또는 암호 해독은 트래픽 성능에 부정적인 영향을 줄 수 있습니다.

HPC 트래픽을 암호화해야 하는지 여부를 결정하는 것은 고객입니다. 네트워크 토폴로지 및 연결을 살펴보고 엔터프라이즈 규모 랜딩 존의 네트워크 암호화 옵션을 알아보세요.