Azure Portal을 사용하여 HDInsight on AKS에서 Apache Flink® 클러스터 만들기

Azure Portal에서 Apache Flink 클러스터를 만들려면 다음 단계를 완료합니다.

필수 조건

다음 섹션의 필수 조건을 완료합니다.

• 구독 필수 조건
• 리소스 필수 구성 요소
• 클러스터 풀 만들기

Apache Flink 클러스터 만들기

클러스터 풀 배포가 완료되면 Flink 클러스터를 만들 수 있습니다. 기존 클러스터 풀을 시작하는 경우 단계를 살펴보겠습니다.

1. Azure Portal에서 HDInsight 클러스터 풀/HDInsight/HDInsight on AKS를 입력하고 AKS 클러스터 풀에서 Azure HDInsight를 선택하여 클러스터 풀 페이지로 이동합니다. HDInsight on AKS 클러스터 풀 페이지에서 새 Flink 클러스터를 만들려는 클러스터 풀을 선택합니다.

   

2. 특정 클러스터 풀 페이지에서 + 새 클러스터를 클릭하고 다음 정보를 제공합니다.

   속성	Description
   Subscription	이 필드는 클러스터 풀에 등록된 Azure 구독으로 자동 채워집니다.
   리소스 그룹	이 필드는 자동으로 채워지며 클러스터 풀의 리소스 그룹을 표시합니다.
   지역	이 필드는 자동으로 채워지며 클러스터 풀에서 선택된 지역을 표시합니다.
   클러스터 풀	이 필드는 자동으로 채워지며 현재 클러스터가 만들어지고 있는 클러스터 풀 이름을 표시합니다. 다른 풀에 클러스터를 만들려면 포털에서 해당 클러스터 풀을 찾아 + 새 클러스터를 클릭합니다.
   HDInsight on AKS 풀 버전	이 필드는 자동으로 채워지며 현재 클러스터가 만들어지고 있는 클러스터 풀 버전을 표시합니다.
   HDInsight on AKS 버전	새 클러스터의 HDInsight on AKS의 부 또는 패치 버전을 선택합니다.
   클러스터 유형	드롭다운 목록에서 Flink를 선택합니다.
   클러스터 이름	새 클러스터의 이름을 입력합니다.
   사용자 할당 관리 ID	드롭다운 목록에서 클러스터에 사용할 관리 ID를 선택합니다. MSI(관리되는 서비스 ID)의 소유자이고 MSI에 클러스터에 대한 관리 ID 운영자 역할이 없는 경우 상자 아래 링크를 클릭하여 AKS 에이전트 풀 MSI에 필요한 권한을 할당합니다. MSI에 이미 올바른 권한이 있으면 링크가 표시되지 않습니다. MSI에 필요한 기타 역할 할당은 필수 조건을 참조하세요.
   스토리지 계정	드롭다운 목록에서 Flink 클러스터와 연결할 스토리지 계정을 선택하고 컨테이너 이름을 지정합니다. 관리 ID에는 클러스터를 만드는 동안 'Storage Blob 데이터 소유자' 역할을 사용하여 지정된 스토리지 계정에 대한 액세스 권한이 추가로 부여됩니다.
   가상 네트워크	클러스터의 가상 네트워크입니다.
   서브넷	클러스터의 가상 서브넷입니다.

3. Flink SQL용 Hive 카탈로그를 사용하도록 설정합니다.

   속성	설명
   Hive 카탈로그 사용	외부 Hive 메타스토어를 사용하려면 이 옵션을 사용하도록 설정합니다.
   Hive용 SQL Database	드롭다운 목록에서 hive-metastore 테이블을 추가할 SQL Database를 선택합니다.
   SQL 관리자 사용자 이름	SQL Server 관리 사용자 이름을 입력합니다. 이 계정은 Metastore에서 SQL 데이터베이스와 통신하는 데 사용됩니다.
   주요 자격 증명 모음	드롭다운 목록에서 SQL Server 관리 사용자 이름에 대한 비밀이 포함된 Key Vault를 선택합니다. 클러스터 만들기에 사용되는 MSI에 대한 키 권한, 비밀 권한, 인증서 권한 등 필요한 모든 권한이 포함된 액세스 정책을 설정해야 합니다. MSI에는 Key Vault 관리자 역할이 필요하며 IAM을 사용하여 필요한 권한을 추가합니다.
   SQL 암호 비밀 이름	SQL 데이터베이스 비밀이 저장된 Key Vault의 비밀 이름을 입력합니다.

   

   참고 항목

   기본적으로 클러스터를 만드는 동안 사용된 스토리지 계정 및 컨테이너와 동일한 Hive 카탈로그용 스토리지 계정을 사용합니다.

4. 다음: 구성을 선택하여 계속 진행합니다.

5. 구성 페이지에서 다음 정보를 제공합니다.

   속성	설명
   노드 크기	헤드 노드와 작업자 노드 모두 Flink 노드에 사용할 노드 크기를 선택합니다.
   노드 수	Flink 클러스터의 노드 수를 선택합니다. 기본적으로 헤드 노드는 2개입니다. 작업자 노드 크기 조정은 Flink의 작업 관리자 구성을 결정하는 데 도움이 됩니다. 작업 관리자와 기록 서버는 헤드 노드에 있습니다.

6. 서비스 구성 섹션에서 다음 정보를 제공합니다.

   속성	설명
   작업 관리자 CPU	정수. 작업 관리자 CPU 크기(코어 단위)를 입력합니다.
   작업 관리자 메모리(MB)	작업 관리자 메모리 크기를 MB 단위로 입력합니다. 최소 1800MB.
   작업 관리자 CPU	정수. 작업 관리자의 CPU 수(코어)를 입력합니다.
   작업 관리자 메모리(MB)	메모리 크기를 MB 단위로 입력합니다. 최소 1800MB입니다.
   기록 서버 CPU	정수. 작업 관리자의 CPU 수(코어)를 입력합니다.
   기록 서버 메모리(MB)	메모리 크기를 MB 단위로 입력합니다. 최소 1800MB입니다.

   

   참고 항목

   • 필요에 따라 기록 서버를 사용하거나 사용하지 않을 수 있습니다.
   • Flink에서는 일정 기반 자동 크기 조정이 지원됩니다. 필요에 따라 작업자 노드 수를 예약할 수 있습니다. 예를 들어, 기본 작업자 노드 수가 3인 일정 기반 자동 크기 조정이 사용하도록 설정됩니다. 그리고 평일 9:00 UTC부터 20:00 UTC까지 작업자 노드는 10개로 예약됩니다. 나중에는 3개의 노드(20:00 UTC부터 다음 날 09:00 UTC까지)로 기본값을 설정해야 합니다. 주말 9:00 UTC부터 20:00 UTC까지 작업자 노드는 4개입니다.

7. 자동 크기 조정 및 SSH 섹션에서 다음을 업데이트합니다.

   속성	설명
   자동 크기 조정	선택 시 일정 기반 자동 크기 조정을 선택하여 크기 조정 작업 일정을 구성할 수 있습니다.
   SSH 사용	선택 시 Secure Shell을 사용하는 Flink CLI의 액세스 지점인 필요한 총 SSH 노드 수를 선택할 수 있습니다. 허용되는 최대 SSH 노드는 5개입니다.

   

   

8. 다음 페이지로 이동하려면 다음: 통합 단추를 클릭합니다.

9. 통합 페이지에서 다음 정보를 제공합니다.

   속성	설명
   로그 분석	이 기능은 클러스터 풀에 연결된 로그 분석 작업 영역이 있는 경우에만 사용할 수 있으며, 사용하도록 설정되면 수집할 로그를 선택할 수 있습니다.
   Azure Prometheus	이 기능은 Azure Monitor 작업 영역에 메트릭과 로그를 전송하여 클러스터에서 직접 인사이트와 로그를 보는 것입니다.

   

10. 다음 페이지로 이동하려면 다음: 태그 단추를 클릭합니다.

11. 태그 페이지에서 다음 정보를 제공합니다.

    속성	설명
    이름	선택 사항. 클러스터 리소스와 연결된 모든 리소스를 쉽게 식별하려면 HDInsight on AKS와 같은 이름을 입력합니다.
    값	이 열은 비워 둘 수 있습니다.
    리소스	선택한 모든 리소스를 선택합니다.

12. 다음: 검토 + 만들기 를 선택하여 계속 진행합니다.

13. 검토 + 만들기 페이지 상단에서 유효성 검사 성공 메시지를 찾은 다음 만들기를 클릭합니다.

클러스터가 만들어지는 배포 진행 중 페이지가 표시됩니다. 클러스터를 만드는 데 5~10분 정도 걸립니다. 클러스터가 만들어지면 "배포가 완료되었습니다" 메시지가 표시됩니다. 페이지에서 벗어나면 알림에서 현재 상태를 확인할 수 있습니다.