Azure portal을 사용하여 Data Lake Storage Gen2 클러스터 생성

Azure 포털은 Microsoft Azure 클라우드에 호스트된 서비스와 리소스에 대한 웹 기반 관리 도구입니다. 이 문서에서는 포털을 사용하여 Linux 기반 Azure HDInsight 클러스터를 만드는 방법에 대해 알아봅니다. 자세한 내용은 HDInsight 클러스터 만들기에서 확인할 수 있습니다.

Azure 구독이 없는 경우 시작하기 전에 체험 계정을 만듭니다.

스토리지에 Data Lake Storage Gen2를 사용하는 HDInsight 클러스터를 만들려면 다음 단계를 수행하여 계층 구조 네임스페이스를 포함하는 스토리지 계정을 구성합니다.

사용자 할당 관리 ID 만들기

사용자 할당 관리 ID가 아직 없는 경우 지금 만듭니다.

1. Azure Portal에 로그인합니다.
2. 왼쪽 위에서 리소스 만들기를 클릭합니다.
3. 검색 상자에 user assigned 를 입력하고 사용자가 할당한 관리 ID를 클릭합니다.
4. 만들기를 클릭합니다.
5. 관리 ID의 이름을 입력하고 올바른 구독, 리소스 그룹 및 위치를 선택합니다.
6. 만들기를 클릭합니다.

Azure HDInsight에서 관리 ID가 작동하는 방식에 대한 자세한 내용은 Azure HDInsight의 관리 ID를 참조하세요.

Data Lake Storage Gen2와 사용할 스토리지 계정 만들기

Azure Data Lake Storage Gen2와 함께 사용할 스토리지 계정 만들기.

1. Azure Portal에 로그인합니다.
2. 왼쪽 위에서 리소스 만들기를 클릭합니다.
3. 검색 상자에 storage 를 입력하고 스토리지 계정을 클릭합니다.
4. 만들기를 클릭합니다.
5. 화면에서 다음을 수행 Create storage account 합니다.
   1. 올바른 구독과 리소스 그룹을 선택합니다.
   2. Data Lake Storage Gen2를 사용하는 스토리지 계정의 이름을 입력합니다.
   3. 고급 탭을 클릭합니다.
   4. 사용 을 클릭합니다. 계층 구조 네임스페이스 옆에 있으며 계층적 네임스페이스는 Data Lake Storage Gen2의 아래에 있습니다.
   5. 검토 + 만들기를 클릭합니다.
   6. 만들기를 클릭합니다.

스토리지 계정을 만드는 도중 다른 옵션에 대한 자세한 내용은 빠른 시작: Azure Data Lake Storage Gen2용 스토리지 계정 만들기를 참조하세요.

자세한 지침은 Data Lake Storage Gen2에서 관리 ID에 대한 권한 설정을 참조하세요.

스토리지 계정의 Storage Blob 데이터 소유자 역할에 관리 ID를 할당합니다.

1. Azure Portal에서 스토리지 계정으로 이동합니다.

2. 액세스 제어(IAM) 를 선택합니다.

3. 추가 > 역할 할당 추가를 선택합니다.

   

4. 역할 탭에서 Storage Blob 데이터 소유자를 선택합니다.

   

5. 멤버 탭에서 관리 ID를 선택한 다음, 멤버 선택을 선택합니다.

6. 구독의 경우 사용자 할당 관리 ID를 선택한 다음, 사용자 할당 관리 ID를 선택합니다.

7. 검토 + 할당 탭에서 검토 + 할당을 선택하여 역할을 할당합니다.

   선택한 사용자 할당 ID는 이제 선택한 역할 아래에 나열됩니다.

   역할 할당에 대한 자세한 내용은 Azure Portal을 사용하여 Azure 역할 할당을 참조하세요.

8. 이 초기 설정이 완료되면 포털을 통해 클러스터를 만들 수 있습니다. 클러스터가 스토리지 계정과 동일한 Azure 영역에 있어야 합니다. 클러스터 만들기 메뉴의 스토리지 탭에서 다음 옵션을 선택합니다.

   • 기본 스토리지 형식으로 Azure Data Lake Storage Gen2를 클릭합니다.

   • 기본 스토리지 계정에서 새로 만든 Data Lake Storage Gen2를 사용한 스토리지 계정을 검색하여 선택합니다.

   • ID에서 올바른 구독과 새로 만든 사용자 할당 관리 ID를 선택합니다.

     

   참고 항목

   • Data Lake Storage Gen2를 사용하여 보조 스토리지 계정을 추가하려면 스토리지 계정 수준에서 추가하려는 새 Data Lake Storage Gen2에 앞서 만든 관리 ID를 할당합니다. HDInsight의 "추가 스토리지 계정" 블레이드를 통해 Data Lake Storage Gen2 보조 스토리지 계정 추가는 불가능합니다.
   • HDInsight에서 사용하는 Azure Blob storage 계정에서 RA-GRS 또는 RA-ZRS를 사용 하도록 설정할 수 있습니다. 그러나 RA-GRS 또는 RA-ZRS 보조 엔드포인트에 클러스터 제작은 불가능합니다.
   • HDInsight는 Data Lake Storage Gen2를 RA-GZRS(읽기 액세스 지역 영역 중복 스토리지) 또는 GZRS(지역 영역 중복 스토리지)로 설정하는 것을 지원하지 않습니다.

클러스터 삭제

브라우저, PowerShell 또는 Azure CLI를 사용하는 HDInsight 클러스터 삭제를 참조하세요.

문제 해결

HDInsight 클러스터를 만드는 동안 문제가 발생할 경우 액세스 제어 요구 사항을 참조하세요.

다음 단계

HDInsight 클러스터를 성공적으로 만들었습니다. 이제 클러스터를 사용하는 방법을 알아봅니다.

Apache Spark 클러스터

• 스크립트 동작을 사용하여 Linux 기반 HDInsight 클러스터 사용자 지정
• Scala를 사용하여 독립 실행형 애플리케이션 만들기
• Apache Livy를 사용하여 Apache Spark 클러스터에서 원격으로 작업 실행
• BI와 Apache Spark: BI 도구와 함께 HDInsight의 Spark를 사용하여 대화형 데이터 분석 수행
• Machine Learning과 Apache Spark: HDInsight의 Spark를 사용하여 식품 검사 결과 예측

Apache Hadoop 클러스터

• HDInsight에서 Apache Hive 사용
• HDInsight와 함께 MapReduce 사용

Apache HBase 클러스터

• HDInsight에서 Apache HBase 사용 시작
• HDInsight에서 Apache HBase용 Java 애플리케이션 개발