서버리스 컴퓨팅에서 프라이빗 연결 구성

  • 아티클

이 문서에서는 Azure Databricks 계정 콘솔 UI를 사용하여 서버리스 컴퓨팅에서 프라이빗 연결을 구성하는 방법을 설명합니다. 네트워크 연결 구성 API를 사용할 수도 있습니다.

프라이빗 엔드포인트의 연결만 허용하도록 Azure 리소스를 구성하는 경우 클래식 Databricks 컴퓨팅 리소스의 리소스에 대한 모든 연결도 프라이빗 엔드포인트를 사용해야 합니다.

서브넷을 사용하여 서버리스 컴퓨팅 액세스를 위해 Azure Storage 방화벽을 구성하려면 서버리스 컴퓨팅 액세스에 대한 방화벽 구성을 참조하세요. 기존 프라이빗 엔드포인트 규칙을 관리하려면 프라이빗 엔드포인트 규칙 관리를 참조 하세요.

참고 항목

현재 서버리스 기능에 대한 아웃바운드 및 인바운드 데이터 처리 요금은 없습니다. 이후 릴리스에서는 요금이 청구될 수 있습니다. Azure Databricks는 네트워킹 가격 변경에 대한 사전 알림을 제공합니다. 시간별 엔드포인트 요금은 계속 적용됩니다.

서버리스 컴퓨팅에 대한 프라이빗 연결 개요

서버리스 네트워크 연결은 NCC(네트워크 연결 구성)로 관리됩니다. 계정 관리자는 계정 콘솔에서 NCC를 만들고 NCC를 하나 이상의 작업 영역에 연결할 수 있습니다.

NCC에 프라이빗 엔드포인트를 추가하면 Azure Databricks는 Azure 리소스에 대한 프라이빗 엔드포인트 요청을 만듭니다. 리소스 쪽에서 요청이 수락되면 프라이빗 엔드포인트를 사용하여 서버리스 컴퓨팅 평면에서 리소스에 액세스합니다. 프라이빗 엔드포인트는 Azure Databricks 계정 전용이며 권한 있는 작업 영역에서만 액세스할 수 있습니다.

NCC 프라이빗 엔드포인트는 서버리스 SQL 웨어하우스에서만 지원됩니다. 서버리스 컴퓨팅 평면의 다른 컴퓨팅 리소스에서는 지원되지 않습니다.

참고 항목

NCC 프라이빗 엔드포인트는 관리하는 데이터 원본에 대해서만 지원됩니다. 작업 영역 스토리지 계정에 연결하려면 Azure Databricks 계정 팀에 문의하세요.

NCC 에 대한 자세한 내용은 NCC(네트워크 연결 구성)란?을 참조하세요.

요구 사항

  • 작업 영역은 프리미엄 플랜에 있어야 합니다.
  • Azure Databricks 계정 관리자여야 합니다.
  • 각 Azure Databricks 계정에는 지역당 최대 10개의 NCC가 있을 수 있습니다.
  • 각 지역에는 필요에 따라 1~10개의 NCC에 분산된 100개의 프라이빗 엔드포인트가 있을 수 있습니다.
  • 각 NCC는 최대 50개의 작업 영역에 연결할 수 있습니다.

1단계: 네트워크 연결 구성 만들기

Databricks는 동일한 사업부 내의 작업 영역과 동일한 지역 연결 속성을 공유하는 작업 영역 간에 NCC를 공유하는 것이 좋습니다. 예를 들어 일부 작업 영역에서 Private Link를 사용하고 다른 작업 영역에서 방화벽 사용 기능을 사용하는 경우 해당 사용 사례에 대해 별도의 NCC를 사용합니다.

  1. 계정 관리자로서 계정 콘솔로 이동합니다.
  2. 사이드바에서 클라우드 리소스를 클릭합니다.
  3. 네트워크 연결 구성을 클릭합니다.
  4. 네트워크 연결 구성 추가를 클릭합니다.
  5. NCC의 이름을 입력합니다.
  6. 지역을 선택합니다. 이는 작업 영역 지역과 일치해야 합니다.
  7. 추가를 클릭합니다.

2단계: 작업 영역에 NCC 연결

  1. 계정 콘솔 사이드바에서 작업 영역을 클릭합니다.
  2. 작업 영역의 이름을 클릭합니다.
  3. 작업 영역 업데이트를 클릭합니다.
  4. 네트워크 연결 구성 필드에서 NCC를 선택합니다. 표시되지 않는 경우 작업 영역과 NCC 모두에 대해 동일한 Azure 지역을 선택했는지 확인합니다.
  5. 업데이트를 클릭합니다.
  6. 변경 내용이 적용될 때까지 10분 정도 기다립니다.
  7. 작업 영역에서 실행 중인 서버리스 SQL 웨어하우스를 다시 시작합니다.

3단계: 프라이빗 엔드포인트 규칙 만들기

각 Azure 리소스에 대한 프라이빗 엔드포인트 규칙을 NCC에 만들어야 합니다.

  1. 모든 대상에 대한 Azure 리소스 ID 목록을 가져옵니다.

    1. 다른 브라우저 탭의 Azure Portal에서 데이터 원본의 Azure Storage 계정으로 이동합니다.
    2. 개요 페이지에서 Essentials 섹션을 살펴봅니다.
    3. JSON 보기 링크를 클릭합니다. 스토리지 계정의 리소스 ID가 페이지 맨 위에 표시됩니다.
    4. 해당 리소스 ID를 다른 위치에 복사합니다. 모든 대상에 대해 반복합니다.

  2. 계정 콘솔 브라우저 탭으로 다시 전환합니다.

  3. 사이드바에서 클라우드 리소스를 클릭합니다.

  4. 네트워크 연결 구성을 클릭합니다.

  5. 1단계에서 만든 NCC를 선택합니다.

  6. 프라이빗 엔드포인트 규칙에서 프라이빗 엔드포인트 규칙 추가를 클릭합니다.

  7. 대상 Azure 리소스 ID 필드에 리소스의 리소스 ID를 붙여넣습니다.

  8. Azure 하위 리소스 ID 필드에서 아래 표에 따라 하위 리소스 값으로 설정합니다. 각 프라이빗 엔드포인트 규칙은 다른 하위 리소스 ID를 사용해야 합니다.

    대상 유형 Azure 하위 리소스 ID
    Blob 저장소 blob
    ADLS 스토리지 dfs
    Azure SQL(Azure SQL을 대상으로 사용하려면 네트워크 연결 API를 사용하여 프라이빗 엔드포인트 규칙을 만들어야 합니다.) sqlServer

  9. 추가를 클릭합니다.

  10. 모든 엔드포인트 규칙의 상태가 PENDING될 때까지 몇 분 정도 기다립니다.

4단계: 리소스에 대한 새 프라이빗 엔드포인트 승인

엔드포인트는 리소스에 대한 권한이 있는 관리자가 새 프라이빗 엔드포인트를 승인할 때까지 적용되지 않습니다. Azure Portal을 사용하여 프라이빗 엔드포인트를 승인하려면 다음을 수행합니다.

  1. Azure Portal에서 리소스로 이동합니다.

  2. 사이드바에서 네트워킹을 클릭합니다.

  3. 프라이빗 엔드포인트 연결을 클릭합니다.

  4. 개인 액세스 탭을 클릭합니다.

  5. 프라이빗 엔드포인트 연결에서 프라이빗 엔드포인트 목록을 검토합니다.

  6. 승인할 각 확인란 옆의 확인란을 클릭하고 목록 위의 승인 단추를 클릭합니다.

  7. Azure Databricks에서 NCC로 돌아가서 모든 엔드포인트 규칙의 상태가 ESTABLISHED될 때까지 브라우저 페이지를 새로 고칩니다.

    프라이빗 엔드포인트 목록

(선택 사항) 5단계: 공용 네트워크 액세스를 허용하지 않도록 스토리지 계정 설정

Azure Storage 계정에 대한 액세스를 허용 목록에 있는 네트워크로 제한하지 않은 경우 이 작업을 수행하도록 선택할 수 있습니다.

  1. Azure Portal로 이동합니다.
  2. 데이터 원본에 대한 스토리지 계정으로 이동합니다.
  3. 사이드바에서 네트워킹을 클릭합니다.
  4. 공용 네트워크 액세스 필드에서 값을 확인합니다. 기본적으로 이 값은 모든 네트워크에서 사용하도록 설정됩니다. 이를 사용 안 함으로 변경

6단계: 서버리스 SQL 웨어하우스 다시 시작 및 연결 테스트

  1. 이전 단계가 끝나면 변경 내용이 전파되기까지 5분 정도 더 기다립니다.
  2. NCC가 연결된 작업 영역에서 실행 중인 서버리스 SQL 웨어하우스를 다시 시작합니다. 서버리스 SQL 웨어하우스를 실행하지 않는 경우 지금 시작합니다.
  3. 모든 SQL 웨어하우스가 성공적으로 시작되는지 확인합니다.
  4. 데이터 원본에서 하나 이상의 쿼리를 실행하여 서버리스 SQL 웨어하우스가 데이터 원본에 연결할 수 있음을 확인합니다.