Apache Spark로 Azure Synapse Link for Dataverse 데이터 변환

아티클
01/25/2024

Azure Synapse Link를 사용하여 Microsoft Dataverse 데이터를 Azure Synapse Analytics에 연결하여 데이터를 탐색하고 인사이트를 얻는 시간을 단축할 수 있습니다. 이 문서에서는 Synapse 작업 영역에서 사용할 수 있는 Apache Spark 엔진을 사용하여 Dataverse 데이터를 변환하는 방법을 보여줍니다.

참고

Azure Synapse Link for Microsoft Dataverse는 이전에 data lake로 내보내기로 알려졌습니다. 이 서비스는 2021년 5월부터 이름이 변경되었으며 Azure Data Lake 및 Azure Synapse Analytics로 계속 데이터를 내보낼 예정입니다.

전제 조건

이 섹션에서는 Azure Synapse Link for Dataverse 서비스를 사용한 후 Apache Spark로 Dataverse 데이터를 변환하는 데 필요한 필수 구성 요소를 설명합니다.

Azure Synapse Link for Dataverse. 이 가이드에서는 이미 Azure Synapse Link for Dataverse를 사용하여 Dataverse에서 데이터를 내보냈다고 가정합니다.
스토리지 계정 액세스입니다. 저장소 계정에 대해 저장소 Blob 데이터 판독기, 저장소 Blob 데이터 기여자 또는 저장소 Blob 데이터 소유자 역할 중 하나를 부여 받아야합니다.
Synapse 관리자. Synapse Studio 안에서 Synapse 관리자 역할 액세스 권한을 부여받아야 합니다.

Apache Spark 노트북으로 데이터 변환

Power Apps에 있는 목록에서 원하는 Azure Synapse Link를 선택한 다음 Azure Synapse workspace로 이동을 선택합니다.
데이터베이스를 확장하고 Dataverse 컨테이너를 선택합니다. 내보낸 테이블은 왼쪽 사이드 바의 테이블 디렉터리 아래 표시됩니다.
원하는 테이블을 마우스 오른쪽 버튼으로 클릭하고 새 노트북 > DataFrame에 로드를 선택합니다.
드롭다운 메뉴에서 풀을 선택하여 노트북을 Apache Spark 풀에 연결합니다. Apache Spark 풀이 없는 경우 풀 관리를 선택하여 하나를 생성합니다.
코드 셀을 추가하여 데이터를 변환합니다. 각 셀의 왼쪽에 있는 재생 단추를 선택하여 개별 셀을 실행하거나 상단 바에서 모두 실행을 선택하여 모든 셀을 연속해서 실행합니다.