복사 도우미를 통해 Azure SQL DB에서 Lakehouse로 데이터 이동

이 자습서에서는 데이터를 Lakehouse로 이동하는 단계를 설명합니다.

다음 두 가지 방법은 복사 도우미를 사용하여 제공됩니다.

  1. 첫 번째 방법은 원본 데이터를 델타 형식의 대상 테이블로 이동합니다.
  2. 두 번째 방법은 원본 데이터를 대상 파일로 이동합니다.

필수 조건

시작하려면 다음 필수 조건을 완료해야 합니다.

  • 활성 구독이 있는 테넌트 계정입니다. 체험 계정을 만듭니다.
  • 작업 영역이 만들어집니다.
  • 레이크하우스는 작업 영역에 만들어집니다.

복사 도우미를 통해 델타 형식의 테이블로 Lakehouse로 파일 이동

복사 작업을 설정하려면 다음 단계를 수행합니다.

1단계: 복사 도우미 시작

  1. 기존 데이터 파이프라인을 열거나 새 데이터 파이프라인을 만듭니다.

  2. 캔버스에서 데이터 도우미 복사를 선택하여 마법사를 열고 시작합니다. 또는 리본 메뉴의 활동 탭에 있는 데이터 복사 드롭다운 목록에서 복사 도우미 사용을 선택합니다.

    복사 도우미에 액세스할 수 있는 두 위치를 보여 주는 스크린샷

2단계: 원본 구성

  1. 데이터 원본 형식을 선택하여 데이터 원본을 선택합니다. 이 자습서에서는 Azure SQL Database를 예로 사용합니다. 데이터 원본 선택 화면에서 검색하여 Azure SQL Database를 찾아 선택합니다.

    데이터 복사 화면에서 데이터 원본을 선택할 위치를 보여 주는 스크린샷

  2. 패널에서 필요한 연결 정보를 입력하여 데이터 원본에 대한 연결을 만듭니다.

    새 연결을 선택할 위치를 보여 주는 스크린샷

    패널에서 필요한 연결 정보를 입력한 후 다음을 선택합니다.

    처음에 데이터베이스를 선택하지 않은 경우 선택할 데이터베이스 목록이 표시됩니다.

    연결 정보를 새로 고칠 위치를 보여 주는 스크린샷

  3. 이동할 테이블을 선택합니다. 그런 후에 다음을 선택합니다.

    테이블을 선택할 위치를 보여 주는 스크린샷

3단계: 대상 구성

  1. 레이크하우스를 대상으로 선택한 다음, 다음을 선택합니다.

    복사 대상을 선택할 위치를 보여 주는 스크린샷

    Lakehouse 이름을 입력한 다음 만들기 및 연결을 선택합니다.

    데이터 저장소를 선택할 위치를 보여 주는 스크린샷

  2. 원본 데이터를 구성하고 대상 Lakehouse 테이블에 매핑합니다. 루트 폴더에 대한 테이블을 선택하고 로드 설정에 대한 새 테이블로 로드합니다. 테이블 이름을 입력하고 다음선택합니다.

    테이블 대상을 선택할 위치의 스크린샷.

  3. 구성을 검토하고 즉시 데이터 전송 시작 확인란의 선택을 취소합니다. 그런 다음 다음을 선택하여 도우미 환경을 완료합니다.

    검토 및 만들기 화면에서 확인을 선택할 위치를 보여 주는 스크린샷

4단계: 데이터 파이프라인을 저장하고 실행하여 데이터 로드

  1. 도구 모음에서 실행을 선택한 다음 저장을 선택하고 메시지가 표시되면 실행합니다.

    파이프라인 편집기 창의 홈 탭에서 실행을 선택할 위치를 보여 주는 스크린샷

  2. 실행된 각 활동에 대해 파이프라인이 실행된 후 출력 탭에서 활동의 해당 링크를 선택하여 활동의 세부 정보를 볼 수 있습니다. 이 경우 SQL Azure에서 Lakehouse로 복사된 각 테이블에 대해 하나씩 실행되는 2개의 개별 복사 작업이 있습니다. 활동의 세부 정보 링크를 선택하면 mmuch 데이터를 읽고 쓰는 방법과 원본 및 대상에서 사용된 데이터의 공간, 처리량 속도 및 기타 세부 정보를 확인할 수 있습니다.

    안경 아이콘 및 결과 세부 정보 화면을 선택할 위치를 보여 주는 스크린샷

5단계: Lakehouse에서 테이블 보기

  1. Lakehouse로 이동하여 레이크 보기를 새로 고쳐 수집된 최신 데이터를 확인합니다.

  2. 테이블 보기전환하여 테이블의 데이터를 봅니다.

    테이블 보기로 전환할 위치를 보여 주는 스크린샷

    참고 항목

    현재 데이터는 델타 형식으로만 Lakehouse Tables 폴더(관리되는 영역)에 배치됩니다. 이러한 파일은 자동으로 테이블로 등록되고 Lakehouse 포털의 테이블 보기 아래에 표시됩니다. 테이블 아래의 첫 번째 계층 폴더만 델타 테이블로 등록됩니다. Lakehouse 테이블에서 찾아보기 또는 미리 보기는 아직 지원되지 않습니다. 동일한 테이블에 로드되는 데이터가 추가됩니다. 테이블 삭제 또는 업데이트는 아직 지원되지 않습니다.

이 샘플에서는 Microsoft Fabric용 Data Factory의 복사 도우미를 사용하여 Azure SQL DB에서 Lakehouse로 데이터를 이동하는 방법을 보여 줍니다. 다음 방법에 대해 알아보았습니다.

  • 복사 도우미를 사용하여 델타 형식의 테이블로 파일을 Lakehouse로 이동합니다.

다음으로 파이프라인 실행 모니터링에 대해 자세히 알아보세요.