데이터 파이프라인을 사용하여 웨어하우스에 데이터 수집

  • 아티클

적용 대상:✅ Microsoft Fabric 내 웨어하우스

데이터 파이프라인은 그래픽 사용자 인터페이스를 통해 COPY 명령을 사용하는 작업 대신 사용할 수 있습니다. 파이프라인은 함께 데이터 수집 작업을 수행하는 활동의 논리적 그룹화입니다. 파이프라인을 사용하면 각 작업을 개별적으로 관리하는 대신 ETL(추출, 변환 및 로드) 작업을 관리할 수 있습니다.

이 자습서에서는 샘플 데이터를 Microsoft Fabric의 웨어하우스에 로드하는 새 파이프라인을 만듭니다.

참고 항목

Azure Data Factory의 일부 기능은 Microsoft Fabric에서 사용할 수 없지만 개념은 서로 교환할 수 있습니다. Azure Data Factory 및 Azure Synapse Analytics의 파이프라인과 작업에서 Azure Data Factory 및 파이프라인에 대해 자세히 알아볼 수 있습니다. 빠른 시작은 빠른 시작: 데이터를 복사하는 첫 번째 파이프라인 만들기를 참조하세요.

데이터 파이프라인 만들기

  1. 새 파이프라인을 만들려면 작업 영역으로 이동하여 +새로 만들기 버튼을 선택하고 데이터 파이프라인을 선택합니다. 새로 만들기 버튼과 웨어하우스, 데이터 파이프라인 및 모두 표시 옵션이 표시된 사용자 작업 영역의 위쪽 섹션 스크린샷

  2. 새 파이프라인 대화 상자에 새 파이프라인의 이름을 입력하고 만들기를 선택합니다.

  3. 파이프라인 캔버스 영역에 도달합니다. 여기서 시작할 세 가지 옵션인 파이프라인 작업 추가, 데이터 복사 및 시작할 작업 선택 옵션이 표시됩니다.

    수집을 시작하기 위해 선택할 수 있는 세 가지 옵션을 보여 주는 스크린샷

    이러한 각 옵션은 파이프라인을 만드는 다양한 대안을 제공합니다.

    • 파이프라인 작업 추가: 이 옵션은 파이프라인 편집기를 시작하여 파이프라인 작업을 통해 새 파이프라인을 처음부터 만들 수 있습니다.
    • 데이터 복사: 이 옵션은 데이터 원본, 대상을 선택하고 열 매핑과 같은 데이터 로드 옵션을 구성하는 데 도움이 되는 단계별 도우미를 시작합니다. 완료되면 데이터 복사 작업이 이미 구성된 새 파이프라인 작업을 만듭니다.
    • 시작할 작업 선택: 이 옵션은 다양한 시나리오에 따라 파이프라인을 시작하는 데 도움이 되는 미리 정의된 템플릿 집합을 시작합니다.

    데이터 복사 옵션을 선택하여 복사 도우미를 시작합니다.

  4. 데이터 복사 도우미의 첫 번째 페이지는 다양한 데이터 원본에서 사용자 고유의 데이터를 선택하거나 제공된 샘플 중 하나를 선택하여 시작하는 데 도움이 됩니다. 이 자습서에서는 COVID-19 데이터 레이크 샘플을 사용합니다. 이 옵션을 선택하고 다음을 선택합니다.

    샘플 데이터 또는 기타 데이터 원본을 사용하기 위한 선택 항목을 보여 주는 스크린샷

  5. 다음 페이지에서 데이터 세트, 원본 파일 형식을 선택하고 선택한 데이터 세트를 미리 볼 수 있습니다. CSV 형식인 Bing COVID-19를 선택하고 다음을 선택합니다.

    COVID-19 샘플, 파일 형식 및 데이터의 미리 보기를 보여 주는 그리드에 대한 다양한 데이터 세트 옵션을 보여 주는 스크린샷

  6. 다음 페이지인 데이터 대상을 사용하면 대상 작업 영역의 형식을 구성할 수 있습니다. 작업 영역의 웨어하우스에 데이터를 로드하므로 웨어하우스 탭 및 Data Warehouse 옵션을 선택합니다. 다음을 선택합니다.

    다른 대상 옵션을 보여 주는 스크린샷

  7. 이제 데이터를 로드할 웨어하우스를 선택해야 합니다. 드롭다운 목록에서 원하는 웨어하우스를 선택하고 다음을 선택합니다.

    웨어하우스가 선택된 드롭다운 목록을 보여 주는 스크린샷

  8. 대상을 구성하는 마지막 단계는 대상 테이블에 이름을 입력하고 열 매핑을 구성하는 작업입니다. 여기에서 데이터를 새 테이블 또는 기존 테이블로 로드하거나, 스키마 및 테이블 이름을 입력하고, 열 이름을 변경하거나, 열을 제거하거나, 매핑을 변경할 수 있습니다. 기본값을 적용하거나 설정을 기본 설정으로 조정할 수 있습니다.

    기존 테이블에 데이터를 로드하거나 새 테이블을 만드는 옵션을 보여 주는 스크린샷

    옵션 검토를 마쳤으면 다음을 선택합니다.

  9. 다음 페이지에서는 스테이징을 사용하거나 T-SQL COPY 명령을 사용하는 데이터 복사 작업에 대한 고급 옵션을 제공하는 옵션을 제공합니다. 옵션을 변경하지 않고 검토한 후 다음을 선택합니다.

  10. 도우미의 마지막 페이지에서는 복사 작업의 요약을 제공합니다. 즉시 데이터 전송 시작 옵션을 선택하고 저장 + 실행을 선택합니다.

    데이터 전송 작업을 즉시 시작하는 옵션과 뒤로 및 저장 + 실행 버튼을 보여 주는 스크린샷

  11. 새 데이터 복사 작업이 이미 구성된 파이프라인 캔버스 영역으로 전달됩니다. 파이프라인이 자동으로 실행되도록 시작합니다. 출력 창에서 파이프라인의 상태를 모니터링할 수 있습니다.

    가운데에 복사 작업 있는 파이프라인 캔버스와 진행 중인 현재 상태를 보여 주는 파이프라인 실행 상태를 보여 주는 스크린샷

  12. 몇 초 후에 파이프라인이 완료됩니다. 웨어하우스로 돌아가서 테이블을 선택하여 데이터를 미리 확인하고 복사 작업이 완료되었음을 확인할 수 있습니다.

    bing_covid_19 테이블이 선택된 웨어하우스와 테이블의 데이터 미리 보기를 보여 주는 그리드를 보여 주는 스크린샷

Microsoft Fabric의 웨어하우스에 데이터 수집에 대한 자세한 내용은 다음을 참조하세요.

다음 단계

Microsoft Fabric에서 SQL 분석 엔드포인트 또는 웨어하우스 쿼리