Azure Cosmos DB 미러링(미리 보기)

Microsoft Fabric 의 미러링에서는 기존 Azure Cosmos DB 데이터를 Microsoft Fabric의 나머지 데이터와 통합하는 원활한 ETL 없음 환경을 제공합니다. 트랜잭션 워크로드의 성능에 영향을 주지 않고 Azure Cosmos DB 데이터를 거의 실시간으로 Fabric OneLake에 직접 복제할 수 있습니다.

OneLake의 데이터는 오픈 소스 델타 형식으로 저장되며 Fabric의 모든 분석 엔진에서 자동으로 사용할 수 있습니다.

T-SQL을 사용하여 복잡한 집계 쿼리를 실행하고 Spark를 사용하여 데이터 탐색을 실행할 수 있습니다. Notebook의 데이터에 원활하게 액세스하고, 데이터 과학을 사용하여 기계 학습 모델을 빌드하고, 통합으로 구동되는 Copilot Direct Lake를 사용하여 비즈니스 인텔리전스 보고서를 작성할 수 있습니다.

패브릭에서 미러링을 사용하는 이유는 무엇인가요?

Fabric의 미러링을 사용하면 여러 공급업체의 다양한 서비스를 통합할 필요가 없습니다. 대신 분석 요구 사항을 간소화하고 개방성을 위해 빌드된 고도로 통합되고 종단 간 사용이 쉬운 제품을 즐길 수 있습니다.

Azure Cosmos DB의 작동 데이터에 대한 분석을 찾고 있는 경우 미러링은 다음을 제공합니다.

• 요청 단위 소비에 영향을 주지 않고 Azure Cosmos DB 데이터에 대한 비용 효율적인 ETL 없음, 거의 실시간 분석
• 다양한 원본의 데이터를 Fabric OneLake로 쉽게 가져올 수 있습니다.
• 빠른 읽기를 위한 v-order를 사용하는 델타 테이블 최적화
• Direct Lake 및 Power BI와 원클릭 통합 Copilot
• 다양한 원본 간에 데이터를 조인하여 풍부한 비즈니스 인사이트
• 쿼리 및 뷰에 액세스하기 위한 보다 풍부한 앱 통합

OneLake 데이터는 오픈 소스 Delta Lake 형식으로 저장되므로 Microsoft 내외부의 다양한 솔루션과 함께 사용할 수 있습니다. 이 데이터 형식을 사용하면 분석 요구 사항에 맞게 단일 데이터 자산을 더 쉽게 빌드할 수 있습니다.

기본 제공되는 분석 환경은 무엇인가요?

미러된 데이터베이스는 Fabric Synapse 데이터 웨어하우징 웨어하우스 및 SQL 분석 엔드포인트와 구별되는 항목 입니다.

미러된 모든 Azure Cosmos DB 데이터베이스에는 패브릭 작업 영역에서 상호 작용할 수 있는 세 가지 항목이 있습니다.

• 미러된 데이터베이스 항목입니다. 미러링에서는 데이터를 OneLake로 복제하고 Parquet으로 변환하는 작업을 분석 준비 형식으로 관리합니다. 이를 통해 데이터 엔지니어링, 데이터 과학 등과 같은 다운스트림 시나리오를 사용할 수 있습니다.
• 자동으로 생성되는 SQL 분석 엔드포인트
• 자동으로 생성되는 기본 의미 체계 모델

미러된 데이터베이스

미러된 데이터베이스는 Fabric OneLake에서 복제를 중지하거나 시작할 복제 상태 및 컨트롤을 보여 줍니다. Azure Cosmos DB 데이터 탐색기를 사용하여 읽기 전용 모드에서 원본 데이터베이스를 볼 수도 있습니다. 데이터 탐색기를 사용하여 원본 Azure Cosmos DB 데이터베이스에서 컨테이너를 보고 쿼리할 수 있습니다. 이러한 작업은 Azure Cosmos DB 계정의 RU(요청 단위)를 사용합니다. 원본 데이터베이스에 대한 모든 변경 내용은 패브릭의 원본 데이터베이스 뷰에 즉시 반영됩니다. 데이터만 볼 수 있으므로 원본 데이터베이스에 쓰는 것은 Fabric에서 허용되지 않습니다.

SQL 분석 엔드포인트

미러된 각 데이터베이스에는 미러링 프로세스에서 만든 OneLake의 델타 테이블 위에 풍부한 분석 환경을 제공하는 자동 생성된 SQL 분석 엔드포인트가 있습니다. 읽기 전용 복사본이기 때문에 데이터 개체를 정의하고 쿼리할 수 있지만 SQL 분석 엔드포인트에서 데이터를 조작할 수 없는 친숙한 T-SQL 명령에 액세스할 수 있습니다.

SQL 분석 엔드포인트에서 다음 작업을 수행할 수 있습니다.

• T-SQL을 사용하여 Delta Lake 테이블을 탐색합니다. 각 테이블은 Azure Cosmos DB 데이터베이스의 컨테이너에 매핑됩니다.
• 코드 없는 쿼리와 뷰를 만들고 코드 줄을 작성하지 않고 시각적으로 탐색합니다.
• 동일한 작업 영역의 다른 미러된 데이터베이스, 웨어하우스 및 Lakehouse에서 데이터를 조인하고 쿼리합니다.

Microsoft Fabric SQL 쿼리 편집기 외에도 광범위한 도구 에코시스템이 있습니다. 이러한 도구에는 Visual Studio Code, Azure Data Studio, SQL Server Management Studio 및 GitHub Copilot도 포함됩니다. 선택한 도구에서 분석 및 인사이트 생성을 과급할 수 있습니다.

의미 체계 모델

기본 의미 체계 모델은 자동으로 프로비전된 Power BI 의미 체계 모델입니다. 이 기능을 사용하면 비즈니스 메트릭을 만들고, 공유하고, 다시 사용할 수 있습니다. 자세한 내용은 의미 체계 모델을 참조 하세요.

거의 실시간 복제는 어떻게 작동하나요?

Azure Cosmos DB 데이터베이스에서 미러링을 사용하도록 설정하면 OLTP(온라인 트랜잭션 처리) 데이터에 대한 삽입, 업데이트 및 삭제 작업이 분석 사용을 위해 Fabric OneLake에 지속적으로 복제됩니다.

연속 백업 기능은 미러링을 위한 필수 구성 요소입니다. Azure Cosmos DB 계정에서 7일 또는 30일 연속 백업을 사용하도록 설정할 수 있습니다.

Azure Cosmos DB 데이터를 Fabric OneLake에 복제하는 데 몇 분 정도 걸릴 수 있습니다. 데이터의 초기 스냅샷 또는 업데이트/삭제 빈도에 따라 복제가 더 오래 걸릴 수도 있습니다. 복제는 트랜잭션 워크로드에 할당한 RU(요청 단위)에 영향을 주지 않습니다.

미러링에서 기대할 수 있는 사항

미러링하기 전에 고려해야 할 몇 가지 고려 사항 및 지원되는 시나리오가 있습니다.

설치 고려 사항

데이터베이스를 미러링하려면 Azure에서 이미 프로비전되어야 합니다. 필수 조건으로 계정에서 연속 백업을 사용하도록 설정해야 합니다.

• 각 데이터베이스는 한 번에 개별적으로만 미러링할 수 있습니다. 미러링할 데이터베이스를 선택할 수 있습니다.
• 동일한 작업 영역 내에서 동일한 데이터베이스를 여러 번 미러링할 수 있습니다. 모범 사례로, 단일 데이터베이스 복사본을 레이크하우스, 웨어하우스 또는 기타 미러된 데이터베이스에서 재사용할 수 있습니다. 동일한 데이터베이스에 여러 미러를 설정할 필요가 없습니다.
• 다른 패브릭 작업 영역 또는 테넌트에서 동일한 데이터베이스를 미러링할 수도 있습니다.
• 새 컨테이너 추가 및 기존 컨테이너 삭제와 같은 Azure Cosmos DB 컨테이너에 대한 변경 내용은 패브릭에 원활하게 복제됩니다. 예를 들어 컨테이너가 없는 빈 데이터베이스를 미러링하기 시작할 수 있으며 미러링은 나중에 추가된 컨테이너를 원활하게 선택합니다.

중첩 데이터 지원

중첩된 데이터는 SQL 분석 엔드포인트 테이블에 JSON 문자열로 표시됩니다. T-SQL 쿼리 또는 뷰에서 이 데이터를 선택적으로 확장할 수 OPENJSONCROSS APPLYOUTER APPLY 있습니다. 파워 쿼리를 사용하는 경우 함수를 ToJson 적용하여 이 데이터를 확장할 수도 있습니다.

스키마 변경 처리

미러링하면 스키마가 변경되어 Azure Cosmos DB 항목 간에 속성이 자동으로 복제됩니다. 항목에서 검색된 모든 새 속성은 새 열로 표시되고 누락된 속성(있는 경우)은 Fabric에서 null로 표시됩니다.

항목의 속성 이름을 바꾸면 Fabric 테이블은 이전 열과 새 열을 모두 유지합니다. 이전 열에는 null이 표시되고 새 열에는 이름 바꾸기 작업 후에 복제된 항목에 대한 최신 값이 표시됩니다.

Azure Cosmos DB 항목에서 속성의 데이터 형식을 변경하는 경우 변환할 수 있는 호환되는 데이터 형식에 대해 변경 내용이 지원됩니다. 데이터 형식이 Delta의 변환과 호환되지 않는 경우 null 값으로 표시됩니다.

SQL 분석 엔드포인트 테이블은 델타 데이터 형식을 T-SQL 데이터 형식으로 변환합니다.

열 이름 중복

Azure Cosmos DB는 JSON 표준에 따라 대/소문자를 구분하지 않는 열 이름을 지원합니다. 미러링에서는 숫자 값인 열 이름에 추가하여 _n 이러한 중복 열 이름을 n 지원합니다.

예를 들어 Azure Cosmos DB 항목 addressName 에 고유한 속성이 있고 AddressName 고유한 속성인 경우 패브릭 테이블에는 해당 addressName 열과 AddressName_1 열이 있습니다. 자세한 내용은 복제 제한을 참조 하세요.

보안

원본 데이터베이스에 대한 연결은 Azure Cosmos DB 계정의 계정 키를 기반으로 합니다. 키를 회전하거나 다시 생성하는 경우 복제가 작동하는지 확인하기 위해 연결을 업데이트해야 합니다. 자세한 내용은 연결을 참조 하세요.

연결이 설정되면 계정 키가 다른 패브릭 사용자에게 직접 표시되지 않습니다. Fabric에서 만든 연결에 대한 액세스 권한이 있는 사용자를 제한할 수 있습니다. 데이터 탐색기 또는 미러된 데이터베이스의 분석 엔드포인트에서 Azure Cosmos DB 데이터베이스에 쓰기가 허용되지 않습니다.

미러링에서는 현재 읽기 전용 계정 키, Microsoft Entra ID를 사용한 SSO(Single Sign-On) 및 역할 기반 액세스 제어 또는 관리 ID를 사용하는 인증을 지원하지 않습니다.

데이터가 Fabric OneLake로 복제되면 이 데이터에 대한 액세스를 보호해야 합니다.

데이터 보호 기능

Microsoft Fabric의 미러된 데이터베이스에서 세분화된 보안을 구성할 수 있습니다. 자세한 내용은 Microsoft Fabric의 세분화된 권한을 참조 하세요.

Microsoft Fabric의 역할 및 사용자에게 테이블의 열 필터 및 조건자 기반 행 필터를 보호할 수 있습니다.

• 패브릭 데이터 웨어하우징의 행 수준 보안
• 패브릭 데이터 웨어하우징의 열 수준 보안

동적 데이터 마스킹을 사용하여 관리자가 아닌 사용자의 중요한 데이터를 마스킹할 수도 있습니다.

• 패브릭 데이터 웨어하우징의 동적 데이터 마스킹

네트워크 보안

현재 미러링에서는 OneLake에서 프라이빗 엔드포인트 또는 CMK(고객 관리형 키)를 지원하지 않습니다. 네트워크 보안 구성이 모든 네트워크보다 덜 허용된 Azure Cosmos DB 계정, 서비스 엔드포인트 사용, 프라이빗 엔드포인트 사용, IP 주소 사용 또는 계정에 대한 공용 네트워크 액세스를 제한할 수 있는 다른 설정을 사용하는 경우 미러링이 지원되지 않습니다. Azure Cosmos DB 계정은 미러링 작업을 위해 모든 네트워크에 열려 있어야 합니다.

재해 복구 및 복제 대기 시간

Fabric에서 패브릭 테넌트 홈 지역이 아닌 다른 지역의 데이터 센터에 콘텐츠를 배포할 수 있습니다. 자세한 내용은 다중 지역 지원을 참조하세요.

기본 쓰기 지역 및 여러 읽기 지역이 있는 Azure Cosmos DB 계정의 경우 미러링에서 패브릭 용량이 구성된 지역에 가장 가까운 Azure Cosmos DB 읽기 지역을 선택합니다. 이 선택은 미러링에 대한 짧은 대기 시간 복제를 제공하는 데 도움이 됩니다.

Azure Cosmos DB 계정을 복구 지역으로 전환하면 미러링이 자동으로 가장 가까운 Azure Cosmos DB 지역을 다시 선택합니다.

OneLake에 복제된 Cosmos DB 데이터는 지역 전체 중단을 처리하도록 구성해야 합니다. 자세한 내용은 OneLake의 재해 복구를 참조 하세요.

미러링을 사용하여 데이터 탐색

OneLake에서 미러된 데이터를 직접 보고 액세스할 수 있습니다. 또한 추가 데이터 이동 없이 미러된 데이터에 원활하게 액세스할 수 있습니다.

ADLS Gen2 API 또는 SDK, OneLake 파일 탐색기 및 Azure Storage 탐색기를 사용하여 OneLake에 액세스하는 방법에 대해 자세히 알아봅니다.

SSMS(SQL Server Management Studio)와 같은 도구 또는 ODBC(Microsoft Open Database Connectivity) 및 JDBC(Java Database Connectivity)와 같은 드라이버를 사용하여 SQL 분석 엔드포인트에 연결할 수 있습니다. 자세한 내용은 SQL 분석 엔드포인트 연결을 참조 하세요.

다음과 같은 서비스를 사용하여 미러된 데이터에 액세스할 수도 있습니다.

• Azure Databricks, Azure HDInsight 또는 Azure Synapse Analytics와 같은 Azure 서비스
• 데이터 엔지니어링 및 데이터 과학 시나리오에 대한 바로 가기를 사용하는 Fabric Lakehouse
• Fabric 작업 영역의 다른 미러된 데이터베이스 또는 웨어하우스

medallion 아키텍처 솔루션을 빌드하고 미러된 데이터베이스에 착륙하는 데이터를 브론즈 계층으로 정리하고 변환할 수도 있습니다. 자세한 내용은 Fabric의 medallion 아키텍처 지원을 참조 하세요.

가격 책정

현재 공개 미리 보기 중에는 미러링 기능을 사용하거나 Fabric에 미러된 데이터를 저장하는 데 비용이 들지 않습니다. SQL, Power BI 또는 Spark를 통해 데이터를 쿼리하는 컴퓨팅 사용량은 여전히 패브릭 용량에 따라 청구됩니다. 자세한 내용은 질문과 대답: 가격 책정을 참조하세요.

패브릭 미러링에서 데이터 탐색기를 사용하는 경우 RU(요청 단위) 사용량에 따라 일반적인 비용을 계산하여 컨테이너를 탐색하고 원본 Azure Cosmos DB 데이터베이스의 항목을 쿼리합니다. Azure Cosmos DB 연속 백업 기능은 미러링의 필수 구성 요소입니다. 연속 백업에 대한 표준 요금이 적용됩니다. 연속 백업 청구에 대한 미러링에 대한 추가 요금은 없습니다. 자세한 내용은 Azure Cosmos DB 가격 책정을 참조하세요.

다음 단계

관련 콘텐츠

• Azure Cosmos DB의 Microsoft Fabric 미러된 데이터베이스의 제한 사항(미리 보기)
• FAQ: Azure Cosmos DB의 Microsoft Fabric 미러된 데이터베이스