Azure Data Factory 및 Azure Synapse Analytics의 Excel 파일 형식

적용 대상: Azure Data Factory Azure Synapse Analytics

Excel 파일을 구문 분석하려는 경우 이 문서를 따릅니다. 이 서비스는 ".xls" 및 ".xlsx"을 모두 지원합니다.

Excel 형식은 Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage 및 SFTP 커넥터에 지원됩니다. 원본으로 지원되며 싱크로는 지원되지 않습니다.

데이터 세트 속성

데이터 세트를 정의하는 데 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Excel 데이터 세트에서 지원하는 속성 목록을 제공합니다.

다음은 Azure Blob Storage에 대한 Excel 데이터 세트의 예입니다.

{
    "name": "ExcelDataset",
    "properties": {
        "type": "Excel",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "sheetName": "MyWorksheet",
            "range": "A3:H5",
            "firstRowAsHeader": true
        }
    }
}

복사 작업 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Excel 원본에서 지원하는 속성 목록을 제공합니다.

Excel을 원본으로

복사 작업 *source* 섹션에서 지원되는 속성은 다음과 같습니다.

"activities": [
    {
        "name": "CopyFromExcel",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "ExcelSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            ...
        }
        ...
    }
]

매핑 데이터 흐름 속성

매핑 데이터 흐름에서는 Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3, SFTP 데이터 저장소에서 Excel 형식을 읽을 수 있습니다. Excel 데이터 세트를 사용하거나 인라인 데이터 세트를 사용하여 Excel 파일을 가리킬 수 있습니다.

원본 속성

아래 표에서는 Excel 원본에서 지원하는 속성을 나열합니다. 원본 옵션 탭에서 이러한 속성을 편집할 수 있습니다. 인라인 데이터 세트를 사용하는 경우 데이터 세트 속성 섹션에 설명된 속성과 동일한 추가 파일 설정이 표시됩니다.

원본 예

아래 이미지는 데이터 세트 모드를 사용하여 데이터 흐름을 매핑하는 Excel 원본 구성의 예입니다.

연결된 데이터 흐름 스크립트는 다음과 같습니다.

source(allowSchemaDrift: true,
    validateSchema: false,
    wildcardPaths:['*.xls']) ~> ExcelSource

인라인 데이터 세트를 사용하는 경우 매핑 데이터 흐름에 다음 원본 옵션이 표시됩니다.

연결된 데이터 흐름 스크립트는 다음과 같습니다.

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'excel',
    fileSystem: 'container',
    folderPath: 'path',
    fileName: 'sample.xls',
    sheetName: 'worksheet',
    firstRowAsHeader: true) ~> ExcelSourceInlineDataset

매우 큰 Excel 파일 처리

Excel 커넥터는 복사 작업에 대한 스트리밍 읽기를 지원하지 않으며 데이터를 읽으려면 먼저 전체 파일을 메모리에 로드해야 합니다. 스키마를 가져오거나, 데이터를 미리 보거나, Excel 데이터 세트를 새로 고치려면 HTTP 요청 시간 제한(100초) 전에 데이터를 반환해야 합니다. 큰 Excel 파일의 경우 이러한 작업이 해당 기간 내에 완료되지 않아 시간 제한 오류가 발생할 수 있습니다. 큰 Excel 파일(> 100MB)을 다른 데이터 저장소로 이동하려는 경우 다음 옵션 중 하나를 사용하여 이 제한을 해결할 수 있습니다.

• SHIR(자체 호스팅 통합 런타임)을 사용한 다음, 복사 작업을 사용하여 SHIR을 통해 큰 Excel 파일을 다른 데이터 저장소로 이동합니다.
• 큰 Excel 파일을 여러 개의 더 작은 파일로 분할한 다음, 복사 작업을 사용하여 파일이 포함된 폴더를 이동합니다.
• 데이터 흐름 작업을 사용하여 큰 Excel 파일을 다른 데이터 저장소로 이동합니다. 데이터 흐름은 Excel에 대한 스트리밍 읽기를 지원하며 큰 파일을 빠르게 이동/전송할 수 있습니다.
• 큰 Excel 파일을 CSV 형식으로 수동으로 변환한 다음, 복사 작업을 사용하여 파일을 이동합니다.

관련 콘텐츠

• 복사 작업 개요
• 조회 작업
• GetMetadata 작업