Формат текста с разделителями в Фабрике данных Azure и Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Если вам нужно проанализировать текстовые файлы с разделителями или записать данные в формате текста с разделителями, следуйте инструкциям в этой статье.

Для приведенных ниже соединителей поддерживается формат текста с разделителями:

• Amazon S3
• Совместимое хранилище Amazon S3
• Хранилище BLOB-объектов Azure
• Azure Data Lake Storage 1-го поколения
• Azure Data Lake Storage 2-го поколения
• Файлы Azure
• Файловая система
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Хранилище Oracle Cloud
• SFTP

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных текста с разделителями.

Это пример набора данных текста с разделителями в Хранилище BLOB-объектов Azure:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "escapeChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых источником и приемником текста с разделителями.

Текст с разделителями в качестве источника

В разделе источника *source* действия копирования поддерживаются указанные ниже свойства.

Поддерживаемые параметры чтения текста с разделителями в разделе formatSettings:

"activities": [
    {
        "name": "CopyFromDelimitedText",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 3,
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Текст с разделителями в качестве приемника

В разделе *sink* действия Copy поддерживаются следующие свойства.

Поддерживаемые параметры записи текста с разделителями в разделе formatSettings:

Свойства потока данных для сопоставления

В потоках данных для сопоставления можно читать и записывать данные в виде текста с разделителями в следующих хранилищах данных: Хранилище BLOB-объектов Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения и SFTP; также чтение текста с разделителями поддерживается Amazon S3.

Встроенный набор данных

Сопоставление потоков данных поддерживает встроенные наборы данных в качестве варианта определения источника и приемника. Встроенный набор данных с разделителями определяется непосредственно внутри преобразования источника и приемника и не предоставляет общий доступ за пределами определенного потока данных. Это полезно для параметризации свойств набора данных непосредственно внутри потока данных и может повысить производительность общих наборов данных ADF.

При чтении большого количества исходных папок и файлов можно повысить производительность обнаружения файлов потока данных, задав параметр "Проецированная пользователем схема" в проекции | Диалоговое окно параметров схемы. Этот параметр отключает автоматическое обнаружение схемы ADF по умолчанию и значительно повышает производительность обнаружения файлов. Перед настройкой этого параметра обязательно импортируйте проекцию, чтобы ADF имеет существующую схему для проекции. Этот параметр не работает с смещением схемы.

Свойства источника

В таблице ниже указаны свойства, поддерживаемые источником текста с разделителями. Изменить эти свойства можно на вкладке Source options (Параметры источника).

Пример источника

На этом изображении показан пример конфигурации источника текста с разделителями в потоках данных для сопоставления:

Связанный скрипта потока данных:

source(
    allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: false,
	multiLineRow: true,
	wildcardPaths:['*.csv']) ~> CSVSource

Свойства приемника

В таблице ниже указаны свойства, поддерживаемые приемником текста с разделителями. Эти свойства можно изменить на вкладке Параметры.

Пример приемника

На этом изображении показан пример конфигурации приемника текста с разделителями в потоках данных для сопоставления:

Связанный скрипта потока данных:

CSVSource sink(allowSchemaDrift: true,
    validateSchema: false,
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CSVSink

Связанные соединители и форматы

Ниже приведены некоторые распространенные соединители и форматы, связанные с форматом текста с разделителями:

• Хранилище BLOB-объектов Azure
• Двоичный формат
• Dataverse
• Разностный формат
• Формат Excel
• Файловая система
• FTP
• HTTP
• Формат JSON
• Формат Parquet

Связанный контент

• Сопоставление типов данных в схемах набора данных
• Общие сведения о действии копирования
• Поток данных для сопоставления
• Действие поиска
• Действие получения метаданных в Фабрике данных Azure