Копирование и преобразование данных в хранилище Microsoft Fabric с помощью Фабрика данных Azure или Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования для копирования данных из хранилища Microsoft Fabric и из него. Дополнительные сведения см. в вводной статье о Фабрике данных Azure или Azure Synapse Analytics.

Поддерживаемые возможности

Этот соединитель хранилища Microsoft Fabric поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы хранилища Microsoft Fabric с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу хранилища Microsoft Fabric в пользовательском интерфейсе портал Azure.

1. Перейдите на вкладку "Управление" в Фабрике данных Azure или рабочей области Synapse и выберите "Связанные службы", затем щелкните "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите хранилище и выберите соединитель.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к хранилищу Microsoft Fabric.

Свойства связанной службы

Соединитель хранилища Microsoft Fabric поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах:

• Проверка подлинности субъекта-службы

Аутентификация субъекта-службы

Чтобы использовать аутентификацию на основе субъекта-службы, выполните следующие действия.

1. Зарегистрируйте приложение на платформе удостоверений Майкрософт и добавьте секрет клиента. Затем запишите эти значения, которые используются для определения связанной службы:

   • Идентификатор приложения (клиента), который является идентификатором субъекта-службы в связанной службе.
   • Значение секрета клиента, являющееся ключом субъекта-службы в связанной службе.
   • Идентификатор клиента

2. Предоставьте субъекту-службе по крайней мере роль участника в рабочей области Microsoft Fabric. Выполните следующие действия:

   1. Перейдите в рабочую область Microsoft Fabric, выберите "Управление доступом" на верхней панели. Затем выберите "Добавить людей или группы".

      

      

   2. В области "Добавление людей" введите имя субъекта-службы и выберите субъект-службу в раскрывающемся списке.

   3. Укажите роль участника или более поздней версии (администратор, член), а затем нажмите кнопку "Добавить".

      

   4. Субъект-служба отображается на панели управления доступом .

Приведенные ниже свойства поддерживаются в связанной службе.

Пример: использование проверки подлинности с помощью ключа субъекта-службы

Вы также можете хранить ключ субъекта-службы в Azure Key Vault.

{
    "name": "MicrosoftFabricWarehouseLinkedService",
    "properties": {
        "type": "Warehouse",
        "typeProperties": {
            "endpoint": "<Microsoft Fabric Warehouse server endpoint>",
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Warehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных.

Для набора данных хранилища Microsoft Fabric поддерживаются следующие свойства:

Пример свойств набора данных

{
    "name": "FabricWarehouseTableDataset",
    "properties": {
        "type": "WarehouseTable",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Warehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring >
        ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, доступен в разделах Действие копирования в фабрике данных Azure и Конвейеры и действия в фабрике данных Azure. В этом разделе представлен список свойств, поддерживаемых источником и приемником хранилища Microsoft Fabric.

Хранилище Microsoft Fabric в качестве источника

Чтобы скопировать данные из хранилища Microsoft Fabric, задайте свойство типа в источнике действия копирования в WarehouseSource. В разделе source действия копирования поддерживаются следующие свойства:

Пример. Использование SQL-запроса

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Пример. Использование хранимой процедуры

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Пример хранимой процедуры:

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

Хранилище Microsoft Fabric в качестве типа приемника

поддержка конвейеров Фабрика данных Azure и SynapseИспользуйте инструкцию COPY для загрузки данных в хранилище Microsoft Fabric.

Чтобы скопировать данные в хранилище Microsoft Fabric, задайте тип приемника в действие копирования в WarehouseSink. В разделе sink действия копирования поддерживаются следующие свойства:

Пример: приемник хранилища Microsoft Fabric

"activities":[
    {
        "name": "CopyToMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "tableOption": "autoCreate",
                "disableMetricsCollection": false
            }
        }
    }
]

Параллельная копия из хранилища Microsoft Fabric

Соединитель хранилища Microsoft Fabric в действии копирования предоставляет встроенные секционирование данных для параллельного копирования данных. Параметры секционирования данных можно найти на вкладке Источник действия Copy.

При включении секционированного копирования действие копирования выполняет параллельные запросы к источнику хранилища Microsoft Fabric для загрузки данных по секциям. Степень параллелизма определяется с помощью параметра parallelCopies для действия копирования. Например, если задано parallelCopies значение четыре, служба одновременно создает и выполняет четыре запроса на основе указанного параметра секции и параметров, а каждый запрос получает часть данных из хранилища Microsoft Fabric.

Рекомендуется включить параллельную копию с секционированием данных, особенно при загрузке большого объема данных из хранилища Microsoft Fabric. Ниже приведены рекомендуемые конфигурации для разных сценариев. Если данные копируются в файловое хранилище данных, то рекомендуется сохранять данные в папку несколькими файлами (указывая только имя папки), так как производительность в таком случае будет выше, чем при записи в один файл.

Ниже приведены рекомендации по загрузке данных с параметром секционирования.

• Чтобы избежать неравномерного распределения данных, выбирайте в качестве столбца секционирования отличительный столбец (например, первичный ключ или уникальный ключ).
• Если для копирования данных используется Azure Integration Runtime, то в параметре Единицы интеграции данных (DIU) можно задать большее значение (>4), чтобы задействовать больше вычислительных ресурсов. Ознакомьтесь со сценариями использования этого механизма.
• Параметр "Степень параллелизма копирования" контролирует номера секций. Если это число слишком велико, это может существенно сказаться на производительности. Рекомендуется задавать это число следующим образом: (DIU или число узлов локальной среды IR) * (от 2 до 4).
• Обратите внимание, что хранилище Microsoft Fabric может выполнять не более 32 запросов в данный момент, установив слишком большой уровень параллелизма копирования, может привести к проблеме регулирования хранилища.

Пример: запрос с секционированием по динамическому диапазону

"source": {
    "type": "WarehouseSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Использование инструкции COPY для загрузки данных в хранилище Microsoft Fabric

Использование инструкции COPY — это простой и гибкий способ загрузки данных в хранилище Microsoft Fabric с высокой пропускной способностью. Дополнительные сведения см. в статье о массовой загрузке данных с помощью инструкции COPY.

• Если исходные данные используются в BLOB-объекте Azure или Azure Data Lake Storage 2-го поколения, а формат совместим с инструкцией COPY, можно использовать действие копирования для прямого вызова инструкции COPY, чтобы позволить хранилищу Microsoft Fabric извлекать данные из источника. Дополнительные сведения см. в разделе Прямое копирование с помощью инструкции COPY.
• Если хранилище и формат исходных данных изначально не поддерживаются инструкцией COPY, то можно использовать функцию промежуточного копирования с помощью инструкции COPY. Функция поэтапного копирования также обеспечивает более высокую пропускную способность. Он автоматически преобразует данные в формат, совместимый с инструкцией COPY, сохраняет данные в хранилище BLOB-объектов Azure, а затем вызывает инструкцию COPY для загрузки данных в хранилище Microsoft Fabric.

Прямое копирование с помощью инструкции COPY

Инструкция Microsoft Fabric Warehouse COPY напрямую поддерживает BLOB-объект Azure, Data Lake Storage 1-го поколения Azure и Azure Data Lake Storage 2-го поколения. Если исходные данные соответствуют критериям, описанным в этом разделе, используйте инструкцию COPY для копирования непосредственно из исходного хранилища данных в хранилище Microsoft Fabric. В противном случае см. сведения в разделе Промежуточное копирование с помощью инструкции COPY. Служба проверяет параметры и завершает выполнение действия копирования, если критерии не выполнены.

• Связанная служба и формат источника могут иметь следующие типы и методы проверки подлинности.

  Поддерживаемые типы хранилища данных источника	Поддерживаемые форматы	Поддерживаемые типы проверки подлинности источника
  Хранилище BLOB-объектов Azure	Текст с разделителями	Проверка подлинности на основе ключа учетной записи, проверка подлинности с помощью подписанного URL-адреса
  	Parquet	Проверка подлинности на основе ключа учетной записи, проверка подлинности с помощью подписанного URL-адреса
  Azure Data Lake Storage 2-го поколения	Текст с разделителями Parquet	Проверка подлинности на основе ключа учетной записи, проверка подлинности с помощью подписанного URL-адреса

• Параметры формата могут быть следующие.

  • Для Parquet: в параметре compression может быть задано Без сжатия, Snappy или GZip.
  • Для текста с разделителями:
    • В параметре rowDelimiter может быть явно задан один символ или "\r\n", значение по умолчанию не поддерживается.
    • В параметре nullValue может быть оставлено значение по умолчанию или задана пустая строка ("").
    • В параметре encodingName может быть оставлено значение по умолчанию или задано значение utf-8 или utf-16.
    • Параметр escapeChar должен совпадать с параметром quoteChar и не быть пустым.
    • В параметре skipLineCount может быть оставлено значение по умолчанию или задано значение 0.
    • В параметре compression может быть задано Без сжатия или GZip.

• Если источником является папка, параметр recursive в действии копирования должен иметь значение true, а в параметре wildcardFilename должен быть задан подстановочный знак * или *.*.

• Параметры wildcardFolderPath, wildcardFilename (кроме * и *.*), modifiedDateTimeStart, modifiedDateTimeEnd, prefix, enablePartitionDiscovery и additionalColumns не указываются.

В разделе allowCopyCommand действия копирования поддерживаются следующие параметры инструкции COPY.

"activities":[
    {
        "name": "CopyFromAzureBlobToMicrosoftFabricWarehouseViaCOPY",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "ParquetDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ParquetSource",
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "copyCommandSettings": {
                    "defaultValues": [
                        {
                            "columnName": "col_string",
                            "defaultValue": "DefaultStringValue"
                        }
                    ],
                    "additionalOptions": {
                        "MAXERRORS": "10000",
                        "DATEFORMAT": "'ymd'"
                    }
                }
            },
            "enableSkipIncompatibleRow": true
        }
    }
]

Промежуточное копирование с помощью инструкции COPY

Если исходные данные изначально несовместимы с инструкцией COPY, включите копирование данных через промежуточный экземпляр хранилища BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения (это не может быть хранилище Azure класса Premium). В таком случае служба автоматически преобразует данные, чтобы они соответствовали требованиям к формату данных инструкции COPY. Затем он вызывает инструкцию COPY для загрузки данных в хранилище Microsoft Fabric. Наконец, производится очистка временных данных из хранилища. Подробные сведения о копировании с использованием промежуточного процесса см. в разделе Промежуточное копирование.

Для использования этой функции создайте связанную службу Хранилища BLOB-объектов Azure или связанную службу Azure Data Lake Storage 2-го поколения с ключом учетной записи или проверкой подлинности через управляемое системой удостоверение, которая ссылается на учетную запись хранения Azure в качестве промежуточного хранилища.

"activities":[
    {
        "name": "CopyFromSQLServerToMicrosoftFabricWarehouseViaCOPYstatement",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "SQLServerDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true
            },
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                }
            }
        }
    }
]

Свойства потока данных для сопоставления

При преобразовании данных в потоке данных сопоставления можно читать и записывать в таблицы из хранилища Microsoft Fabric. Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления.

Хранилище Microsoft Fabric в качестве источника

Параметры, относящиеся к хранилищу Microsoft Fabric, доступны на вкладке "Параметры источника" преобразования источника.

Хранилище Microsoft Fabric в качестве приемника

Параметры, относящиеся к хранилищу Microsoft Fabric, доступны на вкладке "Параметры" преобразования приемника.

Обработка строк ошибок

По умолчанию выполнение потока данных завершается сбоем при получении первой ошибки. Можно выбрать параметр Продолжить при возникновении ошибки, который позволяет завершить поток данных даже при возникновении ошибок в отдельных строках. Служба предоставляет различные варианты обработки этих строк с ошибками.

Фиксация транзакции: выберите вариант записи данных — в отдельной транзакции или пакетами. При использовании отдельной транзакции производительность будет выше, однако записанные данные не будут видны другим пользователям до тех пор, пока не завершится транзакция. У пакетных транзакций производительность ниже, но они подходят для больших наборов данных.

Выходные отклоненные данные. Если этот параметр включен, строки с ошибками можно вывести в CSV-файл в Хранилище BLOB-объектов Azure или в учетную запись Azure Data Lake Storage 2-го поколения на ваш выбор. При этом строки с ошибками будут записаны с тремя дополнительными столбцами: операции SQL, например INSERT или UPDATE, код ошибки потока данных и сообщение об ошибке в строке.

Сообщать об успешном выполнении при ошибке. Если этот параметр включен, поток данных будет помечен как успешно выполненный даже при обнаружении строк с ошибками.

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Свойства действия GetMetadata

Подробные сведения об этих свойствах см. в статье Действие GetMetadata.

Сопоставление типов данных для хранилища Microsoft Fabric

При копировании данных из хранилища Microsoft Fabric следующие сопоставления используются из типов данных хранилища Microsoft Fabric для промежуточных типов данных в службе. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и типы данных для приемника, см. в статье Сопоставление схем в действии копирования.

Следующие шаги

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.