Функции для оптимизации производительности действий копирования

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описаны функции, которые можно использовать в конвейерах Фабрики данных Azure и Synapse для оптимизации производительности действий Copy.

Настройка функций производительности с помощью пользовательского интерфейса

Когда вы выберете действие Copy на холсте редактора конвейера и вкладку "Настройки" в области конфигурации действия под холстом, то увидите параметры для настройки всех функций производительности, подробно описанных ниже.

Единицы интеграции данных

Единица интеграции данных (DIU) — это мера, отражающая мощность (сочетания выделенных ресурсов ЦП, ОЗУ и сети) одной единицы в службе. Она применима только к среде выполнения интеграции Azure, но не к локальной среде выполнения интеграции.

Допустимые diUs для расширения возможностей выполнения действия копирования — от 4 до 256. Если число UI не указано или в пользовательском интерфейсе выбрано значение "Авто", служба в динамическом режиме выбирает оптимальное число DIU, исходя из пары "источник — приемник" и шаблона данных. В таблице ниже приведены поддерживаемые диапазоны числа DIU и логика работы по умолчанию в различных сценариях копирования.

Число DIU, используемое для каждого действия Copy, можно увидеть в представлении мониторинга соответствующего действия или в его выводе. Дополнительные сведения см. в статье "Мониторинг действий Copy". Чтобы переопределить это значение по умолчанию, задайте значение свойства dataIntegrationUnits, как показано ниже. Фактическое число единиц интеграции данных, используемых при копировании, не превышает заданного значения, в зависимости от формата данных.

С вас будет взиматься плата # использованных DIU * продолжительность копирования * цена за единицу/DIU/час. Текущие цены см. здесь. Местная валюта и отдельные скидки могут применяться в зависимости от типа подписки.

Пример:

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureDataLakeStoreSink"
            },
            "dataIntegrationUnits": 128
        }
    }
]

Масштабируемость локальной среды выполнения интеграции

Если вы хотите добиться более высокой пропускной способности, можно вертикально или горизонтально увеличить масштаб локальной среды IR:

• Если ЦП и доступная память на узле локальной среды IR используются не в полной мере, но при выполнении параллельных заданий достигается лимит, следует вертикально увеличить масштаб, увеличив число параллельных заданий, которые могут выполняться на узле. Инструкции см. здесь.
• Если же на узле локальной среды IR высока загрузка ЦП или мало доступной памяти, можно добавить еще один узел, чтобы горизонтально увеличить масштаб для распределения нагрузки между несколькими узлами. Инструкции см. здесь.

Обратите внимание, что в перечисленных ниже сценариях при выполнении одного действия Copy может задействоваться несколько узлов локальной среды IR:

• Копирование данных из файловых хранилищ (в зависимости от числа и размера файлов).
• Копирование данных из хранилища с поддержкой разделов, включая Базу данных SQL Azure, Управляемый экземпляр SQL Azure, Azure Synapse Analytics, Oracle, Netezza, SAP HANA, SAP Open Hub, SAP Table, SQL Server и Teradata (в зависимости от числа разделов данных).

Параллельное копирование

Можно задать параллельную копию (свойство parallelCopies в определении JSON действия Copy или параметр Degree of parallelism на вкладке Параметры свойств действия Copy в пользовательском интерфейсе) для действия копирования, чтобы указать параллелизм, который будет использоваться действием Copy. Свойство parallelCopies можно интерпретировать как максимальное число потоков, которые могут параллельно считывать данные из хранилища-источника или записывать их в хранилища-приемники данных в рамках действия Copy.

Число параллельных операций копирования ортогонально числу единиц интеграции данных и числу узлов локальной среды IR. Он считается по всем DIU и всем узлам локальной среды IR.

По умолчанию для каждого выполнения действия Copy служба в динамическом режиме выбирает оптимальное число параллельных операций копирования, исходя из пары "источник — приемник" и шаблона данных.

Логика параллельного копирования систематизирована в следующей таблице.

Для регулирования нагрузки компьютеров, на которых размещены хранилища данных, или настройки производительности копирования можно переопределить заданное по умолчанию значение свойства parallelCopies. Значение должно быть целым числом больше или равно 1. Во время выполнения действия Copy для достижения наилучшей производительности выбирается значение, меньшее или равное заданному.

Задавая значение свойства parallelCopies, учитывайте повышение нагрузки на хранилище-источник и хранилище-приемник данных. Кроме того, необходимо учесть повышение нагрузки на локальную среду выполнения интеграции, если она используется для выполнения действия Copy. Это особенно актуально при наличии нескольких действий или параллельного выполнения одинаковых действий с одним и тем же хранилищем данных. Если вы замечаете, что хранилище данных или локальная среда выполнения интеграции перегружены, уменьшите значение свойства parallelCopies, чтобы снизить нагрузку.

Пример:

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureDataLakeStoreSink"
            },
            "parallelCopies": 32
        }
    }
]

промежуточное копирование

При копировании данных из хранилища-источника в хранилище-приемник можно для промежуточного хранения использовать Хранилище BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения. Промежуточное хранилище очень удобно в следующих ситуациях.

• Требуется получать данные из различных хранилищ данных в Azure Synapse Analytics через PolyBase, копировать данные из Snowflake или в Snowflake, либо принимать данные из Amazon RedShift/HDFS с высокой производительностью. Дополнительные сведения см. в следующем разделе:
  • Загрузка данных в Azure Synapse Analytics с использованием PolyBase.
  • Соединитель Snowflake.
  • Соединитель Amazon Redshift
  • Соединитель HDFS
• В соответствии с корпоративными ИТ-политиками не рекомендуется открывать на брандмауэре какие-либо порты, кроме 80 и 443. Например, при копировании данных из локального хранилища данных в Базу данных SQL Azure или Azure Synapse Analytics необходимо разрешить исходящие TCP-подключения через порт 1433 как на брандмауэре Windows, так и на корпоративном брандмауэре. В этом случае при промежуточном копировании можно будет воспользоваться локальной средой выполнения интеграции, сначала скопировав данные в промежуточное хранилище по протоколу HTTP или HTTPS через порт 443, а уже оттуда загрузив их Базу данных SQL или Azure Synapse Analytics. В таком сценарии не нужно включать порт 1433.
• Иногда гибридное перемещение данных (т. е. копирование данных из локального в облачное хранилище данных) занимает достаточно продолжительное время из-за низкой скорости сетевого подключения. Чтобы на перемещение данных в облачное промежуточное хранилище уходило меньше времени, можно настроить сжатие данных в локальном хранилище при промежуточном копировании. Когда данные окажутся в промежуточном хранилище, их можно будет распаковать перед загрузкой в целевое хранилище данных.

Принцип промежуточного копирования

Если включено промежуточное копирование, данные сначала копируются из исходного хранилища в промежуточное (Хранилище BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения). Оттуда данные копируются в хранилище-приемник данных. При выполнении действия Copy управление этим двухэтапным процессом происходит автоматически, а когда перемещение данных завершается, временные данные автоматически удаляются из промежуточного хранилища.

Необходимо предоставить разрешение на удаление Фабрика данных Azure в промежуточном хранилище, чтобы временные данные можно было очистить после выполнения действия копирования.

При запуске перемещения данных с использованием промежуточного хранилища вы можете указать, следует ли сжимать данные перед перемещением из хранилища-источника в промежуточное хранилище, а затем распаковывать перед перемещением оттуда в хранилище-приемник данных.

В настоящее время не поддерживается копирование данных между двумя хранилищами, подключенными через разные локальные среды IR — ни с промежуточным копированием, ни без него. Для такого сценария можно настроить два действия Copy, объединив их явным образом в цепочку: в первом действии данные будут копироваться из источника в промежуточное хранилище, а во втором — из промежуточного хранилища в приемник.

Настройка

Задайте значение параметра enableStaging действия Copy, чтобы указать, следует ли копировать данные в промежуточное хранилище перед их загрузкой в хранилище-приемник данных. Если для параметра enableStaging задано значение TRUE, задайте дополнительные свойства, перечисленные в таблице ниже.

Ниже приведен пример определения действия Copy со свойствами, описанными в предыдущей таблице.

"activities":[
    {
        "name": "CopyActivityWithStaging",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
            },
            "sink": {
                "type": "SqlDWSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "stagingcontainer/path"
            }
        }
    }
]

Принцип выставления счетов за промежуточное копирование

Плата с вас взимается по двум статьям: длительность копирования и тип копирования.

• Если вы используете промежуточное хранилище при облачном копировании (т. е. при копировании данных между облачными хранилищами, когда оба этапа выполняются с помощью среды выполнения интеграции Azure), плата рассчитывается по следующей формуле: [сумма длительности копирования для этапов 1 и 2] x [цена за единицу облачного копирования].
• Если вы используете промежуточное хранилище при гибридном копировании (т. е. при копировании данных из локального хранилища данных в облачное, когда один из этапов выполняется с помощью локальной среды выполнения интеграции), плата рассчитывается по следующей формуле: [длительность гибридного копирования] x [цена за единицу гибридного копирования] + [длительность облачного копирования] x [цена за единицу облачного копирования].

Связанный контент

См. другие статьи о действии копирования:

• Общие сведения о действии копирования
• Руководство по производительности и масштабируемости действия копирования
• Устранение проблем с производительностью действий копирования
• Перенос данных из озера данных или хранилища данных с помощью Фабрики данных Azure
• Перенос данных из Amazon S3 в служба хранилища Azure