Настройка База данных SQL Azure Управляемый экземпляр в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из База данных SQL Azure Управляемый экземпляр.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Сопоставление
• Параметры

Общие

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Исходный код

Следующие свойства поддерживаются для База данных SQL Azure Управляемый экземпляр на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".

• Подключение. Выберите подключение База данных SQL Azure Управляемый экземпляр из списка подключений. Если подключение не существует, создайте новое подключение База данных SQL Azure Управляемый экземпляр, нажав кнопку "Создать".

• тип Подключение ion: выберите База данных SQL Azure Управляемый экземпляр.

• Используйте запрос. Укажите способ чтения данных. Вы можете выбрать таблицу, запрос или хранимую процедуру. В следующем списке описана конфигурация каждого параметра:

  • Таблица: чтение данных из указанной таблицы. Выберите исходную таблицу из раскрывающегося списка или нажмите кнопку "Изменить ", чтобы ввести ее вручную.

  • Запрос. Укажите настраиваемый SQL-запрос для чтения данных. Например, select * from MyTable. Или щелкните значок карандаша для редактирования в редакторе кода.

    

  • Хранимая процедура: используйте хранимую процедуру, которая считывает данные из исходной таблицы. Последней инструкцией SQL должна быть инструкция SELECT в хранимой процедуре.

    • Имя хранимой процедуры: выберите хранимую процедуру или укажите имя хранимой процедуры вручную при выборе параметра "Изменить ", чтобы считывать данные из исходной таблицы.

    • Параметры хранимой процедуры: укажите значения для параметров хранимой процедуры. Допустимые значения: пары имен или значений. Имена и регистр параметров должны совпадать с именами и регистром параметров хранимой процедуры. Параметры импорта можно выбрать для получения параметров хранимой процедуры.

      

В разделе "Дополнительно" можно указать следующие поля:

• Время ожидания запроса (минуты): укажите время ожидания для выполнения команды запроса, значение по умолчанию — 120 минут. Если для этого свойства задан параметр, допустимые значения имеют интервал времени, например "02:00:00" (120 минут).

• Уровень изоляции: указывает поведение блокировки транзакций для источника SQL. Допустимые значения: read committed, Read uncommitted, Repeatable read, Serializable, Snapshot. Если значение не указано, используется уровень изоляции базы данных по умолчанию. Дополнительные сведения см. в разделе "Изоляция".

  

• Параметр секционирования: укажите параметры секционирования данных, используемые для загрузки данных из База данных SQL Azure Управляемый экземпляр. Допустимые значения: Нет (по умолчанию), физические секции таблицы и динамический диапазон. Если параметр секции включен (то есть нет), степень параллелизма для параллельной загрузки данных из База данных SQL Azure Управляемый экземпляр управляется степенью параллелизма копирования на вкладке параметров действия копирования.

  • Нет. Выберите этот параметр, чтобы не использовать секцию.

  • Физические секции таблицы: при использовании физической секции столбец секции и механизм автоматически определяются на основе определения физической таблицы.

  • Динамический диапазон: при использовании запроса с параллельным включенным параметром секционирования?DfDynamicRangePartitionCondition диапазона требуется. Пример запроса: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Имя столбца секционирования: укажите имя исходного столбца в целочисленном или типе даты и даты и времени (int,, smallint, smalldatetimedatedatetimebigintdatetime2, илиdatetimeoffset), используемом секционированием диапазона для параллельной копии. Если значение не указано, автоматически определяется индекс или первичный ключ таблицы и используется в качестве столбца секционирования.

      Если для получения исходных данных используется запрос, подключите ?DfDynamicRangePartitionCondition в предложении WHERE. Пример см. в разделе "Параллельная копия" из раздела База данных SQL Azure Управляемый экземпляр.

    • Верхняя граница секции: укажите максимальное значение столбца секционирования для разделения диапазона секций. Это значение используется для выбора шага секционирования, а не для фильтрации строк в таблице. Все строки в таблице или результатах запроса будут секционированы и скопированы. Если значение не указано, действие копирования автоматически определяет значение. Пример см. в разделе "Параллельная копия" из раздела База данных SQL Azure Управляемый экземпляр.

    • Нижняя граница секции: укажите минимальное значение столбца секционирования для разделения диапазона секций. Это значение используется для выбора шага секционирования, а не для фильтрации строк в таблице. Все строки в таблице или результатах запроса будут секционированы и скопированы. Если значение не указано, действие копирования автоматически определяет значение. Пример см. в разделе "Параллельная копия" из раздела База данных SQL Azure Управляемый экземпляр.

• Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.

Обратите внимание на следующие аспекты:

• Если для источника задан запрос, действие копирования запускает этот запрос к источнику База данных SQL Azure Управляемый экземпляр, чтобы получить данные. Кроме того, можно указать хранимую процедуру, указав имя хранимой процедуры и параметры хранимой процедуры, если хранимая процедура принимает параметры.
• При использовании хранимой процедуры в источнике для получения данных обратите внимание, что хранимая процедура предназначена для возврата другой схемы при передаче другого значения параметра, может возникнуть сбой или увидеть непредвиденный результат при импорте схемы из пользовательского интерфейса или при копировании данных в базу данных SQL с автоматическим созданием таблицы.

Назначение

Следующие свойства поддерживаются для База данных SQL Azure Управляемый экземпляр на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".

• Подключение. Выберите подключение База данных SQL Azure Управляемый экземпляр из списка подключений. Если подключение не существует, создайте новое подключение База данных SQL Azure Управляемый экземпляр, нажав кнопку "Создать".

• тип Подключение ion: выберите База данных SQL Azure Управляемый экземпляр.

• Параметр таблицы: можно выбрать "Использовать существующую " для использования указанной таблицы. Или нажмите кнопку автоматического создания таблицы , чтобы автоматически создать целевую таблицу, если таблица не существует в исходной схеме, и обратите внимание, что этот выбор не поддерживается при использовании хранимой процедуры в качестве поведения записи.

  Если выбрать "Использовать существующие", выполните следующие действия:

  • Таблица. Выберите таблицу в целевой базе данных из раскрывающегося списка. Или проверка Изменить, чтобы ввести имя таблицы вручную.

  При выборе: автоматическая создание таблицы:

  • Таблица: укажите имя для созданной автоматически целевой таблицы.

В разделе "Дополнительно" можно указать следующие поля:

• Поведение записи: определяет поведение записи, когда источник является файлами из файлового хранилища данных. Вы можете выбрать команду Insert, **Upsert или Хранимую процедуру.

  • Вставка. Выберите этот параметр, используя поведение записи вставки для загрузки данных в База данных SQL Azure Управляемый экземпляр.

  • Upsert: выберите этот параметр, используя поведение записи upsert для загрузки данных в База данных SQL Azure Управляемый экземпляр.

    • Использование TempDB: укажите, следует ли использовать глобальную временную таблицу или физическую таблицу в качестве промежуточной таблицы для upsert. По умолчанию служба использует глобальную временную таблицу в качестве промежуточной таблицы, а это свойство выбрано.

      

    • Выберите схему пользовательской базы данных: если используется tempDB , укажите промежуточную схему для создания промежуточной таблицы, если используется физическая таблица.

      Примечание.

      Необходимо иметь разрешение на создание и удаление таблиц. По умолчанию промежуточная таблица будет совместно использовать ту же схему, что и целевая таблица.

      

    • Ключевые столбцы: укажите имена столбцов для уникальной идентификации строк. Можно использовать один ключ или ряд ключей. Если значение не указано, то используется первичный ключ.

  • Хранимая процедура: используйте хранимую процедуру, которая определяет, как применять исходные данные к целевой таблице. Эта хранимая процедура будет вызываться для каждого пакета. Для операций, которые выполняются только один раз и не имеют ничего общего с исходными данными, например удаление или усечение, используйте свойство скрипта предварительного копирования.

    • Имя хранимой процедуры: выберите хранимую процедуру или укажите имя хранимой процедуры вручную при проверка редактирования для чтения данных из исходной таблицы.

    • Параметры хранимой процедуры:

      • Тип таблицы: укажите имя типа таблицы, используемое в хранимой процедуре. Действие копирования делает перемещаемые данные доступными во временной таблице с этим типом таблицы. Это позволяет при выполнении хранимой процедуры объединить копируемые и существующие данные.
      • Имя параметра типа таблицы: укажите имя параметра типа таблицы, указанного в хранимой процедуре.
      • Параметры: укажите значения для параметров хранимой процедуры. Допустимые значения: пары имен или значений. Имена и регистр параметров должны совпадать с именами и регистром параметров хранимой процедуры. Параметры импорта можно выбрать для получения параметров хранимой процедуры.

      

• Блокировка таблицы массового вставки: нажмите кнопку "Да " или "Нет " (по умолчанию). Используйте этот параметр, чтобы повысить производительность копирования во время операции массового вставки в таблицу без индекса из нескольких клиентов. Это свойство можно указать при нажатии кнопки Insert или Upsert в качестве поведения записи. Дополнительные сведения см. в раздел BULK INSERT (Transact-SQL)

• Скрипт предварительного копирования: укажите сценарий для действия копирования, который необходимо выполнить перед записью данных в целевую таблицу в каждой запуске. Это свойство можно использовать для очистки предварительно загруженных данных.

• Время ожидания пакетной операции записи: укажите время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени. Если значение не задано, по умолчанию используется время ожидания 02:00:00.

• Размер пакета записи: укажите количество строк для вставки в таблицу SQL на пакет. Допустимое значение: целое число (количество строк). По умолчанию эта служба динамически определяет соответствующий размер пакета в зависимости от размера строки.

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Сопоставление

Если конфигурация вкладки "Сопоставление" не применяется База данных SQL Azure Управляемый экземпляр с автоматическим созданием таблицы в качестве назначения, перейдите к разделу "Сопоставление".

Если вы применяете База данных SQL Azure Управляемый экземпляр с автоматическим созданием таблицы в качестве назначения, за исключением конфигурации в сопоставлении, можно изменить тип для столбцов назначения. После выбора схемы импорта можно указать тип столбца в назначении.

Например, тип столбца идентификатора в источнике является int, и его можно изменить на float type при сопоставлении с целевым столбцом.

Настройки

Для настройки вкладки Параметры перейдите к разделу "Настройка других параметров" на вкладке "Параметры".

Параллельная копия из База данных SQL Azure Управляемый экземпляр

Соединитель База данных SQL Azure Управляемый экземпляр в действии копирования обеспечивает встроенную секционирование данных для параллельного копирования данных. Параметры секционирования данных можно найти на вкладке Источник действия Copy.

При включении секционированного копирования действие копирования выполняет параллельные запросы к источнику База данных SQL Azure Управляемый экземпляр для загрузки данных по секциям. Параллельная степень управляется степенью параллелизма копирования на вкладке параметров действия копирования. Например, если задать степень параллелизма копирования четырем, служба одновременно создает и выполняет четыре запроса на основе указанного параметра секции и параметров, а каждый запрос получает часть данных из База данных SQL Azure Управляемый экземпляр.

Рекомендуется включить параллельную копию с секционированием данных, особенно при загрузке большого объема данных из База данных SQL Azure Управляемый экземпляр. Ниже приведены рекомендуемые конфигурации для разных сценариев. Если данные копируются в файловое хранилище данных, то рекомендуется сохранять данные в папку несколькими файлами (указывая только имя папки), так как производительность в таком случае будет выше, чем при записи в один файл.

Ниже приведены рекомендации по загрузке данных с параметром секционирования.

• Чтобы избежать неравномерного распределения данных, выбирайте в качестве столбца секционирования отличительный столбец (например, первичный ключ или уникальный ключ).
• Если в таблице есть встроенные секции, используйте параметр "Физические секции таблицы " для повышения производительности.

Пример запроса для проверки физической секции

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Если таблица содержит физическую секцию, параметр HasPartition имеет значение yes, как показано ниже.

Сводка таблицы

Дополнительные сведения о действии копирования База данных SQL Azure Управляемый экземпляр см. в следующей таблице.

Сведения об источнике

Сведения о назначении

Связанный контент

• обзор База данных SQL Azure Управляемый экземпляр