Новые возможности служб Integration Services в SQL Server 2016

  • Статья

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

В этом разделе описываются функции, которые были добавлены или обновлены в службах SQL Server 2016 Integration Services. К ним также относятся функции, добавленные или обновленные в пакете дополнительных компонентов Azure для служб Integration Services (SSIS) в течение жизненного цикла SQL Server 2016.

Новые возможности служб SSIS в фабрике данных Azure

В общедоступной предварительной версии 2 фабрики данных Azure, выпущенной в сентябре 2017 г., теперь можно выполнять следующие действия:

  • развертывать пакеты в базе данных каталога служб SSIS (SSISDB) в базе данных SQL Azure;
  • запускать пакеты, развернутые в Azure, в Azure-SSIS Integration Runtime, компоненте фабрики данных Azure версии 2.

Дополнительные сведения см. в разделе Перенос рабочих нагрузок SQL Server Integration Services в облако.

Для этих новых возможностей требуются средства SQL Server Data Tools (SSDT) версии 17.2 или более поздней, но не требуется SQL Server 2017 или SQL Server 2016. При развертывании пакетов в Azure мастер развертывания пакетов всегда обновляет их до новейшего формата.

Усовершенствования в версии 2016 по категориям

Управляемость

Улучшенное развертывание

Мастер обновления SSISDB

Мастер обновления SSISDB можно использовать для обновления базы данных каталога служб SSIS (SSISDB), когда эта база данных старше текущей версии экземпляра SQL Server. Такое может произойти в следующих случаях:

  • База данных восстановлена из более старой версии SQL Server.

  • База данных не была удалена из группы доступности AlwaysOn перед обновлением экземпляра SQL Server. Это препятствует автоматическому обновлению базы данных. Дополнительные сведения: Обновление SSISDB в группе доступности.

Дополнительные сведения см. в разделе Каталог служб SSIS.

Поддержка Always On в каталоге служб SSIS

Группы доступности AlwaysOn — это решение для высокой доступности и аварийного восстановления, являющееся альтернативой зеркальному отображению баз данных на уровне предприятия. Группа доступности поддерживает среду отработки отказа для дискретного набора пользовательских баз данных, известных как базы данных доступности, выполняющие совместную отработку отказа. Дополнительные сведения см. в разделе Группы доступности AlwaysOn.

В SQL Server 2016 службы SSIS предоставляют новые возможности, позволяющие легко производить развертывание в централизованном каталоге служб SSIS (например, в пользовательской базе данных SSISDB). Чтобы обеспечить высокую доступность для базы данных SSISDB и ее содержимого (проектов, пакетов, журналов выполнения и т. п.), можно добавить ее в группу доступности Always On, как и любую другую пользовательскую базу данных. В случае сбоя один из вторичных узлов автоматически становится новым основным узлом.

Подробное описание и пошаговые инструкции по включению AlwaysOn для SSISDB см. в статье Каталог служб SSIS.

Добавочное развертывание пакетов

Функция добавочного развертывания пакетов позволяет развертывать один или несколько пакетов в существующем или новом проекте без развертывания всего проекта. Для этого можно использовать следующие средства:

  • Мастер развертывания

  • SQL Server Management Studio (использует мастер развертывания)

  • SQL Server Data Tools (Visual Studio) (также использует мастер развертывания)

  • Хранимые процедуры

  • API объектной модели управления (MOM)

Дополнительные сведения см. в разделе Развертывание проектов и пакетов служб Integration Services (SSIS).

Поддержка Always Encrypted в каталоге служб SSIS

Служба SSIS уже поддерживает функцию Always Encrypted в SQL Server. Дополнительные сведения см. в следующих записях блога:

Более эффективный способ отладки

Новая роль ssis_logreader уровня базы данных в каталоге служб SSIS

В предыдущих версиях каталога служб SSIS доступ к представлениям, содержащим выходные данные журнала, могли получить только пользователи с ролью ssis_admin . Теперь доступна новая роль уровня базы данных ssis_logreader , с помощью которой можно предоставлять разрешения на доступ к представлениям, содержащим выходные данные журнала, пользователям без прав администратора.

Имеется также новая роль ssis_monitor . Она поддерживает Always On и предназначена для внутреннего использования в каталоге служб SSIS.

Новый уровень ведения журнала RuntimeLineage в каталоге служб SSIS

Новый уровень ведения журнала RuntimeLineage в каталоге служб SSIS собирает данные, необходимые для отслеживания сведений о журнале преобразований в потоке данных. Вы можете проанализировать эти сведения журнала преобразований, чтобы сопоставить отношение преобразований между задачами. На основе этой информации независимые поставщики программного обеспечения и разработчики могут создавать пользовательские средства сопоставления для журнала преобразований.

Новый настраиваемый уровень ведения журнала в каталоге служб SSIS

Предыдущие версии каталога служб SSIS позволяют выбрать один из четырех встроенных уровней ведения журнала при выполнении пакета: None, Basic, Performance или Verbose. В SQL Server 2016 добавлен уровень RuntimeLineage. Кроме того, теперь можно создавать и сохранять несколько настроенных уровней ведения журнала в каталоге служб SSIS, а также выбрать уровень, используемый при каждом запуске пакета. Для каждого настроенного уровня ведения журнала можно выбрать те статистические данные и события, которые необходимо регистрировать. При необходимости укажите контекст событий для просмотра значений переменных, строк подключения и свойств задачи. Дополнительные сведения см. в разделе Включение ведения журналов при выполнении пакета на сервере служб SSIS.

Имена столбцов для ошибок в потоке данных

При выводе строк с ошибками в потоке данных результат вывода содержит числовые идентификаторы столбцов с ошибками, а не их имена. Теперь существует несколько способов для поиска или отображения имени столбца, где произошла ошибка.

  • При настройке ведения журнала выберите событие DiagnosticEx для регистрации. Это событие записывает карту столбцов потока данных в журнал. Потом вы сможете найти имя столбца в этой карте столбцов с помощью идентификатора столбца, записанного в выводе ошибок. Дополнительные сведения см. в разделе Обработка ошибок в данных.

  • При просмотре свойств входного или выходного столбца для компонента потока данных в расширенном редакторе отображается имя исходного столбца.

  • Чтобы просмотреть имена столбцов, где произошла ошибка, подключите средство просмотра данных к выводу ошибок. Средство просмотра данных теперь отображает как описание ошибки, так и имя столбца, где она возникла.

  • В компоненте скрипта или пользовательского потока данных вызовите новый метод GetIdentificationStringByID интерфейса IDTSComponentMetadata100.

Дополнительные сведения об этом улучшении см. в следующей записи блога от разработчика служб SSIS Бо Фэна (Bo Fan): Error Column Improvements for SSIS Data Flow(Улучшения столбцов с ошибками для потока данных SSIS).

Примечание.

(Эта поддержка была расширена в последующих выпусках. Дополнительные сведения см. в разделах Расширенная поддержка для имен столбцов ошибок и Новый интерфейс IDTSComponentMetaData130 в API.)

Расширенная поддержка для имен столбцов ошибок

Событие DiagnosticEx теперь регистрирует сведения о столбце для всех входных и выходных столбцов, а не только столбцов журнала преобразований. Поэтому теперь можно вызвать выходные данные для карты столбцов конвейера вместо карты журнала обращений конвейера.

Метод GetIdentificationStringByLineageID был переименован в GetIdentificationStringByID. Дополнительные сведения см. в разделе Имена столбцов для ошибок в потоке данных.

Дополнительные сведения об этом изменении, а также об усовершенствовании столбца ошибок см. в следующей обновленной записи блога: Error Column Improvements for SSIS Data Flow (Updated for CTP3.3) (Улучшения для столбцов ошибок в потоке данных SSIS, обновлено для CTP3.3)

Примечание.

(В RC 0 этот метод был перемещен в новый интерфейс IDTSComponentMetaData130. Дополнительные сведения см. в разделе Новый интерфейс IDTSComponentMetaData130 в API.)

Поддержка для серверного уровня ведения журнала по умолчанию

Теперь для свойства Уровень ведения журнала серверав разделе Свойства сервера в SQL Server можно выбрать серверный уровень ведения журнала по умолчанию. Вы можете выбрать один из встроенных уровней ведения журнала — базовый, нет, подробный, по производительности или журналу преобразований для среды выполнения — или существующий пользовательский уровень. Выбранный уровень применяется ко всем пакетам, развернутым в каталоге служб SSIS. По умолчанию этот уровень применяется также к заданию агента SQL Server, в рамках которого запущен пакет служб SSIS.

Новый интерфейс IDTSComponentMetaData130 в API

Новый уровень ведения журнала IDTSComponentMetaData130 добавляет новые функции в SQL Server 2016 для существующего интерфейса IDTSComponentMetaData100 , в частности метод GetIdentificationStringByID . (Метод GetIdentificationStringByID перемещен в новый интерфейс из интерфейса IDTSComponentMetaData100 интерфейса.) Также существуют новые интерфейсы IDTSInputColumn130 и IDTSOutputColumn130 , интерфейсы, имеющие свойство LineageIdentificationString . Дополнительные сведения см. в разделе Имена столбцов для ошибок в потоке данных.

Улучшенное управление пакетами

Улучшенная процедура для обновления проекта

При обновлении проектов служб SSIS с предыдущих версий до текущей диспетчеры подключений на уровне проекта продолжают работать должным образом, а макет пакета и заметки сохраняются.

Свойство AutoAdjustBufferSize автоматически вычисляет размер буфера для потока данных

При задании значения true для нового свойства AutoAdjustBufferSizeподсистема обработки потока данных автоматически вычисляет размер буфера для потока. Дополнительные сведения см. в разделе Возможности для повышения производительности потока данных.

Многоразовые шаблоны потока управления

Можно сохранить часто используемую задачу или контейнер потока управления в отдельный файл шаблона и повторно использовать их несколько раз в одном или нескольких пакетах проекта с помощью шаблонов потока управления. Такая возможность повторного использования упрощает разработку и обслуживание пакетов служб SSIS. Дополнительные сведения см. в разделе Повторное использование потока управления для нескольких пакетов с помощью частей пакета потока управления.

Новые шаблоны, переименованные в части

Новые многоразовые шаблоны потока управления, выпущенные в CTP 3.0, были переименованы в части потока управления или части пакета. Дополнительные сведения см. в разделе Повторное использование потока управления для нескольких пакетов с помощью частей пакета потока управления.

Подключение

Расширенные возможности связи в локальной среде

Поддержка источников данных OData версии 4

Источник OData и диспетчер подключений OData теперь поддерживают протоколы OData v3 и v4.

  • Для протокола OData версии 3 компонент поддерживает форматы данных ATOM и JSON.

  • Для протокола OData версии v4; компонент поддерживает формат данных JSON.

Дополнительные сведения см. в разделе OData Source.

Явная поддержка источников данных Excel 2013

Диспетчер подключений, источник, назначение Excel и мастер импорта и экспорта SQL Server теперь явным образом поддерживают источники данных Excel 2013.

Поддержка файловой системы Hadoop (HDFS)

Поддержка HDFS распространяется на диспетчеры подключений, используемые для подключения к кластерам Hadoop, и на задачи для выполнения типичных операций с HDFS. Дополнительные сведения см в статье Поддержка Hadoop и HDFS в службах Integration Services (SSIS).

Расширенная поддержка Hadoop и HDFS

  • Диспетчер подключений Hadoop теперь поддерживает обычную проверку подлинности и проверку подлинности Kerberos. Дополнительные сведения см. в разделе Hadoop Connection Manager.

  • Источник и назначение файлов HDFS теперь поддерживают форматы "Текст" и "Avro". Дополнительные сведения см. в статьях Источник "Файл HDFS" и Назначение HDFS-файлов.

  • Задача файловой системы Hadoop теперь поддерживает параметр CopyWithinHadoop, дополняющий параметры CopyToHadoop и CopyFromHadoop. Дополнительные сведения см. в разделе Hadoop File System Task.

HDFS-файлы в качестве назначения теперь поддерживают формат файлов ORC

Назначение файлов HDFS теперь поддерживает формат ORC в дополнение к форматам "Текст" и "Avro". (Источник файлов HDFS поддерживает только "Текст" и "Avro"). Дополнительные сведения об этом компоненте см. в статье HDFS File Destination.

Обновление компонентов ODBC для SQL Server 2016

Компоненты источника и назначения ODBC были обновлены для обеспечения полной совместимости с SQL Server 2016. Какие -либо новые функции и изменения в поведении отсутствуют.

Явная поддержка источников данных Excel 2016

Диспетчер подключений, источник и назначение Excel теперь явным образом поддерживают источники данных Excel 2016.

Выпуск соединителя для SAP BW для SQL Server 2016

Соединитель Майкрософт для SAP BW для Microsoft SQL Server 2016 выпущен в составе пакета дополнительных компонентов SQL Server 2016. Чтобы скачать компоненты пакета дополнительных компонентов, ознакомьтесь с пакетом дополнительных компонентов Microsoft SQL Server 2016.

Выпуск соединителей версии 4.0 для Oracle и Teradata

Были выпущены соединители Майкрософт версии v4.0 для Oracle и Teradata. Скачать их можно здесь: соединители Microsoft версии 4.0 для Oracle и Teradata.

Выпуск соединителей для системы платформы аналитики (PDW) с обновлением 5

Были выпущены адаптеры назначения для загрузки данных в PDW с AU5. Сведения о скачивании адаптеров см. в разделе Analytics платформы System Appliance Update 5 Documentation и клиентские средства.

Расширенные возможности связи в облаке

выпуск пакета дополнительных компонентов Azure для служб SSIS для SQL Server 2016

Состоялся выпуск пакета дополнительных компонентов Azure для служб Integration Services для SQL Server 2016. Он содержит диспетчеры подключений для соединения с источниками данных Azure, а также задачи для выполнения общих операций Azure. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Поддержка ресурсов Microsoft Dynamics Online в пакете обновления 1 (SP1)

В установленном пакете обновления 1 (SP1) SQL Server 2016 источник OData и диспетчер подключений OData теперь поддерживают подключение к каналам OData в Microsoft Dynamics AX Online и Microsoft Dynamics CRM Online.

Выпуск пакета поддержки для Azure Data Lake Store

Последняя версия пакета дополнительных компонентов Azure включает диспетчер подключений, а также источник и место назначения для перемещения данных из Azure Data Lake Store и обратно. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Реализована поддержка Azure Synapse Analytics

Последняя версия пакета дополнительных компонентов Azure включает задачу отправки в хранилище данных SQL Azure, позволяющую заполнить данными Azure Synapse Analytics. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Удобство использования и производительность

Улучшенная процедура установки

Блокировка обновления, когда база данных SSISDB состоит в группе доступности

Если база данных каталога служб SSIS (SSISDB) состоит в группе доступности AlwaysOn, для обновления SQL Server необходимо сначала удалить SSISDB из группы доступности, произвести обновление, а затем добавить SSISDB обратно в группу. Дополнительные сведения: Обновление SSISDB в группе доступности.

Улучшенная процедура разработки

Поддержка нескольких версий в конструкторе служб SSIS

Теперь можно использовать конструктор SSIS в SQL Server Data Tools (SSDT) для Visual Studio 2015, чтобы создавать, обслуживать и выполнять пакеты, ориентированные на SQL Server 2016, SQL Server 2014 или SQL Server 2012. Процедуру получения SSDT см. в разделе Скачивание последней версии SQL Server Data Tools.

В обозревателе решений щелкните правой кнопкой мыши проект служб Integration Services и выберите пункт Свойства, чтобы открыть страницу свойств проекта. На вкладке Общие окна Свойства конфигурации выберите свойство TargetServerVersion и затем SQL Server 2016, SQL Server 2014 или SQL Server 2012.

Свойство TargetServerVersion в диалоговом окне Свойства проекта

Внимание

При разработке пользовательских расширений для служб SSIS см. разделы Поддержка нескольких версий в настраиваемых компонентах и Получение пользовательских расширений служб SSIS, поддерживаемых несколькими версиями SSDT 2015 для SQL Server 2016.

Улучшение функций управления в SQL Server Management Studio

Улучшенная производительность для представления каталога служб SSIS

Теперь большинство представлений каталога служб SSIS работают лучше, когда их запускает пользователь, не являющийся элементом роли ssis_admin.

Другие усовершенствования

Преобразование сбалансированного распределителя данных теперь входит в состав служб SSIS

Преобразование распространителя данных с балансировкой нагрузки, требующее отдельной загрузки в предыдущих версиях SQL Server, теперь устанавливается при установке служб Integration Services. Дополнительные сведения см. в разделе Balanced Data Distributor Transformation.

Компоненты публикации веб-канала данных теперь входят в состав служб SSIS

Компоненты публикации веб-канала данных, необходимые для отдельной загрузки в предыдущих версиях SQL Server, теперь устанавливаются при установке служб Integration Services. Дополнительные сведения см. в разделе Data Streaming Destination.

Поддержка хранилища BLOB-объектов Azure в мастере импорта и экспорта SQL Server

Мастер импорта и экспорта SQL Server теперь может импортировать данные из хранилища BLOB-объектов и сохранять их там. Дополнительные сведения см. в статьях Выбор источника данных (мастер импорта и экспорта SQL Server) и Выбор назначения (мастер импорта и экспорта SQL Server).

Выпуск конструктора и службы системы отслеживания измененных данных для Oracle для Microsoft SQL Server 2016

Конструктор и служба отслеживания измененных данных Майкрософт для Oracle от Attunity для Microsoft SQL Server 2016 были выпущены в составе пакета дополнительных компонентов SQL Server 2016. Эти компоненты теперь поддерживают Oracle 12c в классической установке. (Многотенантная установка не поддерживается) Чтобы скачать компоненты пакета дополнительных компонентов, ознакомьтесь с пакетом дополнительных компонентов Microsoft SQL Server 2016.

Обновление компонентов CDC для SQL Server 2016

Компоненты задачи по проверке CDC (отслеживание измененных данных), источника и преобразования разделителя были обновлены для обеспечения полной совместимости с SQL Server 2016. Какие -либо новые функции и изменения в поведении отсутствуют.

Обновление задачи "Выполнение DDL службами Analysis Services"

Задача "Выполнение DDL службами Analysis Services" обновлена, чтобы принимать команды на языке TMSL.

Задачи служб Analysis Services поддерживают табличные модели.

Теперь можно использовать все назначения и задачи служб SSIS, поддерживающие SQL Server Analysis Services (SSAS) в табличных моделях SQL Server 2016. Задачи служб SSIS были обновлены, чтобы представлять табличные объекты вместо многомерных. Например, при выборе объектов для обработки задача обработки служб Analysis Services автоматически обнаруживает табличную модель и отображает список табличных объектов вместо групп мер и измерений. Назначение обработки секций теперь, помимо прочего, отображает табличные объекты и поддерживает принудительную отправку данных в секцию.

Назначение обработки измерений не работает для табличных моделей с уровнем совместимости SQL 2016. Для обработки табличных данных вам требуется только задача обработки служб Analysis Services и назначение обработки секций.

Поддержка встроенных служб R

Службы SSIS уже поддерживают встроенные службы R в SQL Server. Службы SSIS можно использовать не только для извлечения данных и загрузки выходных данных анализа, но и для сборки, выполнения и периодического повторного обучения моделей R. Дополнительные сведения см. в следующей записи блога: Ввод в эксплуатацию проекта машинного обучения с помощью SQL Server 2016 SSIS и служб R(Operationalize your machine learning project using SQL Server 2016 SSIS and R Services).

Подробные данные о проверке XML в задачах XML

Активировав в задаче XML свойство ValidationDetails , вы сможете получить подробные результаты проверки XML-документа. До появления свойства ValidationDetails проверка XML в задачах XML возвращала информацию только о том, есть ошибка в документе или нет. Сведения о самих ошибках и их расположении были недоступны. Теперь, если для свойства ValidationDetails задать значение True, выходной файл будет содержать подробные сведения обо всех ошибках, включая номера строк и позиции. Эти сведения можно использовать для анализа, поиска и исправления ошибок в XML-документах. Дополнительные сведения см. в разделе Validate XML with the XML Task.

Служба SSIS представила свойство ValidationDetails в SQL Server 2012 (11.x) с пакетом обновления 2. В то время о новом свойстве не было никакой информации. Свойство ValidationDetails также доступно в SQL Server 2014 (12.x) и в SQL Server 2016 (13.x).

Получение справки

Примите участие в разработке документации по SQL

Знаете ли вы, что содержимое SQL можно изменить самостоятельно? Это не только улучшит нашу документацию, но и даст вам статус участника в создании этой страницы.

Дополнительные сведения см. в разделе Участие в работе над документацией по SQL Server.

Связанный контент