Novidades do Integration Services no SQL Server 2016

  • Artigo

Aplica-se a: SQL Server SSIS Integration Runtime no Azure Data Factory

Este tópico descreve os recursos adicionados ou atualizados no SQL Server 2016 Integration Services. Ele também inclui recursos adicionados ou atualizados no Azure Feature Pack para o SSIS (Integration Services) durante o período de tempo do SQL Server 2016.

Novidades do SSIS no Azure Data Factory

Com a visualização pública do Azure Data Factory versão 2 em setembro de 2017, agora você pode fazer o seguinte:

  • Implantar pacotes no SSISDB (banco de dados do Catálogo do SSIS) no Banco de Dados SQL do Azure.
  • Execute os pacotes implantados no Azure no Azure-SSIS Integration Runtime, um componente do Azure Data Factory versão 2.

Para obter mais informações, consulte Migrar cargas de trabalho do SQL Server Integration Services por lift-and-shift para a nuvem.

Essas novas funcionalidades exigem o SSDT (SQL Server Data Tools) versão 17.2 ou posterior, mas não exigem o SQL Server 2017 nem o SQL Server 2016. Quando você implanta pacotes no Azure, o Assistente de Implantação de Pacotes sempre faz upgrade dos pacotes para o formato de pacote mais recente.

Aprimoramentos de 2016 agrupados por categoria

Capacidade de gerenciamento

Melhor implantação

Assistente de atualização do SSISDB

Execute o Assistente de atualização do SSISDB para atualizar o banco de dados do catálogo do SSIS, SSISDB, quando o banco de dados for mais antigo que a versão atual da instância do SQL Server. Isso ocorre quando uma das condições a seguir é verdadeira.

  • Você restaurou o banco de dados de uma versão anterior do SQL Server.

  • Você não removeu o banco de dados de um Grupo de Disponibilidade AlwaysOn antes de atualizar a instância do SQL Server. Isso impede a atualização automática do banco de dados. Para obter mais informações, consulte Upgrading SSISDB in an availability group.

Para obter mais informações, confira Catálogo do SSIS (SSISDB).

Suporte para AlwaysOn no Catálogo do SSIS

O recurso Grupos de Disponibilidade AlwaysOn é uma solução de alta disponibilidade e recuperação de desastres que fornece uma alternativa de nível corporativo para espelhamento de banco de dados. Um grupo de disponibilidade dá suporte a um ambiente de failover para um conjunto discreto de bancos de dados de usuário, conhecidos como bancos de dados de disponibilidade, que fazem failover juntos. Para obter mais informações, confira AlwaysOn em grupos de disponibilidade.

No SQL Server 2016, o SSIS apresenta novos recursos que permitem a você implantar facilmente em um catálogo de SSIS centralizado (ou seja, banco de dados de usuário do SSISDB). Para fornecer alta disponibilidade ao banco de dados SSISDB e seu conteúdo - projetos, pacotes, logs de execução, etc. - você pode adicionar o banco de dados do SSISDB a um grupo de disponibilidade AlwaysOn, assim como faria com qualquer outro banco de dados de usuário. Quando ocorre um failover, um dos nós secundários automaticamente se torna o novo nó primário.

Para uma visão geral detalhada e instruções passo a passo para habilitar o Always On para SSISDB, consulte Catálogo do SSIS.

Implantação de pacotes incremental

O recurso de implantação de pacotes incremental permite que você implante um ou mais pacotes para um projeto novo ou existente, sem implantar o projeto inteiro. Você pode implantar pacotes incrementalmente usando as ferramentas a seguir.

  • Assistente para Implantação

  • SQL Server Management Studio (que usa o Assistente de Implantação)

  • SQL Server Data Tools (Visual Studio) (que também usa o Assistente de Implantação)

  • Procedimentos armazenados

  • A API do MOM (modelo do objeto de gerenciamento)

Para obter mais informações, confira Implantar projetos e pacotes do SSIS (Integration Services).

Suporte para Always Encrypted no Catálogo do SSIS

O SSIS já dá suporte ao recurso Always Encrypted no SQL Server. Para obter mais informações, consulte as postagens de blog a seguir.

Melhor depuração

Nova função de nível de banco de dados ssis_logreader no catálogo do SSIS

Nas versões anteriores do catálogo do SSIS, somente usuários na função ssis_admin podem acessar os modos de exibição que contêm a saída de log. Agora há uma nova função de nível de banco de dados ssis_logreader que você pode usar para conceder permissões para acessar os modos de exibição que contêm a saída de log para usuários que não são administradores.

Há também uma nova função ssis_monitor . Essa função dá suporte a AlwaysOn e é para uso interno, apenas pelo catálogo do SSIS.

Novo nível de log RuntimeLineage no catálogo do SSIS

O novo nível de log RuntimeLineage no catálogo do SSIS coleta os dados necessários para rastrear informações de linhagem no fluxo de dados. Você pode analisar essas informações de linhagem para mapear o relacionamento de linhagem entre tarefas. ISVs e desenvolvedores podem compilar ferramentas de mapeamento de linhagem personalizadas com essas informações.

Novo nível de log personalizado no catálogo do SSIS

Versões anteriores do catálogo do SSIS permitem que você escolha entre quatro níveis de log internos quando você executa um pacote: Nenhum, Básico, Desempenho ou Detalhado. O SQL Server 2016 adiciona o nível de log RuntimeLineage. Além disso, agora você pode criar e salvar vários níveis de log personalizados no catálogo do SSIS e escolher o nível de log para usar toda vez que você executar um pacote. Para cada nível de log personalizado, selecione apenas as estatísticas e os eventos que você deseja capturar. Opcionalmente, inclua o contexto do evento para ver os valores de variáveis, cadeias de conexão e propriedades da tarefa. Para obter mais informações, consulte Habilitar o log para a execução do pacote no servidor SSIS.

Nomes de coluna para erros no fluxo de dados

Quando você redireciona as linhas no fluxo de dados que contêm erros de saída de erro, a saída contém um identificador numérico para a coluna na qual o erro ocorreu, mas não mostra o nome da coluna. Agora, há várias maneiras de localizar ou exibir o nome da coluna na qual ocorreu o erro.

  • Quando você configura o log, selecione o evento DiagnosticEx para registro em log. Esse evento grava um mapa de coluna de fluxo de dados no log. Em seguida, você pode procurar o nome da coluna no mapa coluna usando o identificador da coluna capturado por uma saída de erro. Para obter mais informações, consulte Tratamento de erro em dados.

  • No Editor Avançado, você pode ver o nome da coluna para a coluna de upstream quando você exibe as propriedades de uma coluna de entrada ou saída de um componente de fluxo de dados.

  • Para ver os nomes das colunas em que o erro ocorreu, anexe um Visualizador de Dados a uma saída de erro. O Visualizador de Dados agora mostra tanto a descrição do erro quanto o nome da coluna na qual ocorreu o erro.

  • No Componente de Script ou um componente de fluxo de dados personalizado, chame o novo método GetIdentificationStringByID da interface IDTSComponentMetadata100.

Para obter mais informações sobre esse aprimoramento, consulte a seguinte postagem de blog pelo desenvolvedor do SSIS Bo Fan: Aprimoramentos de coluna de erro para fluxo de dados do SSIS.

Observação

(Esse suporte foi expandido em versões subsequentes. Para obter mais informações, confira Suporte estendido para nomes de coluna de erro e Nova interface IDTSComponentMetaData130 na API.)

Suporte expandido para nomes de coluna de erro

O evento DiagnosticEx agora registra em log informações de coluna para todas as colunas de entrada e saída, não apenas as colunas de linhagem. Como resultado, podemos chamar agora a saída de um mapa da coluna do pipeline, em vez de um mapa da linhagem do pipeline.

O método GetIdentificationStringByLineageID foi renomeado para GetIdentificationStringByID. Para obter mais informações, consulte Nomes de coluna para erros no fluxo de dados.

Para obter mais informações sobre essa alteração e sobre a melhoria da coluna de erro, consulte a postagem de blog atualizada a seguir. Aprimoramentos de coluna de erro para o fluxo de dados do SSIS (atualizado para CTP3.3)

Observação

(No RC 0, esse método foi movido para a nova interface IDTSComponentMetaData130. Para obter mais informações, confira a Nova interface IDTSComponentMetaData130 na API.)

Suporte para nível de log padrão em todo o servidor

Nas Propriedades do Servidordo SQL Server, sob a propriedade Nível de log do servidor , agora você pode selecionar um nível de log padrão para todo o servidor. Você pode escolher entre um dos níveis de logs internos - básico, nenhum, detalhado, desempenho ou linhagem de runtime - ou você pode escolher um nível de log personalizado existente. O nível de log selecionado aplica-se a todos os pacotes implantados no Catálogo do SSIS. Ele também se aplica por padrão a uma etapa de trabalho do SQL Agent, que executa um pacote do SSIS.

Nova interface IDTSComponentMetaData130 na API

O novo nível de log IDTSComponentMetaData130 adiciona a nova funcionalidade no SQL Server 2016 à interface existente IDTSComponentMetaData100 , especialmente o método GetIdentificationStringByID . (O método GetIdentificationStringByID é movido para a nova interface da interface IDTSComponentMetaData100 .) Há também novas interfaces IDTSInputColumn130 e IDTSOutputColumn130 , que fornecem a propriedade LineageIdentificationString . Para obter mais informações, consulte Nomes de coluna para erros no fluxo de dados.

Melhor gerenciamento de pacotes

Experiência aprimorada para atualização de projeto

Ao atualizar projetos do SSIS das versões anteriores para a versão atual, os gerenciadores de conexões de nível de projeto continuam a funcionar conforme o esperado e as anotações e o layout do pacote são mantidos.

A propriedade AutoAdjustBufferSize calcula automaticamente o tamanho do buffer de fluxo de dados

Quando você define o valor da nova propriedade AutoAdjustBufferSize para true, o mecanismo de fluxo de dados calcula automaticamente o tamanho do buffer para o fluxo de dados. Para obter mais informações, consulte Data Flow Performance Features.

Modelos de fluxo de controle reutilizável

Salve um contêiner ou tarefa de fluxo de controle frequentemente utilizada em um arquivo de modelo autônomo e reutilizar várias vezes em um ou mais pacotes em um projeto, pelo uso de modelos de fluxo de controle. Essa capacidade de reutilização facilita o desenvolvimento e manutenção dos pacotes do SSIS. Para obter mais informações, consulte Reutilizar o fluxo de controle entre pacotes usando partes do pacote do fluxo de controle.

Novos modelos renomeados como partes

Os novos modelos de fluxo de controle reutilizáveis lançados no CTP 3.0 foram renomeados como partes do fluxo de controle ou partes do pacote. Para obter mais informações sobre esse recurso, consulte Reutilizar o fluxo de controle entre pacotes usando partes do pacote do fluxo de controle.

Conectividade

Conectividade expandida local

Suporte para fontes de dados OData v4

A Origem do OData e o Gerenciador de Conexões OData agora dão suporte os protocolos v3 e v4 do OData.

  • Para o protocolo V3 do OData, o componente dá suporte aos formatos de dados ATOM e JSON.

  • Para o protocolo V4 do OData, o componente dá suporte ao formato de dados JSON.

Para obter mais informações, consulte OData Source.

Suporte explícito para fontes de dados do Excel 2013

O Gerenciador de Conexões do Excel, a Origem do Excel, o Destino do Excel e o Assistente de Importação e Exportação do SQL Server agora fornecem suporte explícito para fontes de dados do Excel 2013.

Suporte para o HDFS (sistema de arquivos do Hadoop)

O suporte para HDFS contém gerenciadores de conexões para conectar-se a clusters do Hadoop e tarefas para executar operações comuns do HDFS. Para obter mais informações, confira Suporte para Hadoop e HDFS no Integration Services (SSIS).

Suporte expandido para Hadoop e HDFS

  • O Gerenciador de Conexões do Hadoop agora dá suporte à autenticação dos tipos Básica e Kerberos. Para obter mais informações, consulte Hadoop Connection Manager.

  • A Origem do Arquivo HDFS e o Destino do Arquivo HDFS agora dão suporte a ambos os formatos Texto e Avro. Para obter mais informações, consulte HDFS File Source e HDFS File Destination.

  • A tarefa de sistema de arquivos Hadoop agora dá suporte à opção CopyWithinHadoop, além das opções CopyToHadoop e CopyFromHadoop. Para obter mais informações, consulte Hadoop File System Task.

O Destino do Arquivo HDFS agora dá suporte ao formato de arquivo ORC

O Destino do Arquivo HDFS agora dá suporte ao formato de arquivo ORC, além de Texto e Avro. (A Origem do Arquivo HDFS dá suporte apenas Texto e Avro.) Para obter mais informações sobre esse componente, consulte HDFS File Destination.

Componentes ODBC atualizados para o SQL Server 2016

Os componentes de Origem e Destino ODBC foram atualizadas para fornecer compatibilidade total com o SQL Server 2016. Não há nenhuma nova funcionalidade e não há alterações no comportamento.

Suporte explícito para fontes de dados do Excel 2016

O Gerenciador de Conexões do Excel, a Origem do Excel e o Destino do Excel agora fornecem suporte explícito para fontes de dados do Excel 2016.

Connector para SAP BW para SQL Server 2016 lançado

O Microsoft Connector para SAP BW para o Microsoft SQL Server 2016 foi lançado como parte do SQL Server 2016 Feature Pack. Para baixar os componentes do Feature Pack, confira Microsoft SQL Server 2016 Feature Pack.

Conectores v4.0 para Oracle e Teradata lançado

O Conectores v4.0 da Microsoft para Oracle e Teradata foram lançados. Para baixar os conectores, consulte Conectores v4.0 da Microsoft para Oracle e Teradata.

Conectores para a Atualização 5 do Dispositivo do sistema de plataforma de análise (PDW) lançado

Os adaptadores de destino para carregar dados em PDW com AU5 foram lançados. Para baixar os adaptadores, consulte Documentação e ferramentas de cliente da Atualização 5 do dispositivo do Sistema de plataforma de análise.

Conectividade expandida com a nuvem

Azure Feature Pack para SSIS lançado para o SQL Server 2016

O Azure Feature Pack para o Integration Services foi lançado para o SQL Server 2016. O feature pack contém gerenciadores de conexões para conectar-se a fontes de dados do Azure e tarefas para realizar as operações comuns do Azure. Para obter mais informações, confira Feature Pack do Azure para Integration Services (SSIS).

Suporte para recursos online do Microsoft Dynamics liberado no Service Pack 1

Com o SQL Server 2016 Service Pack 1 instalado, o Gerenciador de Fontes e de Conexões OData agora tem suporte para conexão aos feeds OData do Microsoft Dynamics AX Online e do Microsoft Dynamics CRM Online.

Suporte para Azure Data Lake Store lançado

A versão mais recente do Feature Pack do Azure inclui um gerenciador de conexões, a origem e o destino para mover dados para e do Azure Data Lake Store. Para obter mais informações, confira Feature Pack do Azure para Integration Services (SSIS)

Suporte lançado para o Azure Synapse Analytics

A versão mais recente do Feature Pack do Azure inclui a tarefa Carregar do SQL DW do Azure para popular o Azure Synapse Analytics com os dados. Para obter mais informações, confira Feature Pack do Azure para Integration Services (SSIS)

Usabilidade e produtividade

Melhor experiência de instalação

Atualização bloqueada quando o SSISDB pertence a um grupo de disponibilidade

Se o SSISDB (banco de dados de catálogo SSIS) pertencer a um Grupo de Disponibilidade AlwaysOn, você precisará remover o SSISDB do grupo de disponibilidade, atualizar o SQL Server e, em seguida, adicionar o SSISDB de volta ao grupo de disponibilidade. Para obter mais informações, consulte Upgrading SSISDB in an availability group.

Melhor experiência de design

Suporte multiplataforma e a várias versões no Designer SSIS

Agora você pode usar o Designer SSIS no SSDT (SQL Server Data Tools) para Visual Studio 2015 para criar, manter e executar pacotes destinados ao SQL Server 2016, SQL Server 2014 ou SQL Server 2012. Para obter o SSDT, consulte Baixar o SQL Server Data Tools mais recente.

No Gerenciador de Soluções, clique com o botão direito do mouse em um projeto do Integration Services e selecione Propriedades para abrir as páginas de propriedades do projeto. Na guia Geral de Propriedades de Configuração, selecione a propriedade TargetServerVersion e escolha o SQL Server 2016, SQL Server 2014 ou SQL Server 2012.

Propriedade TargetServerVersion na caixa de diálogo de propriedades do projeto

Importante

Se você desenvolver extensões personalizadas para SSIS, consulte Suporte multiplataforma em seus componentes personalizados e Obter extensões personalizadas do SSIS para suporte em várias versões do SSDT 2015 para SQL Server 2016.

Melhor experiência de gerenciamento no SQL Server Management Studio

Desempenho aprimorado para exibições de Catálogo do SSIS

A maioria das exibições de catálogo do SSIS agora funcionam melhor quando são executadas por um usuário que não é um membro da função ssis_admin.

Outros aprimoramentos

A transformação do Distribuidor de Dados Equilibrado é agora parte do SSIS

A transformação do Distribuidor de Dados Equilibrado, que exigia um download separado em versões anteriores do SQL Server, agora é instalado quando você instala o Integration Services. Para obter mais informações, consulte Balanced Data Distributor Transformation.

Componentes de publicação de feed de dados agora fazem parte do SSIS

Os componentes de publicação de feed de dados, que exigiam um download separado em versões anteriores do SQL Server, agora são instalados quando você instala o Integration Services. Para obter mais informações, consulte Data Streaming Destination.

Suporte para Armazenamento de Blobs do Azure no Assistente de Importação e Exportação do SQL Server

O Assistente de Importação e Exportação do SQL Server agora pode importar dados de e salvar dados no Armazenamento de Blobs do Azure. Para obter mais informações, confira Escolha uma fonte de dados (Assistente de Importação e Exportação do SQL Server) e Escolha um destino (Assistente de Importação e Exportação do SQL Server).

Change Data Capture Designer e Service for Oracle para Microsoft SQL Server® 2016 lançados

O Microsoft Change Data Capture Designer e Service para Oracle da Attunity para Microsoft SQL Server 2016 foram lançados como parte do SQL Server 2016 Feature Pack. Esses componentes agora dão suporte a Oracle 12c na instalação clássica. (Não há suporte para instalação multilocatário) Para baixar os componentes do Feature Pack, confira Microsoft SQL Server 2016 Feature Pack.

Componentes CDC atualizados para o SQL Server 2016

Os componentes Control Task, Source e Splitter Transformation do CDC (Change Data Capture) foram atualizados para fornecer compatibilidade total com o SQL Server 2016. Não há nenhuma nova funcionalidade e não há alterações no comportamento.

Tarefa Executar DDL do Analysis Services atualizada

A Tarefa Executar DDL do Analysis Services foi atualizada para aceitar comandos de linguagem de script de modelo de tabela.

As tarefas do Analysis Services dão suporte a modelos de tabela

Agora você pode usar todas as tarefas e destinos SSIS que dão suporte ao SSAS (SQL Server Analysis Services) com modelos de tabela do SQL Server 2016. As tarefas SSIS foram atualizadas para representar objetos de tabela em vez de objetos multidimensionais. Por exemplo, quando você seleciona objetos a processar, a tarefa de processamento detecta automaticamente que é um modelo de tabela e exibe uma lista de objetos tabulares em vez de grupos de medidas e dimensões. O Destino de Processamento de Partições agora também mostra objetos tabulares e dá suporte ao envio de dados por push para uma partição.

O Destino de Processamento de Dimensões não funciona para modelos de tabela com o nível de compatibilidade do SQL 2016. A Tarefa Processamento do Analysis Services e o Destino de Processamento de Partições são tudo o que você precisa para o processamento de tabelas.

Suporte para os serviços do R internos

O SSIS já dá suporte aos serviços do R internos no SQL Server. Você pode usar o SSIS não apenas para extrair dados e carregar a saída da análise, mas para compilar, executar e periodicamente treinar novamente modelos do R. Para obter mais informações, consulte a postagem de blog a seguir. Operacionalizar seu projeto de aprendizado de máquina usando o SQL Server 2016 SSIS e os Serviços do R.

Saída de validação de XML completa na tarefa XML

Valide documentos XML e obtenha saída de erros completa habilitando a propriedade ValidationDetails da tarefa XML. Antes da disponibilidade da propriedade ValidationDetails , a validação do XML pela tarefa XML retornava apenas um resultado true ou false, sem informações sobre erros ou suas localizações. Agora, quando você define ValidationDetails como true, o arquivo de saída contém informações detalhadas sobre cada erro, incluindo o número de linha e a posição. Você pode usar essas informações para entender, localizar e corrigir erros em documentos XML. Para obter mais informações, consulte Validate XML with the XML Task.

OSSIS introduziu a propriedade ValidationDetails no SQL Server 2012 (11.x) Service Pack 2. Essa nova propriedade não foi anunciada ou documentada naquele momento. A propriedade ValidationDetails também está disponível em SQL Server 2014 (12.x) e em SQL Server 2016 (13.x).

Obter ajuda

Contribua com a documentação do SQL

Você sabia que pode editar conteúdo do SQL por conta própria? Ao fazer isso, além de melhorar nossa documentação, você também será creditado como um colaborador da página.

Para obter mais informações, confira Como contribuir para a documentação do SQL Server

Conteúdo relacionado