Feature Pack do Azure para o Integration Services (SSIS)

  • Artigo

Aplica-se a: SQL Server SSIS Integration Runtime no Azure Data Factory

O Feature Pack do SSIS (SQL Server Integration Services) para Azure é uma extensão que oferece os componentes listados nesta página para o SSIS se conectar aos serviços do Azure, transferir dados entre o Azure e fontes de dados locais e processar dados armazenados no Azure.

Baixar o Feature Pack do SSIS para Azure

As páginas de download também incluem informações sobre pré-requisitos. Certifique-se de instalar o SQL Server antes de instalar o Azure Feature Pack em um servidor ou os componentes no Feature Pack talvez não estejam disponíveis quando você implantar pacotes para o banco de dados do Catálogo do SSIS, SSISDB, no servidor.

Componentes no Feature Pack

Usar TLS 1.2

A versão do TLS usada pelo Feature Pack do Azure segue as configurações do .NET Framework do sistema. Para usar o TLS 1.2, adicione um valor de REG_DWORD chamado SchUseStrongCrypto com os dados 1 sob as duas chaves do Registro a seguir.

  1. HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft\.NETFramework\v4.0.30319
  2. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319

Dependência do Java

O Java é obrigatório para uso de formatos de arquivo ORC/Parquet com os conectores do Azure Data Lake Storage/de Arquivo Flexível.
A arquitetura (32/64 bits) do build de Java deve corresponder àquela do runtime do SSIS para uso. Os builds Java a seguir foram testados.

Configurar o OpenJDK do Zulu

  1. Baixe e extraia o pacote de instalação zip.
  2. No Prompt de Comando, execute sysdm.cpl.
  3. Na guia Avançado, selecione Variáveis de Ambiente.
  4. Na seção Variáveis do sistema seção, selecione Novo.
  5. Insira JAVA_HOME para o Nome da variável.
  6. Selecione Procurar Diretório, navegue até a pasta extraída e selecione a subpasta jre. Em seguida, selecione OK e o Valor da variável será preenchido automaticamente.
  7. Selecione OK para fechar a caixa de diálogo Nova Variável do Sistema.
  8. Selecione OK para fechar a caixa de diálogo Variáveis de Ambiente.
  9. Selecione OK para fechar a caixa de diálogo Propriedades do Sistema.

Dica

Se você usar o formato Parquet e receber um erro que indique "Erro ao invocar Java, mensagem: java.lang.OutOfMemoryError:Java heap space", adicione uma variável de ambiente _JAVA_OPTIONS para ajustar o tamanho de heap mínimo/máximo para a JVM.

heap da JVM

Exemplo: defina a variável _JAVA_OPTIONS com o valor -Xms256m -Xmx16g. O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (Máquina Virtual Java), enquanto Xmx especifica o pool de alocação de memória máxima. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Os valores padrão são 64 MB, mín., e 1 G, máx.

Configurar OpenJDK do Zulu no Azure-SSIS Integration Runtime

Isso deve ser feito por meio da interface de instalação personalizada para o Azure-SSIS Integration Runtime. Suponha que zulu8.33.0.1-jdk8.0.192-win_x64.zip seja usado. O contêiner de blobs pode ser organizado da seguinte maneira.

main.cmd
install_openjdk.ps1
zulu8.33.0.1-jdk8.0.192-win_x64.zip

Como ponto de entrada, main.cmd dispara a execução do script install_openjdk.ps1 do PowerShell que, por sua vez, zulu8.33.0.1-jdk8.0.192-win_x64.zip extrai e define JAVA_HOME de acordo.

main.cmd

powershell.exe -file install_openjdk.ps1

Dica

Se você usar o formato Parquet e receber um erro que indique "Erro ao invocar Java, mensagem: java.lang.OutOfMemoryError:Java heap space", adicione um comando em main.cmd para ajustar o tamanho de heap mínimo/máximo para a JVM. Exemplo:

setx /M _JAVA_OPTIONS "-Xms256m -Xmx16g"

O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (Máquina Virtual Java), enquanto Xmx especifica o pool de alocação de memória máxima. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Os valores padrão são 64 MB, mín., e 1 G, máx.

install_openjdk.ps1

Expand-Archive zulu8.33.0.1-jdk8.0.192-win_x64.zip -DestinationPath C:\
[Environment]::SetEnvironmentVariable("JAVA_HOME", "C:\zulu8.33.0.1-jdk8.0.192-win_x64\jre", "Machine")

Configurar o Ambiente de Runtime Java SE do Oracle

  1. Baixe e execute o instalador exe.
  2. Siga as instruções do instalador para concluir a instalação.

Cenário: Processamento de Big Data

Use o Conector do Azure para concluir o seguinte trabalho de processamento de Big Data:

  1. Use a tarefa de upload de blobs do Azure para carregar dados de entrada para o armazenamento de blobs do Azure.

  2. Use a tarefa Criar Cluster do Azure HDInsight para criar um cluster do Azure HDInsight. Esta etapa é opcional se você quiser usar seu próprio cluster.

  3. Use a tarefa Hive ou Pig do Azure HDInsight para invocar uma tarefa de Pig ou Hive no cluster do Azure HDInsight .

  4. Use a tarefa Excluir Cluster do Azure HDInsight para excluir o cluster do HDInsight após o uso, se você tiver criado um cluster de HDInsight sob demanda na etapa 2.

  5. Use a tarefa Download de Blob do Azure HDInsight para baixar dados de saída de Pig/Hive do armazenamento de blobs do Azure.

Captura de tela mostrando o cenário de Big Data do Conector do Azure-SSIS.

Cenário: Gerenciamento de dados na nuvem

Use o Destino de Blob do Azure em um pacote do SSIS para gravar dados de saída no Armazenamento de Blobs do Azure, ou use a Fonte de Blob do Azure para ler dados de um Armazenamento de Blobs do Azure.

Captura de tela mostrando o fluxo de dados da Origem OLE DB para o Destino de Blob do Azure.

Captura de tela mostrando o fluxo de dados da Origem de Blob do Azure para o Destino OLE DB.

Use o contêiner Loop Foreach com o enumerador de Blob do Azure para processar dados em vários arquivos de blob.

Captura de tela mostrando o contêiner do Loop Foreach do fluxo de controle.

Notas de versão

Versão 1.21.0

Aprimoramentos

  1. log4j atualizado da versão 1.2.17 para 2.17.1.

Versão 1.20.0

Aprimoramentos

  1. A versão de destino do .NET Framework foi atualizada de 4.6 para 4.7.2.
  2. A "Tarefa de upload do SQL DW do Azure" foi renomeada como "Tarefa do Azure Synapse Analytics".

Correções de bugs

  1. Ao acessar o Armazenamento de Blobs do Azure e o computador que executa o SSIS em uma localidade não pt-BR, haverá falha na execução do pacote com a mensagem de erro "A cadeia de caracteres não é reconhecida como um valor de DateTime válido".
  2. No Gerenciador de Conexões do Armazenamento do Azure, o segredo é necessário (porém não usado), mesmo quando a identidade gerenciada do Data Factory é usada para executar uma autenticação.

Versão 1.19.0

Aprimoramentos

  1. Foi adicionado suporte para a autenticação de assinatura de acesso compartilhado ao gerenciador de conexões do Armazenamento do Azure.

Versão 1.18.0

Aprimoramentos

  1. Para uma tarefa de arquivo flexível, há três aprimoramentos: (1) o suporte a curingas em operações de cópia/exclusão foi adicionado; (2) o usuário pode habilitar/desabilitar a pesquisa recursiva na operação de exclusão; e (3) o nome do arquivo do destino para a operação de cópia pode estar vazio para manter o nome do arquivo de origem.

Versão 1.17.0

Esta é uma versão de hotfix lançada somente para o SQL Server 2019.

Correções de bugs

  1. Ao executar no Visual Studio 2019 e direcionar para o SQL Server 2019, uma tarefa/origem/destino de arquivo flexível poderá falhar, com a mensagem de erro Attempted to access an element as a type incompatible with the array.
  2. Ao executar no Visual Studio 2019 e direcionar para o SQL Server 2019, uma origem/destino de arquivo flexível usando o formato ORC/Parquet poderá falhar, com a mensagem de erro Microsoft.DataTransfer.Common.Shared.HybridDeliveryException: An unknown error occurred. JNI.JavaExceptionCheckException.

Versão 1.16.0

Correções de bugs

  1. Em determinados casos, a execução do pacote relata o "Erro: Não foi possível carregar o arquivo ou assembly 'Newtonsoft.Json, Version=11.0.0.0, Culture=neutral, PublicKeyToken=30ad4fe6b2a6aeed' ou uma de suas dependências".

Versão 1.15.0

Aprimoramentos

  1. Adicionar operação de exclusão de pasta/arquivo à Tarefa de Arquivo Flexível
  2. Adicionar função de conversão de tipo de dados de Saída/Externo na Origem de Arquivo Flexível

Correções de bugs

  1. Em determinados casos, o teste de conexão do Data Lake Storage Gen2 apresenta problemas de funcionamento com a mensagem de erro "Tentativa de acessar um elemento como um tipo incompatível com a matriz"
  2. Retorno do suporte para Emulador de Armazenamento do Azure