Criar e gerenciar um runtime de integração auto-hospedado

O IR (integration runtime) é a infraestrutura de computação que o Microsoft Purview usa para alimentar a verificação de dados em diferentes ambientes de rede.

Um SHIR (runtime de integração auto-hospedado) pode ser usado para verificar a fonte de dados em uma rede local ou em uma rede virtual. A instalação de um runtime de integração auto-hospedada precisa de uma máquina local ou de uma máquina virtual dentro de uma rede privada.

Este artigo aborda a configuração de um runtime de integração auto-hospedada e a solução de problemas e o gerenciamento.

Pré-requisitos

• As versões com suporte do Windows são:
  • Windows 8.1
  • Windows 10
  • Windows 11
  • Windows Server 2012
  • Windows Server 2012 R2
  • Windows Server 2016
  • Windows Server 2019
  • Windows Server 2022

Não há suporte para a instalação do runtime de integração auto-hospedada em um controlador de domínio.

• Para adicionar e gerenciar uma SHIR no Microsoft Purview, você precisará de permissões de administrador de fonte de dados no Microsoft Purview.

• O runtime de integração auto-hospedada requer um Sistema Operacional de 64 bits com .NET Framework 4.7.2 ou superior. Consulte .NET Framework Requisitos do Sistema para obter detalhes.

• A configuração mínima recomendada para o computador de runtime de integração auto-hospedada é um processador de 2 GHz com 8 núcleos, 28 GB de RAM e 80 GB de espaço disponível em disco rígido. A verificação de algumas fontes de dados pode exigir especificações de máquina mais altas com base em seu cenário. Também marcar os pré-requisitos no artigo do conector correspondente.

• Se o computador host hibernar, o runtime de integração auto-hospedado não responderá às solicitações de dados. Configure um plano de energia apropriado no computador antes de instalar o runtime de integração auto-hospedada. Se o computador estiver configurado para hibernar, o instalador de runtime de integração auto-hospedado solicitará uma mensagem.

• Você deve ser um administrador no computador para instalar e configurar com êxito o runtime de integração auto-hospedada.

• As execuções de verificação ocorrem com uma frequência específica de acordo com a agenda configurada. O uso de processador e RAM no computador segue o mesmo padrão com horários de pico e ociosidade. O uso de recursos também depende muito da quantidade de dados que são verificados. Quando vários trabalhos de verificação estão em andamento, você vê que o uso de recursos aumenta durante os horários de pico.

Considerações sobre como usar um IR auto-hospedado

• Você pode usar um único runtime de integração auto-hospedada para verificar várias fontes de dados.
• Você pode instalar apenas uma instância do runtime de integração auto-hospedada em qualquer computador. Se você tiver duas contas do Microsoft Purview que precisam examinar fontes de dados locais, instale o IR auto-hospedado em dois computadores, uma para cada conta do Microsoft Purview.
• O runtime de integração auto-hospedado não precisa estar no mesmo computador que a fonte de dados, a menos que especialmente chamado como um pré-requisito no respectivo artigo de origem. Ter o runtime de integração auto-hospedado perto da fonte de dados reduz o tempo para o runtime de integração auto-hospedado se conectar à fonte de dados.

Configurando um runtime de integração auto-hospedado

Para criar e configurar um runtime de integração auto-hospedado, use os procedimentos a seguir.

Criar um runtime de integração auto-hospedado

1. Na página inicial do portal de governança do Microsoft Purview, selecione Mapa de Dados no painel de navegação esquerdo.

2. Em Fontes e verificação no painel esquerdo, selecione Runtimes de integração e selecione + Novo.

   

3. Na página configuração do runtime de integração , selecione Auto-hospedado para criar um IR auto-hospedado e selecione Continuar.

   

4. Insira um nome para seu IR e selecione Criar.

5. Na página de configurações Integration Runtime, siga as etapas na seção Configuração manual. Você terá que baixar o runtime de integração do site de download em uma VM ou computador em que pretende executá-lo.

   

   • Copie e cole a chave de autenticação.

   • Baixe o runtime de integração auto-hospedada de Microsoft Integration Runtime em um computador Windows local. Execute o instalador. Há suporte para versões de runtime de integração auto-hospedada, como 5.4.7803.1 e 5.6.7795.1.

   • Na página Registrar Integration Runtime (auto-hospedado), cole uma das duas chaves salvas anteriormente e selecione Registrar.

     

   • Na página Novo nó Integration Runtime (auto-hospedado), selecione Concluir.

6. Depois que o runtime de integração auto-hospedada for registrado com êxito, você verá a seguinte janela:

   

Você pode registrar vários nós para um runtime de integração auto-hospedado usando a mesma chave. Saiba mais com Alta disponibilidade e escalabilidade.

Gerenciar um runtime de integração auto-hospedado

Você pode editar um runtime de integração auto-hospedada navegando até runtimes de integração no portal de governança do Microsoft Purview, passe o mouse no IR e selecione o botão Editar .

• Na guia Configurações , você pode atualizar a descrição, copiar a chave ou regenerar novas chaves.
• Na guia Nós, você pode ver uma lista dos nós registrados, juntamente com o status, endereço IP e a opção de exclusão de nó. Saiba mais com Alta disponibilidade e escalabilidade.
• Na guia Versão, você pode ver a versão IR status. Saiba mais com a atualização automática do runtime de integração auto-hospedada e a notificação de expiração.

Você pode excluir um runtime de integração auto-hospedado navegando até runtimes de Integração, passe o mouse no IR e selecione o botão Excluir .

Ícones e notificações da área de notificação

Se você mover o cursor sobre o ícone ou mensagem na área de notificação, poderá ver detalhes sobre o estado do runtime de integração auto-hospedada.

Conta de serviço para o runtime de integração auto-hospedada

A conta de serviço de entrada padrão do runtime de integração auto-hospedada é NT SERVICE\DIAHostService. Você pode vê-lo em Serviços –> Serviço de Integration Runtime –> Propriedades –> Logon.

Verifique se a conta tem a permissão de logon como serviço. Caso contrário, o runtime de integração auto-hospedado não pode começar com êxito. Você pode marcar a permissão na Política de Segurança Local –> Configurações de Segurança –> Políticas Locais –> Atribuição de Direitos do Usuário –> Fazer logon como um serviço

Alta disponibilidade e escalabilidade

Você pode associar um runtime de integração auto-hospedado a várias máquinas locais ou máquinas virtuais no Azure. Esses computadores são chamados de nós. Você pode ter até quatro nós associados a um runtime de integração auto-hospedado. Os benefícios de ter vários nós são:

• Maior disponibilidade do runtime de integração auto-hospedada para que ele não seja mais o único ponto de falha para verificação. Essa disponibilidade ajuda a garantir a continuidade quando você usa até quatro nós.
• Execute verificações mais simultâneas. Cada runtime de integração auto-hospedada pode capacitar muitas execuções de verificação ao mesmo tempo, determinadas automaticamente com base na CPU/memória do computador. Você pode instalar mais nós se tiver mais necessidade de simultaneidade.
• Ao examinar fontes como Blob do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e Arquivos do Azure, cada execução de verificação pode aproveitar todos esses nós para aumentar o desempenho da verificação. Para outras fontes, a verificação será executada em um dos nós.

Você pode associar vários nós instalando o software de runtime de integração auto-hospedada do Centro de Download. Em seguida, registre-o usando a mesma chave de autenticação.

Requisitos de rede

Seu computador de runtime de integração auto-hospedada precisa se conectar a vários recursos para funcionar corretamente:

• Os serviços do Microsoft Purview usados para gerenciar o runtime de integração auto-hospedado.
• As fontes de dados que você deseja examinar usando o runtime de integração auto-hospedada.
• A conta de armazenamento gerenciada criada pelo Microsoft Purview. O Microsoft Purview usa esses recursos para ingerir os resultados da verificação, entre muitas outras coisas, de modo que o runtime de integração auto-hospedado precisa ser capaz de se conectar com esses recursos.

Há dois firewalls a serem considerados:

• O firewall corporativo executado no roteador central da organização
• O firewall do Windows configurado como um daemon no computador local em que o runtime de integração auto-hospedado está instalado

Aqui estão os domínios e portas de saída que você precisa permitir em firewalls corporativos e windows/computador.

Dependendo das fontes que você deseja examinar, você também precisa permitir outros domínios e portas de saída para outras fontes externas ou do Azure. Alguns exemplos são fornecidos aqui:

Para alguns armazenamentos de dados de nuvem, como SQL do Azure Banco de Dados e Armazenamento do Azure, talvez seja necessário permitir o endereço IP do computador de runtime de integração auto-hospedada em sua configuração de firewall ou criar um ponto de extremidade privado do serviço na rede do runtime de integração auto-hospedada.

Obter URL do Retransmissão do Azure

Um domínio e uma porta necessários que precisam ser colocados na lista de permissões do firewall é para a comunicação com o Retransmissão do Azure. O runtime de integração auto-hospedada o usa para criação interativa, como conexão de teste e pesquisa de pasta/lista de tabelas. Se você não quiser permitir o .servicebus.windows.net e quiser ter URLs mais específicas, poderá ver todas as FQDNs necessárias pelo runtime de integração auto-hospedada. Siga estas etapas:

1. Acesse o portal de governança do Microsoft Purview – Mapa de> dados –> Runtimes de integração e edite seu runtime de integração auto-hospedado.

2. Na página Editar, selecione Guia Nós .

3. Selecione Exibir URLs de Serviço para obter todas as FQDNs.

   

4. Você pode adicionar essas FQDNs na lista de permissões de regras de firewall.

Considerações do servidor proxy

Se o ambiente de rede corporativa usar um servidor proxy para acessar a Internet, configure o runtime de integração auto-hospedado para usar as configurações de proxy apropriadas. Você pode definir o proxy durante a fase de registro inicial ou depois que ele estiver sendo registrado.

Quando configurado, o runtime de integração auto-hospedado usa o servidor proxy para se conectar aos serviços que usam o protocolo HTTP ou HTTPS. É por isso que você seleciona Alterar link durante a instalação inicial.

Há duas opções de configuração com suporte do Microsoft Purview:

• Não use proxy: o runtime de integração auto-hospedado não usa explicitamente nenhum proxy para se conectar aos serviços de nuvem.
• Use proxy do sistema: o runtime de integração auto-hospedado usa a configuração de proxy configurada nos arquivos de configuração do executável. Se nenhum proxy for especificado nesses arquivos, o runtime de integração auto-hospedado se conectará diretamente aos serviços sem passar por um proxy.
• Use proxy personalizado: configure a configuração de proxy HTTP a ser usada para o runtime de integração auto-hospedada, em vez de usar configurações em diahost.exe.config e diawp.exe.config. Os valores de endereço e porta são necessários. Os valores Nome de Usuário e Senha são opcionais, dependendo da configuração de autenticação do proxy. Todas as configurações são criptografadas com o DPAPI do Windows no runtime de integração auto-hospedada e armazenadas localmente no computador.

O serviço de host de runtime de integração é reiniciado automaticamente depois que você salva as configurações de proxy atualizadas.

Depois de registrar o runtime de integração auto-hospedada, se quiser exibir ou atualizar as configurações de proxy, use Microsoft Integration Runtime Configuration Manager.

1. Abra Microsoft Integration Runtime Configuration Manager.
2. Selecione a guia Configurações.
3. Em Proxy HTTP, selecione o link Alterar para abrir a caixa de diálogo Definir Proxy HTTP .
4. Selecione Avançar. Em seguida, você verá um aviso que pede sua permissão para salvar a configuração do proxy e reiniciar o serviço de host do runtime de integração.

Se estiver usando o proxy do sistema, certifique-se de que o servidor proxy permita o tráfego de saída para as regras de rede.

Definir as configurações do servidor proxy

Se você selecionar a opção Usar proxy do sistema para o proxy HTTP, o runtime de integração auto-hospedada usará as configurações de proxy nos quatro arquivos a seguir no caminho C:\Arquivos do Programa\Microsoft Integration Runtime\5.0\ para executar operações diferentes:

• .\Shared\diahost.exe.config
• .\Shared\diawp.exe.config
• .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
• .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config

Quando nenhum proxy é especificado nesses arquivos, o runtime de integração auto-hospedado se conecta diretamente aos serviços sem passar por um proxy.

O procedimento a seguir fornece instruções para atualizar o arquivo diahost.exe.config .

1. Em Explorador de Arquivos, faça uma cópia segura do C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config como um backup do arquivo original.

2. Abra o Bloco de Notas em execução como administrador.

3. No Bloco de Notas, abra o arquivo de texto C:\Arquivos do Programa\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config.

4. Localize a marca de system.net padrão, conforme mostrado no seguinte código:

   <system.net>
       <defaultProxy useDefaultCredentials="true" />
   </system.net>
   

   Em seguida, você pode adicionar detalhes do servidor proxy, conforme mostrado no exemplo a seguir:

   <system.net>
     <defaultProxy>
       <proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" />
     </defaultProxy>
   </system.net>
   

   A marca de proxy permite que outras propriedades especifiquem as configurações necessárias, como scriptLocation. Consulte <Elemento proxy> (Configurações de Rede) para obter sintaxe.

   <proxy autoDetect="true|false|unspecified" bypassonlocal="true|false|unspecified" proxyaddress="uriString" scriptLocation="uriString" usesystemdefault="true|false|unspecified "/>
   

5. Salve o arquivo de configuração em seu local original.

Repita o mesmo procedimento para atualizar arquivosdiawp.exe.config e Microsoft.DataMap.Agent.exe.config .

Em seguida, vá para o caminho C:\Arquivos do Programa\Microsoft Integration Runtime\5.0\Gateway\DataScan\DataTransfer, crie um arquivo chamado "Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config", e configure a configuração do proxy da seguinte maneira. Você também pode estender as configurações conforme descrito acima.

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <system.net>
    <defaultProxy>
      <proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" />
    </defaultProxy>
  </system.net>
</configuration>

O tráfego local deve ser excluído do proxy, por exemplo, se sua conta do Microsoft Purview estiver atrás de pontos de extremidade privados. Nesses casos, atualize os quatro arquivos a seguir no caminho para incluir a lista de bypass C:\Arquivos do Programa\Microsoft Integration Runtime\5.0\ com a lista de bypass necessária:

• .\Shared\diahost.exe.config
• .\Shared\diawp.exe.config
• .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
• .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config

Um exemplo de lista de bypass para verificar um banco de dados SQL do Azure e o Armazenamento de geração 2 do ADLS:

 <system.net>
   <defaultProxy>
     <bypasslist>
       <add address="scaneastus4123.blob.core.windows.net" />
       <add address="scaneastus4123.queue.core.windows.net" />
       <add address="Atlas-abc12345-1234-abcd-a73c-394243a566fa.servicebus.windows.net" />
       <add address="contosopurview123.purview.azure.com" />
       <add address="contososqlsrv123.database.windows.net" />
       <add address="contosoadls123.dfs.core.windows.net" />
       <add address="contosoakv123.vault.azure.net" />
     </bypasslist>
     <proxy proxyaddress=http://proxy.domain.org:8888 bypassonlocal="True" />
   </defaultProxy>
 </system.net>

Reinicie o serviço de host de runtime de integração auto-hospedada, que capta as alterações. Para reiniciar o serviço, use o applet de serviços de Painel de Controle. Ou, em Integration Runtime Configuration Manager, selecione o botão Parar Serviço e, em seguida, selecione Iniciar Serviço. Se o serviço não for iniciado, você provavelmente adicionará sintaxe de marca XML incorreta no arquivo de configuração do aplicativo editado.

Você também precisa ter certeza de que o Microsoft Azure está na lista de permissões da sua empresa. Você pode baixar a lista de endereços IP válidos do Azure. Os intervalos de IP para cada nuvem, divididos por região e pelos serviços marcados nessa nuvem agora estão disponíveis no MS Download:

• Público: https://www.microsoft.com/download/details.aspx?id=56519

Possíveis sintomas para problemas relacionados ao firewall e ao servidor proxy

Se você vir mensagens de erro como as seguintes, o motivo provável é a configuração inadequada do firewall ou do servidor proxy. Essa configuração impede que o runtime de integração auto-hospedado se conecte aos serviços do Microsoft Purview. Para garantir que o firewall e o servidor proxy estejam configurados corretamente, consulte a seção anterior.

• Ao tentar registrar o runtime de integração auto-hospedada, você recebe a seguinte mensagem de erro: "Falha ao registrar este nó Integration Runtime! Confirme se a chave autenticação é válida e que o serviço de host do serviço de integração está sendo executado neste computador.".

• Ao abrir Integration Runtime Configuration Manager, você verá uma status de Desconectado ou Conectado. Ao exibir logs de eventos do Windows em logs de Visualizador de Eventos>Application e Services>Microsoft Integration Runtime, você verá mensagens de erro como esta:

  Unable to connect to the remote server
  A component of Integration Runtime has become unresponsive and restarts automatically. Component name: Integration Runtime (Self-hosted)
  

Instalação do Ambiente do Java Runtime

Se você examinar arquivos parquet usando o runtime de integração auto-hospedada com o Microsoft Purview, precisará instalar o Ambiente do Java Runtime ou o OpenJDK em seu computador IR auto-hospedado.

Ao examinar arquivos parquet usando o IR auto-hospedado, o serviço localiza o runtime java verificando primeiro o registro (HKEY_LOCAL_MACHINE\SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) para JRE, se não encontrado, verificando em segundo lugar a variável JAVA_HOME do sistema para OpenJDK. Você pode definir JAVA_HOME em Configurações do Sistema, Variáveis de Ambiente em seu computador. Crie ou edite a variável JAVA_HOME para apontar para o java jre em seu computador. Por exemplo: C:\Program Files\Java\jdk1.8\jre

• Para usar JRE: o IR de 64 bits requer JRE de 64 bits. Você pode encontrá-lo a partir daqui.
• Para usar o OpenJDK: ele tem suporte desde a versão 3.13 do IR. Empacote o jvm.dll com todos os outros assemblies necessários do OpenJDK no computador IR auto-hospedado e defina a variável de ambiente do sistema JAVA_HOME de acordo.

Próximas etapas

• Arquitetura de rede do Microsoft Purview e práticas recomendadas

• Usar pontos de extremidade privados com o Microsoft Purview