Método de injeção de rede virtual padrão

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Ao usar o SSIS (SQL Server Integration Services) no ADF (Azure Data Factory) ou nos Pipelines do Synapse, há dois métodos para ingressar o Azure-SSIS IR (runtime de integração) a uma rede virtual: padrão e expressa. Se você usar o método padrão, precisará configurar sua rede virtual para atender a estes requisitos:

• Verifique na assinatura do Azure se Microsoft.Batch é um provedor de recursos registrado com a rede virtual para o Azure-SSIS IR ingressar. Para obter instruções detalhadas, confira a seção Registrar Lote do Azure como provedor de recursos.

• Verifique se o usuário que vai criar o Azure-SSIS IR recebeu as permissões necessárias de RBAC (controle de acesso baseado em função) para ingressar na rede virtual/sub-rede. Para obter mais informações, confira a seção Selecionar permissões de rede virtual abaixo.

• Selecione uma sub-rede apropriada na rede virtual para seu Azure-SSIS IR ingressar. Para obter mais informações, confira a seção Selecionar uma sub-rede abaixo.

Dependendo do seu cenário específico, você também pode configurar o seguinte:

• Se quiser trazer seus próprios endereços IP públicos estáticos para o tráfego de saída do Azure-SSIS IR, confira a seção Configurar endereços IP públicos estáticos abaixo.

• Se quiser usar seu próprio servidor DNS (sistema de nomes de domínio) na rede virtual, confira a seção Configurar um servidor DNS personalizado abaixo.

• Se quiser usar um NSG (grupo de segurança de rede) para limitar o tráfego de entrada/saída na sub-rede, confira a seção Configurar um NSG abaixo.

• Se quiser usar UDRs (rotas definidas pelo usuário) para auditar/inspecionar o tráfego de saída, confira a seção Configurar UDRs abaixo.

• Verifique se o grupo de recursos da rede virtual (ou o grupo de recursos dos endereços IP públicos, caso você traga seus endereços IP públicos) pode criar e excluir determinados recursos de rede do Azure. Para obter mais informações, confira Configurar o grupo de recursos relevante.

• Se você personalizar o Azure-SSIS IR, conforme descrito no artigo Instalação personalizada do Azure-SSIS IR, nosso processo interno usado para gerenciar os nós consumirá os endereços IP privados de um intervalo predefinido de 172.16.0.0 a 172.31.255.255. Consequentemente, verifique se os intervalos de endereços IP privados das redes virtuais ou locais não colidem com esse intervalo.

Este diagrama mostra as conexões necessárias para o Azure-SSIS IR:

Selecionar permissões de rede virtual

Para habilitar a injeção de rede virtual padrão, o usuário que está criando o Azure-SSIS IR deve receber as permissões RBAC necessárias para ingressar na sub-rede/rede virtual.

• Se ingressar no seu Azure-SSIS IR em uma rede virtual do Azure Resource Manager, você terá duas opções:

  • Use a função interna de Colaborador de Rede. Essa função vem com a permissão Microsoft.Network/*, que tem um escopo muito maior do que o necessário.

  • Crie uma função personalizada que inclua apenas a permissão Microsoft.Network/virtualNetworks/*/join/action necessária. Se desejar trazer seus endereços IP públicos estáticos para o Azure-SSIS IR ao ingressá-lo em uma rede virtual do Azure Resource Manager, inclua também a permissão Microsoft.Network/publicIPAddresses/*/join/action na função.

  • Para obter instruções detalhadas, confira a seção Conceder permissões de rede virtual.

• Se estiver ingressando seu Azure-SSIS IR em uma rede virtual clássica, recomendamos usar a função integrada Colaborador da Máquina Virtual Clássica. Caso contrário, você terá que criar uma função personalizada que inclua a permissão para ingressar na rede virtual. Você também precisa atribuir MicrosoftAzureBatch a essa função integrada/personalizada.

Selecione uma sub-rede

Para habilitar a injeção de rede virtual padrão, você deve selecionar uma sub-rede apropriada para o Azure-SSIS IR ingressar:

• Não selecione o GatewaySubnet porque ele é dedicado para gateways de rede virtual.

• Verifique se a sub-rede selecionada tem endereços IP disponíveis pelo menos para o dobro da quantidade dos seus nós do Azure-SSIS IR. Eles são necessários para evitar interrupções ao lançar patches/atualizações para seu Azure-SSIS IR. O Azure também reserva alguns endereços IP que não podem ser usados em cada sub-rede. Os primeiros e os últimos endereços IP são reservados para conformidade do protocolo, enquanto mais três endereços são reservados para serviços do Azure. Para obter mais informações, confira a seção Restrições de endereço IP da sub-rede .

• Não use uma sub-rede que esteja exclusivamente ocupada por outros serviços do Azure (por exemplo, Instância Gerenciada de SQL do Azure, Serviço de Aplicativo etc).

Configurar endereços IP públicos estáticos

Se quiser trazer seus próprios endereços IP públicos estáticos para o tráfego de saída do Azure-SSIS IR ao ingressá-lo em uma rede virtual, para permiti-los em seus firewalls, verifique se atendem aos seguintes requisitos:

• Devem ser fornecidos exatamente dois endereços não utilizados que ainda não estejam associados a outros recursos do Azure. O endereço extra será usado quando atualizarmos periodicamente o Azure-SSIS IR. Observe que um endereço IP público não pode ser compartilhado entre seus Azure-SSIS IRs ativos.

• Eles devem ser estáticos do tipo Standard. Confira a seção SKUs de endereço IP público para obter mais detalhes.

• Eles devem ter um nome DNS. Se você não forneceu um nome DNS ao criá-los, faça isso no portal do Azure.

  

• Eles e a rede virtual devem estar na mesma assinatura e na mesma região.

Configurar os servidores DNS personalizados

Se quiser usar seu próprio servidor DNS na rede virtual para resolver seus nomes de host privados, verifique se ele também pode resolver nomes de host globais do Azure (por exemplo, seu Armazenamento de Blobs do Azure chamado <your storage account>.blob.core.windows).

Recomendamos que você configure seu próprio servidor DNS para encaminhar solicitações de DNS não resolvidas ao endereço IP de resolvedores recursivos do Azure (168.63.129.16).

Para obter mais informações, confira a seção Resolução de nomes do servidor DNS.

Configurar um NSG

Se quiser usar um NSG na sub-rede ingressada pelo seu Azure-SSIS IR, permita o seguinte tráfego de entrada e saída:

Configurar UDRs

Se quiser auditar/inspecionar o tráfego de saída de seu Azure-SSIS IR, você poderá usar UDRs (rotas definidas pelo usuário) para redirecioná-lo a um dispositivo de firewall local via Azure ExpressRoute, por meio de um túnel forçado que anuncia uma rota BGP (border gateway protocol) 0.0.0.0/0 para a rede virtual, para um NVA (dispositivo de virtualização de rede) configurado como firewall ou para o serviço Firewall do Azure.

Para isso funcionar, você deve garantir o seguinte:

• O tráfego entre o serviço de gerenciamento do Lote do Azure e seu Azure-SSIS IR não deve ser roteado para um serviço/dispositivo de firewall.

• O serviço/dispositivo de firewall deve permitir o tráfego de saída exigido pelo Azure-SSIS IR.

Se o tráfego entre o serviço de gerenciamento do Lote do Azure e seu Azure-SSIS IR for roteado para um serviço/dispositivo de firewall, ele será desfeito devido ao roteamento assimétrico. As UDRs devem ser definidas para esse tráfego, de modo que ele possa sair pelas mesmas rotas por onde entrou. Você pode configurar UDRs para rotear o tráfego entre o serviço de gerenciamento do Lote do Azure e seu Azure-SSIS IR com o tipo do próximo salto como Internet.

Por exemplo, se o Azure-SSIS IR estiver localizado no Sul do Reino Unido e você quiser inspecionar o tráfego de saída por meio do Firewall do Azure, primeiro você pode obter a lista de intervalos de IP da marca de serviço BatchNodeManagement.UKSouth por meio do link de download do intervalo de IPs de marcas de serviço ou por meio da API de descoberta de marcas de serviço. Depois, pode configurar as seguintes UDRs para rotas de intervalo de IP relevantes com o tipo do próximo salto como Internet e a rota 0.0.0.0/0 com o tipo do próximo salto como Dispositivo virtual.

Você pode executar o seguinte script do PowerShell a fim de adicionar UDRs para o serviço de gerenciamento do Lote do Azure:

$Location = "[location of your Azure-SSIS IR]"
$RouteTableResourceGroupName = "[name of Azure resource group that contains your route table]"
$RouteTableResourceName = "[resource name of your route table]"
$RouteTable = Get-AzRouteTable -ResourceGroupName $RouteTableResourceGroupName -Name $RouteTableResourceName
$ServiceTags = Get-AzNetworkServiceTag -Location $Location
$BatchServiceTagName = "BatchNodeManagement." + $Location
$UdrRulePrefixForBatch = $BatchServiceTagName
if ($ServiceTags -ne $null)
{
    $BatchIPRanges = $ServiceTags.Values | Where-Object { $_.Name -ieq $BatchServiceTagName }
    if ($BatchIPRanges -ne $null)
    {
        Write-Host "Start adding UDRs to your route table..."
        for ($i = 0; $i -lt $BatchIPRanges.Properties.AddressPrefixes.Count; $i++)
        {
            $UdrRuleName = "$($UdrRulePrefixForBatch)_$($i)"
            Add-AzRouteConfig -Name $UdrRuleName `
                -AddressPrefix $BatchIPRanges.Properties.AddressPrefixes[$i] `
                -NextHopType "Internet" `
                -RouteTable $RouteTable `
                | Out-Null
            Write-Host "Add $UdrRuleName to your route table..."
        }
        Set-AzRouteTable -RouteTable $RouteTable
    }
}
else
{
    Write-Host "Failed to fetch Azure service tag, please confirm that your location is valid."
}

Seguindo nossas diretrizes na seção Configurar um NSG acima, você deve implementar regras semelhantes no serviço/dispositivo de firewall para permitir o tráfego de saída do seu Azure-SSIS IR:

• Se você usa o Firewall do Azure:

  • A porta 443 deve estar aberta para tráfego TCP de saída com a marca de serviço AzureCloud como destino.

  • Se você usar a Instância Gerenciada ou o servidor do Banco de Dados SQL do Azure para hospedar o SSISDB, deverá abrir as portas 1433, 11000-11999 para o tráfego TCP de saída com a marca de serviço Sql/VirtualNetwork como destino.

  • Se você usar o contêiner de blob do Armazenamento do Azure para armazenar seus scripts/arquivos de instalação personalizada padrão, deverá abrir a porta 443 para o tráfego TCP de saída com a marca de serviço Storage/VirtualNetwork como destino.

  • Se você precisar acessar Arquivos do Azure, deverá abrir a porta 445 para o tráfego TCP de saída com a marca de serviço Storage/VirtualNetwork como destino.

• Se você usar outro serviço/dispositivo de firewall:

  • Você deve abrir a porta 443 para o tráfego TCP de saída com 0.0.0.0/0 ou os seguintes FQDNs específicos do ambiente do Azure como destino.

    Ambiente do Azure	FQDN
    Público do Azure	Azure Data Factory (Gerenciamento) *.frontend.clouddatahub.net Armazenamento do Azure (Gerenciamento) *.blob.core.windows.net *.table.core.windows.net Registro de Contêiner do Azure (Instalação Personalizada) *.azurecr.io Hubs de Eventos (registro em log) *.servicebus.windows.net Serviço de Log da Microsoft (Uso Interno) gcs.prod.monitoring.core.windows.net prod.warmpath.msftcloudes.com azurewatsonanalysis-prod.core.windows.net
    Azure Governamental	Azure Data Factory (Gerenciamento) *.frontend.datamovement.azure.us Armazenamento do Azure (Gerenciamento) *.blob.core.usgovcloudapi.net *.table.core.usgovcloudapi.net Registro de Contêiner do Azure (Instalação Personalizada) *.azurecr.us Hubs de Eventos (registro em log) *.servicebus.usgovcloudapi.net Serviço de Log da Microsoft (Uso Interno) fairfax.warmpath.usgovcloudapi.net azurewatsonanalysis.usgovcloudapp.net
    Microsoft Azure operado pela 21Vianet	Azure Data Factory (Gerenciamento) *.frontend.datamovement.azure.cn Armazenamento do Azure (Gerenciamento) *.blob.core.chinacloudapi.cn *.table.core.chinacloudapi.cn Registro de Contêiner do Azure (Instalação Personalizada) *.azurecr.cn Hubs de Eventos (registro em log) *.servicebus.chinacloudapi.cn Serviço de Log da Microsoft (Uso Interno) mooncake.warmpath.chinacloudapi.cn azurewatsonanalysis.chinacloudapp.cn

  • Se você usar a Instância Gerenciada ou o servidor do Banco de Dados SQL do Azure para hospedar o SSISDB, deverá abrir as portas 1433, 11000-11999 para o tráfego TCP de saída com 0.0.0.0/0 ou o FQDN da Instância Gerenciada/servidor do Banco de Dados SQL do Azure como destino.

  • Se você usar o contêiner de blob do Armazenamento do Azure para armazenar seus scripts/arquivos de instalação personalizada padrão, deverá abrir a porta 443 para o tráfego TCP de saída com 0.0.0.0/0 ou o FQDN do Armazenamento de Blobs do Azure como destino.

  • Se você precisar acessar Arquivos do Azure, deverá abrir a porta 445 para o tráfego TCP de saída com 0.0.0.0/0 ou o FQDN do Arquivos do Azure como destino.

• Se você configurar um ponto de extremidade de serviço de rede virtual para Armazenamento/Registro de Contêiner/Hubs de Eventos/SQL do Azure, habilitando recursos Microsoft.Storage/Microsoft.ContainerRegistry/Microsoft.EventHub/Microsoft.Sql, respectivamente, na sua sub-rede, todo o tráfego entre o Azure-SSIS IR e esses serviços nas mesmas regiões, ou em regiões emparelhadas, será roteado para a rede de backbone do Azure, em vez de para o serviço/dispositivo de firewall.

• Você deve abrir a porta 80 para tráfego TCP de saída com os seguintes sites de download de CRL como destino:

  • crl.microsoft.com:80
  • mscrl.microsoft.com:80
  • crl3.digicert.com:80
  • crl4.digicert.com:80
  • ocsp.digicert.com:80
  • cacerts.digicert.com:80

  Se você usar certificados com CRLs diferentes, também deverá adicionar seus sites de download como destino. Para obter mais informações, confira o artigo Lista de revogação de certificados.

  Se você bloquear esse tráfego, poderá não só ter uma degradação de desempenho ao iniciar o Azure-SSIS IR, mas também perder a capacidade de verificar as CRLs ao usar certificados, o que não é recomendado do ponto de vista da segurança.

Se você não precisar auditar/inspecionar o tráfego de saída do Azure-SSIS IR, poderá usar UDRs para forçar todo o tráfego com o tipo de próximo salto como Internet:

• Ao usar Azure ExpressRoute, você pode configurar uma UDR para a rota 0.0.0.0/0 em sua sub-rede com o tipo de próximo salto como Internet.

• Ao usar um NVA, você pode modificar a UDR existente para a rota 0.0.0.0/0 em sua sub-rede para alternar o tipo de próximo salto de Dispositivo virtual para Internet.

Configurar o grupo de recursos relevante

Para habilitar a injeção de rede virtual padrão, seu Azure-SSIS IR precisa criar determinados recursos de rede no mesmo grupo de recursos da rede virtual. Esses recursos incluem:

• Um Azure Load Balancer, com o nome <Guid>-azurebatch-cloudserviceloadbalancer.
• Um endereço IP público do Azure, com o nome <Guid>-azurebatch-cloudservicepublicip.
• Um NSG, com o nome <Guid>-azurebatch-cloudservicenetworksecuritygroup.

Esses recursos serão criados quando o Azure-SSIS IR for iniciado. Eles serão excluídos quando o Azure-SSIS IR for interrompido. Se você trouxer seus endereços IP públicos estáticos para o Azure-SSIS IR, eles não serão excluídos quando o Azure-SSIS IR for interrompido. Para evitar o bloqueio do Azure-SSIS IR, não reutilize esses recursos para outras finalidades.

Verifique se você não tem nenhum bloqueio de recurso na assinatura ou no grupo de recursos ao qual a rede virtual ou os endereços IP públicos estáticos pertencem. Se você configurar um bloqueio somente leitura/exclusão, o início e a parada do Azure-SSIS IR falharão ou pararão de responder.

Verifique se você não tem nenhuma atribuição do Azure Policy que impeça os seguintes recursos de serem criados na assinatura/no grupo de recursos ao qual a rede virtual/os endereços IP públicos estáticos pertencem:

• Microsoft.Network/LoadBalancers
• Microsoft.Network/NetworkSecurityGroups
• Microsoft.Network/PublicIPAddresses

Verifique se a cota de recursos para sua assinatura é suficiente para esses recursos. Especificamente, para cada Azure-SSIS IR criado em uma rede virtual, você precisa reservar o dobro da quantidade de recursos, pois os recursos extras serão usados quando atualizarmos periodicamente seu Azure-SSIS IR.

Perguntas frequentes

• Como posso proteger o endereço IP público exposto no Azure-SSIS IR para a conexão de entrada? É possível remover o endereço IP público?

  No momento, um endereço IP público será criado automaticamente quando o Azure-SSIS IR ingressar em uma rede virtual. Temos um NSG no nível da NIC para permitir que apenas os serviços de gerenciamento do Lote do Azure se conectem pela entrada ao Azure-SSIS IR. Você também pode especificar um NSG no nível da sub-rede para a proteção de entrada.

  Se você não quiser que nenhum endereço IP público seja exposto, considere a possibilidade de configurar um IR auto-hospedado como proxy para o Azure-SSIS IR, em vez de ingressar o Azure-SSIS IR em uma rede virtual.

• Posso adicionar o endereço IP público do Azure-SSIS IR à lista de permitidos do firewall das minhas fontes de dados?

  Agora você pode trazer seus endereços IP públicos estáticos para o Azure-SSIS IR. Nesse caso, você pode adicionar os endereços IP à lista de permitidos do firewall para suas fontes de dados. Considere também outras opções abaixo para proteger o acesso a dados do Azure-SSIS IR, dependendo do seu cenário:

  • Se a fonte de dados estiver no local, depois que você conectar uma rede virtual à rede local e ingressar o Azure-SSIS IR na sub-rede da rede virtual, adicione o intervalo de endereços IP privados da sub-rede à lista de permitidos do firewall para a fonte de dados.

  • Se a fonte de dados for um serviço do Azure que dê suporte a pontos de extremidade de serviço de rede virtual, configure um ponto de extremidade de serviço de rede virtual na sua sub-rede de rede virtual e ingresse o Azure-SSIS IR nessa sub-rede. Em seguida, você poderá adicionar uma regra da rede virtual com essa sub-rede ao firewall para a fonte de dados.

  • Se a fonte de dados for um serviço de nuvem que não seja do Azure, use uma UDR para rotear o tráfego de saída do Azure-SSIS IR para seu endereço IP público estático via um Firewall do Azure/NVA. Em seguida, você poderá adicionar o endereço IP público estático de seu NVA/Firewall do Azure à lista de permitidos do firewall para a fonte de dados.

  • Se nenhuma das opções acima atender às suas necessidades, considere a possibilidade de configurar um IR auto-hospedado como proxy para o Azure-SSIS IR. Em seguida, você poderá adicionar o endereço IP público estático do computador que hospeda o IR auto-hospedado à lista de permitidos do firewall para a fonte de dados.

• Por que precisarei fornecer dois endereços públicos estáticos se eu quiser trazer endereços próprios para o Azure-SSIS IR?

  O Azure-SSIS IR é atualizado de maneira automática regularmente. Outros nós são criados durante a atualização e os antigos serão excluídos. No entanto, para evitar o tempo de inatividade, os nós antigos não serão excluídos até que os novos estejam prontos. Portanto, o primeiro endereço IP público estático usado pelos nós antigos não pode ser liberado imediatamente, e precisamos do segundo endereço IP público estático para criar os nós.

• Eu trouxe meus endereços IP públicos estáticos para o Azure-SSIS IR. Por que ele ainda não consegue acessar minhas fontes de dados?

  Confirme se os dois endereços IP públicos estáticos foram adicionados à lista de permitidos do firewall para as fontes de dados. Toda vez que o Azure-SSIS IR é atualizado, o endereço IP público estático é alternado entre esses dois trazidos por você. Se você adicionar apenas um deles à lista de permitidos, o acesso a dados do Azure-SSIS IR será interrompido após a atualização.

  Se a fonte de dados for um serviço do Azure, verifique se você a configurou com pontos de extremidade de serviço de rede virtual. Se esse for o caso, o tráfego do Azure-SSIS IR para a fonte de dados mudará para usar os endereços IP privados gerenciados pelos serviços do Azure, e a adição dos endereços IP públicos estáticos à lista de permitidos do firewall para a fonte de dados não entrará em vigor.

Conteúdo relacionado

• Ingressar o Azure-SSIS IR a uma rede virtual por meio da interface do usuário do ADF
• Ingressar o Azure-SSIS IR a uma rede virtual por meio do Azure PowerShell

Para obter mais informações sobre o Azure-SSIS IR, confira os seguintes artigos:

• Azure-SSIS IR. Este artigo fornece informações conceituais gerais sobre IRs, incluindo o Azure-SSIS IR.
• Tutorial: Implantar pacotes SSIS no Azure. Este tutorial fornece instruções passo a passo sobre como criar o Azure-SSIS IR. Ele usa o servidor do Banco de Dados SQL do Azure para hospedar o SSISDB.
• Criar um Azure-SSIS IR. Este artigo expande o tutorial. Ele fornece instruções sobre como usar o servidor do Banco de Dados SQL do Azure configurado com um ponto de extremidade de serviço de rede virtual/regra de firewall IP/ponto de extremidade privado ou uma Instância Gerenciada de SQL do Azure que se une a uma rede virtual para hospedar o SSISDB. Também mostra como unir o seu Azure-SSIS IR a uma rede virtual.
• Monitore um IR do Azure-SSIS. Este artigo mostra como recuperar e entender as informações sobre seu Azure-SSIS IR.
• Gerencie um IR do Azure-SSIS. Este artigo mostra como interromper, iniciar ou excluir um Azure-SSIS IR. Ele também mostra como escalar horizontalmente o IR do Azure-SSIS adicionando mais nós.