Conectividade a clusters seguros

Quando a conectividade segura de cluster está habilitada, as redes virtuais do cliente não têm portas abertas e os recursos de computação no plano de computação clássico não têm endereços IP públicos. A conectividade de cluster seguro também é conhecida como Sem IP Público (NPIP).

• Em um nível de rede, cada cluster inicia uma conexão com o relé de conectividade de cluster seguro do plano de controle durante a criação do cluster. O cluster estabelece essa conexão usando a porta 443 (HTTPS) e usa um endereço IP diferente do usado para o aplicativo Web e a API REST.
• Quando o plano de controle inicia logicamente novos trabalhos do Databricks Runtime ou executa outras tarefas de administração de cluster, essas solicitações são enviadas ao cluster por meio desse túnel.
• O plano de computação (a VNet) não tem portas abertas e os recursos clássicos do plano de computação não têm endereços IP públicos.

Benefícios:

• Fácil administração de rede, sem necessidade de configurar portas em grupos de segurança ou de emparelhamento de rede.
• Com segurança aprimorada e administração de rede simples, as equipes de segurança da informação podem agilizar a aprovação do Databricks como um provedor de PaaS.

Usar conectividade de cluster segura

Para usar a conectividade de cluster segura com um novo espaço de trabalho do Azure Databricks, use qualquer uma das opções a seguir.

• Portal do Azure: ao provisionar o espaço de trabalho, vá para a guia Rede e defina a opção Implantar espaço de trabalho do Azure Databricks com Conectividade de Cluster Seguro (Sem IP Público) como Sim.
• Modelos ARM: Para o Microsoft.Databricks/workspaces recurso que cria seu novo espaço de trabalho, defina o enableNoPublicIp parâmetro Boolean como true.

Você pode adicionar conectividade de cluster segura a um espaço de trabalho existente que já usa injeção de VNet. Consulte Adicionar conectividade de cluster seguro a um espaço de trabalho existente.

Se você estiver usando modelos ARM, adicione o parâmetro a um dos modelos a seguir, com base se deseja que o Azure Databricks crie uma rede virtual padrão (gerenciada) para o espaço de trabalho ou se deseja usar sua própria rede virtual, também conhecida como injeção de VNet. A injeção de VNet é um recurso opcional que permite que você forneça sua própria VNet para hospedar novos clusters do Azure Databricks.

• Modelo ARM para configurar um espaço de trabalho usando a VNet padrão (gerenciada).
• Modelo ARM para configurar um espaço de trabalho usando injeção de VNet.

Saída de sub-redes do espaço de trabalho

Quando você habilita a conectividade segura de cluster, ambas as sub-redes do espaço de trabalho são sub-redes privadas, já que os nós de cluster não têm endereços IP públicos.

Os detalhes de implementação da saída de rede variam de acordo com o uso da VNet padrão (gerenciada) ou se você usa o recurso de injeção de VNet opcional para fornecer sua própria VNet na qual implantar seu espaço de trabalho. Consulte as seções a seguir para obter detalhes.

Saída com VNet padrão (gerenciado)

Se você usar a conectividade de cluster segura com a VNet padrão que o Azure Databricks cria, o Azure Databricks criará automaticamente um gateway NAT para o tráfego de saída das sub-redes do seu espaço de trabalho para o backbone do Azure e a rede pública. O gateway NAT é criado dentro do grupo de recursos gerenciados gerenciado pelo Azure Databricks. Não é possível modificar este grupo de recursos ou quaisquer recursos provisionados dentro dele.

O gateway NAT criado automaticamente incorre em custos adicionais.

Saída com injeção de VNet

Se você habilitar a conectividade segura de cluster em seu espaço de trabalho que usa injeção de VNet, o Databricks recomenda que seu espaço de trabalho tenha um IP público de saída estável.

Endereços IP públicos de saída estáveis são úteis porque você pode adicioná-los a listas de permissões externas. Por exemplo, para se conectar do Azure Databricks ao Salesforce com um endereço IP de saída estável.

Escolha uma das seguintes opções:

• Para implantações que precisam de alguma personalização, escolha um gateway NAT do Azure. Configure o gateway em ambas as sub-redes do espaço de trabalho para garantir que todo o tráfego de saída para o backbone do Azure e a rede pública transite por ele. Os clusters têm um IP público de saída estável e você pode modificar a configuração para necessidades de saída personalizadas. Você pode implementar essa solução usando um modelo do Azure ou do portal do Azure.
• Para implantações com requisitos de roteamento complexos ou implantações que usam injeção de VNet com um firewall de saída, como o Firewall do Azure ou outras arquiteturas de rede personalizadas, você pode usar rotas personalizadas chamadas UDRs (rotas definidas pelo usuário). As UDRs garantem que o tráfego de rede seja roteado corretamente para seu espaço de trabalho, seja diretamente para os pontos de extremidade necessários ou por meio de um firewall de saída. Se você usar essa solução, deverá adicionar rotas diretas ou regras de firewall permitidas para a retransmissão de conectividade de cluster seguro do Azure Databricks e outros pontos de extremidade necessários listados em Configurações de rota definidas pelo usuário para o Azure Databricks.

Adicionar conectividade de cluster segura a um espaço de trabalho existente

Pode ativar a conectividade a clusters seguros numa área de trabalho existente. A atualização requer que a área de trabalho utilize a Injeção de VNet.

Você pode usar a interface do usuário do portal, um modelo ARM ou azurerm o provedor Terraform versão 3.41.0+. Você pode usar o portal do Azure para aplicar um modelo personalizado e modificar o parâmetro na interface do usuário. Você também pode atualizar a própria instância do espaço de trabalho do Azure Databricks na interface do usuário do portal do Azure.

Se algo der errado com a atualização para versão superior e precisar de reverter temporariamente a alteração, consulte Reversão temporária da atualização de versão para proteger a conectividade de cluster.

Etapa 1: Pare todos os recursos de computação

Antes de tentar essa atualização, você deve parar todos os recursos de computação, como clusters, pools ou armazéns SQL clássicos. Nenhum recurso de computação do espaço de trabalho pode estar em execução ou a tentativa de atualização falha. A Databricks recomenda planejar o tempo da atualização para o tempo de inatividade.

Etapa 2: atualizar o espaço de trabalho

Você deve atualizar o parâmetro No Public IP (no modelo é enableNoPublicIp). Defina-o com o valor True (true).

Use um destes métodos:

• Usar a interface do usuário do portal do Azure (sem modelo)
• Aplicar um modelo ARM atualizado usando o portal do Azure
• Aplicar uma atualização usando o Terraform

Usar a interface do usuário do portal do Azure (sem modelo)

1. Vá para sua instância do Serviço Azure Databricks no portal do Azure.

2. No painel de navegação esquerdo, em Configurações, clique em Rede.

3. Selecione Sem IP público.

   Nota

   Ao mesmo tempo, você pode optar por habilitar também o Azure Private Link definindo os valores para Permitir Regras NSG Necessárias de Acesso à Rede Pública com os valores apropriados para seu caso de uso. No entanto, configuração e verificação adicionais são necessárias para habilitar o Private Link, portanto, convém fazer isso como uma etapa separada após esta atualização para conectividade de cluster seguro. Para obter detalhes e requisitos importantes, consulte habilitar o Azure Private Link.

4. Clique em Guardar.

A atualização de rede pode levar mais de 15 minutos para ser concluída.

Aplicar um modelo ARM atualizado usando o portal do Azure

1. Copie o seguinte modelo ARM de atualização JSON:

     {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "location": {
               "defaultValue": "[resourceGroup().location]",
               "type": "String",
               "metadata": {
                   "description": "Location for all resources."
               }
           },
           "workspaceName": {
               "type": "String",
               "metadata": {
                   "description": "The name of the Azure Databricks workspace to create."
               }
           },
           "apiVersion": {
               "defaultValue": "2023-02-01",
               "allowedValues": [
                  "2018-04-01",
                  "2020-02-15",
                  "2022-04-01-preview",
                  "2023-02-01"
               ],
               "type": "String",
               "metadata": {
                   "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
               }
           },
           "enableNoPublicIp": {
               "defaultValue": true,
               "type": "Bool"
           },
           "pricingTier": {
               "defaultValue": "premium",
               "allowedValues": [
                   "premium",
                   "standard",
                   "trial"
               ],
               "type": "String",
               "metadata": {
                   "description": "The pricing tier of workspace."
               }
           },
           "publicNetworkAccess": {
             "type": "string",
             "defaultValue": "Enabled",
             "allowedValues": [
               "Enabled",
               "Disabled"
             ],
             "metadata": {
               "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
             }
           },
           "requiredNsgRules": {
             "type": "string",
             "defaultValue": "AllRules",
             "allowedValues": [
               "AllRules",
               "NoAzureDatabricksRules"
             ],
             "metadata": {
               "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
             }
           }
           },
       "variables": {
           "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
           "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
       },
       "resources": [
           {
               "type": "Microsoft.Databricks/workspaces",
               "apiVersion": "[parameters('apiVersion')]",
               "name": "[parameters('workspaceName')]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "[parameters('pricingTier')]"
               },
               "properties": {
                   "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                   "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                   "requiredNsgRules": "[parameters('requiredNsgRules')]",
                   "parameters": {
                       "enableNoPublicIp": {
                           "value": "[parameters('enableNoPublicIp')]"
                       }
                   }
               }
           }
       ]
   }
   

   1. Vá para a página de implantação personalizada do portal do Azure.

   2. Clique em Criar seu próprio modelo no editor.

   3. Cole no JSON para o modelo que você copiou.

   4. Clique em Guardar.

   5. Preencha os parâmetros.

   6. Para atualizar um espaço de trabalho existente, use os mesmos parâmetros que você usou para criar o espaço de trabalho diferente do enableNoPublicIp qual você deve definir como true. Defina a assinatura, região, nome do espaço de trabalho, nomes de sub-rede, ID do recurso da rede virtual existente.

      Importante

      O nome do grupo de recursos, o nome do espaço de trabalho e os nomes da sub-rede são idênticos ao espaço de trabalho existente para que este comando atualize o espaço de trabalho existente em vez de criar um novo espaço de trabalho.

   7. Clique em Rever + Criar.

   8. Se não houver problemas de validação, clique em Criar.

   A atualização de rede pode levar mais de 15 minutos para ser concluída.

Aplicar uma atualização usando o Terraform

Para espaços de trabalho criados com o Terraform, você pode atualizá-lo sem recriá-lo.

Altere as seguintes configurações do espaço de trabalho:

• no_public_ipcustom_parameters no bloco pode ser alterado de false para true.

A atualização de rede pode levar mais de 15 minutos para ser concluída.

Etapa 3: Validar a atualização

Quando o espaço de trabalho estiver no estado ativo, o trabalho de atualização será concluído. Verifique se a atualização foi aplicada:

1. Abra o Azure Databricks em seu navegador da Web.

2. Inicie um dos clusters do espaço de trabalho e aguarde até que o cluster seja totalmente iniciado.

3. Vá para sua instância de espaço de trabalho no portal do Azure.

4. Clique no ID azul ao lado do rótulo de campo Grupo de Recursos Gerenciados.

5. Nesse grupo, localize as VMs do cluster e clique em uma delas.

6. Nas configurações da VM, em Propriedades, procure os campos na área Rede .

7. Confirme se o campo Endereço IP público está vazio.

   Se estiver preenchida, a VM tem um endereço IP público, o que significa que a atualização falhou.

Recuperação de falhas

Se uma atualização de espaço de trabalho falhar, o espaço de trabalho poderá ser marcado como um estado Falha , o que significa que o espaço de trabalho não pode executar operações de computação. Para restaurar um espaço de trabalho com falha de volta ao estado Ativo , revise as instruções na mensagem de status da operação de atualização. Depois de corrigir os problemas, refaça a atualização no espaço de trabalho com falha. Repita as etapas até que a atualização seja concluída com êxito.

Reversão temporária da atualização para conectividade segura de cluster

Se algo der errado durante a implantação, você poderá reverter o processo como uma reversão temporária, mas não há suporte para desabilitar o SCC em um espaço de trabalho, exceto para reversão temporária, antes de continuar a atualização mais tarde. Se isso for necessário temporariamente, você pode seguir as instruções acima para atualização, mas definido enableNoPublicIp como false em vez de true.