Conectividade de cluster seguro

Quando a conectividade segura do cluster está habilitada, as redes virtuais do cliente não têm portas abertas e os recursos de computação no plano de computação clássico não têm endereços IP públicos. A conectividade de cluster segura também é conhecida como nenhum IP público (NPIP).

• Em um nível de rede, cada cluster inicia uma conexão com a retransmissão de conectividade de cluster seguro do plano de controle durante a criação do cluster. O cluster estabelece essa conexão usando a porta 443 (HTTPS) e usa um endereço IP diferente do usado para o aplicativo Web e a API REST.
• Quando o plano de controle inicia logicamente novos trabalhos do Databricks Runtime ou executa outras tarefas de administração de cluster, essas solicitações são enviadas ao cluster por meio desse túnel.
• O plano de computação (a VNet) não tem portas abertas e os recursos clássicos do plano de computação não têm endereços IP públicos.

Benefícios:

• Fácil administração de rede, sem a necessidade de configurar portas em grupos de segurança ou para configurar o emparelhamento de rede.
• Com a segurança aprimorada e a administração de rede simples, as equipes de segurança de informações podem agilizar a aprovação do Databricks como um provedor de PaaS.

Use conectividade de cluster segura

Para usar a conectividade de cluster segura com um novo workspace do Azure Databricks, use qualquer uma das opções a seguir.

• Portal do Azure: ao provisionar o espaço de trabalho, vá para a guia Rede do Azure e defina a opção Implantar workspace do Azure Databricks com conectividade de cluster seguro (sem IP público) como Sim.
• Modelos do ARM: para o recurso Microsoft.Databricks/workspaces que cria o novo espaço de trabalho, defina o parâmetro booliano enableNoPublicIp como true.

Você pode adicionar conectividade de cluster seguro a um workspace existente que já usa injeção de VNet. Confira Adicionar conectividade de cluster seguro a um workspace existente.

Se você estiver usando modelos do ARM, adicione o parâmetro a um dos modelos a seguir, dependendo se você deseja que o Azure Databricks crie uma rede virtual (gerenciada) padrão para o espaço de trabalho ou se deseja usar sua própria rede virtual, também conhecida como injeção de VNet. A injeção de VNet é um recurso opcional que permite que você forneça sua própria VNet para hospedar novos clusters do Azure Databricks.

• Modelo do ARM para configurar um espaço de trabalho usando a VNet padrão (gerenciada).
• Modelo do ARM para configurar um espaço de trabalho usando injeção de VNet.

Egresso de sub-redes de espaço de trabalho

Ao habilitar a conectividade de cluster seguro, ambas as suas sub-redes de espaço de trabalho são sub-redes privadas, pois os nós de cluster não têm endereços IP públicos.

Os detalhes de implementação do egresso de rede variam de acordo com a utilização da VNet padrão (gerenciada) ou se você usa o recurso opcional de injeção de VNet para fornecer sua própria VNet na qual implantar seu espaço de trabalho. Confira as seções a seguir para obter detalhes.

Egresso com a VNet (gerenciada) padrão

Se você usar a conectividade de cluster seguro com a VNet padrão que o Azure Databricks cria, o Azure Databricks criará automaticamente um gateway NAT para o tráfego de saída das sub-redes do seu espaço de trabalho para a estrutura do Azure e a rede pública. O gateway NAT é criado dentro do grupo de recursos gerenciados pelo Azure Databricks. Não é possível modificar este grupo de recursos ou todos os recursos provisionados nele.

O gateway NAT criado automaticamente gera custo adicional.

Saída com a injeção de VNet

Se você habilitar a conectividade de cluster segura em seu workspace que usa injeção de VNet, o Databricks recomenda que seu workspace tenha um IP público de saída estável.

Endereços IP públicos de saída estáveis são úteis porque você pode adicioná-los a listas de permissões externas. Por exemplo, para se conectar do Azure Databricks ao Salesforce com um endereço IP de saída estável.

Escolha uma das seguintes opções:

• Para implantações que precisam de alguma personalização, escolha um Gateway de NAT do Azure. Configure o gateway em ambas as sub-redes do espaço de trabalho para garantir que todo o tráfego de saída para a estrutura do Azure e a rede pública esteja em trânsito. Os clusters têm um IP público de egresso estável e é possível modificar a configuração para necessidades de egresso personalizadas. É possível implementar essa solução usando um modelo do Azure ou o portal do Azure.
• Para implantações com requisitos de roteamento complexos ou implantações que usam injeção de VNet com um firewall de saída, como o Firewall do Azure ou outras arquiteturas de rede personalizadas, você pode usar rotas personalizadas chamadas UDRs (rotas definidas pelo usuário). As UDRs garantem que o tráfego de rede seja roteado corretamente para seu espaço de trabalho, seja diretamente para os pontos de extremidade necessários ou por meio de um firewall de saída. Se você usar essa solução, deverá adicionar rotas diretas ou regras de firewall permitidas para o Azure Databricks de retransmissão de conectividade de cluster seguro e outros pontos de extremidade necessários listados em configurações de rota definidas pelo usuário para Azure Databricks.

Adicionar conectividade de cluster segura a um espaço de trabalho existente

É possível habilitar a conectividade de cluster seguro em um workspace existente. A atualização requer que o workspace utilize a injeção de VNet.

Você pode usar a interface do usuário do portal, um modelo do ARM ou provedor Terraform azurerm versão 3.41.0+. Você pode usar o portal do Azure para aplicar um modelo personalizado e modificar o parâmetro na interface do usuário. Você também pode atualizar a própria instância do workspace do Azure Databricks na interface do usuário do portal do Azure.

Se algo der errado com a atualização e você precisar reverter temporariamente a alteração, confira Reversão temporária da atualização para proteger a conectividade do cluster.

Etapa 1: parar todos os recursos de computação

Antes de tentar realizar essa atualização, você deve parar todos os recursos de computação, como clusters, pools ou warehouses SQL clássicos. Nenhum recurso de computação do workspace pode estar em execução ou a tentativa de atualização falhará. O Databricks recomenda planejar o tempo da atualização considerando o tempo de inatividade.

Etapa 2: Atualizar o espaço de trabalho

Você deve atualizar o parâmetro Sem IP público (no modelo, é enableNoPublicIp). Defina-o como o valor True (true).

Use um destes métodos:

• Usar a interface do usuário do portal do Azure (sem modelo)
• Aplicar um modelo de ARM atualizado usando o portal do Azure
• Aplicar uma atualização usando o Terraform

Usar a interface do usuário do portal do Azure (sem modelo)

1. Acesse sua instância de serviço do Azure Databricks no portal do Azure.

2. Na navegação à esquerda, em Configurações, clique em Rede.

3. Selecione Nenhum IP público.

   Observação

   Ao mesmo tempo, você pode optar por habilitar também o Link Privado do Azure definindo os valores para Permitir Acesso à Rede Pública Regras NSG necessárias para os valores apropriados para seu caso de uso. No entanto, a configuração e a verificação adicionais são necessárias para habilitar o Link Privado, portanto, talvez você queira fazer isso como uma etapa separada após essa atualização para conectividade de cluster segura. Para obter detalhes e requisitos importantes, confira habilitar o Link Privado do Azure.

4. Clique em Save (Salvar).

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar um modelo de ARM atualizado usando o portal do Azure

1. Copie o seguinte modelo do ARM de atualização JSON:

     {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "location": {
               "defaultValue": "[resourceGroup().location]",
               "type": "String",
               "metadata": {
                   "description": "Location for all resources."
               }
           },
           "workspaceName": {
               "type": "String",
               "metadata": {
                   "description": "The name of the Azure Databricks workspace to create."
               }
           },
           "apiVersion": {
               "defaultValue": "2023-02-01",
               "allowedValues": [
                  "2018-04-01",
                  "2020-02-15",
                  "2022-04-01-preview",
                  "2023-02-01"
               ],
               "type": "String",
               "metadata": {
                   "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
               }
           },
           "enableNoPublicIp": {
               "defaultValue": true,
               "type": "Bool"
           },
           "pricingTier": {
               "defaultValue": "premium",
               "allowedValues": [
                   "premium",
                   "standard",
                   "trial"
               ],
               "type": "String",
               "metadata": {
                   "description": "The pricing tier of workspace."
               }
           },
           "publicNetworkAccess": {
             "type": "string",
             "defaultValue": "Enabled",
             "allowedValues": [
               "Enabled",
               "Disabled"
             ],
             "metadata": {
               "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
             }
           },
           "requiredNsgRules": {
             "type": "string",
             "defaultValue": "AllRules",
             "allowedValues": [
               "AllRules",
               "NoAzureDatabricksRules"
             ],
             "metadata": {
               "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
             }
           }
           },
       "variables": {
           "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
           "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
       },
       "resources": [
           {
               "type": "Microsoft.Databricks/workspaces",
               "apiVersion": "[parameters('apiVersion')]",
               "name": "[parameters('workspaceName')]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "[parameters('pricingTier')]"
               },
               "properties": {
                   "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                   "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                   "requiredNsgRules": "[parameters('requiredNsgRules')]",
                   "parameters": {
                       "enableNoPublicIp": {
                           "value": "[parameters('enableNoPublicIp')]"
                       }
                   }
               }
           }
       ]
   }
   

   1. Acesse a página de Implantação personalizada do portal do Azure.

   2. Clique em Criar seu próprio modelo no editor.

   3. Cole o JSON para o modelo que você copiou.

   4. Clique em Save (Salvar).

   5. Preencha os parâmetros.

   6. Para atualizar um workspace existente, use os mesmos parâmetros que você usou para criar o workspace exceto enableNoPublicIp, que você deve definir como true. Defina a assinatura, região, nome do espaço de trabalho, nomes de sub-rede, ID de recurso da VNet existente.

      Importante

      O nome do grupo de recursos, o nome do workspace e os nomes da sub-rede são idênticos ao seu workspace existente, para que esse comando atualize o workspace existente em vez de criar um novo workspace.

   7. Clique em Examinar + Criar.

   8. Se não houver problemas de validação, clique em Criar.

   A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar uma atualização usando o Terraform

Para workspaces criados com o Terraform, você pode atualizar o workspace sem recriar o workspace.

Altere as seguintes configurações do workspace:

• no_public_ip no bloco custom_parameters pode ser alterado de false para true.

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Etapa 3: validar a atualização

Depois que o workspace estiver em estado ativo, o trabalho de atualização será concluído. Verifique se a atualização foi aplicada:

1. Abra o Azure Databricks no navegador da Web.

2. Inicie um dos clusters do workspace e aguarde até que o cluster seja totalmente iniciado.

3. Vá para a instância do seu espaço de trabalho no portal do Azure.

4. Clique na ID azul ao lado do rótulo de campo Grupo de recursos gerenciados.

5. Nesse grupo, localize as VMs para o cluster e clique em uma delas.

6. Nas configurações da VM, em Propriedades, procure os campos na área Rede.

7. Confirme se o campo Endereço IP público está vazio.

   Se estiver preenchida, a VM terá um endereço IP público, o que significa que a atualização falhou.

Recuperação de falha

Se uma atualização do workspace falhar, o workspace pode ser marcado como um estado Com falha, o que significa que o workspace não pode executar operações de computação. Para restaurar um workspace com falha de volta para o estado Ativo, revise as instruções na mensagem de status da operação de atualização. Depois de corrigir os problemas, refaça a atualização no workspace com falha. Repita as etapas até que a atualização seja concluída com sucesso.

Reversão temporária da atualização para proteger a conectividade do cluster

Se algo der errado durante a implantação, você poderá reverter o processo como uma reversão temporária, mas desabilitar o SCC em um workspace não tem suporte além da reversão temporária antes de continuar a atualização mais tarde. Se isso for necessário temporariamente, você poderá seguir as instruções acima para atualização, mas definir enableNoPublicIp como false em vez de true.