Conectividad de clústeres segura

  • Artículo

Cuando se habilita la conectividad segura del clúster, las redes virtuales del cliente no tienen puertos abiertos ni recursos de proceso en el plano de proceso clásico no tienen direcciones IP públicas. La conectividad segura del clúster también se conoce como Ninguna dirección IP pública (NPIP).

  • En un nivel de red, cada clúster inicia una conexión con la retransmisión de conectividad segura del clúster del plano de control durante la creación del clúster. El clúster establece esta conexión mediante el puerto 443 (HTTPS) y usa una dirección IP diferente a la que se usa para la aplicación web y la API REST.
  • Si el plano de control inicia lógicamente nuevos trabajos de Databricks Runtime o realiza otras tareas de administración del clúster, estas solicitudes se envían al clúster a través de este túnel.
  • El plano de proceso (la red virtual) no tiene puertos abiertos y los recursos del plano de proceso clásico no tienen direcciones IP públicas.

Ventajas:

  • Administración de red sencilla, sin necesidad de configurar puertos en los grupos de seguridad ni de configurar el emparejamiento de red.
  • Con una seguridad mejorada y una administración de red sencilla, los equipos de seguridad de la información pueden acelerar la aprobación de Databricks como proveedor de PaaS.

Nota:

Todo el tráfico de red de Azure Databricks entre la red virtual del plano de proceso clásico y el plano de control de Azure Databricks pasa por la red troncal de Microsoft, no a la red pública de Internet. Esto es así incluso si la conectividad segura del clúster está deshabilitada.

Aunque el plano de proceso sin servidor no usa la retransmisión de conectividad de clúster segura para el plano de proceso clásico, los almacenes de SQL sin servidor no tienen direcciones IP públicas.

Conectividad de clústeres segura

Uso de la conectividad de clúster segura

Para usar la conectividad segura del clúster con una nueva área de trabajo de Azure Databricks, use cualquiera de las siguientes opciones.

  • Azure Portal: al aprovisionar el área de trabajo, vaya a la pestaña Redes y establezca la opción Implementar un área de trabajo de Azure Databricks con conectividad de clúster segura (sin IP pública) en Sí.
  • Plantillas de ARM: para el recurso Microsoft.Databricks/workspaces que crea la nueva área de trabajo, establezca el parámetro booleano enableNoPublicIp en true.

Importante

En cualquier caso, debe registrar el proveedor de recursos de Azure Microsoft.ManagedIdentity en la suscripción de Azure que se usa para iniciar áreas de trabajo con conectividad de clústeres segura. Se trata de una operación única por suscripción. Para obtener instrucciones, consulte Tipos y proveedores de recursos de Azure.

Puede agregar conectividad de clúster segura a un área de trabajo existente que ya use Inserción de red virtual. Consulte Agregar conectividad de clúster segura a un área de trabajo existente.

Si usa plantillas de ARM, agregue el parámetro a una de las plantillas siguientes, en función de si desea que Azure Databricks cree una red virtual predeterminada (administrada) para el área de trabajo o si desea usar su propia red virtual, lo que también se conoce como inserción de red virtual. La inserción de red virtual es una característica opcional que le permite proporcionar su propia red virtual para hospedar nuevos clústeres de Azure Databricks.

Salida de las subredes del área de trabajo

Cuando habilita la conectividad de clústeres segura, ambas subredes del área de trabajo son subredes privadas, ya que los nodos de clúster no tienen direcciones IP públicas.

Los detalles de implementación de la salida de red varían en función de si usa la red virtual predeterminada (administrada) o si usa la característica de inserción de red virtual opcional para proporcionar su propia red virtual en la que implementar el área de trabajo. Vea las secciones siguientes para obtener información.

Importante

Se puede incurrir en costos adicionales debido al aumento del tráfico de salida si se usa la conectividad segura de clústeres. En el caso de una organización más pequeña que necesita una solución optimizada para costos, puede ser aceptable deshabilitar la conectividad de clústeres segura al implementar el área de trabajo. Sin embargo, para la implementación más segura, Microsoft y Databricks recomiendan encarecidamente habilitar la conectividad de clústeres segura.

Salida con una red virtual predeterminada (administrada)

Si usa conectividad de clústeres segura con la red virtual predeterminada que crea Azure Databricks, este crea automáticamente una puerta de enlace NAT para el tráfico saliente de las subredes del área de trabajo a la red troncal y pública de Azure. La puerta de enlace NAT se crea dentro del grupo de recursos que Azure Databricks administra. No puede modificar este grupo de recursos ni ningún recurso aprovisionado en él.

La puerta de enlace NAT creada automáticamente incurre en costos adicionales.

Salida con inyección VNet

Si habilita la conectividad segura del clúster en el área de trabajo en la que se usa la inserción de red virtual, Databricks recomienda que el área de trabajo tenga una dirección IP pública de salida estable.

Las direcciones IP públicas de salida estables son útiles porque puede agregarlas a listas de permitidos externas. Por ejemplo, para conectarse desde Azure Databricks a Salesforce con una dirección IP de salida estable.

Advertencia

Microsoft ha anunciado que el 30 de septiembre de 2025 será retirada la conectividad de acceso de salida predeterminada para máquinas virtuales en Azure. Consulteeste anuncio. Esto significa que las áreas de trabajo Azure Databricks existentes que utilizan el acceso de salida predeterminado en lugar de una IP pública de salida estable podrían no seguir funcionando después de esa fecha. Databricks recomienda agregar métodos de salida explícitos para las áreas de trabajo antes de esa fecha.

Elija una de las siguientes opciones:

  • Para las implementaciones que necesitan cierta personalización, elija una puerta de enlace NAT de Azure. Configure la puerta de enlace en ambas subredes del área de trabajo para asegurarse de que todo el tráfico saliente a la red troncal y pública de Azure transita a través de ella. Los clústeres tienen una dirección IP pública de salida estable y puede modificar su configuración para necesidades de salidas personalizadas. Puede implementar esta solución mediante una plantilla de Azure o desde Azure Portal.
  • Para las implementaciones con requisitos de enrutamiento complejos o las implementaciones que usan la inserción de red virtual con un firewall de salida, como Azure Firewall u otras arquitecturas de red personalizadas, puede usar rutas personalizadas denominadas rutas definidas por el usuario (UDR). Las UDR garantizan que el tráfico de red se enruta correctamente para el área de trabajo, ya sea directamente a los puntos de conexión necesarios o a través de un firewall de salida. Si usa esta solución, debe agregar rutas directas o reglas de firewall permitidas para la retransmisión de conectividad de clústeres segura de Azure Databricks y otros puntos de conexión necesarios que se enumeran en Configuración de rutas definidas por el usuario para Azure Databricks.

Advertencia

No use un equilibrador de carga de salida con un área de trabajo que tenga habilitada la conectividad segura de clústeres. En los sistemas de producción, un equilibrador de carga de salida puede provocar el riesgo de agotar los puertos.

Agregar conectividad de clúster segura a un área de trabajo existente

Puede habilitar la conectividad de clúster segura en un área de trabajo existente. La actualización requiere que el área de trabajo use la Inyección de VNet.

Puede usar el portal de interfaz de usuario, una plantilla ARM oazurerm la versión 3.41.0+ del proveedor Terraform. Puede usar Azure Portal para aplicar una plantilla personalizada y modificar el parámetro en la interfaz de usuario. También puede actualizar la propia instancia del área de trabajo de Azure Databricks en la interfaz de usuario de Azure Portal.

Importante

Antes de realizar este cambio, si usa un firewall o realizó otros cambios de configuración de red para controlar la entrada o salida desde el plano de proceso clásico, es posible que tenga que actualizar las reglas del firewall o del grupo de seguridad de red al mismo tiempo que estos cambios para que surta efecto. Por ejemplo, con conectividad de clúster segura, hay una conexión saliente adicional al plano de control y las conexiones entrantes del plano de control ya no se usan.

Si ocurre algún problema con la actualización y necesita revertir temporalmente el cambio, consulte Reversión temporal de la actualización a conectividad segura del clúster.

Paso 1: Detener todos los recursos de proceso

Antes de intentar esta actualización, debe detener todos los recursos de proceso, como clústeres, grupos o almacenes de SQL clásicos. No se puede ejecutar ningún recurso de proceso del área de trabajo o se produce un error en el intento de actualización. Databricks recomienda planificar la actualización teniendo en cuenta el tiempo de inactividad.

Paso 2: Actualizar el área de trabajo

Debe actualizar el parámetro Sin IP pública (en la plantilla es enableNoPublicIp). Establézcalo en el valor True (true).

Use uno de estos métodos:

Usar la interfaz de usuario del portal de Azure (sin plantilla)

  1. Vaya a la instancia de servicio de Azure Databricks en Azure Portal.

  2. En el panel de navegación izquierdo, en Configuración, haga clic en Redes.

  3. Seleccione Sin dirección IP pública.

    Nota:

    Al mismo tiempo, puede optar por habilitar también Azure Private Link mediante el establecimiento de los valores de Permitir el acceso de red públicaReglas de NSG necesariasen los valores adecuados para su caso de uso. Sin embargo, se requiere configuración y comprobación adicionale para habilitar Private Link, por lo que es posible que quiera hacerlo como paso independiente después de esta actualización para la conectividad segura del clúster. Para obtener detalles y requisitos importantes, consulte Habilitar Azure Private Link.

  4. Haga clic en Save(Guardar).

La actualización de la red puede tardar más de 15 minutos en completarse.

Aplicar una plantilla ARM actualizada mediante el Azure portal

Nota:

Si el grupo de recursos administrado tiene un nombre personalizado, debe modificar la plantilla en consecuencia. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información.

  1. Copie el siguiente código JSON de la plantilla de ARM de actualización:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
               "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Vaya a la página Implementación personalizada de Azure Portal.

    2. Haga clic en Cree su propia plantilla en el editor.

    3. Pegue el código JSON de la plantilla que copió.

    4. Haga clic en Save(Guardar).

    5. Rellene los parámetros.

    6. Para actualizar un área de trabajo existente, utilice los mismos parámetros que ha utilizado para crear el área de trabajo aparte de los enableNoPublicIpque debe establecer en true. Establezca la suscripción, la región, el nombre del área de trabajo, los nombres de subred y el ID de recurso de la red virtual existente.

      Importante

      Tanto el nombre del grupo de recursos como el nombre del área de trabajo y los nombres de las subredes son idénticos a los de su área de trabajo existente, de modo que este comando actualiza el área de trabajo existente en lugar de crear una nueva.

    7. Haga clic en Revisar y crear.

    8. Si no hay ningún problema de validación, haga clic en Crear.

    La actualización de la red puede tardar más de 15 minutos en completarse.

Aplicar una actualización mediante Terraform

En el caso de las áreas de trabajo creadas con Terraform, puede actualizar el área de trabajo sin volver a crear el área de trabajo.

Importante

Debe usar la versión del terraform-provider-azurerm 3.41.0 o posterior, por lo que debe actualizar la versión del proveedor de Terraform según sea necesario. Las versiones anteriores intentan volver a crear el área de trabajo si cambia alguna de estas opciones de configuración.

Cambie la siguiente configuración del área de trabajo:

  • no_public_ip en el bloquecustom_parameters se puede cambiar de false a true.

La actualización de la red puede tardar más de 15 minutos en completarse.

Paso 3: Validar la actualización

Una vez que el área de trabajo está en estado activo, se completa el trabajo de actualización. Compruebe que se ha aplicado la actualización:

  1. Abra Azure Databricks en el explorador web.

  2. Inicie uno de los clústeres del área de trabajo y espere hasta que el clúster esté completamente iniciado.

  3. Vaya a su instancia de área de trabajo en Azure Portal.

  4. Haga clic en el identificador azul situado junto a la etiqueta de campo Grupo de recursos administrado.

  5. En ese grupo, busque las máquinas virtuales del clúster y haga clic en una de ellas.

  6. En la configuración de la máquina virtual, en Propiedades, busque los campos del área Redes.

  7. Confirme que el campo Dirección IP pública está vacío.

    Si se rellena, la máquina virtual cuenta con una dirección IP pública, lo que quiere decir que la actualización ha fallado.

Recuperación de un error

Si se produce un error en una actualización del área de trabajo, es posible que el área de trabajo se marque con un estado de Error, lo que significa que el área de trabajo no puede realizar operaciones de proceso. Para restaurar un área de trabajo con errores al estado Activo, revise las instrucciones del mensaje de estado de la operación de actualización. Una vez corregidos los problemas, rehaga la actualización en el área de trabajo con errores. Repita los pasos hasta que se complete correctamente la actualización.

Reversión temporal de la actualización a la conectividad segura del clúster

Si algo va mal durante la implementación, puede revertir el proceso como una reversión temporal, pero deshabilitar SCC en un área de trabajo no es compatible con la reversión temporal antes de continuar con la actualización más adelante. Si esto es temporalmente necesario, siga las instrucciones anteriores para la actualización, pero establezca enableNoPublicIp a false en lugar de true.