Definições de rotas definidas pelo utilizador do Azure Databricks

Se seu espaço de trabalho do Azure Databricks for implantado em sua própria rede virtual (VNet), você poderá usar rotas personalizadas, também conhecidas como rotas definidas pelo usuário (UDR), para garantir que o tráfego de rede seja roteado corretamente para seu espaço de trabalho. Por exemplo, se você conectar a rede virtual à sua rede local, o tráfego poderá ser roteado pela rede local e não poderá alcançar o plano de controle do Azure Databricks. Rotas definidas pelo usuário podem resolver esse problema.

Você precisa de um UDR para cada tipo de conexão de saída da rede virtual. Você pode usar marcas de serviço do Azure e endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário. O Databricks recomenda o uso de tags de serviço do Azure para evitar interrupções de serviço devido a alterações de IP.

Configurar rotas definidas pelo usuário com marcas de serviço do Azure

O Databricks recomenda que você use marcas de serviço do Azure, que representam um grupo de prefixos de endereço IP de um determinado serviço do Azure. A Microsoft gerencia os prefixos de endereço incluídos pela etiqueta de serviço e atualiza automaticamente a etiqueta de serviço à medida que os endereços mudam. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e elimina a necessidade de pesquisar periodicamente esses IPs e atualizá-los em sua tabela de rotas. No entanto, se as políticas da sua organização não permitirem marcas de serviço, você poderá, opcionalmente , especificar as rotas como endereços IP.

Usando tags de serviço, suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

A marca de serviço Azure Databricks representa endereços IP para as conexões de saída necessárias para o plano de controle do Azure Databricks, a conectividade de cluster segura (SCC) e o aplicativo Web Azure Databricks.

A marca de serviço SQL do Azure representa endereços IP para as conexões de saída necessárias para o metastore do Azure Databricks e a marca de serviço do Armazenamento do Azure representa endereços IP para armazenamento de Blob de artefato e armazenamento de Blob de log. A marca de serviço Hubs de Eventos do Azure representa as conexões de saída necessárias para o registro em log no Hub de Eventos do Azure.

Algumas tags de serviço permitem um controle mais granular restringindo intervalos de IP a uma região especificada. Por exemplo, uma tabela de rotas para um espaço de trabalho do Azure Databricks nas regiões Oeste dos EUA pode ter a seguinte aparência:

Para obter as tags de serviço necessárias para rotas definidas pelo usuário, consulte Tags de serviço de rede virtual.

Configurar rotas definidas pelo usuário com endereços IP

O Databricks recomenda que você use marcas de serviço do Azure, mas se as políticas da sua organização não permitirem marcas de serviço, você poderá usar endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário.

Os detalhes variam de acordo com se a SCC (conectividade segura de cluster) está habilitada para o espaço de trabalho:

• Se a conectividade de cluster seguro estiver habilitada para o espaço de trabalho, você precisará de um UDR para permitir que os clusters se conectem à retransmissão de conectividade de cluster seguro no plano de controle. Certifique-se de incluir os sistemas marcados como IP de relé SCC para sua região.
• Se a conectividade de cluster seguro estiver desabilitada para o espaço de trabalho, haverá uma conexão de entrada do NAT do Plano de Controle, mas o TCP SYN-ACK de baixo nível para essa conexão tecnicamente são dados de saída que exigem um UDR. Certifique-se de incluir os sistemas marcados como IP NAT do Plano de Controle para sua região.

Suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Se o Azure Private Link estiver habilitado em seu espaço de trabalho, suas rotas definidas pelo usuário deverão usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Para obter os endereços IP necessários para rotas definidas pelo usuário, use as tabelas e instruções nas regiões do Azure Databricks, especificamente:

• Endereços do plano de controle do Azure Databricks
• Endereço IP de armazenamento raiz DBFS
• Metastore, armazenamento de Blob de artefato, armazenamento de tabelas do sistema, armazenamento de Blob de log e endereços IP de ponto de extremidade de Hubs de Eventos