Configurar a conectividade privada a partir da computação sem servidor

  • Artigo

Este artigo descreve como configurar a conectividade privada a partir da computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Você também pode usar a API de Configurações de Conectividade de Rede.

Se você configurar seu recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso de seus recursos de computação clássicos do Databricks também precisará usar pontos de extremidade privados.

Para configurar um firewall de Armazenamento do Azure para acesso de computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso de computação sem servidor. Para gerenciar regras de ponto de extremidade privadas existentes, consulte Gerenciar regras de ponto de extremidade privado.

Importante

A partir de 4 de dezembro de 2024, a Databricks começará a cobrar pelos custos de rede em cargas de trabalho sem servidor que se conectam a recursos externos. A cobrança será implementada gradualmente, e você pode não ser cobrado até depois de 4 de dezembro de 2024. A utilização não lhe será cobrada retroativamente antes de a faturação estar ativada. Depois que a cobrança for ativada, você poderá ser cobrado por:

  • Conectividade privada aos seus recursos através do Private Link. As taxas de processamento de dados para conectividade privada aos seus recursos através do Private Link são dispensadas indefinidamente. Serão aplicadas taxas por hora.
  • Conectividade pública com os seus recursos através do gateway NAT.
  • Encargos de transferência de dados incorridos, como quando a computação sem servidor e o recurso de destino estão em regiões diferentes.

Visão geral da conectividade privada para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs no console da conta e um NCC pode ser anexado a um ou mais espaços de trabalho

Quando você adiciona um ponto de extremidade privado em um NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para seu recurso do Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta do Azure Databricks e acessível apenas a partir de espaços de trabalho autorizados.

Os pontos de extremidade privados NCC são suportados por armazéns SQL sem servidor e pontos de extremidade de serviço de modelo.

Nota

Os pontos de extremidade privados NCC são suportados apenas para fontes de dados gerenciadas por você. Para conexão com a conta de armazenamento do espaço de trabalho, entre em contato com sua equipe de conta do Azure Databricks.

Nota

O serviço de modelo usa o caminho de armazenamento de blob do Azure para baixar artefatos de modelo, portanto, crie um ponto de extremidade privado para seu blob de ID de subrecurso. Você precisará do DBFS para registrar modelos no Unity Catalog a partir de notebooks sem servidor.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Requisitos

  • Seu espaço de trabalho deve estar no plano Premium.
  • Você deve ser um administrador de conta do Azure Databricks.
  • Cada conta do Azure Databricks pode ter até 10 NCCs por região.
  • Cada região pode ter 100 endpoints privados, distribuídos conforme necessário por 1-10 NCCs.
  • Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda compartilhar um NCC entre espaços de trabalho dentro da mesma unidade de negócios e aqueles que compartilham as mesmas propriedades de conectividade de região. Por exemplo, se alguns espaços de trabalho usam Private Link e outros espaços de trabalho usam ativação de firewall, use NCCs separados para esses casos de uso.

  1. Como administrador de conta, aceda à consola da conta.
  2. Na barra lateral, clique em Recursos de nuvem.
  3. Clique em Configurações de conectividade de rede.
  4. Clique em Adicionar configuração de conectividade de rede.
  5. Digite um nome para o NCC.
  6. Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
  7. Clique em Adicionar.

Etapa 2: Anexar um NCC a um espaço de trabalho

  1. Na barra lateral do console da conta, clique em Espaços de trabalho.
  2. Clique no nome do seu espaço de trabalho.
  3. Clique em Atualizar espaço de trabalho.
  4. No campo Configuração de Conectividade de Rede , selecione seu NCC. Se não estiver visível, confirme se selecionou a mesma região do Azure para o espaço de trabalho e o NCC.
  5. Clique em Atualizar.
  6. Aguarde 10 minutos para que a alteração entre em vigor.
  7. Reinicie todos os armazéns SQL sem servidor em execução no espaço de trabalho.

Etapa 3: Criar regras de ponto de extremidade privado

Você deve criar uma regra de ponto de extremidade privada em seu NCC para cada recurso do Azure.

  1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.

    1. Em outra guia do navegador, no portal do Azure, navegue até a conta de Armazenamento do Azure da fonte de dados.
    2. Na página Visão geral, procure na seção Essenciais.
    3. Clique no link Visualização JSON. O ID do recurso para a conta de armazenamento é exibido na parte superior da página.
    4. Copie esse ID de recurso para outro local. Repita para todos os destinos.

  2. Volte para a guia do navegador do console da conta.

  3. Na barra lateral, clique em Recursos de nuvem.

  4. Clique em Configurações de conectividade de rede.

  5. Selecione o NCC que você criou na etapa 1.

  6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.

  7. No campo ID do recurso do Azure de destino, cole a ID do recurso para o seu recurso.

  8. No campo ID do subrecurso do Azure, defina-o como o valor do subrecurso de acordo com a tabela abaixo. Cada regra de ponto de extremidade privada deve usar um ID de subrecurso diferente.

    Tipo de destino ID do subrecurso do Azure
    Armazenamento de Blobs blob
    Armazenamento ADLS dfs
    Azure SQL (Para usar o Azure SQL como destino, você deve criar a regra de ponto de extremidade privado usando a API de Conectividade de Rede) sqlServer

  9. Clique em Adicionar.

  10. Aguarde alguns minutos até que todas as regras do ponto de extremidade tenham o status PENDING.

Etapa 4: aprovar os novos pontos de extremidade privados em seus recursos

Os pontos de extremidade não entram em vigor até que um administrador com direitos sobre o recurso aprove o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, faça o seguinte:

  1. No portal do Azure, navegue até seu recurso.

  2. Na barra lateral, clique em Rede.

  3. Clique em Conexões de ponto de extremidade privadas.

  4. Clique na guia Acesso privado.

  5. Em Conexões de ponto de extremidade privadas, revise a lista de pontos de extremidade privados.

  6. Clique na caixa de seleção ao lado de cada um para aprovar e clique no botão Aprovar acima da lista.

  7. Retorne ao seu NCC no Azure Databricks e atualize a página do navegador até que todas as regras de ponto de extremidade tenham o status ESTABLISHED.

    Lista de pontos finais privados

(Opcional) Etapa 5: definir sua conta de armazenamento para não permitir acesso à rede pública

Se ainda não tiver limitado o acesso à conta de armazenamento do Azure apenas a redes listadas como permitidas, pode optar por fazer isso.

  1. Aceda ao portal do Azure.
  2. Navegue até sua conta de armazenamento para a fonte de dados.
  3. Na barra lateral, clique em Rede.
  4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Enabled de todas as redes. Altere para Desativado

Etapa 6: Reinicie os SQL warehouses sem servidor e teste a conexão

  1. Após a etapa anterior, aguarde mais cinco minutos para que as alterações se propaguem.
  2. Reinicie todos os armazéns SQL sem servidor em execução nos espaços de trabalho aos quais seu NCC está conectado. Se você não tiver armazéns SQL sem servidor em execução, inicie um agora.
  3. Confirme se todos os SQL warehouses são iniciados com êxito.
  4. Execute pelo menos uma consulta em sua fonte de dados para confirmar se o SQL warehouse sem servidor pode alcançar sua fonte de dados.