Configurar a conectividade Git privada para pastas Git do Azure Databricks (Repos)

Saiba mais sobre e configure o proxy do servidor Git para pastas Git Databricks, um serviço configurável que permite fazer proxy de comandos Git de pastas Git do espaço de trabalho Databricks para seus repositórios locais servidos pelo GitHub Enterprise Server, Azure DevOps Server, Bitbucket Server e GitLab autogerenciados.

O que é proxy de servidor Git para pastas Git Databricks?

O proxy do servidor Git Databricks para pastas Git é um recurso que permite que você faça proxy de comandos Git do seu espaço de trabalho do Azure Databricks para um servidor Git local.

As pastas Databricks Git (anteriormente Repos) representam seus repositórios Git conectados como pastas. O conteúdo dessas pastas é controlado por versão sincronizando-as com o repositório Git conectado. Por padrão, as pastas Git podem sincronizar apenas com provedores públicos do Git (como GitHub público, GitLab, Azure DevOps e outros). No entanto, se você hospedar seu próprio servidor Git local (como GitHub Enterprise Server, Bitbucket Server ou GitLab autogerenciado), deverá usar o proxy do servidor Git com pastas Git para fornecer acesso Databricks ao seu servidor Git. Seu servidor Git deve estar acessível a partir do seu plano de dados do Azure Databricks (nó do driver).

Se sua rede corporativa for apenas de acesso privado (VPN) (sem acesso público), você deverá executar um proxy de servidor Git para acessar repositórios Git localizados fora dela e adicionar pastas Git aos seus espaços de trabalho.

Como funciona o Git Server Proxy for Databricks Git folders?

Git Server Proxy for Databricks Git folders proxies Git comandos Git do plano de controle Databricks para um "cluster proxy" em execução no plano de computação do seu espaço de trabalho Databricks. Nesse contexto, o cluster de proxy é um cluster configurado para executar um serviço de proxy para comandos Git de pastas Git Databricks para seu repositório Git auto-hospedado. Esse serviço de proxy recebe comandos Git do plano de controle Databricks e os encaminha para sua instância do servidor Git.

O diagrama abaixo ilustra a arquitetura geral do sistema:

Atualmente, um proxy de servidor Git não requer CAN_ATTACH_TO mais permissão para todos os usuários. Os administradores com clusters de proxy existentes agora podem modificar a permissão da ACL do cluster para habilitar esse recurso. Para ativar:

1. Selecione Compute na barra lateral e, em seguida, clique no menu kebab ao lado da entrada Compute para o Proxy do Git Server que você está executando:

   

2. Na caixa de diálogo, remova a entrada Pode anexar a para todos os usuários:

   

Como configuro o Proxy do Git Server para pastas Git Databricks?

Esta seção descreve como preparar sua instância do servidor Git para pastas Git Server Proxy for Databricks, criar o proxy e validar sua configuração.

Antes de começar

Antes de habilitar o proxy, considere os seguintes pré-requisitos e tarefas de planejamento:

• Seu espaço de trabalho tem o recurso de pastas Git Databricks habilitado.
• Sua instância do servidor Git pode ser acessada a partir da VPC do plano de computação do espaço de trabalho do Azure Databricks e tem HTTPS e tokens de acesso pessoal (PATs) habilitados.

Etapa 1: Preparar a instância do servidor Git

Para configurar a instância do servidor Git:

1. Dê ao nó do driver do cluster proxy acesso ao seu servidor Git.

   Seu servidor Git corporativo pode ter um allowlist dos endereços IP a partir dos quais o acesso é permitido.

   1. Associe um endereço IP de saída estático ao tráfego originado do cluster de proxy. Você pode fazer isso usando o Firewall do Azure ou um dispositivo de saída.
   2. Adicione o endereço IP da etapa anterior à lista de permissões do seu servidor Git.

2. Defina sua instância do servidor Git para permitir o transporte HTTPS.

   • Para o GitHub Enterprise, consulte Qual URL remoto devo usar na ajuda do GitHub Enterprise.
   • Para Bitbucket, vá para a página de administração do servidor Bitbucket e selecione as configurações do servidor. Na seção Hospedagem HTTP(S) SCM, habilite a caixa de seleção HTTP(S) habilitada .

Etapa 2: Executar o bloco de anotações de ativação

Para habilitar o proxy:

1. Faça logon em seu espaço de trabalho do Azure Databricks como um administrador de espaço de trabalho com direitos de acesso para criar um cluster.

2. Importe este bloco de anotações, que escolhe o menor tipo de instância disponível do seu provedor de nuvem para executar o proxy Git.:

   Notebook: habilite o proxy do servidor Git para pastas Git Databricks para conectividade privada do servidor Git em pastas Git.

3. Clique em "Executar tudo" para executar o bloco de anotações, que executa as seguintes tarefas:

   • Cria um recurso de computação de nó único chamado "Databricks Git Proxy", que não termina automaticamente. Este é o "serviço de proxy Git" que processará e encaminhará comandos Git do seu espaço de trabalho do Azure Databricks para o seu servidor Git local.
   • Habilita um sinalizador de recurso que controla se as solicitações Git nas pastas Git do Databricks são intermediadas por proxy por meio da instância de computação.

   Como prática recomendada, considere a criação de um trabalho simples para executar o recurso de computação de proxy Git. Pode ser um bloco de anotações simples que imprime ou registra o status, como "O serviço de proxy Git está em execução". Defina o trabalho para ser executado em intervalos de tempo regulares para garantir que o serviço de proxy Git esteja sempre disponível para seus usuários.

Etapa 3: Validar a configuração do servidor Git

Para validar a configuração do seu servidor Git, tente clonar um repositório hospedado no seu servidor Git privado através do cluster proxy. Um clone bem-sucedido significa que você habilitou com êxito o proxy do servidor Git para seu espaço de trabalho.

Etapa 4: Criar repositórios habilitados para proxy

Depois que os usuários configuram suas credenciais do Git, nenhuma etapa adicional é necessária para criar ou sincronizar seus repositórios. Para configurar credenciais e criar um repositório em pastas Git do Databricks, consulte Configurar credenciais do Git & conectar um repositório remoto ao Azure Databricks.

Remover permissões de CAN_ATTACH_TO global

Os administradores com clusters de proxy existentes agora podem modificar a permissão da ACL do cluster para aproveitar o comportamento de proxy do servidor Git geralmente disponível.

Se você configurou anteriormente o proxy do servidor Git Databricks com CAN_ATTACH_TO privilégios, use as seguintes etapas para remover essas permissões:

1. Selecione Computação na barra lateral e, em seguida, clique no menu kebab ao lado da entrada Computação para o proxy do servidor Git que você está executando:

   

2. Na caixa de diálogo, remova a entrada Pode anexar a para todos os usuários:

   

Resolução de Problemas

Você encontrou um erro ao configurar o proxy do servidor Git para pastas Git Databricks? Aqui estão alguns problemas comuns e maneiras de diagnosticá-los de forma mais eficaz.

Lista de verificação para problemas comuns

Antes de começar a diagnosticar um erro, confirme se concluiu as seguintes etapas:

• Confirme se o cluster de proxy está em execução.
• Confirme se você é um administrador de espaço de trabalho.
• Execute o bloco de anotações de ativação novamente e capture os resultados, se ainda não o fez. Se você não conseguir depurar o problema, o Suporte do Databricks poderá revisar os resultados. Você pode exportar e enviar o bloco de anotações de ativação como um arquivo DBC.

Alterar a configuração do proxy Git

Se o seu serviço de proxy Git não estiver funcionando com a configuração padrão, você poderá definir variáveis de ambiente específicas para fazer alterações nele para oferecer melhor suporte à sua infraestrutura de rede.

Use as seguintes variáveis de ambiente para atualizar a configuração do seu serviço de proxy Git:

Para definir essas variáveis de ambiente, vá para a guia Computação em seu espaço de trabalho do Azure Databricks e selecione a configuração de computação para seu serviço de proxy Git. Na parte inferior do painel Configuração , expanda Opções avançadas e selecione a guia Faísca abaixo dela. Defina uma ou mais dessas variáveis de ambiente adicionando-as à área de texto Variáveis de ambiente.

Inspecionar logs no cluster de proxy

O arquivo at /databricks/git-proxy/git-proxy.log no cluster de proxy contém logs que são úteis para fins de depuração.

O arquivo de log deve começar com a linha Data-plane proxy server binding to ('', 8000)… Se isso não acontecer, isso significa que o servidor proxy não foi iniciado corretamente. Tente reiniciar o cluster ou exclua o cluster criado e execute o bloco de anotações de ativação novamente.

Se o arquivo de log começar com essa linha, revise as instruções de log que o seguem para cada solicitação Git iniciada por uma operação Git nas pastas Databricks Git.

Por exemplo:

  do_GET: https://server-address/path/to/repo/info/refs?service=git-upload-pack 10.139.0.25 - - [09/Jun/2021 06:53:02] /
  "GET /server-address/path/to/repo/info/refs?service=git-upload-pack HTTP/1.1" 200`

Os logs de erros gravados neste arquivo podem ser úteis para ajudá-lo ou problemas de depuração do Suporte do Databricks.

Mensagens de erro comuns e sua resolução

• Não foi possível estabelecer uma ligação segura devido a problemas de SSL

  Poderá ver o seguinte erro:

    https://git.consult-prodigy.com/Prodigy/databricks_test: Secure connection to https://git.consult-prodigy.com/Prodigy/databricks_test could not be established because of SLL problems
  

  Muitas vezes, isso significa que você está usando um repositório que requer certificados SSL especiais. Verifique o /databricks/git-proxy/git-proxy.log conteúdo do arquivo no cluster de proxy. Se disser que a validação do certificado falhou, você deverá adicionar o certificado de autoridade à cadeia de certificados do sistema. Primeiro, extraia o certificado raiz (usando o navegador ou outra opção) e carregue-o para o DBFS. Em seguida, edite as pastas Git cluster Git Proxy para usar a GIT_PROXY_CA_CERT_PATH variável de ambiente para apontar para o arquivo de certificado raiz. Para obter mais informações sobre como editar variáveis de ambiente de cluster, consulte Variáveis de ambiente.

  Depois de concluir essa etapa, reinicie o cluster.

• Falha ao clonar repositório com erro "Credenciais Git ausentes/inválidas"

  Primeiro, verifique se você configurou suas credenciais do Git em Configurações do usuário.

  Você pode encontrar este erro:

    Error: Invalid Git credentials. Go to User Settings -> Git Integration and check that your personal access token or app password has the correct repo access.
  

  Se sua organização estiver usando SAML SSO, verifique se o token foi autorizado (isso pode ser feito na página de gerenciamento do Personal Access Token (PAT) do seu servidor Git).

Perguntas mais frequentes

Quais são as implicações de segurança do proxy do servidor Git?

As coisas mais importantes a saber são:

• O proxy não afeta a arquitetura de segurança do seu plano de controle Databricks.
• Você só pode ter um cluster de servidor proxy Git por espaço de trabalho.

Todo o tráfego Git relacionado às pastas do Databricks Git é roteado através do cluster de proxy, mesmo para repositórios públicos do Git?

Sim. Na versão atual, seu espaço de trabalho do Azure Databricks não diferencia entre repositórios com proxy e não com proxy.

O recurso de proxy Git funciona com outros provedores de servidor empresarial Git?

As pastas Databricks Git suportam GitHub Enterprise, Bitbucket Server, Azure DevOps Server e GitLab autogerenciado. Outros provedores de servidores Git corporativos também devem funcionar se estiverem em conformidade com as especificações comuns do Git.

As pastas Databricks Git suportam a assinatura GPG de commits?

N.º

As pastas Databricks Git suportam transporte SSH para operações Git?

N.º Apenas HTTPS é suportado.

O uso de uma porta HTTPS não padrão no servidor Git é suportado?

Atualmente, o bloco de anotações de ativação assume que seu servidor Git usa a porta HTTPS padrão 443. Você pode definir a variável GIT_PROXY_CUSTOM_HTTP_PORT de ambiente para substituir o valor da porta por uma preferencial.

Você pode compartilhar um proxy para vários espaços de trabalho ou precisa de um cluster de proxy por espaço de trabalho?

Você precisa de um cluster de proxy por espaço de trabalho do Azure Databricks.

O proxy funciona com o controle de versão herdado de um único notebook?

Não, o proxy não funciona com o controle de versão herdado de um único notebook. Os usuários devem migrar para o controle de versão de pastas do Databricks Git.

O Databricks pode ocultar URLs do servidor Git que são proxiadas? Os usuários poderiam inserir as URLs originais do servidor Git em vez de URLs com proxy?

Sim a ambas as perguntas. Os usuários não precisam ajustar seu comportamento para o proxy. Com a implementação de proxy atual, todo o tráfego Git para pastas Git Databricks é roteado através do proxy. Os usuários inserem o URL normal do repositório Git, como https://git.company.com/org/repo-name.git.

Com que frequência os usuários trabalharão com as URLs do Git?

Normalmente, um usuário apenas adiciona a URL do Git quando cria um novo repositório ou faz check-out de um repositório existente que ainda não fez check-out.

O recurso faz proxy transparente de dados de autenticação para o servidor Git?

Sim, o proxy usa o token de servidor Git da conta de usuário para autenticar no servidor Git.

Existe acesso do Databricks ao código do servidor Git?

O serviço de proxy do Azure Databricks acessa o repositório Git no servidor Git usando a credencial fornecida pelo usuário e sincroniza todos os arquivos de código no repositório com o repositório. O acesso é restrito pelas permissões especificadas no token de acesso pessoal (PAT) fornecido pelo usuário.