Criar uma credencial de armazenamento para se conectar ao Cloudflare R2

  • Artigo

Este artigo descreve como criar uma credencial de armazenamento no Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos do Cloudflare R2 não incorre em taxas de saída. Replicar ou migrar dados que você compartilha para o R2 permite que você compartilhe dados entre nuvens e regiões sem incorrer em taxas de saída.

Nota

O Unity Catalog oferece suporte a duas opções de armazenamento em nuvem para o Azure Databricks: contêineres do Azure Data Lake Storage Gen2 e buckets do Cloudflare R2. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar taxas de saída de dados do provedor de nuvem. O Azure Data Lake Storage Gen2 é apropriado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar custos de saída do Delta Sharing (para provedores) e Criar uma credencial de armazenamento para se conectar ao Azure Data Lake Storage Gen2.

Para usar um bucket R2 como um local de armazenamento para dados gerenciados pelo Unity Catalog, você deve criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e criar um local externo que faça referência à credencial de armazenamento e ao caminho do bucket:

  • As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem.
  • Os locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento em nuvem.

Este artigo se concentra na criação de uma credencial de armazenamento.

Para obter mais informações, consulte Gerenciar o acesso ao armazenamento em nuvem usando o Unity Catalog.

Requisitos

  • Espaço de trabalho Databricks habilitado para o Unity Catalog.

  • Databricks Runtime 14.3 ou superior ou SQL warehouse 2024.15 ou superior.

    Se você encontrar a mensagem No FileSystem for scheme "r2”de erro , sua computação provavelmente está em uma versão não suportada.

  • Conta Cloudflare. Consulte https://dash.cloudflare.com/sign-up.

  • Função de administrador do Cloudflare R2. Consulte a documentação de funções da Cloudflare.

  • CREATE STORAGE CREDENTIAL no metastore do Unity Catalog anexado ao espaço de trabalho. Os administradores de conta e os administradores de metastore têm esse privilégio por padrão.

Configurar um bucket R2

  1. Crie um bucket do Cloudflare R2.

    Você pode usar o painel da Cloudflare ou a ferramenta Cloudflare Wrangler.

    Consulte a documentação "Introdução" do Cloudflare R2 ou a documentação do Wrangler.

  2. Crie um token de API R2 e aplique-o ao bucket.

    Consulte a documentação de autenticação da API do Cloudflare R2.

    Defina as seguintes propriedades de token:

    • Permissões: Objeto Ler & Gravar.

      Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

      Se quiser impor o acesso somente leitura do Azure Databricks para o bucket R2, você pode, em vez disso, criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, porque você pode marcar a credencial de armazenamento como somente leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

    • (Opcional) TTL: O período de tempo que você deseja compartilhar os dados do bucket com os destinatários dos dados.

    • (Opcional) Filtragem de Endereço IP do Cliente: Selecione se deseja limitar o acesso à rede aos endereços IP de destinatários especificados. Se essa opção estiver habilitada, você deverá especificar os endereços IP dos destinatários e permitir o endereço IP NAT do plano de controle Databricks para a região do espaço de trabalho.

    Consulte Endereços de plano de controle do Azure Databricks.

  3. Copie os valores do token da API R2:

    • ID da chave de acesso
    • Chave de acesso secreta

    Importante

    Os valores de token são mostrados apenas uma vez.

  4. Na página inicial do R2, vá para Detalhes da conta e copie o ID da conta R2.

Criar a credencial de armazenamento

  1. No Azure Databricks, inicie sessão na sua área de trabalho.

  2. Clique em Ícone do catálogo Catálogo.

  3. Na página Acesso rápido, clique no botão Dados externos>, vá para a guia Credenciais e selecione Criar credencial.

  4. Selecione Credencial de armazenamento.

  5. Selecione um tipo de credencial de token de API da Cloudflare.

  6. Insira um nome para a credencial e os seguintes valores que você copiou quando configurou o bucket R2:

    • ID da conta
    • ID da chave de acesso
    • Chave de acesso secreta

  7. (Opcional) Se desejar que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, em Opções avançadas , selecione Somente leitura.

    Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que está usando como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

    Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.

  8. Clique em Criar.

  9. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

  10. (Opcional) Associe a credencial de armazenamento a espaços de trabalho específicos.

    Por padrão, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer espaço de trabalho anexado ao metastore. Se você quiser permitir o acesso apenas de espaços de trabalho específicos, vá para a guia Espaços de trabalho e atribua espaços de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.

Próximo passo: criar o local externo

Consulte Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks.