Conectar-se ao Fivetran

A integração de dados automatizada do Fivetran se adapta à medida que esquemas e APIs mudam, garantindo acesso a dados confiáveis e análise simplificada com esquemas prontos para consulta.

Você pode integrar os warehouses de SQL do Databricks (antigos pontos de extremidade de SQL do Databricks) e os clusters do Azure Databricks a Fivetran. A integração do Fivetran ao Azure Databricks ajuda a centralizar os dados de fontes de dados diferentes no Delta Lake.

Conectar-se ao Fivetran usando o Partner Connect

Esta seção descreve como se conectar ao Fivetran usando o Partner Connect. Cada usuário cria sua própria conexão.

Antes de se conectar usando o Partner Connect

Antes de se conectar ao Fivetran usando o Partner Connect, verifique se você tem o seguinte:

• A função de usuário administrador do workspace ou as seguintes permissões:
  • A permissão CAN USE para um warehouse do SQL
  • A permissão CAN USE para uso de token
• Para dados gerenciados pelo Catálogo do Unity, os seguintes privilégios de objeto de metastore para o catálogo no qual você deseja que o Fivetran grave:
  • USE CATALOG e CREATE SCHEMA no catálogo.
  • (Opcional) Para especificar um local de destino, CREATE EXTERNAL TABLE no local externo e acesse os dados no armazenamento de objetos de nuvem.
• Para os dados gerenciados pelo metastore do Hive herdado, os seguintes privilégios de objeto do metastore são necessários para o catálogo no qual você deseja que o Fivetran grave:
  • USAGE e CREATE no catálogo
  • (Opcional) Para especificar um local de destino, acesse dados no armazenamento de objetos de nuvem.

Os privilégios para os objetos de metastore do Catálogo Unity podem ser concedidos por um administrador de metastore, pelo proprietário do objeto ou pelo proprietário do catálogo ou esquema que contém o objeto. Para obter mais informações, confira Privilégios e objetos protegíveis do Catálogo do Unity.

Os privilégios para objetos de metastore do Hive herdados podem ser concedidos por um administrador do workspace ou pelo proprietário do objeto. Para mais detalhes, confira Privilégios e objetos protegíveis do metastore do Hive (herdados).

O acesso aos dados no armazenamento de objetos na nuvem deve ser configurado por um administrador do workspace com permissões suficientes na conta de armazenamento de objetos na nuvem. Para obter mais informações, confira Habilitar a configuração de acesso a dados.

Etapas do Partner Connect

Para conectar o workspace do Azure Databricks ao Fivetran usando o Partner Connect, faça o seguinte:

1. Na barra lateral, clique em Partner Connect.

2. Clique no bloco do Fivetran.

   As etapas desta seção criam uma conta de avaliação do Fivetran no nível de usuário. Para entrar em uma conta de avaliação do Fivetran existente no nível de workspace, clique em Usar a conexão existente, conclua as instruções na tela para entrar no Fivetran e ignore o restante das etapas deste artigo.

3. Selecione um SQL warehouse. Se o warehouse do SQL estiver parado, clique em Iniciar.

4. Se o workspace estiver habilitado para o Catálogo do Unity, selecione um catálogo para o Fivetran gravar e clique em Avançar.

   O Partner Connect gera um token de acesso pessoal do Azure Databricks associado ao seu usuário.

5. Clique em Conectar-se ao Fivetran.

   Uma nova guia será aberta no navegador da Web, que exibirá o site do Fivetran.

6. Siga as instruções na tela do site do Fivetran para criar sua conta de parceiro de avaliação.

Conectar-se ao Fivetran manualmente

Para ter uma visão geral do procedimento de conexão manual, assista a este vídeo do YouTube (2 minutos).

Antes de se conectar manualmente

Antes de se conectar ao Fivetran manualmente, você precisa ter o seguinte:

• Um cluster ou SQL warehouse do workspace do Azure Databricks.

  • Referência de configuração de computação.
  • Criar um SQL warehouse.

• Os detalhes da conexão do cluster ou do SQL warehouse, especificamente os valores nome do Host do Servidor, Porta e Caminho HTTP.

  • Obter detalhes de conexão para um recurso de computação do Azure Databricks.

• Um token de acesso pessoal do Azure Databricks ou um token do Microsoft Entra ID (antigo Azure Active Directory). Para criar um token de acesso pessoal, faça o seguinte:

  1. No workspace do Azure Databricks, clique no nome de usuário do Azure Databricks na barra superior e selecione Configurações na lista suspensa.
  2. Clique em Desenvolvedor.
  3. Ao lado de Tokens de acesso, clique em Gerenciar.
  4. Clique em Gerar novo token.
  5. (Opcional) Insira um comentário que ajude você a identificar esse token no futuro e altere o tempo de vida padrão do token de 90 dias. Para criar um token sem tempo de vida (não recomendado), deixe a caixa Tempo de vida (dias) vazia (em branco).
  6. Clique em Gerar.
  7. Copie o token exibido para um local seguro e clique em Concluído.

  Observação

  Lembre-se de salvar o token copiado em um local seguro. Não compartilhe seu token copiado com outras pessoas. Se você perder o token copiado, não poderá regenerar exatamente aquele mesmo token. Em vez disso, será necessário repetir esse procedimento para criar um novo token. Caso você tenha perdido o token copiado ou acredite que ele tenha sido comprometido, o Databricks recomenda que você exclua imediatamente esse token do seu workspace clicando no ícone de lixeira (Revogar) ao lado do token na página de Tokens de acesso.

  Se você não conseguir criar ou usar tokens em seu workspace, isso pode ocorrer porque o administrador do workspace desabilitou tokens ou não deu permissão para criar ou usar tokens. Consulte o administrador do espaço de trabalho ou os seguintes tópicos:

  • Habilitar ou desabilitar a autenticação de token de acesso pessoal para o workspace
  • Permissões do token de acesso pessoal

  Observação

  Como melhor prática de segurança, ao autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pertencentes às entidades de serviço e não aos usuários do workspace. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Etapas manuais

Para se conectar ao Fivetran manualmente, faça o seguinte:

1. Entre na sua conta do Fivetran ou crie uma conta do Fivetran em https://fivetran.com/login.

   Importante

   Se você entrar na conta do Fivetran da sua organização, uma página Escolher Destino poderá ser exibida, listando uma ou mais entradas de destino existentes com o logotipo do Databricks. Essas entradas podem conter detalhes da conexão para recursos de computação em workspaces separados do seu. Se você ainda quiser reutilizar uma dessas conexões e confiar no recurso de computação e tiver acesso a ele, escolha esse destino e pule para as próximas etapas. Caso contrário, escolha qualquer destino disponível para passar desta página.

2. Na página Painel no Fivetran, clique na guia Destinos.

3. Clique em Adicionar Destino.

4. Insira um Nome de destino e clique em Adicionar.

5. Na página O Fivetran é o ELT moderno, clique em Configurar um conector.

6. Clique em uma fonte de dados e clique em Avançar.

7. Siga as instruções na tela do Guia de instalação no Fivetran para concluir a configuração do conector.

8. Clique em Salvar e Testar.

9. Depois que o teste for bem-sucedido, clique em Continuar.

10. Na página Selecionar o destino dos dados, clique em Databricks no Azure.

11. Clique em Continuar Instalação.

12. Conclua as instruções na tela no Fivetran para inserir os detalhes da conexão do recurso de computação existente do Azure Databricks, especificamente os valores dos campos Nome do Host do Servidor e Caminho HTTP e o token gerado anteriormente.

13. Clique em Salvar e Testar.

14. Depois que o teste for bem-sucedido, clique em Continuar.

15. Continue para as próximas etapas.

Recursos adicionais

Explore um ou mais dos seguintes recursos no site do Fivetran:

• Introdução
• Arquitetura
• Conectores
• Destinos
• Visão geral da sincronização
• Transformações
• Documentação do Fivetran
• Suporte ao Fivetran