Conecte-se ao Fivetran

  • Artigo

A integração automatizada de dados Fivetran adapta-se à medida que os esquemas e APIs mudam, garantindo acesso confiável aos dados e análise simplificada com esquemas prontos para consulta.

Você pode integrar seus armazéns SQL Databricks (anteriormente pontos de extremidade Databricks SQL) e clusters do Azure Databricks com o Fivetran. A integração do Fivetran com o Azure Databricks ajuda você a centralizar dados de fontes de dados diferentes no Delta Lake.

Conecte-se ao Fivetran usando o Partner Connect

Esta seção descreve como se conectar ao Fivetran usando o Partner Connect. Cada usuário cria sua própria conexão.

Nota

A experiência de conexão por usuário está em Visualização pública. Você pode desabilitar a capacidade de criar conexões por usuário entrando em contato com sua equipe de conta do Azure Databricks.

Antes de se conectar usando o Partner Connect

Antes de se conectar ao Fivetran usando o Partner Connect, verifique se você tem o seguinte:

  • A função de usuário administrador do espaço de trabalho ou as seguintes permissões:
  • Para dados gerenciados pelo Unity Catalog, os seguintes privilégios de objeto de metastore para o catálogo no qual você deseja que o Fivetran escreva:
    • USE CATALOG eCREATE SCHEMA no catálogo.
    • (Opcional) Para especificar um local de destino, CREATE EXTERNAL TABLE no local externo e acesso aos dados no armazenamento de objetos na nuvem.
  • Para dados gerenciados pelo metastore herdado do Hive, os seguintes privilégios de objeto de metastore para o catálogo no qual você deseja que o Fivetran grave:
    • USAGE e CREATE no catálogo
    • (Opcional) Para especificar um local de destino, acesse os dados no armazenamento de objetos na nuvem.

Os privilégios para objetos de metastore do Unity Catalog podem ser concedidos por um administrador de metastore, o proprietário do objeto ou o proprietário do catálogo ou esquema que contém o objeto. Para obter mais informações, consulte Privilégios do catálogo Unity e objetos protegíveis.

Os privilégios para objetos de metastore herdados do Hive podem ser concedidos por um administrador de espaço de trabalho ou pelo proprietário do objeto. Para obter mais informações, consulte Privilégios de metastore do Hive e objetos protegíveis (legado).

O acesso aos dados no armazenamento de objetos na nuvem deve ser configurado por um administrador de espaço de trabalho com permissões suficientes na conta de armazenamento de objetos na nuvem. Para obter mais informações, consulte Habilitar configuração de acesso a dados.

Etapas do Partner Connect

Para conectar seu espaço de trabalho do Azure Databricks ao Fivetran usando o Partner Connect, faça o seguinte:

  1. Na barra lateral, clique em Partner Connect.

  2. Clique no bloco Fivetran .

    As etapas nesta seção criam uma conta de avaliação do Fivetran no nível do usuário. Para entrar em uma conta de avaliação do Fivetran existente no nível do espaço de trabalho, clique em Usar conexão existente, conclua as instruções na tela para entrar no Fivetran e ignore o restante das etapas deste artigo.

  3. Selecione um armazém SQL. Se o SQL warehouse estiver parado, clique em Iniciar.

  4. Se seu espaço de trabalho estiver habilitado para o Unity Catalog, selecione um catálogo para o Fivetran gravar e clique em Avançar.

    O Partner Connect gera um token de acesso pessoal do Azure Databricks associado ao seu usuário.

  5. Clique em Conectar ao Fivetran.

    Uma nova guia é aberta no navegador da Web que exibe o site do Fivetran.

  6. Preencha as instruções na tela no site do Fivetran para criar sua conta de parceiro de avaliação.

Conecte-se ao Fivetran manualmente

Para obter uma visão geral do procedimento de conexão manual, assista a este vídeo do YouTube (2 minutos).

Nota

Para conectar um armazém SQL com o Fivetran mais rapidamente, use o Partner Connect.

Antes de se conectar manualmente

Antes de se conectar ao Fivetran manualmente, você deve ter o seguinte:

  • Um cluster ou armazém SQL no seu espaço de trabalho do Azure Databricks.

  • Os detalhes de conexão para seu cluster ou SQL warehouse, especificamente os valores Nome do host do servidor, Porta e Caminho HTTP.

  • Um token de acesso pessoal do Azure Databricks ou um token de ID do Microsoft Entra (anteriormente Azure Ative Directory). Para criar um token de acesso pessoal, faça o seguinte:

    1. No seu espaço de trabalho do Azure Databricks, clique no seu nome de utilizador do Azure Databricks na barra superior e, em seguida, selecione Definições na lista pendente.
    2. Clique em Desenvolvedor.
    3. Ao lado de Tokens de acesso, clique em Gerenciar.
    4. Clique em Gerar novo token.
    5. (Opcional) Insira um comentário que o ajude a identificar esse token no futuro e altere o tempo de vida padrão do token de 90 dias. Para criar um token sem tempo de vida (não recomendado), deixe a caixa Tempo de vida (dias) vazia (em branco).
    6. Clique em Generate (Gerar).
    7. Copie o token exibido para um local seguro e clique em Concluído.

    Nota

    Certifique-se de salvar o token copiado em um local seguro. Não partilhe o seu token copiado com outras pessoas. Se você perder o token copiado, não poderá regenerar exatamente o mesmo token. Em vez disso, você deve repetir esse procedimento para criar um novo token. Se você perder o token copiado ou acreditar que o token foi comprometido, o Databricks recomenda que você exclua imediatamente esse token do seu espaço de trabalho clicando no ícone da lixeira (Revogar) ao lado do token na página de tokens do Access.

    Se você não conseguir criar ou usar tokens em seu espaço de trabalho, isso pode ser porque o administrador do espaço de trabalho desabilitou tokens ou não lhe deu permissão para criar ou usar tokens. Consulte o administrador do espaço de trabalho ou os seguintes tópicos:

    Nota

    Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Gorjeta

Se o bloco Fivetran no Partner Connect em seu espaço de trabalho tiver um ícone de marca de seleção dentro dele, você poderá obter os detalhes de conexão para o SQL warehouse conectado clicando no bloco e expandindo Detalhes da conexão. O token de acesso pessoal está oculto, você deve criar um token de acesso pessoal de substituição e inserir esse novo token quando o Fivetran pedir.

Passos manuais

Para se conectar ao Fivetran manualmente, faça o seguinte:

  1. Inicie sessão na sua conta Fivetran ou crie uma nova conta Fivetran em https://fivetran.com/login.

    Importante

    Se você entrar na conta Fivetran da sua organização, uma página Escolher destino poderá ser exibida, listando uma ou mais entradas de destino existentes com o logotipo do Databricks. Essas entradas podem conter detalhes de conexão para recursos de computação em espaços de trabalho separados do seu. Se você ainda quiser reutilizar uma dessas conexões e confiar no recurso de computação e tiver acesso a ele, escolha esse destino e pule para as próximas etapas. Caso contrário, escolha qualquer destino disponível para passar por esta página.

  2. Na página Painel do Fivetran, clique na guia Destinos.

  3. Clique em Adicionar destino.

  4. Insira um Nome de destino e clique em Adicionar.

  5. Na página Fivetran is modern ELT, clique em Configurar um conector.

  6. Clique em uma fonte de dados e, em seguida, clique em Avançar.

  7. Siga as instruções na tela no Guia de configuração no Fivetran para concluir a configuração do conector.

  8. Clique em Salvar & Test.

  9. Depois que o teste for bem-sucedido, clique em Continuar.

  10. Na página Selecione o destino dos seus dados, clique em Databricks no Azure.

  11. Clique em Continuar configuração.

  12. Conclua as instruções na tela no Fivetran para inserir os detalhes de conexão para seu recurso de computação existente do Azure Databricks, especificamente os valores de campo Nome do host do servidor e Caminho HTTP e o token que você gerou anteriormente.

  13. Clique em Salvar & Test.

  14. Depois que o teste for bem-sucedido, clique em Continuar.

  15. Continue para as próximas etapas.

Recursos adicionais

Explore um ou mais dos seguintes recursos no site do Fivetran: