Conectar-se ao Qlik Replicate
Importante
Esse recurso está em uma versão prévia.
O Qlik Replicate ajuda a extrair dados de várias fontes de dados (Oracle, Microsoft SQL Server, SAP, mainframe e muito mais) para o Delta Lake. O recurso de CDC (captura automatizada de dados de alterações) do Replicate ajuda a evitar o trabalho pesado de extrair dados, transferi-los usando um script de API, dividi-los, prepará-los e importá-los manualmente. O Qlik Compose automatiza a tarefa de CDC para o Delta Lake.
Observação
Para obter informações sobre o Qlik Sense, uma solução que ajuda a analisar dados no Delta Lake, consulte Conectar-se ao Qlik Sense.
Para ver uma demonstração geral do Qlik Replicate, assista a este vídeo do YouTube (14 minutos).
Para ver uma demonstração de pipelines de dados com o Qlik Replicate, assista a este vídeo do YouTube a seguir (6 minutos).
Estas são as etapas para usar o Qlik Replicate com o Azure Databricks.
Etapa 1: Gerar um token de acesso pessoal do Databricks
O Qlik Replicate autentica com o Azure Databricks usando um token de acesso pessoal do Azure Databricks.
Observação
Como melhor prática de segurança, ao autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pertencentes às entidades de serviço e não aos usuários do workspace. Para criar tokens para entidades de serviço, confira Gerenciar tokens para uma entidade de serviço.
Etapa 2: Configurar um cluster para dar suporte às necessidades de integração
O Qlik Replicate grava dados em um caminho do Azure Data Lake Storage e o cluster de integração do Azure Databricks lê os dados desse local. Por isso, o cluster de integração requer acesso seguro ao caminho do Azure Data Lake Storage.
Proteger o acesso a um caminho do Azure Data Lake Storage
Para proteger o acesso aos dados do ADLS (Azure Data Lake Storage), use uma chave de acesso da conta de armazenamento do Azure (recomendado) ou uma entidade de serviço do Microsoft Entra ID.
Usar uma chave de acesso da conta de armazenamento do Azure
É possível configurar uma chave de acesso da conta de armazenamento no cluster de integração como parte da configuração do Spark. Verifique se a conta de armazenamento tem acesso ao contêiner do ADLS e ao sistema de arquivos usado para o preparo de dados, bem como ao contêiner do ADLS e ao sistema de arquivos no qual deseja gravar as tabelas do Delta Lake. Para configurar o cluster de integração para usar a chave, siga as etapas em Conectar-se ao Azure Data Lake Storage Gen2 e Armazenamento de Blobs.
Usar uma entidade de serviço do Microsoft Entra ID
É possível configurar uma entidade de serviço no cluster de integração do Azure Databricks como parte da configuração do Spark. Verifique se a entidade de serviço tem acesso ao contêiner do ADLS usado para o preparo de dados e ao contêiner do ADLS no qual deseja gravar as tabelas Delta. Para configurar o cluster de integração a fim de usar a entidade de serviço, siga as etapas descritas em Acessar o ADLS Gen2 com uma entidade de serviço.
Especificar a configuração de cluster
Defina o Modo de cluster como Standard.
Defina Versão do Databricks Runtime como uma versão do Databricks Runtime.
Habilite gravações otimizadas e compactação automática adicionando as seguintes propriedades à configuração do Spark:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigure o cluster de acordo com as suas necessidades de integração e de dimensionamento.
Para obter detalhes da configuração do cluster, confira Referência de configuração de computação.
Confira Obter detalhes de conexão para um recurso de computação do Azure Databricks para obter as etapas para obter a URL JDBC e o caminho HTTP.
Etapa 3: Obter os detalhes da conexão JDBC e ODBC para se conectar a um cluster
Para conectar um cluster de Azure Databricks ao Qlik Replicate, você precisa das seguintes propriedades de conexão do JDBC/ODBC:
- URL do JDBC
- Caminho HTTP
Etapa 4: Configurar ao Qlik Replicate com o Azure Databricks
Acesse a página de logon do Qlik e siga as instruções.