Configurações de capacidade do driver para o Databricks JDBC Driver

  • Artigo

Este artigo descreve como definir configurações de capacidade de driver especiais e avançadas para o driver JDBC Databricks.

O Databricks JDBC Driver fornece as seguintes configurações especiais e avançadas de capacidade de driver.

Suporte a consultas ANSI SQL-92 em JDBC

Os drivers JDBC Spark herdados aceitam consultas SQL no dialeto ANSI SQL-92 e traduzem as consultas para o dialeto SQL Databricks antes de enviá-las para o servidor. No entanto, se seu aplicativo gera Databricks SQL diretamente ou seu aplicativo usa qualquer sintaxe SQL padrão não-ANSI SQL-92 específica para o Azure Databricks, o Databricks recomenda que você defina UseNativeQuery=1 como uma configuração de conexão. Com essa configuração, o driver passa as consultas SQL literalmente para o Azure Databricks.

Catálogo e esquema padrão

Para especificar o catálogo e o esquema padrão, adicione ConnCatalog=<catalog-name>;ConnSchema=<schema-name> à URL de conexão JDBC.

Extrair resultados de consulta grandes no JDBC

Para obter o melhor desempenho ao extrair resultados de consulta grandes, use a versão mais recente do driver JDBC, que inclui as seguintes otimizações.

Serialização de seta no JDBC

O driver JDBC versão 2.6.16 e superior suporta um formato de serialização de resultados de consulta otimizado que usa a Seta Apache.

Cloud Fetch no JDBC

O driver JDBC versão 2.6.19 e superior oferece suporte ao Cloud Fetch, um recurso que busca resultados de consulta por meio do armazenamento em nuvem configurado em sua implantação do Azure Databricks.

Os resultados da consulta são carregados em um local de armazenamento DBFS interno como arquivos serializados por seta de até 20 MB. Quando o driver envia solicitações de busca após a conclusão da consulta, o Azure Databricks gera e retorna assinaturas de acesso compartilhado para os arquivos carregados . Em seguida, o driver JDBC usa as URLs para baixar os resultados diretamente do DBFS.

O Cloud Fetch só é utilizado para resultados de consultas superiores a 1 MB. Resultados menores são recuperados diretamente do Azure Databricks.

O Azure Databricks coleta automaticamente os arquivos acumulados que são marcados para exclusão após 24 horas. Esses arquivos marcados são completamente excluídos após mais 24 horas.

Para saber mais sobre a arquitetura Cloud Fetch, consulte Como conseguimos conectividade de alta largura de banda com ferramentas de BI.

Ativar registo

Para habilitar o registro no driver JDBC, defina a LogLevel propriedade de 1 para registrar somente eventos graves para 6 registrar todas as atividades do driver. Defina a LogPath propriedade como o caminho completo para a pasta onde você deseja salvar os arquivos de log.

Para obter mais informações, consulte a Configuring Logging seção no Databricks JDBC Driver Guide.