Databricks Runtime 13.3 LTS

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, da plataforma Apache Spark 3.4.1.

O Databricks lançou esta versão em agosto de 2023.

Novos recursos e aprimoramentos

• Suporte do Scala para clusters compartilhados
• A lista de permitidos para scripts de inicialização, JARs e coordenadas maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública
• O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
• Conversões seguras habilitadas por padrão nas operações do Delta Lake
• Apresentando marcas com o Catálogo do Unity
• O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento e a invocação da consulta
• Bloqueio da substituição de esquema ao usar substituições de partição dinâmica
• Integrar a API copyFile em dbutils.fs.cp
• Suporte ao driver ODBC/JDBC do Databricks
• Suporte para marcadores de parâmetros não nomeados (posicionais)
• Habilitação da rotulagem de coluna de série temporal
• Novas funções SQL de bitmap
• Funções de criptografia aprimoradas
• Suporte do Catálogo do Unity para REFRESH FOREIGN
• INSERT BY NAME
• Compartilhamento de exibições materializadas com o Compartilhamento Delta

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Catálogo do Unity agora dão suporte ao Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de permitidos para scripts de inicialização, JARs e coordenadas Maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública

Agora você pode usar o Catálogo do Unity allowlist para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven na computação com modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Confira Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.

O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública

Agora você pode usar volumes do Catálogo do Unity para armazenar scripts de inicialização e JARs na computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Veja Onde os scripts de inicialização podem ser instalados? e bibliotecas com escopo de cluster.

Conversões seguras habilitadas por padrão nas operações do Delta Lake

As operações UPDATE e MERGE Delta já resultam em um erro quando os valores não podem ser convertidos com segurança no tipo do esquema da tabela de destino. Todas as conversões implícitas no Delta já seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Confira Conformidade com o ANSI no Databricks Runtime.

Apresentando marcas com o Catálogo do Unity

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar marcas aos objetos protegíveis. As marcas ajudam você a organizar objetos protegíveis e simplificar a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.

O Databricks Runtime retorna um erro se um arquivo é modificado entre o planejamento e a invocação da consulta

As consultas do Databricks Runtime já retornam um erro se um arquivo é atualizado entre o planejamento e a invocação da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre essas fases, o que ocasionalmente gerava resultados imprevisíveis.

Bloqueio da substituição de esquema ao usar substituições de partição dinâmica

Não é possível definir overwriteSchema como true em combinação com substituições de partição dinâmica no Delta Lake. Isso evita a possível corrupção de tabela devido à incompatibilidade de esquema. Confira Substituições de partição dinâmica.

Integração da API copyFile a dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp, foi otimizado para uma cópia mais rápida. Com esse aprimoramento, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, incluindo para volumes de catálogo do Unity e montagens do Sistema de Arquivos do Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks dá suporte a drivers ODBC e JDBC lançados nos últimos dois anos. Baixe o último driver em Baixar driver ODBC e Baixar driver JDBC.

Suporte para marcadores de parâmetros não nomeados (posicionais)

A API SparkSession.sql() já dá suporte a consultas parametrizadas por meio da sintaxe ?, além de consultas parametrizadas com a sintaxe :parm. Confira Marcadores de parâmetros.

Habilitação da rotulagem de coluna de série temporal

Agora você pode rotular colunas de série temporal ao criar restrições de chave primária.

Novas funções SQL de bitmap

O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Funções de criptografia aprimoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram aprimoradas com suporte para IV (vetores de inicialização) e AAD (dados adicionais autenticados).

Suporte do Catálogo do Unity para REFRESH FOREIGN

Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Catálogo do Unity usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA e REFRESH FOREIGN TABLE. Confira REFRESH FOREIGN (CATALOG, SCHEMA e TABLE).

INSERT BY NAME

Ao inserir linhas em uma tabela, você já pode permitir que o Azure Databricks mapeie colunas e campos na consulta de origem automaticamente para as colunas da tabela pelo nome. Veja INSERT INTO.

Compartilhamento de exibições materializadas com o Compartilhamento Delta

A instrução ALTER SHARE agora dá suporte a exibições materializadas.

Alterações de quebra

Alterações na conversão implícita ao armazenar linhas em uma tabela com MERGE INTO e UPDATE

O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para conversão implícita ao armazenar linhas em uma tabela. O valor padrão ANSI gera um erro ao armazenar valores que causa estouro. Anteriormente, os valores seriam armazenados como NULL por padrão.

Como no exemplo a seguir, você pode resolver estouros reescrevendo a tabela para usar um tipo mais amplo para a coluna que está causando o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Alterações na inferência de esquema do Parquet

Ao inferir esquemas de arquivos Parquet não escritos pelo Spark, colunas de carimbo de data/hora int64 anotadas com isAdjustedToUTC=false agora serão padrão para o tipo TIMESTAMP_NTZ. Anteriormente, elas eram inferidas como tipo TIMESTAMP. Esta atualização melhora a precisão na correspondência dos tipos Parquet com os tipos SQL do Spark.

Como resultado, a leitura de dados de arquivos Parquet externos para uma tabela Delta pode resultar em erro se o recurso timestampNtz não estiver habilitado. O erro será exibido da seguinte maneira:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para manter o comportamento anterior e evitar esse erro, você pode definir o parâmetro de configuração spark.sql.parquet.inferTimestampNTZ.enabled do Spark como false.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • debugpy de 1.5.1 a 1.6.0
  • distlib de 0.3.6 para 0.3.7
  • fastjsonschema de 2.16.3 para 2.18.0
  • filelock de 3.12.0 para 3.12.2
• Bibliotecas do R atualizadas:
  • SparkR de 3.4.0 a 3.4.1
• Bibliotecas do Java atualizadas:
  • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
  • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.xerial.snappy.snappy-java de 1.1.8.4 para 1.1.10.1

Apache Spark

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• Agora você pode definir a variável de ambiente de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar o conector Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Reverter “[SC-133100][SQL] Corrigir conversão do tipo de dados Avro…
• [SPARK-44504] [Backport][13.2][13.x][13.3] Descarregar provedor forçando assim o fechamento da instância do BD e liberando recursos no erro da tarefa de manutenção
• [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-44485] [SC-137653][SQL] Otimizar TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][SS][PYTHON] Streaming ForeachBatch em Python
• [SPARK-44446] [SC-136994][PYTHON] Adicionar verificações para casos especiais de tipo de lista esperados
• [SPARK-44439] [SC-136973][CONNECT][SS]Corrigido listListeners para enviar apenas IDs de volta ao cliente
• [SPARK-44216] [SC-136941] [PYTHON] Tornar pública a API assertSchemaEqual
• [SPARK-44201] [SC-136778][CONNECT][SS]Adicionar suporte para o ouvinte de streaming no Scala para Spark Connect
• [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Reverter "[SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python"
• [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
• [SPARK-44476] [SC-137169][CORE][CONNECT] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
• [SPARK-44269] [SC-135817][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][SQL] Atualizar argumentos TVF para exigir parênteses em torno do identificador após palavra-chave TABLE
• [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Adicionar suporte para UDFRegistration ao cliente Connect Scala
• [SPARK-44109] [SC-134755][CORE] Remover locais preferenciais duplicados de cada partição RDD
• [SPARK-44169] [SC-135497][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
• [SPARK-44153] [SC-134977][CORE][UI] Coluna de suporte Heap Histogram na guia Executors
• [SPARK-44044] [SC-135695][SS] Melhorar a mensagem de erro para funções de janela com streaming
• [SPARK-43914] [SC-135414][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][PYTHON] Permitir precisão personalizada para igualdade de aproximação de fp
• [SPARK-44370] [SC-136575][CONNECT] Migrar a geração remota alfa do Buf para plug-ins remotos
• [SPARK-44410][PYTHON][CONNECT] Backport para 136930: Definir sessão ativa em create, não apenas getOrCreate
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Reabilitar test_artifact com alterações relevantes
• [SPARK-44145] [SC-136698][SQL] Retorno de chamada quando estiver pronto para execução
• [SPARK-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
• [SPARK-43986] [SC-135623][SQL] Criar classes de erro para falhas de chamada da função HyperLogLog
• [SPARK-44139] [SC-134967][SQL] Descartar filtros completamente enviados por push em operações MERGE baseadas em grupo
• [SPARK-44338] [SC-136718][SQL] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
• [SPARK-44208] [SC-135505][CORE][SQL] Atribuir nomes de classe de erro claros para alguma lógica que usa diretamente exceções
• [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte ao tipo de dados List[Row] para o esperado
• [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
• [SPARK-43389] [SC-136772][SQL] Adicionou uma marcar nulo para a opção lineSep
• [SPARK-44388] [SC-136695][CONNECT] Corrigir problema de conversão de protobuf quando a instância do UDF é atualizada
• [SPARK-44352] [SC-136373][CONNECT] Colocar de volta sameType e amigos no DataType.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
• [SPARK-44360] [SC-136461][SQL] Suporte à remoção de esquema em operações MERGE baseadas em delta
• [SPARK-44138] [SC-134907][SQL] Proibir expressões, subconsultas e agregações não determinísticas em condições MERGE
• [SPARK-43321] [SC-136678][Connect][Followup] Nomes melhores para APIs usadas em junção do cliente ScalaWith
• [SPARK-44263] [SC-136447][CONNECT] Suporte a interceptadores personalizados
• [SPARK-39851] [SC-123383][SQL] Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade
• [SPARK-44390] [SC-136677][CORE][SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL] Atribuir nome e aprimorar mensagem de erro para erros HERDADOS frequentes.
• [SPARK-44322] [SC-136204][CONNECT] Faça o analisador usar SqlApiConf em vez de SQLConf.
• [SPARK-44271] [SC-136347][SQL] Mover funções de valores padrão de StructType para ResolveDefaultColumns
• [SPARK-44332] [SC-136413][CORE][WEBUI] Corrigir o erro de classificação da coluna de ID do executor na página do executor da interface do usuário
• [SPARK-44282] [SC-135948][CONNECT] Preparar a análise de DataType para uso no cliente Spark Connect Scala
• [SPARK-44349] [SC-136581][R] Adicionar funções matemáticas ao SparkR
• [SPARK-44397] [SC-136647][PYTHON] Expor assertDataFrameEqual em pyspark.testing.utils
• [SPARK-42981] [SC-136620][CONNECT] Adicionar serialização de seta direta
• [SPARK-44373] [SC-136577][SQL] Encapsular comActive para a lógica de análise da API do conjunto de dados para fazer com que a configuração relacionada ao analisador funcione
• [SPARK-44340] [SC-136574][SQL] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowGroupLimitExec
• [SPARK-43665] [SC-136573][CONNECT][PS] Habilitar PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
• [SPARK-44325] [SC-136572][SQL] Usar a API PartitionEvaluator no MapInBatchExec
• [SPARK-44315] [SC-136171][SQL][CONNECT] Mover DefinedByConstructorParams para SQL/API
• [SPARK-44275] [SC-136184][CONNECT] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
• [SPARK-44326] [SC-136208][SQL][CONNECT] Move util que são usados do cliente Scala para os módulos comuns
• [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][CONNECT] Preparar ScalaReflection para a mudança para SQL/API
• [SPARK-44313] [SC-136081][SQL] Corrige a validação de expressão de coluna gerada quando há uma coluna char/varchar no esquema
• [SPARK-43963] [SC-134145][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
• [SPARK-44363] [SC-136433] [PYTHON] Exibe porcentagem de linhas desiguais na comparação de DataFrame
• [SPARK-44251] [SC-136432][SQL] Definir anulável corretamente na chave de junção unida na junção USING externa completa
• [SPARK-43948] [SC-133366][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][CONNECT][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt para Scala e Python
• [SPARK-44351] [SC-136353][SQL] Fazer alguma simplificação sintática
• [SPARK-44281] [SC-135963][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
• [SPARK-44283] [SC-136109][CONNECT] Mover origem para SQL/API
• [SPARK-43926] [SC-135590][CONNECT][PYTHON] Adicionar array_agg, array_size, cardinality, count_min_sketch,mask,named_struct,json_* para Scala e Python
• [SPARK-44327] [SC-136187][SQL][CONNECT] Adicionar funções any e len ao Scala
• [SPARK-44290] [SC-136300][CONNECT] Arquivos e arquivos baseados em sessão no Spark Connect
• [SPARK-44061] [SC-136299][PYTHON] Adicionar função util assertDataFrameEqual
• [SPARK-44331] [SC-136324][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
• [SPARK-44342] [SC-136334][SQL] Substituir SQLContext por SparkSession para GenTPCDSData
• [SPARK-42583] [SC-124190][SQL] Remova a junção externa se todas elas forem funções de agregação distintas
• [SPARK-44333] [SC-136206][CONNECT][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
• [SPARK-43824] [SC-132655][SPARK-43825][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
• [SPARK-44193] [SC-135886][CONNECT] Implementar interceptação de exceções GRPC para conversão
• [SPARK-44284] [SC-136107][CONNECT] Criar um sistema de configuração simples para SQL/API
• [SPARK-43913] [SC-133368][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Reverter "[SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo"
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] Permitir definir um agente de usuário com uma variável de ambiente
• [SPARK-44154] [SC-136060] Implementar funções de bitmap
• [SPARK-43885] [SC-133996][SQL] DataSource V2: manipular comandos MERGE para fontes baseadas em delta
• [SPARK-43924] [SC-135161][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
• [SPARK-43969] [SC-134556][SQL] Refatorar e Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL] Corrigir a qualificação de caminho inconsistente entre operações de catálogo e dados
• [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
• [SPARK-43942] [SC-134527][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 1
• [SPARK-44266] [SC-135813][SQL] Mover Util.truncatedString para SQL/API
• [SPARK-44195] [SC-135722][R] Adicionar APIs JobTag ao SparkR SparkContext
• [SPARK-44200] [SC-135736][SQL] Suporte à regra do analisador de argumento TABLE para TableValuedFunction
• [SPARK-44254] [SC-135709][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo
• [SPARK-43922] [SC-135612][SQL] Adicionar suporte a parâmetro nomeado no analisador para chamadas de função
• [SPARK-44300] [SC-135882][CONNECT] Corrigir limpeza de artefato para limitar o escopo de exclusão a artefatos específicos da sessão
• [SPARK-44293] [SC-135849][CONNECT] Corrigir URI inválido para JARs personalizados no Spark Connect
• [SPARK-44215] [SC-135850][SHUFFLE] Se as partes num forem 0, o servidor deverá gerar uma RuntimeException
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deve ser somente ilustrativo
• [SPARK-44274] [SC-135814][CONNECT] Mover funções util usadas pelo ArtifactManager para usos/comuns
• [SPARK-44194] [SC-135815][PYTHON][CORE] Adicionar APIs JobTag ao PySpark SparkContext
• [SPARK-42828] [SC-135733][PYTHON][SQL] Anotações de tipo Python mais explícitas para GroupedData
• [SPARK-44079] [SC-135486][SQL] Correção de ArrayIndexOutOfBoundsException ao analisar matriz como struct usando o modo PERMISSIVE com registro corrompido
• [SPARK-44255] [SC-135809][SQL] Realocar StorageLevel para common/utils
• [SPARK-42169] [SC-135795] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
• [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementar SparkSession.is_stopped
• [SPARK-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
• [SPARK-41599] [SC-135616] Vazamento de memória em FileSystem.CACHE ao enviar aplicativos para um cluster seguro usando InProcessLauncher
• [SPARK-44241] [SC-135613][Core] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruição incessantes do executor
• [SPARK-44133] [SC-134795][13.X][PYTHON] Atualizar o MyPy de 0.920 para 0.982
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
• [SPARK-44188] [SC-135173][CORE] Remover método inútil resetAllPartitions em ActiveJob
• [SPARK-43757] [SC-135418][CONNECT] Alterar a compatibilidade do cliente da lista de permissões para a lista de negações
• [SPARK-43474] [SC-135521] [SS] [CONNECT] Adicione um acesso do Spark Connect aos Dataframes de runtime por ID.
• [SPARK-44183] [SC-135209][PYTHON] Increate PyArrow a versão mínima para 4.0.0
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] Adicionar local preferencial na fonte Kafka v2
• [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Adicionar funções de data e hora a API do Scala, Python e Connect - parte 1
• [SPARK-44161] [SC-135326][Conectar] Manipular entrada de linha para UDFs
• [SPARK-44227] [SC-135520][SQL] Extrair SchemaUtils de StructField
• [SPARK-44064] [SC-135116][CORE][SQL] Adicionar uma nova apply função a NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] e excluir algumas classes de erro não utilizados
• [SPARK-44056] [SC-134758][SQL] Incluir nome UDF na mensagem de erro de falha de execução da UDF quando disponível
• [SPARK-44205] [SC-135422][SQL] Extrair código Catalyst de DecimalType
• [SPARK-44220] [SC-135484][SQL] Mover StringConcat para SQL/API
• [SPARK-44146] [SC-135230][CONNECT] Isolar jars e arquivos de classe da Sessão do Spark Connect
• [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr escopo Session.active
• [SPARK-40850] [SC-135417][SQL] Corrigir consultas interpretadas por caso de teste podem executar Codegen
• [SPARK-44204] [SC-135253][SQL][HIVE] Adicionar registro ausenteHiveCall para getPartitionNames
• [SPARK-44237] [SC-135485][CORE] Simplificar a lógica de pesquisa do construtor DirectByteBuffer
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] Suporte a parâmetros posicionais por sql()
• [SPARK-44140] [SC-134893][CONNECT][PYTHON] Suporte a parâmetros posicionais em Python sql()
• [SPARK-44164] [SC-135158][SQL] Extrair método toAttribute da classe StructField para Util
• [SPARK-44178] [SC-135113][CONNECT][PYTHON] Suporte a parâmetros posicionais por sql()
• [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
• [SPARK-43063] [SC-128382][SQL] df.show identificador nulo deve imprimir NULL em vez de null
• [SPARK-42539] [SC-124464][SQL][HIVE] Eliminar o carregador de classes separado ao usar a versão 'incorporada' do Hive para o cliente de metadados
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-44066] [SC-134878][CONNECT][PYTHON] Suporte a parâmetros posicionais em Scala/Javasql()
• [SPARK-44078] [SC-134869][CONNECT][CORE] Adicionar suporte para isolamento de classe/recurso
• [SPARK-43470] [SC-135187][CORE] Adicionar informações de versão do SISTEMA OPERACIONAL, Java e Python ao log do aplicativo
• [SPARK-43136] [SC-135238][CONNECT][Followup] Adicionando testes para KeyAs
• [SPARK-39740] [SC-135093][UI]: atualizar linha do tempo vis para 7.7.2 para corrigir CVE-2020-28487
• [SPARK-42298] [SC-133952][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-44026] [SC-135181] Permitir fornecer valor inicial para SQLMetrics
• [SPARK-44202] [SC-135244][CORE] Adicionar APIs JobTag ao JavaSparkContext
• [SPARK-44030] [SC-135237][SQL] Implementar DataTypeExpression para oferecer Unapply para expressão
• [SPARK-43876] Reverter "[SC-134603][SQL] Habilitar hashmap rápido para consultas distintas"
• [SPARK-40082] [SC-126437] Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução
• [SPARK-43888] [SC-132893][CORE] Realocar o registro em log para common/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] Adicionar SessionHolder ao SparkConnectPlanner
• [SPARK-43944] [SC-134490][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 2
• [SPARK-44134] [SC-134954][CORE] Corrigir recursos de configuração (GPU/FPGA) como 0 quando eles são definidos em spark-defaults.conf
• [SPARK-44142] [SC-134947][PYTHON] Substitua o tipo por tpe no utilitário para converter tipos Python em tipos Spark
• [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Adicionar APIs SparkContext para cancelamento de consulta por marca
• [SPARK-44000] [SC-133634][SQL] Adicionar dica para desabilitar a transmissão e replicar um lado da junção
• [SPARK-43937] [SC-134362][CONNECT][PYTHON] Adicionar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala e Python
• [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Adicionar EWM ao SparkConnectPlanner.
• [SPARK-44040] [SC-134366][SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
• [SPARK-43485] [SC-131264][SQL] Corrigir a mensagem de erro para o unit argumento das funções datetime add/diff
• [SPARK-43794] [SC-132561][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][CONNECT][SS]Implemented MapGroupsWithState e FlatMapGroupsWithState APIs para Spark Connect
• [SPARK-43529] [SQL] Suporte a expressões CREATE/REPLACE TABLE OPTIONS + limpeza de código
• [SPARK-44106] [SC-134750][PYTHON][CONNECT] Adicionar __repr__ a GroupedData
• [SPARK-42299] [SC-133190][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][SQL] Adiciona suporte para IVs aes_encrypt e AAD
• [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Adicionar current funções semelhantes a Scala e Python
• [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Adicionar funções regexp_* ao Scala e Python
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] Ocultar métodos Column sem suporte do preenchimento automático
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
• [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementar funções 'levenshtein(str1, str2[, threshold])' no cliente Python
• [SPARK-44125] [SC-134745][R] Suporte a Java 21 no SparkR
• [SPARK-43919] [SC-133374][SQL] Extrair funcionalidade JSON fora da linha
• [SPARK-43769] [SC-132520][CONNECT] Implementar funções 'levenshtein(str1, str2[, threshold])'
• [SPARK-44012] [SC-134662][SS] KafkaDataConsumer para imprimir algumas status
• [SPARK-43876] [SC-134603][SQL] Habilitar hashmap rápido para consultas distintas
• [SPARK-44024] [SC-134497][SQL] Alterar para usar map quando unzip usado apenas para extrair um único elemento
• [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Adicionar operações de bit à API Scala, Python e Connect
• [SPARK-44092] [SC-134506][CORE] Adicionar Utils.isJavaVersionAtLeast21 e fazer o módulo core passar com Java 21
• [SPARK-44018] [SC-134512][SQL] Melhorar o hashCode e toString para alguma expressão DS V2
• [SPARK-44105] [SC-134582][SQL] LastNonNull deve ser resolvido lentamente
• [SPARK-44081] [SC-134434] Simplificar um pouco a API PartitionedFileUtil
• [SPARK-43791] [SC-132531][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Definir e usar características Unresolved[Leaf|Unary]Node.
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][SQL] Refatorar resolução de valor de coluna padrão
• [SPARK-43493] [SC-132063][SQL] Adicione um argumento de distância máxima à função levenshtein()
• [SPARK-44075] [SC-134382][CONNECT] Tornar transformStatCorr lento
• [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Adicione alguns, bool_or,bool_and, cada um para Scala, Python e Connect
• [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Adicionar funções make_* a Scala e Python
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][SQL] Aprimorar mensagens de erro: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][CONNECT][PYTHON] Adicionar funções to_* ao Scala e Python
• [SPARK-44055] [SC-134321][CORE] Remover funções redundantes override de CheckpointRDD
• [SPARK-43802] [SC-132597][SQL] Corrigir codegen para unhex e unbase64 com failOnError=true
• [SPARK-43798] [SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
• [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Adicionar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduzir à API Scala, Python e Connect
• [SPARK-43380] [SC-133100][SQL] Corrigir problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
• [SPARK-43803] [SC-133729] [SS] [CONNECT] Aprimorar awaitTermination() para lidar com desconexões de cliente
• [SPARK-43179] [SC-129070][SHUFFLE] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Ordem Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)