Databricks Runtime 11.3 LTS

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, da plataforma do Apache Spark 3.3.0. O Databricks lançou essa versão em outubro de 2022.

Alterações comportamentais

[Alteração significativa] A nova versão do Python requer a atualização de clientes Python do Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão do Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 11.3 LTS devem ser atualizados para o Python 3.9.7 ou posterior.

Novos recursos e aprimoramentos

• Gatilho de Streaming Estruturado depois de preterido
• Alterar o caminho de origem para o Carregador Automático
• O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO
• Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3
• Novos recursos para E/S preditiva
• Aumento de partições iniciais para verificar se há consultas seletivas
• Visualização de novas versões de plano da AQE
• Novos modos de rastreamento de progresso assíncrono e limpeza de log
• Agora há suporte para o Streaming Estruturado no Catálogo do Unity display()
• Os eventos de pipeline agora estão conectados no formato JSON
• Processamento com estado arbitrário no Fluxo Estruturado com o Python
• Inferência de data nos arquivos CSV
• Suporte de clone para tabelas Apache Parquet e Apache Iceberg (Visualização Pública)
• Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Gatilho de Streaming Estruturado depois de preterido

A configuração Trigger.Once foi preterida. O Databricks recomenda que você use Trigger.AvailableNow. Confira Configurar intervalos de gatilho do Streaming Estruturado

Alterar o caminho de origem para o Carregador Automático

Agora você pode alterar o caminho de entrada do diretório para o Carregador Automático configurado com o modo de listagem de diretórios sem precisar escolher um novo diretório de ponto de verificação. Confira Alterar o caminho de origem do Carregador Automático.

O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO

Agora você pode usar a fonte de streaming estruturado Kinesis do Databricks no Databricks Runtime 11.3 LTS para executar consultas que leem a partir de fluxos de dados do Kinesis no modo fan-out avançado. Isso permite taxa de transferência dedicada por fragmento, por consumidor e registro de entrega no modo push.

Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3

Apresentando quatro novas funções H3, h3_maxchild, h3_minchild, h3_pointash3 e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Agora, todas as expressões H3 têm suporte no Photon. Confira Funções geoespaciais H3

Novos recursos para E/S preditiva

O Photon dá suporte ao modo de intervalo para a execução de quadros, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. O Photon também dá suporte ao modo de intervalo para quadros crescentes, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumento de partições iniciais para verificar se há consultas seletivas

O valor das partições iniciais a serem verificados foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT no SQL do Databricks. Com 10 partições, você pode evitar a sobrecarga de iniciar vários trabalhos pequenos e uma escala vertical lenta. Você também pode configurar isso por meio de spark.sql.limit.selectiveInitialNumPartitions.

Visualização de novas versões de plano da AQE

Apresentando versões do plano do AQE que permitem visualizar as atualizações do plano de runtime da AQE (execução de consulta adaptável).

Novos modos de rastreamento de progresso assíncrono e limpeza de log

Introdução aos modos de Streaming estruturado chamados de acompanhamento de progresso assíncrono e limpeza de log assíncrono. O modo de limpeza de log assíncrono reduz a latência de consultas de streaming removendo logs usados para acompanhamento de progresso em segundo plano.

Agora há suporte para o Streaming Estruturado no Catálogo do Unity display()

Agora você pode usar display() quando usa o Streaming estruturado para trabalhar com tabelas registradas no Catálogo do Unity.

Os eventos de pipeline agora estão conectados no formato JSON

O Azure Databricks agora grava eventos de pipeline no log de driver no formato JSON. Embora cada evento seja analisável no JSON, grandes eventos podem não conter todos os campos ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Este é um evento de exemplo.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento com estado arbitrário no Fluxo Estruturado com o Python

Introdução à função applyInPandasWithState que pode ser usada para executar processamento arbitrário com estado no PySpark. Isso é equivalente à função flatMapGroupsWithState na API Java.

Inferência de data nos arquivos CSV

Introduzindo uma inferência aprimorada de colunas de tipo de data em arquivos CSV. Quando o formato de data é consistente entre os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em diferentes colunas. O Azure Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data nos arquivos CSV antes do Databricks Runtime 11.3 LTS são deixadas como StringType.

Suporte de clone para tabelas Apache Parquet e Apache Iceberg (Visualização Pública)

Agora, o clone pode ser usado para criar e atualizar incrementalmente tabelas Delta que espelham tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar incrementalmente as alterações à tabela Delta clonada com o comando clone. Consulte Clonar incrementalmente tabelas Parquet e Iceberg no Delta Lake.

Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Agora você pode usar o comando SQL MANAGED LOCATION para especificar um local de armazenamento em nuvem para tabelas gerenciadas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.

Alterações de comportamento

Databricks Connect 11.3.2

A atualização 11.3.2 do cliente do Databricks Connect agora é suportada. Consulte o Databricks Connect e as notas sobre a versão do Databricks Connect.

Conector Snowflake do Azure Databricks atualizado

O conector Snowflake do Azure Databricks foi atualizado para a versão mais recente do código do repositório de código aberto, Fonte de dados Snowflake para Apache Spark. Agora ele é totalmente compatível com o Databricks Runtime 11.3 LTS, incluindo pushdown de predicado e pushdown do plano de consulta interno, mantendo todos os recursos da versão de código aberto.

Agora, o cache do Hadoop para S3A está desabilitado

O cache do Hadoop (FileSystem API Apache Hadoop Main 3.3.4) para S3A agora está desabilitado. Isso é para se alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, verifique se os sistemas de arquivos criados recentemente são fornecidos com as configurações corretas do Hadoop, incluindo provedores de credenciais.

O esquema de coleção de estatísticas do Delta Lake agora corresponde à ordem da coluna na definição do esquema de tabela

Essa alteração aborda um bug no protocolo Delta Lake em que as estatísticas não foram coletadas para colunas devido a uma incompatibilidade na ordenação de colunas do DataFrame e da tabela. Em alguns casos, você pode encontrar degradação de desempenho de gravação devido à coleção de estatísticas em campos não rastreados anteriormente. Consulte Ignorar dados no Delta Lake.

applyInPandasWithState gera um erro se a consulta tiver um embaralhamento após o operador

O operador applyInPandasWithState gera um erro se a consulta tiver shuffle após o operador. Isso acontece quando o usuário adiciona shuffle após a operação ou o otimizador ou o coletor adiciona shuffle implicitamente.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • distlib de 0.3.5 a 0.3.6
• Bibliotecas do R atualizadas:
  • broom de 1.0.0 a 1.0.1
  • callr de 3.7.1 a 3.7.2
  • dplyr de 1.0.9 a 1.0.10
  • dtplyr de 1.2.1 para 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • future de 1.27.0 a 1.28.0
  • future.apply de 1.9.0 a 1.9.1
  • gert de 1.7.0 a 1.8.0
  • globals de 0.16.0 a 0.16.1
  • gtable de 0.3.0 a 0.3.1
  • haven de 2.5.0 a 2.5.1
  • hms de 1.1.1 para 1.1.2
  • httr de 1.4.3 a 1.4.4
  • knitr de 1.39 a 1.40
  • modelr de 0.1.8 a 0.1.9
  • pillar de 1.8.0 a 1.8.1
  • progressr de 0.10.1 a 0.11.0
  • readxl de 1.4.0 a 1.4.1
  • reprex de 2.0.1 a 2.0.2
  • rlang de 1.0.4 a 1.0.5
  • rmarkdown de 2.14 a 2.16
  • RSQLite de 2.2.15 a 2.2.16
  • rstudioapi de 0.13 a 0.14
  • rversions de 2.1.1 a 2.1.2
  • rvest de 1.0.2 para 1.0.3
  • scales de 1.2.0 a 1.2.1
  • sparklyr de 1.7.7 a 1.7.8
  • stringr de 1.4.0 a 1.4.1
  • survival de 3.2-13 a 3.4-0
  • tinytex de 0.40 a 0.41
  • viridisLite de 0.4.0 a 0.4.1
• Bibliotecas do Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks a 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
  • org.apache.orc.orc-core de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 a 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.34 a 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-common de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 de 2.34 a 2.36

Apache Spark

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.2, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-39957] [WARMFIX][SC-111425][CORE] Atraso onDisconnected para habilitação O driver recebe ExecutorExitCode
• [SPARK-39955] [WARMFIX][SC-111424][CORE] Aprimorar o processo LaunchTask para evitar falhas na etapa causadas por mensagens LaunchTask que não forem enviadas
• [SPARK-40474] [SC-106248][Cherry-Pick] Comportamento correto de inferência do esquema CSV para colunas datetime e introdução de detecção automática para campos de data
• [SPARK-40535] [SC-111243][SQL] Corrigir bug o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implementar applyInPandasWithState no PySpark
• [SPARK-40460] [SC-110832][SS] Corrigir métricas de streaming ao selecionar _metadata
• [SPARK-40324] [SC-109943][SQL] Fornecer um contexto de consulta de ParseException
• [SPARK-40466] [SC-110899] [SS] Melhorar a mensagem de erro quando o DSv2 estiver desabilitado e o DSv1 não estiver disponível
• [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext deve ser barato para ser chamado repetidamente
• [SPARK-40169] [SC-110772][SQL] Não efetuar pushdown de filtros Parquet sem referência ao esquema de dados
• [SPARK-40467] [SC-110759][SS] Dividir FlatMapGroupsWithState em vários conjuntos de testes
• [SPARK-40468] [SC-110813][SQL] Corrigir a remoção de coluna no CSV quando _corrupt_record estiver selecionado
• [SPARK-40291] [SC-110085][SQL] Aprimorar a mensagem do erro a coluna não está no grupo pela cláusula
• [SPARK-40398] [SC-110762][CORE][SQL] Usar o loop em vez da API Arrays.stream
• [SPARK-40433] [SC-110684][SS][PYTHON] Adicionar a JVMRow no PythonSQLUtils para converter a linha PySpark processada pelo pickle em linha JVM
• [SPARK-40414] [SC-110568][SQL][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][SQL] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][SQL] Identificar GetArrayStructFields e GetMapValue na função "arrays_zip"
• [SPARK-40387] [SC-110685][SQL] Melhorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][SQL] Definir KeyGroupedPartitioning somente quando a coluna referenciada estiver na saída
• [SPARK-40432] [SC-110716][SS][PYTHON] Introduzir GroupStateImpl e GroupStateTimeout no PySpark
• [SPARK-39915] [SC-110496][SQL] Verificar se o particionamento de saída é especificado pelo usuário no AQE
• [SPARK-29260] [SQL] Dar suporte a ALTER DATABASE SET LOCATION se o HMS der suporte
• [SPARK-40185] [SC-110056][SQL] Remover sugestão de coluna quando a lista de candidatos estiver vazia
• [SPARK-40362] [SC-110401][SQL] Corrigir a canonicalização BinaryComparison
• [SPARK-40411] [SC-110381][SS] Refatorar FlatMapGroupsWithStateExec para ter uma característica pai
• [SPARK-40293] [SC-110084][SQL] Tornar a mensagem de erro da tabela V2 mais significativa
• [SPARK-38734] [SC-110383][SQL] Remover a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] Corrigir os nomes da coluna na função "arrays_zip" quando as matrizes forem referenciadas de structs aninhados
• [SPARK-40276] [SC-109674][CORE] Reduzir o tamanho do resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][SQL] Substituir o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][SQL] Migrar para a classe de erro DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][SQL] Propagar colunas de metadados pelo Projeto
• [SPARK-40280] [SC-110146][SQL] Adicionar suporte à propagação de parquet para int e long anotados
• [SPARK-40220] [SC-110143][SC-109175][SQL] Não gere o mapa vazio dos parâmetros da mensagem de erro
• [SPARK-40295] [SC-110070][SQL] Permitir funções v2 com argumentos literais na distribuição/ordenação de gravação
• [SPARK-40156] [SC-109264][SQL] url_decode() caso retorne uma classe de erro
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve anular a fase quando o arquivo confirmado não for consistente com o status da tarefa
• [SPARK-40260] [SC-109424][SQL] Usar classes de erro nos erros de compilação de GROUP BY uma posição
• [SPARK-40205] [SC-110144][SC-109082][SQL] Fornecer um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][SQL] Melhorar a função TO_BINARY()
• [SPARK-40209] [SC-109081][SQL] Não alterar o valor do intervalo de Decimal em changePrecision() nos erros
• [SPARK-40319] [SC-109873][SQL] Remover método de erro de execução de consulta duplicado para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][SQL] try_add/try_divide/try_subtract/try_multiply numérico deve gerar erro de seus filhos
• [SPARK-40183] [SC-108907][SQL] Usar a classe de erro NUMERIC_VALUE_OUT_OF_RANGE para estouro na conversão decimal
• [SPARK-40180] [SC-109069][SQL] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][SQL] Unificar as funções de resolução e funções com valor de tabela
• [SPARK-40308] [SC-109880][SQL] Permitir que argumentos delimitadores não dobráveis para str_to_map funcionem
• [SPARK-40219] [SC-110052][SC-109663][SQL] O plano lógico de exibição resolvido deve manter o esquema para evitar pesquisa redundante
• [SPARK-40098] [SC-109939][SC-108693][SQL] Formatar mensagens de erro no Thrift Server
• [SPARK-39917] [SC-109038][SQL] Usar classes de erro diferentes para estouro aritmético numérico/de intervalo
• [SPARK-40033] [SC-109875][SQL] Suporte à remoção de esquema aninhado por meio de element_at
• [SPARK-40194] [SC-109660][SQL] A função SPLIT na expressão regular vazia deve truncar a cadeia de caracteres vazia à direita.
• [SPARK-40228] [SC-109835][SQL] Não simplificar multiLike se filho não for uma expressão barata
• [SPARK-40039] [SC-109896][SC-109260][SS] Introduzindo um gerenciador de arquivos de ponto de verificação de streaming com base na interface anulável do Hadoop
• [SPARK-40285] [SC-109679][SQL] Simplificar o roundTo[Numeric] para Spark Decimal
• [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison deve funcionar quando o literal do downcast In/InSet falhou
• [SPARK-40040] [SC-109662][SQL] Efetuar push do limite local para ambos os lados se a condição de junção estiver vazia
• [SPARK-40055] [SC-109075][SQL] listCatalogs também devem retornar spark_catalog mesmo quando a implementação spark_catalog for defaultSessionCatalog
• [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) pode não criar partições N não AQE
• [SPARK-40207] [SC-109401][SQL] Especificar o nome da coluna quando o tipo de dados não for suportado pela fonte de dados
• [SPARK-40245] [SC-109295][SQL] Corrigir a verificação de igualdade FileScan quando colunas de partição ou filtro de dados não forem lidos
• [SPARK-40113] [SC-109405][SQL] Implementações da interface ParquetScanBuilder DataSourceV2 de reator
• [SPARK-40211] [SC-109226][CORE][SQL] Permitir a personalização do número de partições iniciais no comportamento take()
• [SPARK-40252] [SC-109379][SQL] Substituir Stream.collect(Collectors.joining) pela API StringJoiner
• [SPARK-40247] [SC-109272][SQL] Corrigir a verificação de igualdade do BitSet
• [SPARK-40067] [SQL] Usar Table#name() em vez de Scan#name() para preencher o nome da tabela no nó BatchScan no SparkUI
• [SPARK-39966] [SQL] Usar o filtro V2 no SupportsDelete
• [SPARK-39607] [SC-109268][SQL][DSV2] A distribuição e ordenação dão suporte à função V2 por escrito
• [SPARK-40224] [SC-109271][SQL] Fazer com que ObjectHashAggregateExec libere a memória adiantadamente, quando voltar para baseado em classificação
• [SPARK-40013] [SQL] As expressões DS V2 devem ter o padrão toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] adicionar 'get' às funções
• [SPARK-40192] [SC-109089][SQL][ML] Remover groupby redundante
• [SPARK-40146] [SC-108694][SQL] Simplificar a obtenção do valor do mapa pelo codegen
• [SPARK-40109] [SQL] Nova função SQL: get()
• [SPARK-39929] [SQL] O DS V2 dá suporte ao envio de funções de cadeia de caracteres (não ANSI)
• [SPARK-39819] [SQL] A propagação da agregação do DS V2 pode funcionar com Top N ou Paginação (Classificar com expressões)
• [SPARK-40213] [SC-109077][SQL] Suporte à conversão de valor ASCII para caracteres Latino-1
• [SPARK-39887] [SQL] RemoveRedundantAliases deve manter os aliases que tornam a saída de nós de projeção exclusiva
• [SPARK-39764] [SQL] Tornar PhysicalOperation igual a ScanOperation
• [SPARK-39964] [SQL] O pushdown do DS V2 deve unificar o caminho da conversão
• [SPARK-39528] [SQL] Usar o filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retornar nulo no acesso inválido à coluna do mapa
• [SPARK-39912] [SPARK-39828][SQL] Refinar CatalogImpl
• [SPARK-39833] [SC-108736][SQL] Desabilitar o índice da coluna Parquet no DSv1 para corrigir um problema de correção no caso de partição sobreposta e colunas de dados
• [SPARK-39880] [SQL] O comando SHOW FUNCTIONS V2 deve imprimir o nome da função qualificada, como v1
• [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
• [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] Corrigir o fragmento dos contextos de consulta SQL
• [SPARK-40107] [SC-108689][SQL] Efetuar pull da conversão empty2null do FileFormatWriter
• [SPARK-40121] [PYTHON][SQL] Inicializar a projeção usada para a UDF do Python
• [SPARK-40128] [SQL] Fazer com que VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna autônoma
• [SPARK-40132] [ML] Restaurar rawPredictionCol para MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][SQL] Aprimorar EliminateSorts para dar suporte à remoção de classificações por meio de LocalLimit
• [SPARK-39629] [SQL] Dar suporte a SHOW FUNCTIONS v2
• [SPARK-39925] [SC-108734][SQL] Adicionar sobrecarga array_sort(column, comparator) às operações do DataFrame
• [SPARK-40117] [PYTHON][SQL] Converter a condição para java em DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Aprimorar a repartição em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar o nome do catálogo da sessão para tabela e função de banco de dados v1
• [SPARK-39889] [SQL] Usar classes de erro diferentes para numérico/intervalo dividido por 0
• [SPARK-39741] [SQL] Dar suporte à codificação/decodificação de URL como função interna e arrumar funções relacionadas à URL
• [SPARK-40102] [SQL] Usar SparkException em vez de IllegalStateException no SparkPlan
• [SPARK-40014] [SQL] Dê suporte à conversão de decimais para intervalos ANSI
• [SPARK-39776] [SQL][FOLLOW] Atualizar UT de PlanStabilitySuite no modo ANSI
• [SPARK-39963] [SQL] Simplificar SimplifyCasts.isWiderCast

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python 3.9.19.
• R: 4.1.3
• Delta Lake: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 08/09/2022.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)