Azure Databricks Runtime 13.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.2, desenvolvido pelo Apache Spark 3.4.0.

O Databricks lançou essa versão em julho de 2023.

Novos recursos e aprimoramentos

• Ponto de verificação do log de alterações para o repositório de estado rocksDB
• Confiabilidade aprimorada para VACUUM com clone superficial no Catálogo do Unity.
• Suporte para UDFs do Python no SQL
• O Delta Lake UniForm para Iceberg está em pré-visualização pública
• O clustering líquido do Delta Lake está em visualização pública
• Suporte a arquivamento no Azure Databricks
• Suporte para a cláusula IDENTIFIER
• Suporte ao Catálogo do Unity para Funções Definidas pelo Usuário (UDFs) Python e Pandas
• Compartilhar esquemas usando o Compartilhamento Delta
• Correções de bug

Ponto de verificação do log de alterações para o repositório de estado RocksDB

Você pode habilitar o ponto de verificação do registro de alterações para reduzir a duração do ponto de verificação e a latência de ponta a ponta para cargas de trabalho de fluxo estruturado com estado. O Databricks recomenda habilitar o ponto de verificação do changelog para todas as consultas com estado de Streaming Estruturado. Confira Habilitar o ponto de verificação do log de alterações.

Confiabilidade aprimorada para VACUUM com clone superficial no Catálogo do Unity.

Quando você usa tabelas gerenciadas do Catálogo do Unity para a origem e o destino de uma operação de clone superficial, o Catálogo do Unity gerencia os arquivos de dados subjacentes para melhorar a confiabilidade para a origem e o destino da operação de clone. A execução VACUUM na origem de um clone superficial não interrompe a tabela clonada. Consulte Clones superficiais do Vacuum e do Catálogo do Unity.

Suporte para UDFs do Python no SQL

Agora você pode declarar funções definidas pelo usuário usando o Python em instruções SQL CREATE FUNCTION no Catálogo do Unity. Consulte UDFs (funções definidas pelo usuário) no Catálogo do Unity.

O Delta Lake UniForm para Iceberg está em pré-visualização pública

O Formato Universal do Delta Lake (UniForm) permite que você leia tabelas Delta com clientes Iceberg. Confira Usar o UniForm para ler tabelas Delta com clientes do Iceberg.

O clustering líquido do Delta Lake está em pré-visualização pública

O clustering líquido Delta Lake substitui o particionamento de tabelas e ZORDER para simplificar as decisões de layout de dados e otimizar o desempenho da consulta. Confira Usar clustering líquido para tabelas Delta.

Suporte a arquivamento no Azure Databricks

O suporte a arquivamento no Azure Databricks apresenta uma coleção de recursos que permitem usar políticas de ciclo de vida baseadas em nuvem no armazenamento de objetos de nuvem que contêm tabelas Delta para mover arquivos para camadas de armazenamento de arquivamento. Confira Suporte a arquivamento no Azure Databricks.

Suporte para a cláusula IDENTIFIER

Use IDENTIFIER(:mytable) para parametrizar com segurança nomes de tabela, coluna, função e esquema em muitas instruções SQL.

Suporte ao Catálogo do Unity para Funções Definidas pelo Usuário (UDFs) Python e Pandas

No Databricks Runtime 13.2 e superior, as UDFs (funções definidas pelo usuário) escritas em Python têm suporte em clusters que usam o modo de acesso compartilhado em um workspace habilitado para Catálogo do Unity. Isso inclui UDFs do Python e do Pandas. Para obter detalhes sobre UDFs do Python, consulte Funções escalares definidas pelo usuário – Python.

Compartilhar esquemas usando o Compartilhamento Delta

O Databricks Runtime 13.2 adiciona a capacidade de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartilhar um esquema inteiro usando o Compartilhamento Delta, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com todas as tabelas e exibições adicionadas ao esquema no futuro. Consulte Adicionar esquemas a um compartilhamento e ALTER SHARE.

Correções de bug

• Corrigido um bug com o leitor JSON, em que os registros eram analisados no modo PERMISSIVE se failOnUnknownFieldsmode estava habilitado. Os registros agora são descartados no modo DROPMALFORMEDparser ou são gravados no badRecordsPath, se qualquer uma dessas opções estiver definida. FAILFAST gerará um erro se um tipo de coluna não corresponder.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • nodeenv de 1.7.0 a 1.8.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0

Apache Spark

O Databricks Runtime 13.2 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] Suporta Instrução Insert by Name
• [SPARK-43133] [SC-133728] Suporte ao Cliente Scala DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][CONNECT][PS] Habilitar SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correção (NullOps|NumOps).(eq|ne) para Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Addspark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] Remover __auto_generated_subquery_name de IDs em erros
• [SPARK-43976] [SC-133375][CORE] Manipular o caso em que modifiedConfigs não existe nos logs de eventos
• [SPARK-32559] [SC-133992][SQL] Corrigir a lógica de corte não lidou com caracteres de controle ASCII corretamente
• [SPARK-43421] [SC-132930][SS] Implementar o ponto de verificação baseado em log de alterações para o provedor de repositório de estado RocksDB
• [SPARK-43594] [SC-133851][SQL] Adicionar LocalDateTime a anyToMicros
• [SPARK-43884] [SC-133867] Marcadores de parâmetro em DDL
• [SPARK-43398] [SC-133894][CORE] O tempo limite do executor deve ser máximo de ordem aleatória ociosa e tempo limite de rdd
• [SPARK-43610] [SC-133892][CONNECT][PS] Habilitar InternalFrame.attach_distributed_column no Spark Connect.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] Suporte a createDataFrame do Python de maneira de streaming
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] Suporte a artefatos de cache
• [SPARK-43790] [SC-133468][PYTHON][CONNECT] Adicionar API copyFromLocalToFs
• [SPARK-43921] [SC-133461][PROTOBUF] Gerar arquivos descritores protobuf no momento da compilação
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Implementar o suporte ao arquivo em SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Correção de tipo Python StreamingQueryProgress rowsPerSecond
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Suporte ao gerenciamento de dependência do Python no Python Spark Connect
• [SPARK-43979] [13.X] Reverter "[SC-133456][SQL] CollectedMetrics deve ser tratado como o mesmo para autojunção"
• [SPARK-42290] [SC-133696][SQL] Corrigir o erro OOM não pode ser relatado quando o AQE está ativado
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Adicionar funções de matemática SQL a Scala e Python
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] Implementar o suporte a pyfile no SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Habilitar TimedeltaOps.(sub|rsub) com o Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Habilitar teste de paridade: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Melhorar candidatos sugeridos para atributo não resolvido
• [SPARK-43901] [SC-133454][SQL] Avro para suporte tipo decimal personalizado suportado por Long
• [SPARK-43267] [SC-133024][JDBC] Manipular coluna de postgres desconhecida definida pelo usuário como cadeia de caracteres na matriz
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Adicionar funções xpath_* a Scala e Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Adicionar percentil à API Scala e Python
• [SPARK-43717] [SC-133455][CONNECT] A agregação de redução do cliente Scala não pode manipular partições nulas para entradas primitivas Scala
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Alteração para usar foreach quando map não produz resultados
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
• [SPARK-44002] [SC-133606][CONNECT] Corrigir o manipulador de status do artefato
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Adicionar funções de agregação de regressão linear ao Scala e Python
• [SPARK-43920] [SC-133614][SQL][CONNECT] Criar módulo SQL/API
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics deve ser tratado como o mesmo para autojunção
• [SPARK-43977] [SC-133373][CONNECT] Correção inesperada do resultado verificação dedev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: corrigir enumerações como bug de ints
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Adicionar unix_* a Scala e Python
• [SPARK-43807] [SC-132545][SQL] Migrar _LEGACY_ERROR_TEMP_1269 para PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] Corrigir o bug não exibe o SQL da coluna para Percentile[Cont|Disco]
• [SPARK-42626] [SC-133248][CONNECT] Adicionar iterador destrutivo para SparkResult
• [SPARK-43333] [SC-132898][SQL] Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo
• [SPARK-43953] [SC-133134][CONNECT] Remover pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Ocultar métodos de dataframe sem suporte da conclusão automática
• [SPARK-43973][SC-133272][SS][UI] A interface do usuário de streaming estruturado deve exibir as consultas com falha corretamente
• [SPARK-42577] [SC-125445][CORE] Adicionar limitação máxima de tentativas para estágios para evitar possíveis repetições infinitas
• [SPARK-43841] [SC-132699][SQL] Manipular atributos candidatos sem prefixo no StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Follow up]Modificar a versão de suporte à configuração spark.rdd.cache.visibilityTracking.enabled para 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Migrar classes de erro
• [SPARK-43898] [SC-132926][CORE] Registre automaticamente immutable.ArraySeq$ofRef ao KryoSerializer para o Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2: Permitir a representação de atualizações como exclusões e inserções
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Suporte a UserDefinedType em createDataFrame do Pandas DataFrame e toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] Add SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] Converta _LEGACY_ERROR_TEMP_0036 em INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Corrigindo a subconta do acumulador no caso da tarefa de repetição com o cache rdd
• [SPARK-43892] [SC-133006][PYTHON] Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listDatabases
• [SPARK-43205] [SC-132623] Cláusula IDENTIFIER
• [SPARK-43545] [SC-132378][SQL][PYTHON] Suporte ao tipo de carimbo de data/hora aninhado
• [SPARK-43949] [SC-133048][PYTHON] Atualizar cloudpickle para 2.2.1
• [SPARK-43760] [SC-132809][SQL] Nulidade dos resultados de subconsulta de escalar
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][CONNECT][PS] Correção TimedeltaOps para Spark Connect
• [SPARK-43895] [SC-132897][CONNECT][GO] Preparar o caminho do pacote go
• [SPARK-43894] [SC-132892][PYTHON] Corrigir bug no df.cache()
• [SPARK-43509] [SC-131625][CONNECT] Suporte à criação de várias sessões do Spark Connect
• [SPARK-43882] [SC-132888][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][CONNECT][PS] Correção NumOps para Spark Connect
• [SPARK-43604] [SC-132165][SQL] Refatorar INVALID_SQL_SYNTAX para evitar inserir o texto do erro no código-fonte
• [SPARK-43859] [SC-132883][SQL] Substituir toString em LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listCatalogs
• [SPARK-43353] Reverter "[SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro"
• [SPARK-43375] [SC-130309][CONNECT] Melhorar as mensagens de erro para INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] Remover redundante toSeq do SparkConnectPlanner para Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][CONNECT][PS] Correção DatetimeOps para Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][CONNECT][PS] Correção BinaryOps para Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][CONNECT][PS] Correção NullOps para Spark Connect
• [SPARK-43782] [SC-132885][CORE] Suporte à configuração de nível de log com configuração estática do Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Cliente Python DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] Adiciona suporte a AES IV e AAD a ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Remover parâmetros não usados para SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Atribuir nome para _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Usa classes de erro nos erros de compilação de ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Remover declarações não utilizadas do módulo Core
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43799] [SC-132715][PYTHON] Adicionar opção binária de descritor à API do Pyspark Protobuf
• [SPARK-43837] [SC-132678][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][PYTHON] Aceitar tupla genérica como dicas de digitação da UDF do Pandas
• [SPARK-43530] [SC-132653][PROTOBUF] Ler arquivo descritor apenas uma vez
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][CONNECT][PS] Correção CategoricalOps para Spark Connect
• [SPARK-39979] [SC-132685][SQL] Adicionar opção para usar vetores de largura variável grandes para operações de seta UDF
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][CONNECT][PS] Correção StringOps para Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
• [SPARK-43815] [SC-132781][SQL] Adicionar alias to_varchar para to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Corrigir o comportamento de MapType aninhado no UDF do Pandas
• [SPARK-43361] [SC-131789][PROTOBUF] documentação de atualização para erros relacionados à serialização de enumeração
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Ocultar métodos session sem suporte da conclusão automática
• [SPARK-43022] [SC-131681][CONNECT] Suporte a funções protobuf para o cliente Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Habilitar a recursão da parte final sempre que possível
• [SPARK-42421] [SC-132695][CORE] Use os utils para obter a opção de alocação dinâmica usada no ponto de verificação local
• [SPARK-43590] [SC-132012][CONNECT] Faça connect-jvm-client-mima-check para dar suporte a mima marcar com protobuf o módulo
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Migrar erros restantes do DataFrame(Leitor|Gravador) na classe de erro
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: permitir serde com enumeração como ints
• [SPARK-43789] [SC-132397][R] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' em R createDataFrame com seta por padrão
• [SPARK-43596] [SC-126994][SQL] Manipular predicado IsNull em rewriteDomainJoins
• [SPARK-42249] [SC-122565][SQL] Refinando o link html para documentação em mensagens de erro.
• [SPARK-43128] [SC-131628][CONNECT][SS] Tornar recentProgress e lastProgress retornar StreamingQueryProgress consistente com a API nativa Scala
• [SPARK-43387] [SC-130448][SQL] Forneça um código de erro legível para _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [interface do usuário] Corrigir erro ao serializar ExecutorPeakMetricsDistributions na resposta à API
• [SPARK-42958] [SC-131475][CONNECT] Refatorar connect-jvm-client-mima-check para dar suporte a mima marcar com o módulo avro
• [SPARK-43591] [SC-131977][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Use a classe de erro em org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] Expor TimestampNTZType em pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] Campo de identificador missing row.excludedInStages
• [SPARK-42956] [SC-127257][CONNECT] Suporte a funções protobuf para o cliente Scala
• [SPARK-43487] [SC-131975][SQL] Corrigir mensagem de erro CTE aninhada
• [SPARK-43265] [SC-129653] Mover estrutura de erro para um módulo utils comum
• [SPARK-40912] [SC-131547][CORE]Sobrecarga de exceções em KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] obter MergedBlockedMetaReqHandler do delegado em vez da instância SaslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Criar e atribuir tíquetes JIRA adequados para todos os testes com falha.
• [SPARK-38469] [SC-131425][CORE] Use a classe de erro em org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] Definir anulável corretamente para chaves em junções USING
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop deve aceitar coluna vazia
• [SPARK-43743] [SC-132038][SQL] Porta HIVE-12188(DoAs não funciona corretamente em HS2 protegido por não kerberos)
• [SPARK-43598] [SC-131929][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] Corrigir ClassNotFoundException durante a migração
• [SPARK-43360] [SC-131526][SS][CONNECT] Cliente Scala StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Use a classe de erro em org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Renomear as classes de erro LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] A eliminação de subexpressão dá suporte à expressão de atalho
• [SPARK-38462] [SC-130449][CORE] Adicionar classe de erro INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Corrigir cannotBroadcastTableOverMaxTableBytesError para usar bytesToString
• [SPARK-43539] [SC-131830][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] Clone inMemoryRelation plano armazenado em cache para impedir que o plano clonado faça referência aos mesmos objetos
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Estender INTERNAL_ERROR com categorias e adicionar classe de erro INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] Corrigir gravador simultâneo não atualiza métricas de arquivo
• [SPARK-43383] [SC-130660][SQL] Adicionar rowCount estatísticas ao LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] Suporte para definir executável Python para APIs de função UDF e pandas em trabalhos durante o runtime
• [SPARK-43569] [SC-131694][SQL] Remover solução alternativa para HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Introduza um novo retorno de chamada "onQueryIdle" para StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] Suporte a nomes de campo duplicados em createDataFrame com DataFrame do Pandas
• [SPARK-43548] [SC-131686][SS] Remover solução alternativa para HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] Chame replicate() diretamente para HdfsDataOutputStreamBuilder em vez de reflexão em SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Manipular hadoopProperties e metricsProperties ausentes
• [SPARK-42899] [SC-126456][SQL] Corrige DataFrame.to(esquema) para lidar com o caso em que há um campo aninhado não anulável em um campo anulável
• [SPARK-43302] [SC-129747][SQL] Tornar o Python UDAF uma AggregateFunction
• [SPARK-43223] [SC-131270][Connect] Agg digitado, funções de redução, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Expanda QueryTerminatedEvent para conter a classe de erro se ela existir em exceção
• [SPARK-43359] [SC-131463][SQL] A exclusão da tabela hive deve gerar "UNSUPPORTED_FEATURE. TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Voltar para cadeias de caracteres codificadas em URL
• [SPARK-43492] [SC-131227][SQL] Adicionar aliases DATE_ADD de função de 3 argumentos e DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Suporte ao tipo de struct em createDataFrame do DataFrame do Pandas
• [SPARK-43386] [SC-131110][SQL] Melhorar a lista de colunas/atributos sugeridos na classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][SQL] Adicionar parâmetro de comparação para inferência de tipo de carimbo de data/hora ao usar valor inválido
• [SPARK-43518] [SC-131420][SQL] Converter _LEGACY_ERROR_TEMP_2029 em INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] Implementar functions.typedlit
• [SPARK-42323] [ES-669513] Reverter "[SC-123479][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][SQL] Filtrar data de cotação do tipo de data
• [SPARK-43410] [SC-130526][SQL] Melhorar o loop vetorizado para skipValues empacotados
• [SPARK-43441] [SC-130995][CORE] makeDotNode não deve falhar quando DeterministicLevel está ausente
• [SPARK-43324] [SC-130455][SQL] Manipular comandos UPDATE para fontes baseadas em delta
• [SPARK-43272] [SC-131168][CORE] Chame createFile diretamente em vez de reflexão
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43405] [SC-130987][SQL] Remover método inútil getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL
• [SPARK-43447] [SC-131017][R] Suporte a R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Adicionar TimestampNTZType a ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Migrar erros de fluxo estruturado do Spark Connect para a classe de erro
• [SPARK-42992] [13.x][SC-129465][PYTHON] Introduzir PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] Manter marcas em LogicalRelation com saída de metadados
• [SPARK-43390] [SC-130646][SQL] DSv2 permite que CTAS/RTAS reservem nulidade do esquema
• [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest dá suporte a opções de solicitação arbitrárias.
• [SPARK-43313] [SC-130254][SQL] Adicionando valores DEFAULT de coluna ausentes para ações MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] Mesclar a classe de erro _LEGACY_ERROR_TEMP_2006 em REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Habilitar spark.sql.thriftServer.interruptOnCancel por padrão
• [SPARK-43292] [SC-130525][CORE][CONNECT] Mover ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Melhorar o suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-43343] [SC-130629][SS] FileStreamSource deve desabilitar um arquivo glob extra marcar ao criar DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] Opção para converter qualquer campo em JSON
• [SPARK-43404] [SC-130586][SS] Ignore a reutilização do arquivo SST para a mesma versão do armazenamento de estado do RocksDB para evitar erro de incompatibilidade de ID.
• [SPARK-43397] [SC-130614][CORE] Duração de encerramento do executor de log no método executorLost
• [SPARK-42388] [SC-128568][SQL] Evite leituras de rodapé parquet duas vezes no leitor vetorizado
• [SPARK-43306] [13.x][SC-130320][PYTHON] Migrar ValueError de tipos SQL do Spark para a classe de erro
• [SPARK-43337] [SC-130353][UI][3.4] Ícones de seta asc/desc para classificar coluna não são exibidos na coluna da tabela
• [SPARK-43279] [SC-130351][CORE] Limpar membros não utilizados de SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Substitua a classe _LEGACY_ERROR_TEMP_2014 de erro por um erro interno
• [SPARK-43363] [SC-130299][SQL][PYTHON] Faça para chamar astype para o tipo de categoria somente quando o tipo de seta não for fornecido
• [SPARK-43261] [SC-130154][PYTHON] Migrar TypeError de tipos SQL do Spark para a classe de erro
• [SPARK-41971] [SC-130230][SQL][PYTHON] Adicionar uma configuração para conversão do Pandas como lidar com tipos de struct
• [SPARK-43381] [SC-130464][CONNECT] Tornar 'transformStatCov' lento
• [SPARK-43362] [SC-130481][SQL] Tratamento especial do tipo JSON para o conector MySQL
• [SPARK-42843] [SC-130196][SQL] Atualizar a classe de erro _LEGACY_ERROR_TEMP_2007 em REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] Streaming de relações locais
• [SPARK-43181] [SC-130476][SQL] Mostrar WebURL da interface do usuário no shell spark-sql
• [SPARK-43051] [SC-130194][CONNECT] Adicionar opção para emitir valores padrão
• [SPARK-43204] [SC-129296][SQL] Alinhar atribuições MERGE com atributos de tabela
• [SPARK-43348] [SC-130082][PYTHON] Suporte Python 3.8 no PyPy3
• [SPARK-42845] [SC-130078][SQL] Atualizar a classe de erro _LEGACY_ERROR_TEMP_2010 para InternalError
• [SPARK-43211] [SC-128978][HIVE] Remover suporte a Hadoop2 no IsolatedClientLoader

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)