Databricks Runtime 15.2

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.2 的相关信息。

Databricks 于 2024 年 5 月发布了这些映像。

行为更改

Vacuum 会清理 COPY INTO 元数据文件

现在，在使用 COPY INTO 进行写入的表上运行 VACUUM 可以清理与跟踪引入的文件相关的未引用元数据。 对 COPY INTO 的操作语义没有影响。

Lakehouse Federation 已正式发布 (GA)

在 Databricks Runtime 15.2 及更高版本中，Lakehouse Federation 连接器已正式发布 (GA)，支持以下数据库类型：

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

此版本还引入了以下改进：

• 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录 (SSO) 身份验证。

• 对无服务器计算环境中的 SQL Server 连接器的 Azure 专用链接支持。 请参阅步骤 3：创建专用终结点规则。

• 支持更多下推（字符串、数学和杂项函数）。

• 改进了不同查询形状的下推成功率。

• 其他下推调试功能：

  • EXPLAIN FORMATTED 输出显示下推的查询文本。
  • 查询配置文件 UI 显示下推的查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅查看系统生成的联合查询。

使用 COPY INTO 与无标头 CSV 文件进行列映射的 BY POSITION

在 Databricks Runtime 15.2 及更高版本中，可以将 BY POSITION 关键字（或替代语法 ( col_name [ , <col_name> ... ] )）与 COPY INTO 用于无标头 CSV 文件，以简化源列到目标表列的映射。 请参阅参数。

当 Spark 任务失败并出现 Resubmitted 错误时减少内存消耗

在 Databricks Runtime 15.2 及更高版本中，当任务失败并出现 Resubmitted 错误时，Spark TaskInfo.accumulables() 方法的返回值为空。 以前，该方法会返回先前成功任务尝试的值。 此行为更改会影响以下使用者：

• 使用 EventLoggingListener 类的 Spark 任务。
• 自定义 Spark 侦听器。

若要还原以前的行为，请将 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled 设置为 false。

已禁用查看自适应查询执行计划版本

为了减少内存消耗，现在在 Spark UI 中默认禁用自适应查询执行 (AQE) 计划版本。 若要在 Spark UI 中启用查看 AQE 计划版本，请将 spark.databricks.sql.aqe.showPlanChangesInUI.enabled 设置为 true。

降低了对保留查询的限制以减少 Spark UI 内存使用量

在 Databricks Runtime 15.2 及更高版本中，为了减少 Azure Databricks 计算中 Spark UI 消耗的内存，UI 中可见的查询数限制从 1000 降低到 100。 若要更改限制，请使用 spark.sql.ui.retainedExecutions Spark 配置设置新值。

DESCRIBE HISTORY 现在会显示使用 liquid 聚类分析的表的聚类分析列

运行 DESCRIBE HISTORY 查询时，operationParameters 列默认显示 CREATE OR REPLACE 和 OPTIMIZE 操作的 clusterBy 字段。 对于使用 liquid 聚类分析的 Delta 表，clusterBy 字段将填充表的聚类分析列。 如果表不使用 liquid 聚类分析，则字段为空。

新增功能和改进

对主键和外键的支持已正式发布

Databricks Runtime 中对主键和外键的支持已正式发布。 GA 版本对使用主键和外键所需的权限进行了以下更改：

• 要定义外键，必须对外键所引用的主键所属的表具有 SELECT 权限。 不需要拥有具有主键的表，这在以前是必需的。
• 使用 CASCADE 子句删除主键不需要对定义引用主键的外键的表具有权限。 以前，需要拥有引用表。
• 现在，删除包含约束的表所需的权限与删除不包含约束的表所需的权限相同。

要了解如何对表或视图使用主键和外键，请参阅 CONSTRAINT 子句、ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。

liquid 聚类分析已正式发布

现在，使用 Databricks Runtime 15.2 及更高版本，通常可以获得对 liquid 聚类分析的支持。 请参阅对 Delta 表使用 liquid 聚类分析。

类型扩展目前为公共预览版

现在，可以在由 Delta Lake 支持的表上启用类型扩展。 启用了类型扩展的表允许将列的类型更改为更宽的数据类型，而无需重写基础数据文件。 请参阅类型扩展。

添加到 SQL 合并语法的架构演变子句

现在可以将 WITH SCHEMA EVOLUTION 子句添加到 SQL 合并语句，以便为操作启用架构演变。 请参阅“合并的架构演变语法”。

PySpark 自定义数据源以公共预览版提供

PySpark DataSource 可以使用 Python (PySpark) DataSource API 创建，其允许使用 Python 从自定义数据源进行读取并在 Apache Spark 中的自定义数据接收器中进行写入。 请参阅 PySpark 自定义数据源

applyInPandas 和 mapInPandas 现在在使用共享访问模式的 Unity Catalog 计算上可用

作为 Databricks Runtime 14.3 LTS 维护版本的一部分，applyInPandas 和 mapInPandas UDF 类型现在在运行 Databricks Runtime 14.3 及更高版本的共享访问模式计算上受支持。

使用 dbutils.widgets.getAll() 获取笔记本中的所有小组件

使用 dbutils.widgets.getAll() 以获取笔记本中的所有小组件值。 当将多个小组件值传递给 Spark SQL 查询时，这尤其有用。

清空清单支持

现在可以指定在 Delta 表上运行 VACUUM 命令时要考虑的文件清单。 请参阅 OSS Delta 文档。

支持 Zstandard 压缩函数

现在可以使用 zst_compress、zstd_decompress 和 try_zstd_decompress 函数来压缩和解压缩 BINARY 数据。

缺陷修复

SQL UI 中的查询计划现在会正确显示 PhotonWriteStage

在 SQL UI 中显示时，查询计划中的 write 命令会错误地将 PhotonWriteStage 显示为运算符。 在此版本中，UI 已更新为将 PhotonWriteStage 显示为阶段。 这只是一项 UI 更改，不会影响查询的运行方式。

Ray 已更新以修复启动 Ray 群集的问题

此版本加入了 Ray 的修补版本，用于修复阻止 Ray 群集启动适用于机器学习的 Databricks Runtime 的中断性变更。 此更改可确保 Ray 功能与 15.2 之前的 Databricks Runtime 版本相同。

GraphFrames 已更新，以修复 Spark 3.5 的错误结果

此版本加入了 GraphFrames 包的更新，以修复使用 GraphFrame 和 Spark 3.5 时某些算法结果错误的问题。

更正了 DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的错误类

此版本加入了对 PySpark DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的更新，以确保当 0 作为索引参数传递时会引发 ZERO_INDEX 错误类。 以前引发的是错误类 INDEX_NOT_POSITIVE。

ipywidgets 已从 8.0.4 降级到 7.7.2

为了修复 Databricks Runtime 15.0 中由 ipywidgets 升级到 8.0.4 引入的错误，ipywidgets 已在 Databricks Runtime 15.2 中降级到 7.7.2。 这与以前 Databricks Runtime 版本中包含的版本相同。

库升级

• 升级了 Python 库：
  • GitPython 已从 3.1.42 升级到 3.1.43
  • google-api-core 已从 2.17.1 升级到 2.18.0
  • google-auth 已从 2.28.1 升级到 2.29.0
  • google-cloud-storage 已从 2.15.0 升级到 2.16.0
  • googleapis-common-protos 从 1.62.0 升级到 1.63.0
  • ipywidgets 已从 8.0.4 升级到 7.7.2
  • mlflow-skinny 已从 2.11.1 升级到 2.11.3
  • s3transfer 已从 0.10.0 升级到 0.10.1
  • sqlparse 已从 0.4.4 升级到 0.5.0
  • typing_extensions 已从 4.7.1 升级到 4.10.0
• 升级了 R 库：
• 升级了 Java 库：
  • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-config 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-core 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-directory 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ecs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-efs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-emr 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-glacier 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-glue 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-iam 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-importexport 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-kms 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-lambda 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-logs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-rds 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-redshift 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-route53 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-s3 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ses 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sns 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sqs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ssm 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sts 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-support 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.jmespath-java 已从 1.12.390 升级到 1.12.610

Apache Spark

Databricks Runtime 15.2 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.1 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：

• [SPARK-47941] [SC-163568] [SS] [Connect] 将 ForeachBatch 工作线程初始化错误传播给 PySpark 用户
• [SPARK-47412] [SC-163455][SQL] 添加对 LPad/RPad 的排序规则支持。
• [SPARK-47907] [SC-163408][SQL] 将 bang 放在配置下
• [SPARK-46820] [SC-157093][PYTHON] 通过还原 new_msg 修复错误消息回归
• [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577] Core/MLLib/资源管理器：结构化日志记录迁移
• [SPARK-47890] [SC-163324][CONNECT][PYTHON] 将变体函数添加到 Scala 和 Python。
• [SPARK-47894] [SC-163086][CORE][WEBUI] 将 Environment 页面添加到主 UI
• [SPARK-47805] [SC-163459][SS] 为 MapState 实现 TTL
• [SPARK-47900] [SC-163326] 修复对隐式 (UTF8_BINARY) 排序规则的检查
• [SPARK-47902] [SC-163316][SQL] 使计算当前时间* 表达式可折叠
• [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] 支持 scala 和 python 的 split 函数中的列类型
• [SPARK-47754] [SC-162144][SQL] Postgres：支持读取多维数组
• [SPARK-47416] [SC-163001][SQL] 向 CollationBenchmark 添加新函数 #90339
• [SPARK-47839] [SC-163075][SQL] 修复 RewriteWithExpression 中的聚合 bug
• [SPARK-47821] [SC-162967][SQL] 实现 is_variant_null 表达式
• [SPARK-47883] [SC-163184][SQL] 通过 RowQueue 延迟 CollectTailExec.doExecute
• [SPARK-47390] [SC-163306][SQL] PostgresDialect 区分 TIMESTAMP 和 TIMESTAMP_TZ
• [SPARK-47924] [SC-163282][CORE] 将调试日志添加到 DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][SQL][3.5] 修复 scala 2.12 中的 ExpressionSet 性能回归
• [SPARK-47565] [SC-161786][PYTHON] PySpark 工作线程池崩溃复原能力
• [SPARK-47885] [SC-162989][PYTHON][CONNECT] 使 pyspark.resource 与 pyspark-connect 兼容
• [SPARK-47887] [SC-163122][CONNECT] 从 spark/connect/relations.proto 中删除未使用的导入 spark/connect/common.proto
• [SPARK-47751] [SC-161991][PYTHON][CONNECT] 使 pyspark.worker_utils 与 pyspark-connect 兼容
• [SPARK-47691] [SC-161760][SQL] Postgres：在写入端支持多维数组
• [SPARK-47617] [SC-162513][SQL] 添加用于排序规则的 TPC-DS 测试基础结构
• [SPARK-47356] [SC-162858][SQL] 添加对 ConcatWs 和 Elt（所有排序规则）的支持
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] 将 dict 推断为来自 Pandas 数据帧的 MapType，以允许创建数据帧
• [SPARK-47863] [SC-162974][SQL] 修复 ICU 的 startsWith 和 endsWith 排序感知实现
• [SPARK-47867] [SC-162966][SQL] 支持 JSON 扫描中的变体。
• [SPARK-47366] [SC-162475][SQL][PYTHON] 为 PySpark 添加 VariantVal
• [SPARK-47803] [SC-162726][SQL] 支持强制转换为变体。
• [SPARK-47769] [SC-162841][SQL] 添加 schema_of_variant_agg 表达式。
• [SPARK-47420] [SC-162842][SQL] 修复测试输出
• [SPARK-47430] [SC-161178][SQL] 支持 MapType 的 GROUP BY
• [SPARK-47357] [SC-162751][SQL] 添加对 Upper、Lower、InitCap（所有排序规则）的支持
• [SPARK-47788] [SC-162729][SS] 确保流式处理有状态操作具有相同的哈希分区
• [SPARK-47776] [SC-162291][SS] 禁止在有状态运算符的关键架构中使用二进制不等式排序规则
• [SPARK-47673] [SC-162824][SS] 为 ListState 实现 TTL
• [SPARK-47818] [SC-162845][CONNECT] 在 SparkConnectPlanner 中引入计划缓存以提高分析请求的性能
• [SPARK-47694] [SC-162783][CONNECT] 使最大消息大小在客户端可配置
• [SPARK-47274] 还原“[SC-162479][PYTHON][SQL] 提供更多有用...
• [SPARK-47616] [SC-161193][SQL] 添加有关从 MySQL 映射 Spark SQL 数据类型的用户文档
• [SPARK-47862] [SC-162837][PYTHON][CONNECT] 修复原型文件的生成
• [SPARK-47849] [SC-162724][PYTHON][CONNECT] 更改发布脚本以发布 pyspark-connect
• [SPARK-47410] [SC-162518][SQL] 重构 UTF8String 和 CollationFactory
• [SPARK-47807] [SC-162505][PYTHON][ML] 使 pyspark.ml 与 pyspark-connect 兼容
• [SPARK-47707] [SC-161768][SQL] MySQL 连接器/J 5.x JSON 类型的特殊处理
• [SPARK-47765] 还原“[SC-162636][SQL] 将 SET COLLATION 添加到...
• [SPARK-47081] [SC-162151][CONNECT][FOLLOW] 提高进度处理程序的可用性
• [SPARK-47289] [SC-161877][SQL] 允许扩展在解释计划中记录扩展的信息
• [SPARK-47274] [SC-162479][PYTHON][SQL] 为 PySpark 数据帧 API 错误提供更有用的上下文
• [SPARK-47765] [SC-162636][SQL] 将 SET COLLATION 添加到分析程序规则
• [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite 因计划无效而失败
• [SPARK-47812] [SC-162696][CONNECT] 支持 ForEachBatch 工作线程的 SparkSession 序列化
• [SPARK-47253] [SC-162698][CORE] 允许 LiveEventBus 在不完全排空事件队列的情况下停止
• [SPARK-47827] [SC-162625][PYTHON] 缺少针对已弃用功能的警告
• [SPARK-47733] [SC-162628][SS] 为查询进度的 transformWithState 运算符部分添加自定义指标
• [SPARK-47784] [SC-162623][SS] 将 TTLMode 和 TimeoutMode 合并为单个 TimeMode。
• [SPARK-47775] [SC-162319][SQL] 支持变体规范中的剩余标量类型。
• [SPARK-47736] [SC-162503][SQL] 添加对 AbstractArrayType 的支持
• [SPARK-47081] [SC-161758][CONNECT] 支持查询执行进度
• [SPARK-47682] [SC-162138][SQL] 支持从变体强制转换。
• [SPARK-47802] [SC-162478][SQL] 将 () 从含义 struct() 还原为含义 *
• [SPARK-47680] [SC-162318][SQL] 添加 variant_explode 表达式。
• [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression 应检查每种代码生成模式的错误
• [SPARK-41811] [SC-162470][PYTHON][CONNECT] 使用 WithRelations 实现 SQLStringFormatter
• [SPARK-47693] [SC-162326][SQL] 添加对 UTF8_BINARY_LCASE 排序规则中使用的 UTF8String 小写比较的优化
• [SPARK-47541] [SC-162006][SQL] 支持 reverse、array_join、concat、map 运算的复杂类型中的排序字符串
• [SPARK-46812] [SC-161535][CONNECT][PYTHON] 使 mapInPandas/mapInArrow 支持 ResourceProfile
• [SPARK-47727] [SC-161982][PYTHON] 将 SparkConf 设为根级别以用于 SparkSession 和 SparkContext
• [SPARK-47406] [SC-159376][SQL] 在 MYSQLDialect 中处理 TIMESTAMP 和 DATETIME
• [SPARK-47081] 还原“[SC-161758][CONNECT] 支持查询执行...
• [SPARK-47681] [SC-162043][SQL] 添加 schema_of_variant 表达式。
• [SPARK-47783] [SC-162222] 添加一些缺失的 SQLSTATE 并清理 YY000 以使用...
• [SPARK-47634] [SC-161558][SQL] 添加对禁用映射键规范化的旧式支持
• [SPARK-47746] [SC-162022] 在 RocksDBStateEncoder 中实现基于序数的范围编码
• [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec 应始终使用 context.session
• [SPARK-47643] [SC-161534][SS][PYTHON] 为 Python 流式处理源添加 pyspark 测试
• [SPARK-47582] [SC-161943][SQL] 将包含变量的 Catalyst logInfo 迁移到结构化记录框架
• [SPARK-47558] [SC-162007][SS] ValueState 的状态 TTL 支持
• [SPARK-47358] [SC-160912][SQL][COLLATION] 改进重复表达式支持以返回正确的数据类型
• [SPARK-47504] [SC-162044][SQL] 将 AbstractDataType simpleStrings 解析为 StringTypeCollated
• [SPARK-47719] 还原“[SC-161909][SQL] 更改 Spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][SQL] 为每个文件源实现排序规则筛选器下推支持
• [SPARK-47081] [SC-161758][CONNECT] 支持查询执行进度
• [SPARK-47744] [SC-161999] 添加对范围编码器中负值字节的支持
• [SPARK-47713] [SC-162009][SQL][CONNECT] 修复自联接失败
• [SPARK-47310] [SC-161930][SS] 为状态存储的值部分的多个值添加合并操作的微基准
• [SPARK-47700] [SC-161774][SQL] 修复 treeNode 错误消息的格式
• [SPARK-47752] [SC-161993][PS][CONNECT] 使 pyspark.pandas 与 pyspark-connect 兼容
• [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] 在结构化记录框架中实现 logWarning/logInfo API
• [SPARK-47107] [SC-161201][SS][PYTHON] 为 Python 流式处理数据源实现分区读取器
• [SPARK-47553] [SC-161772][SS] 添加对 transformWithState 运算符 API 的 Java 支持
• [SPARK-47719] [SC-161909][SQL] 将 Spark.sql.legacy.timeParserPolicy 默认值更改为 CORRECTED
• [SPARK-47655] [SC-161761][SS] 将计时器与 state-v2 的初始状态处理集成
• [SPARK-47665] [SC-161550][SQL] 使用 SMALLINT 将 ShortType 写入 MYSQL
• [SPARK-47210] [SC-161777][SQL] 添加隐式强制转换，不提供不确定性支持
• [SPARK-47653] [SC-161767][SS] 添加对负数类型和范围扫描键编码器的支持
• [SPARK-46743] [SC-160777][SQL] 常量折叠后的计数 bug
• [SPARK-47525] [SC-154568][SQL] 支持映射属性上的子查询关联联接
• [SPARK-46366] [SC-151277][SQL] 在 BETWEEN 中使用 WITH 表达式以避免重复表达式
• [SPARK-47563] [SC-161183][SQL] 在创建时添加映射规范化
• [SPARK-42040] [SC-161171][SQL] SPJ：为 V2 输入分区引入新的 API 以报告分区统计信息
• [SPARK-47679] [SC-161549][SQL] 直接使用 HiveConf.getConfVars 或 Hive 配置名称
• [SPARK-47685] [SC-161566][SQL] 还原对 Dataset#groupBy 中 Stream 类型的支持
• [SPARK-47646] [SC-161352][SQL] 使 try_to_number 对格式错误的输入返回 NULL
• [SPARK-47366] [SC-161324][PYTHON] 添加 pyspark 和数据帧 parse_json 别名
• [SPARK-47491] [SC-161176][CORE] 首先将 slf4j-api jar 添加到类路径，然后再添加 jars 目录中的其他 jar
• [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty 在本地投影 CommandResults
• [SPARK-47364] [SC-158927][CORE] 当插件回复单向消息时，使 PluginEndpoint 发出警告
• [SPARK-47280] [SC-158350][SQL] 删除 ORACLE TIMESTAMP WITH TIMEZONE 的时区限制
• [SPARK-47551] [SC-161542][SQL] 添加 variant_get 表达式。
• [SPARK-47559] [SC-161255][SQL] 变体 parse_json 的 Codegen 支持
• [SPARK-47572] [SC-161351][SQL] 强制 Window partitionSpec 可排序。
• [SPARK-47546] [SC-161241][SQL] 改进从 Parquet 读取 Variant 时的验证
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] 将 dict 推断为来自 Pandas 数据帧的 MapType，以允许创建数据帧
• [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] 在数据帧 API 中创建具有排序规则的列
• [SPARK-47641] [SC-161376][SQL] 提高 UnaryMinus 和 Abs 的性能
• [SPARK-47631] [SC-161325][SQL] 删除未使用的 SQLConf.parquetOutputCommitterClass 方法
• [SPARK-47674] [SC-161504][CORE] 默认启用 spark.metrics.appStatusSource.enabled
• [SPARK-47273] [SC-161162][SS][PYTHON] 实现 Python 数据流写入器接口。
• [SPARK-47637] [SC-161408][SQL] 在更多位置使用 errorCapturingIdentifier
• [SPARK-47497] 还原“还原‘[SC-160724][SQL] 使 to_csv 支持将 array/struct/map/binary 输出为整齐字符串’”
• [SPARK-47492] [SC-161316][SQL] 扩大词法分析器中的空白规则
• [SPARK-47664] [SC-161475][PYTHON][CONNECT] 使用缓存架构验证列名称
• [SPARK-47638] [SC-161339][PS][CONNECT] 跳过 PS 中的列名称验证
• [SPARK-47363] [SC-161247][SS] 没有状态 API v2 状态读取器实现的初始状态。
• [SPARK-47447] [SC-160448][SQL] 允许将 Parquet TimestampLTZ 读取为 TimestampNTZ
• [SPARK-47497] 还原“[SC-160724][SQL] 使 to_csv 支持将 array/struct/map/binary 输出为整齐字符串”
• [SPARK-47434] [SC-160122][WEBUI] 修复 StreamingQueryPage 中的 statistics 链接
• [SPARK-46761] [SC-159045][SQL] JSON 路径中带引号的字符串应支持 ? characters
• [SPARK-46915] [SC-155729][SQL] 简化了 UnaryMinus Abs 和对齐错误类
• [SPARK-47431] [SC-160919][SQL] 添加会话级别默认排序规则
• [SPARK-47620] [SC-161242][PYTHON][CONNECT] 添加帮助器函数以对列进行排序
• [SPARK-47570] [SC-161165][SS] 将范围扫描编码器更改与计时器实现集成
• [SPARK-47497] [SC-160724][SQL] 使 to_csv 支持将 array/struct/map/binary 输出为整齐字符串
• [SPARK-47562] [SC-161166][CONNECT] 将文本处理排除在 plan.py 之外
• [SPARK-47509] [SC-160902][SQL] 阻止 lambda 和高阶函数中的子查询表达式
• [SPARK-47539] [SC-160750][SQL] 使方法 castToString 的返回值为 Any => UTF8String
• [SPARK-47372] [SC-160905][SS] 添加对基于范围扫描的键状态编码器的支持，以便与状态存储提供程序一起使用
• [SPARK-47517] [SC-160642][CORE][SQL] 优先使用 Utils.bytesToString 进行大小显示
• [SPARK-47243] [SC-158059][SS] 更正 StateMetadataSource.scala 的包名称
• [SPARK-47367] [SC-160913][PYTHON][CONNECT] 通过 Spark Connect 支持 Python 数据源
• [SPARK-47521] [SC-160666][CORE] 从外部存储读取随机数据期间使用 Utils.tryWithResource
• [SPARK-47474] [SC-160522][CORE] 还原 SPARK-47461 并添加一些注释
• [SPARK-47560] [SC-160914][PYTHON][CONNECT] 避免 RPC 使用缓存架构验证列名称
• [SPARK-47451] [SC-160749][SQL] 支持 to_json(variant)。
• [SPARK-47528] [SC-160727][SQL] 将 UserDefinedType 支持添加到 DataTypeUtils.canWrite
• [SPARK-44708] 还原“[SC-160734][PYTHON] 迁移 test_reset_index assert_eq 以使用 assertDataFrameEqual”
• [SPARK-47506] [SC-160740][SQL] 添加对排序数据类型的所有文件源格式的支持
• [SPARK-47256] [SC-160784][SQL] 为错误类 _LEGACY_ERROR_TEMP_102[4-7] 分配名称
• [SPARK-47495] [SC-160720][CORE] 修复在 k8s 群集模式下两次添加到 Spark.jars 的主资源 jar
• [SPARK-47398] [SC-160572][SQL] 提取 InMemoryTableScanExec 的特征以便能够扩展功能
• [SPARK-47479] [SC-160623][SQL] 优化“无法将数据写入具有多个路径的关系”错误日志
• [SPARK-47483] [SC-160629][SQL] 添加对排序字符串数组的聚合与联接操作的支持
• [SPARK-47458] [SC-160237][CORE] 修复计算屏障阶段最大并发任务数的问题
• [SPARK-47534] [SC-160737][SQL] 将 o.a.s.variant 移动到 o.a.s.types.variant
• [SPARK-47396] [SC-159312][SQL] 将 TIME WITHOUT TIME ZONE 的常规映射添加到 TimestampNTZType
• [SPARK-44708] [SC-160734][PYTHON] 迁移 test_reset_index assert_eq 以使用 assertDataFrameEqual
• [SPARK-47309] [SC-157733][SC-160398][SQL] XML：为值标记添加架构推理测试
• [SPARK-47007] [SC-160630][SQL] 添加 MapSort 表达式
• [SPARK-47523] [SC-160645][SQL] 将已弃用的 JsonParser#getCurrentName 替换为 JsonParser#currentName
• [SPARK-47440] [SC-160635][SQL] 修复将不受支持的语法推送到 MsSqlServer 的问题
• [SPARK-47512] [SC-160617][SS] 与 RocksDB 状态存储实例锁获取/释放一起使用的标记操作类型
• [SPARK-47346] [SC-159425][PYTHON] 在创建 Python 规划器工作线程时使守护程序模式可配置
• [SPARK-47446] [SC-160163][CORE] 使 BlockManager 警告在 removeBlockInternal 之前发出
• [SPARK-46526] [SC-156099][SQL] 支持对相关子查询进行 LIMIT，其中谓词仅引用外部表
• [SPARK-47461] [SC-160297][CORE] 从 ExecutorAllocationManager 中删除专用函数 totalRunningTasksPerResourceProfile
• [SPARK-47422] [SC-160219][SQL] 支持数组操作中的排序字符串
• [SPARK-47500] [SC-160627][PYTHON][CONNECT] 从 plan.py 中排除列名称处理
• [SPARK-47383] [SC-160144][CORE] 支持 spark.shutdown.timeout 配置
• [SPARK-47342] [SC-159049] 还原“[SQL] 支持 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ”
• [SPARK-47486] [SC-160491][CONNECT] 删除未使用的专用 ArrowDeserializers.getString 方法
• [SPARK-47233] [SC-154486][CONNECT][SS][2/2] 客户端流式处理查询侦听器的客户端和服务器逻辑
• [SPARK-47487] [SC-160534][SQL] 简化 AnsiTypeCoercion 中的代码
• [SPARK-47443] [SC-160459][SQL] 排序规则的窗口聚合支持
• [SPARK-47296] [SC-160457][SQL][COLLATION] 使非二进制排序规则的不受支持函数失败
• [SPARK-47380] [SC-160164][CONNECT] 确保服务器端的 SparkSession 相同
• [SPARK-47327] [SC-160069][SQL] 将排序键并发测试移动到 CollationFactorySuite
• [SPARK-47494] [SC-160495][Doc] 添加迁移文档，以描述自 Spark 3.3 以来 Parquet 时间戳推理的行为更改
• [SPARK-47449] [SC-160372][SS] 重构和拆分列表/计时器单元测试
• [SPARK-46473] [SC-155663][SQL] 重用 getPartitionedFile 方法
• [SPARK-47423] [SC-160068][SQL] 排序规则 - 对带有排序规则的字符串的设置操作支持
• [SPARK-47439] [SC-160115][PYTHON] 在 API 参考页面中阐述 Python 数据源 API
• [SPARK-47457] [SC-160234][SQL] 修复 IsolatedClientLoader.supportsHadoopShadedClient 以处理 Hadoop 3.4+
• [SPARK-47366] [SC-159348][SQL] 实现 parse_json。
• [SPARK-46331] [SC-152982][SQL] 从 DateTime 表达式和 version() 表达式的子集中删除 CodegenFallback
• [SPARK-47395] [SC-159404] 将排序和排序规则添加到其他 API
• [SPARK-47437] [SC-160117][PYTHON][CONNECT] 更正 DataFrame.sort* 的错误类
• [SPARK-47174] [SC-154483][CONNECT][SS][1/2] 客户端流式处理查询侦听器的服务器端 SparkConnectListenerBusListener
• [SPARK-47324] [SC-158720][SQL] 为 JDBC 嵌套类型添加缺少的时间戳转换
• [SPARK-46962] [SC-158834][SS][PYTHON] 添加 Python 流式处理数据源 API 接口并实现 Python 工作线程来运行 Python 流式处理数据源
• [SPARK-45827] [SC-158498][SQL] 将数据类型检查移动到 CreatableRelationProvider
• [SPARK-47342] [SC-158874][SQL] 支持 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ
• [SPARK-47399] [SC-159378][SQL] 在具有排序规则的表达式上禁用生成的列
• [SPARK-47146] [SC-158247][CORE] 执行排序合并联接时可能发生线程泄漏
• [SPARK-46913] [SC-159149][SS] 通过 transformWithState 运算符添加对基于处理/事件时间的计时器的支持
• [SPARK-47375] [SC-159063][SQL] 在 JdbcDialect#getCatalystType 中添加时间戳映射准则
• [SPARK-47394] [SC-159282][SQL] 支持 H2Dialect 的 TIMESTAMP WITH TIME ZONE
• [SPARK-45827] 还原“[SC-158498][SQL] 将数据类型检查移动到...
• [SPARK-47208] [SC-159279][CORE] 允许重写基本开销内存
• [SPARK-42627] [SC-158021][SPARK-26494][SQL] 支持 Oracle TIMESTAMP WITH LOCAL TIME ZONE
• [SPARK-47055] [SC-156916][PYTHON] 升级 MyPy 1.8.0
• [SPARK-46906] [SC-157205][SS] 添加对流式处理的有状态运算符更改的检查
• [SPARK-47391] [SC-159283][SQL] 删除 JDK 8 的测试用例解决方法
• [SPARK-47272] [SC-158960][SS] 添加状态 API v2 的 MapState 实现。
• [SPARK-47375] [SC-159278][Doc][FollowUp] 修复 JDBC 的 preferTimestampNTZ 选项文档中的错误
• [SPARK-42328] [SC-157363][SQL] 从错误类中删除 _LEGACY_ERROR_TEMP_1175
• [SPARK-47375] [SC-159261][Doc][FollowUp] 更正 JDBC 文档中的 preferTimestampNTZ 选项说明
• [SPARK-47344] [SC-159146] 扩展 INVALID_IDENTIFIER 错误，使其不仅仅捕获不带引号的标识符中的“-”，并修复“IS ! NULL”等错误。
• [SPARK-47340] [SC-159039][SQL] 将 StringType 类型名称中的“collate”更改为小写
• [SPARK-47087] [SC-157077][SQL] 在配置值检查中使用错误类引发 Spark 异常
• [SPARK-47327] [SC-158824][SQL] 修复 ICU Collator 中的线程安全问题
• [SPARK-47082] [SC-157058][SQL] 修复超出边界错误状态
• [SPARK-47331] [SC-158719][SS] 使用基于 SQL 编码器的大小写类/基元/POJO 对任意状态 API v2 进行序列化。
• [SPARK-47250] [SC-158840][SS] 为 RocksDB 状态提供程序和列系列的使用添加额外的验证和 NERF 更改
• [SPARK-47328] [SC-158745][SQL] 将 UCS_BASIC 排序规则重命名为 UTF8_BINARY
• [SPARK-47207] [SC-157845][CORE] 支持 spark.driver.timeout 和 DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][Doc] 添加迁移文档：Parquet 文件中的 TimestampNTZ 类型推理
• [SPARK-47309] [SC-158827][SQL][XML] 添加架构推理单元测试
• [SPARK-47295] [SC-158850][SQL] 为 startsWith 和 endsWith 函数添加了 ICU StringSearch
• [SPARK-47343] [SC-158851][SQL] 修复当 sqlString 变量值为 null 字符串时立即执行的 NPE
• [SPARK-46293] [SC-150117][CONNECT][PYTHON] 使用 protobuf 传递依赖关系
• [SPARK-46795] [SC-154143][SQL] 将 sql/core 中的 UnsupportedOperationException 替换为 SparkUnsupportedOperationException
• [SPARK-46087] [SC-149023][PYTHON] 同步文档和开发要求中的 PySpark 依赖项
• [SPARK-47169] [SC-158848][SQL] 对排序列禁用存储桶
• [SPARK-42332] [SC-153996][SQL] 更改有关要求在 ComplexTypeMergingExpression 中引发 SparkException 的表述
• [SPARK-45827] [SC-158498][SQL] 将数据类型检查移动到 CreatableRelationProvider
• [SPARK-47341] [SC-158825][Connect] 将 SparkConnectClientSuite 的几个测试中的命令替换为关系
• [SPARK-43255] [SC-158026][SQL] 将错误类 _LEGACY_ERROR_TEMP_2020 替换为内部错误
• [SPARK-47248] [SC-158494][SQL][COLLATION] 改进了字符串函数支持：contains
• [SPARK-47334] [SC-158716][SQL] 使 withColumnRenamed 重用 withColumnsRenamed 的实现
• [SPARK-46442] [SC-153168][SQL] DS V2 支持下推 PERCENTILE_CONT 和 PERCENTILE_DISC
• [SPARK-47313] [SC-158747][SQL] 在 QueryExecution.toInternalError 中添加了 scala.MatchError 处理
• [SPARK-45827] [SC-158732][SQL] 添加适用于 Java 的变体单一实例类型
• [SPARK-47337] [SC-158743][SQL][DOCKER] 将 DB2 docker 映像版本升级到 11.5.8.0
• [SPARK-47302] [SC-158609][SQL] 将关键字排序为标识符
• [SPARK-46817] [SC-154196][CORE] 通过添加 decommission 命令修复 spark-daemon.sh 用法
• [SPARK-46739] [SC-153553][SQL] 添加错误类 UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][SQL] 添加 COLLATION_ENABLED 配置标志
• [SPARK-46774] [SC-153925][SQL][AVRO] 在 Avro 写入作业中使用 mapreduce.output.fileoutputformat.compress 而不是已弃用的 mapred.output.compress
• [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory：如果工作线程未重新连接，则超时。
• [SPARK-46835] [SC-158355][SQL][Collations] 对非二进制排序规则的联接支持
• [SPARK-47131] [SC-158154][SQL][COLLATION] 字符串函数支持：contains、startswith、endswith
• [SPARK-46077] [SC-157839][SQL] 考虑 JdbcDialect.compileValue 中 TimestampNTZConverter 生成的类型。
• [SPARK-47311] [SC-158465][SQL][PYTHON] 抑制 PySpark 不在 Python 路径中时引发的 Python 异常
• [SPARK-47319] [SC-158599][SQL] 改进 missingInput 计算
• [SPARK-47316] [SC-158606][SQL] 修复 Postgres 数组中的 TimestampNTZ
• [SPARK-47268] [SC-158158][SQL][Collations] 支持使用排序规则重新分区
• [SPARK-47191] [SC-157831][SQL] 取消缓存表/视图时避免不必要的关系查找
• [SPARK-47168] [SC-158257][SQL] 使用非默认排序字符串时禁用 parquet 筛选器下推
• [SPARK-47236] [SC-158015][CORE] 修复 deleteRecursivelyUsingJavaIO 以跳过不存在的文件输入
• [SPARK-47238] [SC-158466][SQL] 通过将 WSCG 中生成的代码设为广播变量来减少执行程序内存使用量
• [SPARK-47249] [SC-158133][CONNECT] 修复以下 bug：将所有连接执行视为已放弃，无论其实际状态如何
• [SPARK-47202] [SC-157828][PYTHON] 修复导致包含 tzinfo 的日期/时间损坏的拼写错误
• [SPARK-46834] [SC-158139][SQL][Collations] 支持聚合
• [SPARK-47277] [SC-158351][3.5] PySpark util 函数 assertDataFrameEqual 不应支持流式处理 DF
• [SPARK-47155] [SC-158473][PYTHON] 修复错误类问题
• [SPARK-47245] [SC-158163][SQL] 改进 INVALID_PARTITION_COLUMN_DATA_TYPE 的错误代码
• [SPARK-39771] [SC-158425][CORE] 当要创建的随机块过多时，在 Dependency 中添加警告消息。
• [SPARK-47277] [SC-158329] PySpark util 函数 assertDataFrameEqual 不应支持流式处理 DF
• [SPARK-47293] [SC-158356][CORE] 使用 sparkSchema 生成 batchSchema，而不是逐个追加
• [SPARK-46732] [SC-153517][CONNECT] 使子查询/广播线程与 Connect 的工件管理配合工作
• [SPARK-44746] [SC-158332][PYTHON] 为接受输入表的函数添加更多 Python UDTF 文档
• [SPARK-47120] [SC-157517][SQL] 来自子查询的 Null 比较下推数据筛选器在 Parquet 筛选器的 NPE 中生成
• [SPARK-47251] [SC-158291][PYTHON] 阻止 sql 命令的 args 参数中的无效类型
• [SPARK-47251] 还原“[SC-158121][PYTHON] 阻止 sql 命令的 args 参数中的无效类型”
• [SPARK-47015] [SC-157900][SQL] 禁用排序列上的分区
• [SPARK-46846] [SC-154308][CORE] 使 WorkerResourceInfo 显式扩展 Serializable
• [SPARK-46641] [SC-156314][SS] 添加 maxBytesPerTrigger 阈值
• [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner 将内部函数设为专用
• [SPARK-47266] [SC-158146][CONNECT] 使 ProtoUtils.abbreviate 返回与输入相同的类型
• [SPARK-46961] [SC-158183][SS] 使用 ProcessorContext 存储和检索句柄
• [SPARK-46862] [SC-154548][SQL] 在多行模式下禁用 CSV 列修剪
• [SPARK-46950] [SC-155803][CORE][SQL] 对齐 not available codec 错误类
• [SPARK-46368] [SC-153236][CORE] 在 REST 提交 API 中支持 readyz
• [SPARK-46806] [SC-154108][PYTHON] 改进参数类型错误时 spark.table 的错误消息
• [SPARK-47211] [SC-158008][CONNECT][PYTHON] 修复已忽略的 PySpark Connect 字符串排序规则
• [SPARK-46552] [SC-151366][SQL] 将 catalyst 中的 UnsupportedOperationException 替换为 SparkUnsupportedOperationException
• [SPARK-47147] [SC-157842][PYTHON][SQL] 修复 PySpark 排序字符串转换错误
• [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] 通过添加 collateId protobuf 字段修复 Spark Connect 排序规则错误
• [SPARK-46575] [SC-153200][SQL][HIVE] 使 HiveThriftServer2.startWithContext DevelopApi 可重试，并修复 ThriftServerWithSparkContextInHttpSuite 的不稳定问题
• [SPARK-46696] [SC-153832][CORE] 在 ResourceProfileManager 中，函数调用应在变量声明之后发生
• [SPARK-47214] [SC-157862][Python] 为“analyze”方法创建 UDTF API，以区分常量 NULL 参数和其他类型的参数
• [SPARK-46766] [SC-153909][SQL][AVRO] AVRO 数据源的 ZSTD 缓冲池支持
• [SPARK-47192] [SC-157819] 转换一些 _LEGACY_ERROR_TEMP_0035 错误
• [SPARK-46928] [SC-157341][SS] 在任意状态 API v2 中添加对 ListState 的支持。
• [SPARK-46881] [SC-154612][CORE] 支持 spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][CORE] 支持 spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][SQL] 修复使用不正确的 parquet 压缩编解码器 lz4raw 的 bug
• [SPARK-46791] [SC-154018][SQL] 支持 JavaTypeInference 中的 Java 集
• [SPARK-46332] [SC-150224][SQL] 将 CatalogNotFoundException 迁移到错误类 CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][SQL] 使 v2 的宽类型窄文本中的默认值行为与 v1 相同
• [SPARK-46664] [SC-153181][CORE] 改进 Master，以便在工作线程和应用数量为零时快速恢复
• [SPARK-46759] [SC-153839][SQL][AVRO] 编解码器 xz 和 zstandard 支持 avro 文件的压缩级别

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.74.0.17-CA-linux64
• Scala：2.12.15
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装的 Python 库

已安装的 R 库

R 库安装自 Posit Package Manager CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）