Databricks Runtime 15.3

  • 项目

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的相关信息。

Databricks 于 2024 年 6 月发布了这些映像。

新增功能和改进

PySpark DataSources 现在支持流读取和写入

PySpark DataSources 允许从自定义数据源读取数据以及将数据写入自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。

使用删除功能禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。

公共预览版中的变体类型语法和函数

现已在 Spark DataFrames 和 SQL 中提供对于将半结构化数据用作 VARIANT 类型的本机 Apache Spark 支持。 请参阅查询变体数据。

公共预览版中 Delta Lake 的变体类型支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅Delta Lake 中的变体支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

支持添加到 Spark Connect Scala 客户端的 observe() 方法

Spark Connect Scala 客户端现在支持 Dataset.observe() 方法。 通过对这些方法的支持，你可以使用 ds.observe("name", metrics...) 或 ds.observe(observationObject, metrics...) 方法定义在 Dataset 对象上观察的指标。

改进了 Auto Loader 的流重启延迟

此版本包含一项改进 Auto Loader 的流重启延迟的更改。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，你应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。

以 pyarrow.Table 的形式返回 DataFrame

为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括 DataFrame.toArrow() 函数。 若要了解有关使用 PySpark 中的 Arrow 的详细信息，请参阅 PySpark 中的 Apache Arrow。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数（特别是不包含 ORDER BY 子句或 window_frame 参数的函数）的性能的更改。 在这些情况下，系统可重写查询，以使用聚合函数运行查询。 这一更改通过使用部分聚合并避免运行窗口函数的开销，使查询运行得更快。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，且默认设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持 ANSI SQL 兼容的两个数值相除的整数余数计算。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。

list_secrets() 中支持可选范围参数

使用此版本可以将 list_secrets() 表函数的结果限制在特定范围内。

Bug 修复

Spark UI 中的 WriteIntoDeltaCommand 指标现在会正确显示

此版本包含一项对 Execute WriteIntoDeltaCommand 节点的 Spark UI 的 SQL 选项卡中显示的指标的修复。 以前，此节点显示的指标全部为零。

Pandas API 中的 groupby() 函数忽略了 as_index=False 参数

此版本包括对 Spark 上 Pandas API 中 groupby() 函数问题的修补程序。 在此修补程序之前，对聚合列进行重新标记的 groupby() 和 as_index=False 参数在生成的 DataFrame 中不包括组键。

引用其他函数输出的多个窗口函数的分析错误

此版本修复了 Spark 查询具有多个连续窗口函数时（此情况下，窗口函数引用来自其他窗口函数的输出）可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 此修补程序对这些引用进行了投影，以确保查询评估。 此更改由 Spark 配置参数 spark.databricks.optimizer.collapseWindows.projectReferences（默认设置为 true）控制。 若要关闭此更改，请将 spark.databricks.optimizer.collapseWindows.projectReferences 设置为 false。

库升级

  • 升级了 Python 库：
    • filelock 已从 3.13.1 升级到 3.13.4
  • 升级了 R 库：
  • 升级了 Java 库：
    • org.rocksdb.rocksdbjni 已从 8.3.2 升级到 8.11.4

Apache Spark

Databricks Runtime 15.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：

  • [SPARK-48288] [SC-166141] 为连接器强制转换表达式添加源数据类型
  • [SPARK-48175] [SC-166341][SQL][PYTHON] 为 SER/DE 在元数据中存储排序规则信息，而不是在类型中
  • [SPARK-48172] [SC-166078][SQL] 修复 JDBCDialects 中的转义问题
  • [SPARK-48186] [SC-165544][SQL] 添加对 AbstractMapType 的支持
  • [SPARK-48031] [SC-166523] 架构绑定的祖父旧视图
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] 添加函数 timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] 修复大型触发器间隔下的 python 流式处理数据源超时问题
  • [SPARK-48369] 还原“[SC-166494][SQL][PYTHON][CONNECT] 添加函数 timestamp_add”
  • [SPARK-48336] [SC-166495][PS][CONNECT] 在 Spark Connect 中实现 ps.sql
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] 添加函数 timestamp_add
  • [SPARK-47354] [SC-165546][SQL] 添加对变体表达式的排序规则支持
  • [SPARK-48161] [SC-165325][SQL] 修复已还原的 PR - 添加对 JSON 表达式的排序规则支持
  • [SPARK-48031] [SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
  • [SPARK-48268] [SC-166217][CORE] 为 SparkContext.setCheckpointDir 添加配置
  • [SPARK-48312] [ES-1076198][SQL] 改进 Alias.removeNonInheritableMetadata 性能
  • [SPARK-48294] [SC-166205][SQL] 在 nestedTypeMissingElementTypeError 中处理小写
  • [SPARK-47254] [SC-158847][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] 将名称分配给错误类 _LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] 缓存属性必须返回副本
  • [SPARK-48308] [SC-166152][Core] 在 FileSourceStrategy 中统一获取没有分区列的数据架构
  • [SPARK-48301] [SC-166143][SQL] 将 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE 重命名为 CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] 应用内置的 timestamp_diff 方法
  • [SPARK-47607] [SC-166129] 添加结构化记录框架的文档
  • [SPARK-48297] [SC-166136][SQL] 修复具有 char/varchar 的回归 TRANSFORM 子句
  • [SPARK-47045] [SC-156808][SQL] 将 sql/api 中的 IllegalArgumentException 替换为 SparkIllegalArgumentException
  • [SPARK-46991] [SC-156399][SQL] 将 catalyst 中的 IllegalArgumentException 替换为 SparkIllegalArgumentException
  • [SPARK-48031] [SC-165805][SQL] 支持视图架构演变
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] 为 SQLExpression 添加缺少的 __repr__ 参数
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] 优化 Cast 的字符串表示形式
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] 添加函数 timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] 扩充小数值的读取失败的错误消息
  • [SPARK-47158] [SC-158078][SQL] 向 _LEGACY_ERROR_TEMP_(2134|2231) 分配正确的名称和 sqlState
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient 可能会 NPE 导致 FetchFailedException
  • [SPARK-48277] [SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
  • [SPARK-47545] [SC-165444][CONNECT] Scala 客户端的数据集 observe 支持
  • [SPARK-41794] [SC-171672][SQL] Add try_mod 函数
  • [SPARK-43258] [SC-158151][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] 使用 SPARK-47305 进行回归 e2e 测试
  • [SPARK-48263] [SC-165925] 对非 UTF8_BINARY 字符串的排序规则函数支持
  • [SPARK-48260] [SC-165883][SQL] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
  • [SPARK-47834] [SC-165645][SQL][CONNECT] 在 SQLImplicits 中使用 @deprecated 标记已弃用的函数
  • [SPARK-48011] [SC-164061][Core] 将 LogKey 名称存储为值以避免生成新的字符串实例
  • [SPARK-48074] [SC-164647][Core] 提高 JSON 日志记录的可读性
  • [SPARK-44953] [SC-165866][CORE] 当与另一个 DA 支持的机制一起启用随机跟踪时记录警告
  • [SPARK-48266] [SC-165897][CONNECT] 将包对象 org.apache.spark.sql.connect.dsl 移动到测试目录
  • [SPARK-47847] [SC-165651][CORE] 弃用 spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] 清理 o.rocksdb.Logger 的已弃用构造函数的使用
  • [SPARK-48235] [SC-165669][SQL] 直接传递联接而不是所有参数到 getBroadcastBuildSide 和 getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] 禁止映射键成为变体类型
  • [SPARK-48248] [SC-165791][PYTHON] 修复嵌套数组以遵循旧版配置 inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] 添加对 StringTrim 类型的函数/表达式的排序规则的支持（对于 UTF8_BINARY 和 LCASE）
  • [SPARK-48143] [ES-1095638][SQL] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
  • [SPARK-48146] [SC-165668][SQL] 修复 With 表达式子断言中的聚合函数
  • [SPARK-48161] 还原“[SC-165325][SQL] 添加对 JSON 表达式的排序规则支持”
  • [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
  • [SPARK-48180] [SC-165632][SQL] 改进使用 TABLE 参数的 UDTF 调用忘记多个 PARTITION/ORDER BY exprs 周围的括号时的错误
  • [SPARK-48002] [SC-164132][PYTHON][SS] 在 PySpark StreamingQueryListener 中添加观察到的指标的测试
  • [SPARK-47421] [SC-165548][SQL] 添加对 URL 表达式的排序规则支持
  • [SPARK-48161] [SC-165325][SQL] 添加对 JSON 表达式的排序规则支持
  • [SPARK-47359] [SC-164328][SQL] 支持 TRANSLATE 函数处理排序后的字符串
  • [SPARK-47365] [SC-165643][PYTHON] 将 toArrow() DataFrame 方法添加到 PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
  • [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
  • [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
  • [SPARK-48208] [SC-165547][SS] 如果启用了有限内存使用，请跳过从 RocksDB 提供内存使用指标的步骤
  • [SPARK-47566] [SC-164314][SQL] 支持 SubstringIndex 函数处理排序后的字符串
  • [SPARK-47589] [SC-162127][SQL] Hive-Thriftserver：将带变量的 logError 迁移到结构化记录框架
  • [SPARK-48205] [SC-165501][PYTHON] 移除 Python 数据源的 private[sql] 修饰符
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis 应看到整个查询计划
  • [SPARK-48197] [SC-165520][SQL] 避免无效 lambda 函数的断言错误
  • [SPARK-47318] [SC-162573][CORE] 将 HKDF round 添加到 AuthEngine 密钥派生，以遵循标准 KEX 做法
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] 始终在客户端设置 Dataframe.sample 的种子
  • [SPARK-48128] [SC-165004][SQL] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的 codegen 语法错误
  • [SPARK-48147] [SC-165144][SS][CONNECT] 本地 Spark 会话被删除时移除客户端侦听器
  • [SPARK-48045] [SC-165299][PYTHON] 具有 multi-agg-relabel 的 Pandas API groupby 忽略 as_index=False
  • [SPARK-48191] [SC-165323][SQL] 支持 UTF-32 用于字符串编码和解码
  • [SPARK-45352] [SC-137627][SQL] 消除可折叠的窗口分区
  • [SPARK-47297] [SC-165179][SQL] 添加对格式表达式的排序规则支持
  • [SPARK-47267] [SC-165170][SQL] 添加对哈希表达式的排序规则支持
  • [SPARK-47965] [SC-163822][CORE] 避免 TypedConfigBuilder 和 OptionalConfigEntry 中的 orNull
  • [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
  • [SPARK-48105] [SC-165132][SS] 修复状态存储卸载和快照之间的争用条件
  • [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
  • [SPARK-47719] [SC-161909][SQL] 更改 Spark.sql.legacy.timeParse…
  • [SPARK-48035] [SC-165136][SQL] 修复 try_add/try_multiply 语义等同于 add/multiply 的问题
  • [SPARK-48107] [SC-164878][PYTHON] 从 Python 分发中排除测试
  • [SPARK-46894] [SC-164447][PYTHON] 将 PySpark 错误条件移动到独立 JSON 文件中
  • [SPARK-47583] [SC-163825][CORE] SQL 核心：将带变量的 logError 迁移到结构化记录框架
  • [SPARK-48064] 还原“[SC-164697][SQL] 更新例程相关错误类的错误消息”
  • [SPARK-48048] [SC-164846][CONNECT][SS] 添加了对 Scala 的客户端侦听器支持
  • [SPARK-48064] [SC-164697][SQL] 更新例程相关错误类的错误消息
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] 如果引发了 SESSION_NOT_FOUND 错误且未收到部分响应，则重新执行计划
  • [SPARK-48124] [SC-165009][CORE] 默认禁用 Connect-Repl 的结构化日志记录
  • [SPARK-47922] 还原“[SC-163997][SQL] 实现 try_parse_json 表达式”
  • [SPARK-48065] [SC-164817][SQL] SPJ：allowJoinKeysSubsetOfPartitionKeys 过于严格
  • [SPARK-48114] [SC-164956][CORE] 预编译模板正则表达式以避免不必要的工作
  • [SPARK-48067] [SC-164773][SQL] 修复变体默认列
  • [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
  • [SPARK-48075] [SC-164709][SS] 添加 PySpark avro 函数的类型检查
  • [SPARK-47793] [SC-164324][SS][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
  • [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 中的 ClassCastException（如果参数不可折叠或类型错误）
  • [SPARK-48102] [SC-164853][SS] 跟踪在报告流式查询进度时获取源/接收器指标的持续时间
  • [SPARK-47671] [SC-164854][Core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
  • [SPARK-47904] [SC-163409][SQL] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType 分析 DDL 字符串
  • [SPARK-46922] [SC-156102][CORE][SQL] 不要包装运行时用户面临的错误
  • [SPARK-48047] [SC-164576][SQL] 降低空 TreeNode 标记的内存压力
  • [SPARK-47934] [SC-164648][CORE] 确保 HistoryServer URL 重定向中的尾随斜杠
  • [SPARK-47921] [SC-163826][CONNECT] 修复 ExecuteHolder 中的 ExecuteJobTag 创建
  • [SPARK-48014] [SC-164150][SQL] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
  • [SPARK-47903] [SC-163424][PYTHON] 在 PySpark Variant 库中添加对剩余标量类型的支持
  • [SPARK-48068] [SC-164579][PYTHON] mypy 应具有 --python-executable 参数
  • [SPARK-47846] [SC-163074][SQL] 在 from_json 表达式中添加对 Variant 类型的支持
  • [SPARK-48050] [SC-164322][SS] 查询开始时的日志逻辑计划
  • [SPARK-47810] [SC-163076][SQL] 在联接条件中将等效表达式替换为 <=>
  • [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
  • [SPARK-47939] [SC-164171][SQL] 实现新的分析器规则以在 ExplainCommand 和 DescribeQueryCommand 中移动 ParameterizedQuery
  • [SPARK-48063] [SC-164432][CORE] 默认启用 spark.stage.ignoreDecommissionFetchFailure
  • [SPARK-48016] [SC-164280][SQL] 使用十进制时修复 try_divide 函数中的 bug
  • [SPARK-48033] [SC-164291][SQL] 修复在默认列中使用的 RuntimeReplaceable 表达式
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
  • [SPARK-48003] [SC-164323][SQL] 添加 hll 草图聚合的排序规则支持
  • [SPARK-47994] [SC-164175][SQL] 修复了 SQLServer 中 CASE WHEN 列筛选器下推的 bug
  • [SPARK-47984] [SC-163837][ML][SQL] 将 MetricsAggregate/V2Aggregator#serialize/deserialize 更改为呼叫 SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] 在类级别将时间戳格式化程序与时区配合使用，而不是在方法级别创建副本
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] 结构化日志迁移
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] 结构化日志迁移
  • [SPARK-47567] [SC-164172][SQL] 支持 LOCATE 函数使用排序后的字符串
  • [SPARK-47764] [SC-163820][CORE][SQL] 基于 ShuffleCleanupMode 清理随机依赖项
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] 更新 group.apply 的错误类
  • [SPARK-47414] [SC-163831][SQL] 对正则表达式的小写排序规则支持
  • [SPARK-47418] [SC-163818][SQL] 为小写 unicode 感知的 contains、startsWith 和 endsWith 添加手工制作的实现，并优化 UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] SQL 催化剂：消除错误日志中的未命名变量
  • [SPARK-47351] [SC-164008][SQL] 添加对 StringToMap 和 Mask 字符串表达式的排序规则支持
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue 应考虑 null 类型化值
  • [SPARK-47476] [SC-164014][SQL] 支持 REPLACE 函数处理排序后的字符串
  • [SPARK-47408] [SC-164104][SQL] 修复使用 StringType 的 mathExpressions
  • [SPARK-47350] [SC-164006][SQL] 添加对 SplitPart 字符串表达式的排序规则支持
  • [SPARK-47692] [SC-163819][SQL] 修复隐式强制转换中的默认 StringType 含义
  • [SPARK-47094] [SC-161957][SQL] SPJ：在存储桶不相等时动态重新平衡桶数
  • [SPARK-48001] [SC-164000][CORE] 移除 SparkContext 中未使用的 private implicit def arrayToArrayWritable
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
  • [SPARK-48019] [SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] 结构化日志迁移
  • [SPARK-47999] [SC-163998][SS] 在 HDFS 支持的状态存储提供程序中改进快照创建和添加/移除状态缓存映射中的条目相关的日志记录
  • [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
  • [SPARK-47712] [SC-161871][CONNECT] 允许连接插件创建和处理数据集
  • [SPARK-47411] [SC-163351][SQL] 支持 StringInstr 和 FindInSet 函数来处理排序后的字符串
  • [SPARK-47360] [SC-163014][SQL] 排序规则支持：Overlay、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
  • [SPARK-47413] [SC-163323][SQL] - 向 substr/left/right 添加排序规则支持
  • [SPARK-47983] [SC-163835][SQL] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
  • [SPARK-47985] [SC-163841][PYTHON] 使用 lit 简化函数
  • [SPARK-47633] [SC-163453][SQL] 在 LateralJoin#allAttributes 中包含右侧计划输出以实现更一致的标准化
  • [SPARK-47909] 还原“[PYTHON][CONNECT] 父 DataFrame 类…
  • [SPARK-47767] [SC-163096][SQL] 在 TakeOrderedAndProjectExec 中显示偏移值
  • [SPARK-47822] [SC-162968][SQL] 禁止哈希表达式对 Variant 数据类型进行哈希处理
  • [SPARK-47490] [SC-160494][SS] 修复 RocksDB 记录器构造函数的用法以避免弃用警告
  • [SPARK-47417] 还原“[SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences”
  • [SPARK-47352] [SC-163460][SQL] 修复 Upper、Lower、InitCap 排序规则感知
  • [SPARK-47909] [PYTHON][CONNECT] Spark Connect 和 Spark Classic 的父 DataFrame 类
  • [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

  • 操作系统：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.78.0.19-CA-linux64
  • Scala：2.12.18
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.2.0

已安装的 Python 库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
单击 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 密码系统 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 执行 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 打包 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
请求 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 6 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

已安装的 R 库

R 库安装自 Posit Package Manager CRAN 快照。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 CLI 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 评估 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1