Databricks Runtime 15.4 LTS （Beta）

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 15.4 LTS 的相關信息。

行為變更

• 變更為檢視的預設架構系結模式
• 不允許使用未記載的 ! 語法， NOT 而不是布爾表達式外部
• 不允許檢視中未記載的數據行定義語法
• Spark 和 Photon 中Base64譯碼的一致錯誤處理
• CHECK在無效的數據行上新增條件約束現在會傳回UNRESOLVED_COLUMN。WITH_SUGGESTION錯誤類別

變更為檢視的預設架構系結模式

檢視現在會使用架構補償搭配一般轉型規則，來適應基礎查詢中的架構變更。 這是先前模式預設值的 BINDING 變更，在參考檢視時無法執行安全轉換時引發錯誤。

請參閱 CREATE VIEW 和 cast 函式。

不允許使用未記載的 ! 語法， NOT 而不是布爾表達式外部

在此版本中，不再允許使用 ! 做為布爾表達式外部的同義字 NOT 。 例如，如下的 語句： CREATE ... IF ! EXISTS、 IS ！NULL、資料行 ! NULL 或欄位屬性， ! IN 以及 ！BETWEEN，必須取代為： CREATE ... IF NOT EXISTS、、 IS NOT NULL資料 NOT NULL 行或欄位屬性和 NOT IN NOT BETWEEN。

這項變更可確保一致性、符合 SQL 標準，並讓您的 SQL 更具可移植性。

布爾前置詞運算子 ! （例如 !is_mgr 或!(true AND false)） 不受這項變更影響。

不允許檢視中未記載的數據行定義語法

Databricks 支援 CREATE VIEW ，其中包含具名數據行和數據行批注。 先前允許數據行類型、 NOT NULL 條件約束或 DEFAULT 的規格。 在此版本中，您無法再使用此語法。

這項變更可確保一致性、符合 SQL 標準，並支援未來的增強功能。

Spark 和 Photon 中Base64譯碼的一致錯誤處理

此版本會變更 Photon 如何處理 Base64 譯碼錯誤，以符合這些錯誤的 Spark 處理方式。 在這些變更之前，Photon 和 Spark 程式代碼產生路徑有時無法引發剖析例外狀況，而 Spark 解譯的執行則正確引發 IllegalArgumentException 或 ConversionInvalidInputError。 此更新可確保 Photon 在 Base64 譯碼錯誤期間一致引發與 Spark 相同的例外狀況，以提供更可預測的可靠錯誤處理。

CHECK在無效的數據行上新增條件約束現在會傳回UNRESOLVED_COLUMN。WITH_SUGGESTION錯誤類別

若要提供更實用的錯誤傳訊，請在 Databricks Runtime 15.3 和更新版本中， ALTER TABLE ADD CONSTRAINT 包含 CHECK 參考無效數據行名稱的條件約束的語句會 傳回UNRESOLVED_COLUMN。 WITH_SUGGESTION錯誤類別。 先前已 INTERNAL_ERROR 傳回 。

新功能和改進

• 具 Scala UDF 的具類型數據集 API
• 使用 ALTER TABLE 啟用 UniForm Iceberg
• try_url_decode函式
• 選擇性地允許優化器依賴非強制外鍵條件約束
• 針對選擇性覆寫執行的平行處理作業
• 使用選擇性覆寫改善變更數據摘要的效能
• 已改善命令的 COPY INTO 查詢延遲
• 支援卸除檢查條件約束數據表功能
• 單一使用者計算支援精細的存取控制、具體化檢視和串流資料表 （公開預覽）
• 擴充對 Java 和 Scala 連結庫的支援
• 擴充對 Scala 數據集作業的支援
• Scala 是 Unity 目錄共享計算上的 GA

具 Scala UDF 的具類型數據集 API

此版本包含已新增對具類型數據集 API 的支援，以及具有共用存取模式的 Unity 目錄啟用叢集上的 Scala 使用者定義函數（不包括使用者定義聚合函數）。 請參閱 具類型的數據集 API。

使用 ALTER TABLE 啟用 UniForm Iceberg

您現在可以在現有的數據表上啟用 UniForm Iceberg，而不需重寫數據檔。 請參閱 藉由改變現有的數據表來啟用。

try_url_decode函式

此版本引進 try_url_decode 函式，其會譯碼 URL 編碼的字串。 如果字串的格式不正確，函式會傳回 NULL 而不是引發錯誤。

選擇性地允許優化器依賴非強制外鍵條件約束

若要改善查詢效能，您現在可以在 CREATE 或 ALTER 資料表時，在條件約束上FOREIGN KEY指定 RELY 關鍵詞。

針對選擇性覆寫執行的平行處理作業

選擇性覆寫，現在使用 replaceWhere 執行作業來刪除數據並平行插入新數據，以改善查詢效能和叢集使用率。

使用選擇性覆寫改善變更數據摘要的效能

在具有變更數據摘要的數據表上使用選擇性覆寫 replaceWhere ，不再針對插入的數據寫入個別的變更數據檔。 這些作業會使用基礎 Parquet 資料檔中存在的隱藏 _change_type 數據行來記錄變更，而不需寫入放大。

已改善命令的 COPY INTO 查詢延遲

此版本包含可改善命令查詢延遲的 COPY INTO 變更。 這項改進是藉由讓 RocksDB 狀態存放區以異步方式載入狀態來實作。 有了這項變更，您應該會看到具有大型狀態之查詢的開始時間有所改善，例如具有大量已內嵌檔案的查詢。

支援卸除檢查條件約束數據表功能

您現在可以使用 ALTER TABLE table_name DROP FEATURE checkConstraints從 Delta 數據表卸除checkConstraints資料表功能。 請參閱 停用檢查條件約束。

單一使用者計算支援精細的存取控制、具體化檢視和串流資料表 （公開預覽）

啟用無伺服器計算的工作區時，Databricks Runtime 15.4 LTS 會在單一用戶計算上新增更精細訪問控制的支援。 當查詢存取下列任一物件時，Databricks Runtime 15.4 LTS 上的單一使用者計算資源會將查詢傳遞至無伺服器計算以執行數據篩選：

• 在用戶沒有許可權的 SELECT 數據表上定義的檢視。
• 動態檢視。
• 已套用數據列篩選或數據行遮罩的數據表。
• 具體化檢視和串流數據表。

執行 Databricks Runtime 15.3 和以下的單一用戶計算不支持這些查詢。

如需詳細資訊，請參閱 單一用戶計算的細微訪問控制。

擴充對 Java 和 Scala 連結庫的支援

從 Databricks Runtime 15.4 LTS 開始，當您使用 Unity 目錄時，所有與 Databricks Runtime 配套的 Java 和 Scala 連結庫都可以在所有計算存取模式中使用。 若要深入瞭解已啟用 Unity 目錄計算的語言支援，請參閱 Unity 目錄的計算存取模式限制。

擴充對 Scala 數據集作業的支援

在此版本中，使用共用存取模式的 Unity 目錄啟用計算資源支援下列 Scala Dataset 作業：map、mapPartitions、foreachPartition、 flatMapreduce 和 filter。

Scala 是 Unity 目錄共享計算上的 GA

在此版本中，Scala 已正式推出於已啟用 Unity 目錄的共用存取模式計算上，包括對純量使用者定義函式 （UDF） 的支援。 不支持結構化串流、Hive UDF 和 Hive 使用者定義聚合函數。 如需完整的限制清單，請參閱 Unity 目錄的計算存取模式限制。

錯誤修正

連結庫升級

• 升級的 Python 連結庫：
  • 從 1.30.1 到 1.30.2 的 azure 核心
  • 從 2.29.0 到 2.31.0 的 google-auth
  • 從 2.16.0 到 2.17.0 的 google-cloud-storage
  • google-resumable-media 從 2.7.0 到 2.7.1
  • googleapis-common-protos，從 1.63.0 到 1.63.2
  • mlflow-skinny 從 2.11.3 到 2.11.4
  • 從 1.23.0 到 1.24.0 的 proto-plus
  • s3transfer 從 0.10.1 到 0.10.2
• 升級的 R 連結庫：
• 升級的 Java 連結庫：
  • com.databricks.databricks-sdk-java 從 0.17.1 到 0.27.0
  • com.ibm.icu.icu4j 從 72.1 到 75.1
  • io.delta.delta-sharing-client_2.12，從 1.0.5 到 1.1.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider，從 1.6.1-linux-x86_64 到 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 15.3 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

• [SPARK-49054] [DBRRM-1153][SQL]數據行預設值應該支援 current_* 函式
• [SPARK-48503] [DBRRM-1150][SC-172196][SQL]如果表達式系結至外部數據列，則允許在純量子查詢中對表達式進行分組
• [SPARK-48873] [SC-171061][SQL]在 JSON 剖析器中使用 UnsafeRow。
• [SPARK-48834] [BEHAVE-79][SC-170972][SQL]在查詢編譯期間停用 Python 純量 UDF、UDDF、UDAF 的變數輸入/輸出
• [SPARK-48441] [SC-170980][SQL][WARMFIX]修正非UTF8_BINARY定序的 StringTrim 行為
• [SPARK-48440] [SC-170895][SQL][WARMFIX]修正非UTF8_BINARY定序的 StringTranslate 行為
• [SPARK-48872] [SC-170866][PYTHON]減少_capture_call_site的額外負荷
• [SPARK-48862][SC-170845][PYTHON][CONNECT]避免在未啟用 INFO 層級時呼叫_proto_to_string
• [SPARK-48852] [SC-170837][CONNECT]修正 connect 中的字串修剪函式
• [SPARK-48791] [SC-170658][CORE]使用 CopyOnWriteArrayList 修正累加器註冊額外負荷所造成的效能回歸
• [SPARK-48118] [SQL]支援 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env 變數
• [SPARK-48241] [SC-165811][SQL]具有 char/varchar 類型數據行的 CSV 剖析失敗
• [SPARK-48168] [SC-166900][SQL]新增位移位運算子支援
• [SPARK-48148] [SC-165630][CORE]當讀取為 STRING 時，不應該修改 JSON 物件
• [SPARK-46625] [SC-170561]以Identifier子句作為參考的 CTE
• [SPARK-48771] [SC-170546][SQL]加速 LogicalPlanIntegrity.validateExprIdUniqueness 大型查詢計劃
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT]讓預設數據行名稱與 cast Spark傳統相容
• [SPARK-48623] [SC-170544][CORE]結構化記錄移轉[第 2 部分]
• [SPARK-48296] [SC-166138][SQL]Codegen 支援 to_xml
• [SPARK-48027] [SC-165154][SQL]適用於多層級聯結的 InjectRuntimeFilter 應該檢查子聯結類型
• [SPARK-46957] [SC-169807][CORE][15.x][15.3][15.2] 解除委任已移轉的隨機檔案應該能夠從執行程式清除
• [SPARK-48686] [SC-170365][SQL]改善 ParserUtils.unescapeSQLString 的效能
• [SPARK-48798][SC-170588][PYTHON]SparkSession 型分析簡介spark.profile.render
• [SPARK-48048] [SC-169099]還原 “[SC-164846][CONNECT][SS] 已新增對 Scala 的用戶端接聽程序支援”
• [SPARK-47910] [SC-168929][CORE] 在 DiskBlockObjectWriter closeResources 時關閉數據流，以避免記憶體流失
• [SPARK-48816] [SC-170547][SQL]UnivocityParser 中間隔轉換器的速記
• [SPARK-48589] [SC-170132][SQL][SS]將選項 snapshotStartBatchId 和 snapshotPartitionId 新增至狀態數據源
• [SPARK-48280] [SC-170293][SQL]使用表達式步行改善定序測試介面區
• [SPARK-48837] [SC-170540][ML] 在 CountVectorizer 中，每個轉換只能讀取二進位參數一次，而不是每個數據列一次
• [SPARK-48803] [SC-170541][SQL]在 Orc（De）串行化程式中擲回內部錯誤，以配合 ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON]從使用者堆疊篩選出IPython相關框架
• [SPARK-48818][SC-170414][PYTHON]簡化函式percentile
• [SPARK-48479] [SC-169079][SQL]支援在剖析器中建立純量和數據表 SQL UDF
• [SPARK-48697] [SC-170122][LC-4703][SQL]新增定序感知字串篩選
• [SPARK-48800] [SC-170409][CONNECT][SS]Deflake ClientStreamingQuerySuite
• [SPARK-48738][SC-169814][SQL]正確，因為內建 func 別名的版本、position、、、mod、cardinality、usercurrent_schema、session_userchar_length、randomcharacter_length
• [SPARK-48638] [SC-169575][CONNECT]新增 DataFrame 的 ExecutionInfo 支援
• [SPARK-48064] [SC-164697][SQL]更新例程相關錯誤類別的錯誤訊息
• [SPARK-48810] [CONNECT]會話停止（） API 應該是等冪的，如果伺服器已經關閉工作階段，則不會失敗
• [SPARK-48650] [15.x][PYTHON]從 IPython Notebook 顯示正確的通話網站
• [SPARK-48271] [SC-166076][SQL]將 RowEncoder 中的比對錯誤轉換成 UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL]修正 DataSourceV2 CTAS 的 varchar 類型解析不符
• [SPARK-48792] [SC-170335][SQL]修正 INSERT 的回歸，其中含有部分數據行清單至具有 char/varchar 的數據表
• [SPARK-48767] [SC-170330][SQL]修正類型數據無效時的 variant 一些錯誤提示
• [SPARK-48719][SC-170339][SQL]修正 當第一個參數為 null 時 ， 的RegrIntercept計算錯誤RegrSlope
• [SPARK-48815] [SC-170334][CONNECT]停止聯機會話時更新環境
• [SPARK-48646] [SC-169020][PYTHON]精簡 Python 數據源 API 檔字串和類型提示
• [SPARK-48806] [SC-170310][SQL]url_decode失敗時傳遞實際例外狀況
• [SPARK-48653] [SC-169267][PYTHON]修正無效的 Python 數據源錯誤類別參考
• [SPARK-47777] [SC-168818] 修正 python 串流數據源聯機測試
• [SPARK-48732] [SC-169793][SQL]清除已淘汰的 API 使用方式，與 JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL]修正具有定序數據行的快取數據表
• [SPARK-48623] [SC-169034][CORE]結構化記錄移轉
• [SPARK-48655] [SC-169542][SQL]SPJ：新增略過匯總查詢的隨機測試
• [SPARK-48586] [SC-169808][SS]在 load 中建立 RocksDBFileManager 中的檔案對應深層複本，以移除 doMaintenance（） 中的鎖定擷取
• [SPARK-48799] [Backport][15.x][SC-170283][SS]重構操作員元數據讀取/寫入和呼叫端的版本設定
• [SPARK-48808] [SC-170309][SQL]修正透過Hive 1.2.1連接thriftserver且結果架構是空的 NPE
• [SPARK-48715] [SC-170291][SQL]將 UTF8String 驗證整合到定序感知字串函式實作中
• [SPARK-48747] [SC-170120][SQL]將程式代碼點反覆運算器新增至UTF8String
• [SPARK-48748] [SC-170115][SQL]UTF8String 中的快取 numChars
• [SPARK-48744] [SC-169817][Core]記錄項目應該只建構一次
• [SPARK-46122][SC-164313][SQL]默認設定spark.sql.legacy.createHiveTableByDefault為false
• [SPARK-48765] [SC-170119][DEPLOY]增強SPARK_IDENT_STRING的預設值評估
• [SPARK-48759] [SC-170128][SQL]新增 CREATE TABLE AS SELECT 行為變更行為變更的移轉文件，因為 Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT]在數據框架作業中傳播快取的架構
• [SPARK-48766][SC-170126][PYTHON]記錄和之間的element_at行為差異extractiontry_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT]不應該快取 explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS]變更為在驅動程式上讀取運算符元數據一次，以檢查我們是否可以找到用於會話視窗 agg 查詢的 numColsPrefixKey 資訊
• [SPARK-48656] [SC-169529][CORE]在中執行長度檢查並擲回COLLECTION_SIZE_LIMIT_EXCEEDED錯誤 CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL]在邏輯計劃的文字表示法中引進isStreaming屬性的標記
• [SPARK-48472] [SC-169044][SQL]使用定序字串啟用反映表達式
• [SPARK-48699] [SC-169597][SQL]精簡定序 API
• [SPARK-48682] [SC-169812][SQL][BEHAVE-58]在 InitCap 運算式中使用 ICU 進行UTF8_BINARY字串
• [SPARK-48282] [SC-169813][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯 （StringReplace， FindInSet）
• [SPARK-47353] [SC-169599][SQL]啟用Mode表達式的定序支援
• [SPARK-48320] [SPARK-48490]從 OSS Spark 同步處理最新的記錄特性和測試案例
• [SPARK-48629] [SC-169479]將剩餘程式代碼遷移至結構化記錄架構
• [SPARK-48681] [SC-169469][SQL][BEHAVE-58]在下方/上方運算式中使用ICU進行UTF8_BINARY字串
• [SPARK-48573] [15.x][SC-169582][SQL]升級ICU版本
• [SPARK-48687] [Backport][15.x][SS]新增變更以針對具狀態查詢執行狀態架構驗證和更新驅動程式
• [SPARK-47579] [15.x][SC-167310][CORE][PART4]使用變數將logInfo遷移至結構化記錄架構
• [SPARK-48008] [SC-167363][1/2] 在Spark Connect 中支援UDAF
• [SPARK-48713] [SQL]當baseObject是位元組陣列時，新增 UnsafeRow.pointTo 的索引範圍檢查
• [SPARK-48718] [ES-1159458][SC-169581][SQL]處理並修正 Cogroup 中的還原串行化程式在 DeduplicateRelation 規則的套用期間解析的情況
• [SPARK-48578] [SC-169505][SQL] 新增 UTF8 字串驗證相關函式
• [SPARK-48670] [SC-169598][SQL]當指定無效定序名稱時，提供建議做為錯誤訊息的一部分
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... …RK-48291] Java 端的結構化記錄架構
• [SPARK-47599] [15.x][SC-166000][MLLIB]MLLib：將具有變數的logWarn遷移至結構化記錄架構
• [SPARK-48705] [SC-169590][PYTHON]以 pyspark 開頭時明確使用worker_main
• [SPARK-48706] [SC-169589][PYTHON]較高階函式的 Python UDF 不應該擲回內部錯誤
• [SPARK-48498] [BEHAVE-38][SC-168060][SQL]一律在述詞中執行字元填補
• [SPARK-48662] [SC-169533][SQL]修正 StructsToXml 運算式與定序
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates 和 dropDuplicatesWIthinWatermark 應該接受可變長度自變數
• [SPARK-48678] [SC-169463][CORE]SparkConf.get 的效能優化（ConfigEntry）
• [SPARK-48576] [SQL]將UTF8_BINARY_LCASE重新命名為 UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]： 修正 UDF 譯碼器中的 Null 屬性
• [SPARK-47579] [SC-165297][CORE][PART1]使用變數將 logInfo 遷移至結構化記錄架構 （新增）
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal 不使用已被取代的方法
• [SPARK-48431] [SC-167290][LC-4066][SQL]不要將定序數據行上的述詞轉送至檔案讀取器
• [SPARK-47579] 將 “[SC-165297][CORE][PART1] 將 logInfo 與變數遷移至結構化記錄架構”
• [SPARK-47585] [SC-164306][SQL]SQL 核心：使用變數將logInfo遷移至結構化記錄架構
• [SPARK-48466] [SC-169042][SQL]在 AQE 中建立 EmptyRelation 的專用節點
• [SPARK-47579] [SC-165297][CORE][PART1]使用變數將logInfo遷移至結構化記錄架構
• [SPARK-48410] [SC-168320][SQL]修正 UTF8_BINARY_LCASE和ICU定序的InitCap表達式
• [SPARK-48318] [SC-167709][SQL]開啟所有定序的哈希聯結支援 （複雜類型）
• [SPARK-48435] [SC-168128][SQL]UNICODE 定序不應支援二進位相等
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT]支援在 pyspark/scala 中使用資料行作為數個函式的參數
• [SPARK-48591] [SC-169081][PYTHON]新增協助程式函式以簡化 Column.py
• [SPARK-48574] [SC-169043][SQL]修正具有定序的 StructTypes 支援
• [SPARK-48305] [SC-166390][SQL]新增 CurrentLike 表達式的定序支援
• [SPARK-48342] [SC-168941][SQL]SQL 文稿剖析器簡介
• [SPARK-48649] [SC-169024][SQL]新增 「ignoreInvalidPartitionPaths」 和 “spark.sql.files.ignoreInvalidPartitionPaths” 組態，以允許忽略無效的數據分割路徑
• [SPARK-48000] [SC-167194][SQL]開啟所有定序的哈希聯結支援 （StringType）
• [SPARK-48459] [SC-168947][CONNECT][PYTHON]在 Spark Connect 中實作 DataFrameQueryContext
• [SPARK-48602] [SC-168692][SQL]使用 spark.sql.binaryOutputStyle 讓 csv 產生器支援不同的輸出樣式
• [SPARK-48283] [SC-168129][SQL]修改UTF8_BINARY_LCASE的字串比較
• [SPARK-48610] [SC-168830][SQL] 重構：使用輔助 idMap 而非OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT]避免在 ExecutePlanResponseReattachableIterator 上以靜態方式初始化線程集區
• [SPARK-48648] [SC-168932][PYTHON][CONNECT]將 SparkConnectClient.tags 正確設定為 threadlocal
• [SPARK-47911] [SC-164658][SQL]引進通用 BinaryFormatter，讓二進位輸出保持一致
• [SPARK-48642] [SC-168889][CORE]False SparkOutOfMemoryError 造成漏油工作
• [SPARK-48572] [SC-168844][SQL]修正 DateSub、DateAdd、WindowTime、TimeWindow 和 SessionWindow 表達式
• [SPARK-48600] [SC-168841][SQL]修正 FrameLessOffsetWindowFunction 運算式隱含轉換
• [SPARK-48644] [SC-168933][SQL]執行長度檢查，並在 Hex.hex 中擲回COLLECTION_SIZE_LIMIT_EXCEEDED錯誤
• [SPARK-48587] [SC-168824][VARIANT]避免存取子 Variant 時的記憶體放大
• [SPARK-48647][SC-168936][PYTHON][CONNECT]精簡 中的錯誤訊息YearMonthIntervalTypedf.collect
• [SPARK-48307] [SC-167802][SQL]InlineCTE 應該在原始WithCTE節點中保留非內嵌關係
• [SPARK-48596] [SC-168581][SQL]計算長十六進位字串的效能改進
• [SPARK-48621] [SC-168726][SQL]修正優化器中已定序字串的簡化方式
• [SPARK-47148] [SC-164179][SQL]避免在取消時具體化 AQE ExchangeQueryStageExec
• [SPARK-48584] [SC-168579][SQL]unescapePathName 的 Perf 改進
• [SPARK-48281] [SC-167260][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯 （StringInStr， SubstringIndex）
• [SPARK-48577] [SC-168826][SQL]無效的 UTF-8 位元組序列取代
• [SPARK-48595] [SC-168580][CORE]清除已淘汰的 API 使用方式，與 commons-compress
• [SPARK-48030] [SC-164303][SQL]SPJ：Cache rowOrdering 和 structType for InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL]新增 v1 寫入的 WriteFilesExecBase 特性
• [SPARK-48551] [SC-168438][SQL]escapePathName 的 Perf 改進
• [SPARK-48565] [SC-168437][UI]修正UI中的線程傾印顯示
• [SPARK-48364] [SC-166782][SQL]新增 AbstractMapType 類型轉換並修正 RaiseError 參數對應，以使用定序字串
• [SPARK-48421] [SC-168689][SQL]SPJ：新增檔
• [SPARK-48604] [SC-168698][SQL]取代已被 new ArrowType.Decimal(precision, scale) 取代的方法呼叫
• [SPARK-46947] [SC-157561][CORE]延遲記憶體管理員初始化，直到載入驅動程式外掛程式外掛程式插件為止
• [SPARK-48411] [SC-168576][SS][PYTHON]新增DropDuplicateWithinWatermark的 E2E 測試
• [SPARK-48543] [SC-168697][SS]使用明確錯誤類別追蹤狀態數據列驗證失敗
• [SPARK-48221] [SC-167143][SQL]改變UTF8_BINARY_LCASE定序的字串搜尋邏輯（Contains、StartsWith、EndsWith、StringLocate）
• [SPARK-47415] [SC-168441][SQL]新增 Levenshtein 表達式的定序支援
• [SPARK-48593] [SC-168719][PYTHON][CONNECT]修正 Lambda 函式的字串表示
• [SPARK-48622] [SC-168710][SQL] 解析數據行名稱時取得 SQLConf 一次
• [SPARK-48594] [SC-168685][PYTHON][CONNECT]將欄位重新命名 parent 為 child in ColumnAlias
• [SPARK-48403] [SC-168319][SQL]修正UTF8_BINARY_LCASE和ICU定序的下層和上限表達式
• [SPARK-48162] [SC-166062][SQL]新增 MISC 表達式的定序支援
• [SPARK-48518] [SC-167718][CORE]讓 LZF 壓縮能夠平行執行
• [SPARK-48474] [SC-167447][CORE]修正登入 SparkSubmitArguments 的類別名稱 & SparkSubmit
• [SPARK-48012] [SC-168267][SQL]SPJ：支援單端隨機顯示之 Transfrom 表達式
• [SPARK-48552] [SC-168212][SQL] 多行 CSV 架構推斷也應該擲回FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON]將 StreamingQueryListener.spark 設定為可設定
• [SPARK-48569] [SC-168321][SS][CONNECT]處理 query.name 中的邊緣案例
• [SPARK-48544] [SC-168323][SQL]降低空白 TreeNode BitSets 的記憶體壓力
• [SPARK-47260] [SC-167323][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT]在集合作業中傳播快取的架構
• [SPARK-48155] [SC-165910][SQL]AQEPropagateEmptyRelation 的聯結應該檢查是否只保留子系為 BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE]壓縮編解碼器簡短名稱不區分大小寫，但事件記錄除外
• [SPARK-48447] [SC-167607][SS]先檢查狀態存放區提供者類別，再叫用建構函式
• [SPARK-47977] [SC-167650]DateTimeUtils.timestampDiff 和 DateTimeUtils.timestampAdd 不應該擲回INTERNAL_ERROR例外狀況
• [SPARK-48513] [Backport][15.x][SC-168085][SS]新增狀態架構相容性和次要重構的錯誤類別
• [SPARK-48413] [SC-167669][SQL]具有定序的 ALTER COLUMN
• [SPARK-48561] [SC-168250][PS][CONNECT]擲 PandasNotImplementedError 回不支援的繪圖函式
• [SPARK-48465] [SC-167531][SQL]避免無作業空白關聯傳播
• [SPARK-48553] [SC-168166][PYTHON][CONNECT]快取更多屬性
• [SPARK-48540] [SC-168069][CORE]避免常春藤輸出載入設定至 stdout
• [SPARK-48535] [SC-168057][SS]如果已啟用數據流聯結設定的 Null，更新組態檔以指出資料遺失/損毀問題的可能性
• [SPARK-48536] [SC-168059][PYTHON][CONNECT]在 applyInPandas 和 applyInArrow 中快取使用者指定的架構
• [SPARK-47873] [SC-163473][SQL]使用一般字串類型將定序字串寫入Hive中繼存放區
• [SPARK-48461] [SC-167442][SQL]將 NullPointerExceptions 取代為 AssertNotNull 運算式中的錯誤類別
• [SPARK-47833] [SC-163191][SQL][CORE]提供 checkAndGlobPathIfNecessary AnalysisException 的呼叫端 stackstraceces
• [SPARK-47898] [SC-163146][SQL]埠 HIVE-12270：將 DBTokenStore 支援新增至 HS2 委派令牌
• [SPARK-47578] [SC-167497][R] 使用變數將 RPackageUtils 遷移至結構化記錄架構
• [SPARK-47875] [SC-162935][CORE]刪除 spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE]如果遺漏，請將 設定 spark.hadoop.fs.s3a.connection.establish.timeout 為 30s
• [SPARK-47972] [SC-167692][SQL]限制定序的 CAST 運算式
• [SPARK-48430] [SC-167489][SQL]修正對應包含定序字串時的地圖值擷取
• [SPARK-47318] [SC-162712][CORE][3.5] 將 HKF round 新增至 AuthEngine 密鑰衍生，以遵循標準 KEX 做法
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL]修正在未正確允許的非對等數據行上使用 group-by 的無效純量子查詢
• [SPARK-48508] [SC-167695][CONNECT][PYTHON]在中快取使用者指定的架構 DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS]修正 Windows 中的 Bug，其中在同一秒內啟動多個 Spark 實例會導致失敗
• [SPARK-45891] [SC-167608]還原 “描述 Variant 的粉碎配置”
• [SPARK-48391] [SC-167554][CORE]在 TaskMetrics 類別的AccumulatorInfos 方法中使用 addAll 而不是 add 函式
• [SPARK-48496] [SC-167600][CORE]在 JavaUtils.timeStringAs 和 JavaUtils.byteStringAs 中使用靜態 regex 模式實例
• [SPARK-48476] [SC-167488][SQL] 修正 null delmiter csv 的 NPE 錯誤訊息
• [SPARK-48489] [SC-167598][SQL]從文字數據源讀取非法架構時，擲回更好的使用者面向錯誤
• [SPARK-48471] [SC-167324][CORE]改善記錄伺服器的檔和使用指南
• [SPARK-45891] [SC-167597]描述 Variant 的粉碎配置
• [SPARK-47333] [SC-159043][SQL]使用 checkInputDataTypes 來檢查函式的參數類型 to_xml
• [SPARK-47387] [SC-159310][SQL]拿掉一些未使用的錯誤類別
• [SPARK-48265] [ES-1131440][SQL]推斷視窗群組限制批次應該執行常數折疊
• [SPARK-47716] [SC-167444][SQL]避免 SQLQueryTestSuite 語意排序測試案例中的檢視名稱衝突
• [SPARK-48159] [SC-167141][SQL]擴充對 datetime 運算式上定序字串的支援
• [SPARK-48462] [SC-167271][SQL][測試]在測試中搭配SQLConf 使用：重構 HiveQuerySuite 和 HiveTableScanSuite
• [SPARK-48392][SC-167195][CORE]提供時也會載入spark-defaults.conf--properties-file
• [SPARK-48468] [SC-167417]在催化劑中新增LogicalQueryStage介面
• [SPARK-47578] [SC-164988][CORE]手動備份 Spark PR #46309：使用變數將 logWarning 遷移至結構化記錄架構
• [SPARK-48415] [SC-167321]還原 “[PYTHON] 重構 TypeName 以支持參數化數據類型”
• [SPARK-46544] [SC-151361][SQL]使用數據表統計數據支援 v2 DESCRIBE TABLE EXTENDED
• [SPARK-48325] [SC-166963][CORE]一律在 ExecutorRunner.killProcess 中指定訊息
• [SPARK-46841] [SC-167139][SQL]新增ICU地區設定和定序規範的定序支援
• [SPARK-47221] [SC-157870][SQL]使用 CsvParser 到 AbstractParser 的簽章
• [SPARK-47246][SC-158138][SQL]new GenericInternalRow將取代InternalRow.fromSeq為 以儲存集合轉換
• [SPARK-47597] [SC-163932][串流]Spark PR 的手動回送 #46192：串流：使用變數將 logInfo 遷移至結構化記錄架構
• [SPARK-48415] [SC-167130][PYTHON]重構 TypeName 以支持參數化數據類型
• [SPARK-48434] [SC-167132][PYTHON][CONNECT]使用 printSchema 快取的架構
• [SPARK-48432] [ES-1097114][SQL]避免在 UnivocityParser 中取消箱整數
• [SPARK-47463] [SC-162840][SQL]使用 V2Predicate 來包裝具有布爾值傳回類型的表達式
• [SPARK-47781] [SC-162293][SQL]處理 JDBC 數據源的負小數位數
• [SPARK-48394] [SC-166966][CORE]mapoutput unregister 上的 Cleanup mapIdToMapIndex
• [SPARK-47072] [SC-156933][SQL]修正錯誤訊息中支援的間隔格式
• [SPARK-47001] [SC-162487][SQL]優化工具中的下推驗證
• [SPARK-48335] [SC-166387][PYTHON][CONNECT]與 _parse_datatype_string Spark Connect相容
• [SPARK-48329][SC-166518][SQL]默認為啟用spark.sql.sources.v2.bucketing.pushPartValues.enabled
• [SPARK-48412] [SC-166898][PYTHON]重構數據類型 json 剖析
• [SPARK-48215] [SC-166781][SQL]在 date_format 表示式上擴充對定序字串的支援
• [SPARK-45009] [SC-166873][SQL][待處理]在聯結條件中加入參考兩個聯結子查詢之述詞子查詢的譯碼錯誤類別和測試
• [SPARK-47960] [SC-165295][SS][15.x]允許在 transformWithState 運算符之後鏈結其他具狀態運算符。
• [SPARK-48340] [SC-166468][PYTHON]支援 TimestampNTZ 推斷架構遺漏prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL]新增 CSV 表達式的定序支援
• [SPARK-48158] [SC-165652][SQL]新增 XML 表達式的定序支援
• [SPARK-48160] [SC-166064][SQL]新增 XPATH 表達式的定序支援
• [SPARK-48229] [SC-165901][SQL]新增 inputFile 表達式的定序支援
• [SPARK-48367] [SC-166487][CONNECT]修正 scalafmt 的 lint-scala 以偵測要正確格式化的檔案
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL]重構 DataFrame 錯誤內容的結構
• [SPARK-48370] [SC-166787][CONNECT]Scala Spark Connect 用戶端中的檢查點和localCheckpoint
• [SPARK-48247] [SC-166028][PYTHON]推斷 MapType 架構時，請使用聽寫中的所有值
• [SPARK-48395] [SC-166794][PYTHON]修正 StructType.treeString 參數化類型
• [SPARK-48393] [SC-166784][PYTHON]將常數群組移至 pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON]實現 StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT]Spark Connect 中的檢查點和 localCheckpoint

系統環境

• 操作系統：Ubuntu 22.04.4 LTS
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.18
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安裝的 Python 程式庫

已安裝的 R 連結庫

R 連結庫會從 Posit 封裝管理員 CRAN 快照集安裝。

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）