Databricks Runtime 9.1 LTS
下列版本資訊提供由 Apache Spark 3.1.2 提供的 Databricks Runtime 9.1 LTS Runtime 9.1 LTS Photon 相關信息。 Databricks 於 2021 年 9 月發行了這些映射。 Photon 處於 公開預覽狀態。
注意
LTS 表示此版本處於長期支援之下。 請參閱 Databricks Runtime LTS 版本生命週期。
新功能和改進
- 自動載入器架構提示現在可搭配數位和對應類型使用
- 合併架構的 Avro 檔案支援
- 自動載入器累加式清單支援 (公開預覽)
- Delta 現在支援任意取代Where
- Google Cloud 的自動載入器現在支援檔案通知 (公開預覽)
- CREATE FUNCTION 現在支援建立數據表函式
- Kafka 串流來源現在報告
estimatedTotalBytesBehindLatest
計量 - 針對數位內部的結構,Delta MERGE INTO 現在會依名稱解析結構欄位,並演進結構架構
自動載入器架構提示現在可搭配數位和對應類型使用
使用自動載入器之架構提示覆寫架構推斷中支援數位和對應類型。
陣列的架構提示範例包括:
arr Array<TYPE>
變更陣列類型。arr.element TYPE
會變更陣列類型(使用element
關鍵詞)。arr.element.x TYPE
會變更結構陣列中的巢狀字段類型。
前兩個範例是將數位 arr
類型變更為 TYPE
的提示,但會使用不同的語法。 第三個範例 arr
是具有 欄位 x
的結構數位。 這個範例示範如何將 的 x
型別變更為 TYPE
。
地圖的架構提示範例包括:
m Map<KEY-TYPE, VALUE-TYPE>
變更對應索引鍵和實值類型。m.key TYPE
會變更地圖索引鍵的類型。m.value TYPE
會變更對應值的類型。m.key.x TYPE
變更地圖索引鍵中的欄位類型。m.value.x TYPE
變更地圖值的欄位類型。
第一個範例會分別變更對應至 KEY_TYPE
和 VALUE_TYPE
的m
索引鍵和實值類型。 只有當只有索引鍵類型或只需要變更實值類型時,就可以使用第二個和第三個範例。 在第四和第五個範例中, m
是具有字段 x
之結構類型索引鍵和值的對應。 這個範例示範如何將 的 x
型別變更為 TYPE
。
合併架構的 Avro 檔案支援
Avro 檔案格式現在支援 mergeSchema
讀取檔案時的選項。 讀取 Avro 檔案時,設定 mergeSchema
為 true 會從一組 Avro 檔案推斷架構,而不是從單一檔案推斷架構。 這可藉由推斷可以讀取所有檔案的架構來提升可用性,即使個別的架構不同也一樣。 請參閱設定。
自動載入器累加式清單支援 (公開預覽)
在語彙產生的檔案的情況下, 什麼是自動載入器? 現在會利用語匯檔案排序和現有的優化 API,讓目錄清單更有效率,方法是列出先前的內嵌檔案,而不是列出整個目錄。 自動載入器預設會自動偵測指定的目錄是否適合累加清單。 若要明確控制此行為,請將新 cloudFiles.useIncrementalListing
選項設定為 on (true
)、off (false
), 或 automatic (auto
)。 如果您將此行為設定為 true
,您也可以設定 cloudFiles.backfillInterval
選項來排程定期回填數據,以確保所有數據都已完全內嵌。
Delta 現在支援任意取代Where
搭配覆寫模式, replaceWhere
選項可用來同時覆寫符合 選項中所定義述詞的數據。 先前僅 replaceWhere
支援對分割區數據行的述詞,但現在可以是任意表達式。 請參閱 寫入數據表。
Google Cloud 的自動載入器現在支援檔案通知 (公開預覽)
自動載入器現在支援Google Cloud上的檔案通知模式。 設定 .option("cloudFiles.useNotifications", "true")
為允許自動載入器為您自動設定 Google Cloud Pub/Sub 資源。 使用檔案通知模式時,會偵測並內嵌新檔案,而不會列出輸入目錄。 請參閱 什麼是自動載入器檔案通知模式?。
CREATE FUNCTION 現在支援建立數據表函式
除了建立傳回純量值的純量函式之外,您現在可以建立可傳回一組數據列的數據表函式。 請參閱 CREATE FUNCTION (SQL 和 Python) 。
Kafka 串流來源現在報告 estimatedTotalBytesBehindLatest
計量
Kafka 串流來源現在會報告取用者在每個批次之後,有多少位元元組落後於最新的可用位元組。 您可以使用此計量來追蹤串流進度。 請參閱 擷取 Kafka 計量。
計量輸出範例:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
針對數位內部的結構,Delta MERGE INTO 現在會依名稱解析結構欄位,並演進結構架構
Delta MERGE INTO
現在支援依結構陣列的名稱和自動架構演進解析結構欄位。 當自動架構演進透過設定 spark.databricks.delta.schema.autoMerge.enabled
為 true 來啟用時, UPDATE
子 INSERT
句會依名稱解析數位內部的結構欄位,轉換為目標陣列中定義的對應資料類型,並以 Null 值填入來源或目標中的其他或遺漏欄位。 停用自動架構演進時,子INSERT
句會依名稱解析數位內部的結構欄位,UPDATE
但無法發展其他欄位。 請參閱 更新 Delta Lake 數據表架構。
錯誤修正
- 已修正 Amazon S3 連接器中的記憶體流失,該連接器可能會在長時間執行的工作或服務中發生,這是由 JVM
DeleteOnExit
功能所造成。
連結庫升級
- 升級的 Python 連結庫:
- 從 4.14.3 到 5.1.0 的繪圖
- 升級的 R 連結庫:
- base 從 4.1.0 到 4.1.1
- bslib 從 0.2.5.1 到 0.3.0
- cachem 從 1.0.5 到 1.0.6
- 編譯程式從 4.1.0 到 4.1.1
- 從 4.1.0 到 4.1.1 的數據集
- 未來從 1.21.0 到 1.22.1
- 從 1.3.1 到 1.3.2 的 gert
- 從 4.1.0 到 4.1.1 的圖形
- grDevices 從 4.1.0 到 4.1.1
- 從 4.1.0 到 4.1.1 的方格
- 升級的 Java 連結庫:
- org.eclipse.jetty 從 9.4.36.v20210114 到 9.4.42.v20210604
Apache Spark
Databricks Runtime 9.1 LTS 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 9.0 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 進行的其他錯誤修正和改進:
- [SPARK-36674][SQL][櫻桃挑選]支援 ILIKE - 不區分大小寫的 LIKE
- [SPARK-36353][SQL][3.1] RemoveNoopOperators 應保留輸出架構
- [SPARK-35876][SQL][3.1] ArraysZip 應保留功能變數名稱,以避免由分析器/優化器重新撰寫
- [SPARK-36398][SQL]在Spark Thrift 伺服器記錄中修訂敏感性資訊
- [SPARK-36498][SQL]在 byName V2 寫入中重新排序輸入查詢的內部欄位
- [SPARK-36614][CORE][UI]在UI中解除委任所造成的正確執行程序遺失原因
- [SPARK-36012][SQL]在 SHOW CREATE TABLE 中新增 Null 旗標
- [SPARK-36509][CORE]修正當背景工作角色停止使用獨立叢集時,永遠不會重新排程執行程序的問題
- [SPARK-36603][CORE]在 LevelDB 中使用 WeakReference 而非 SoftReference
- [SPARK-36564][CORE]修正 LiveRDDDistribution.toApi 中的 NullPointerException
- [SPARK-36086][SQL][3.1] CollapseProject 專案取代別名應該使用源數據行名稱
- [SPARK-33527][SQL]擴充譯碼功能,使其與主流資料庫一致
- [SPARK-36400][SPARK-36398][SQL][WEBUI]讓 ThriftServer 辨識 spark.sql.redaction.string.regex
- [SPARK-34054][CORE]BlockManagerDecommissioner 程式代碼清除
- [SPARK-36500][CORE]修正工作中斷時temp_shuffle檔案流失
- [SPARK-36489][SQL]對沒有群組索引鍵的聚合函數,在具有單一貯體的數據表上,傳回多個數據列
- [SPARK-36464][CORE]修正 ChunkedByteBufferOutputStream 中的基礎大小變數初始化,以撰寫超過 2GB 的數據
- [SPARK-36339][SQL][3.0] 應該取代非匯總一部分之群組的參考
- [SPARK-36354][CORE]EventLogFileReader 應該略過沒有記錄的滾動事件記錄檔目錄
- [SPARK-36242][CORE][3.1] 在 ExternalSorter.spillMemoryIteratorToDisk 方法中設定 success = true 之前,請確定溢出檔案已關閉
- [SPARK-36211][PYTHON]正確輸入傳
udf
回值 - [SPARK-34222][SQL]增強布爾值簡化規則
- [SPARK-35027][CORE]在寫入時關閉 FileAppender 中的 inputStream...
- [SPARK-36269][SQL]修正僅將數據行設定為Hive資料行名稱組態
- [SPARK-36213][SQL]使用 PartitionSpec 將 Describe Table 命令的 PartitionSpec 正規化
- [SPARK-36210][SQL]在 Dataset.withColumns 中保留數據行插入順序
- [SPARK-36079][SQL]以 Null 為基礎的篩選估計應一律位於範圍 [0, 1]
- [SPARK-28266][SQL] 在讀取 Hive 數據表時,convertToLogicalRelation 不應該解譯
path
屬性
維護更新
請參閱 Databricks Runtime 9.1 LTS 維護更新。
系統環境
- 操作系統:Ubuntu 20.04.4 LTS
- Java:Zulu 8.56.0.21-CA-linux64
- Scala:2.12.10
- Python:3.8.10
- R:4.1.1
- Delta Lake:1.0.0
已安裝的 Python 程式庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
dbus-python | 1.2.16 | decorator | 5.0.6 | distlib | 0.3.2 |
distro-info | 0.23ubuntu1 | facets-overview | 1.0.0 | filelock | 3.0.12 |
idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
kiwisolver | 1.3.1 | koalas | 1.8.1 | matplotlib | 3.4.2 |
numpy | 1.19.2 | pandas | 1.2.4 | parso | 0.7.0 |
patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.1.0 |
prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
setuptools | 52.0.0 | 六次 | 1.15.0 | ssh-import-id | 5.10 |
statsmodels | 0.12.2 | tenacity | 8.0.1 | threadpoolctl | 2.1.0 |
tornado | 6.1 | traitlets | 5.0.5 | 自動升級 | 0.1 |
urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
wheel | 0.36.2 |
已安裝的 R 連結庫
R 連結庫會從 2021-09-08 上的 Microsoft CRAN 快照集安裝。
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
base | 4.1.1 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.2 | boot | 1.3-28 |
brew | 1.0-6 | brio | 1.1.2 | broom | 0.7.9 |
bslib | 0.3.0 | cachem | 1.0.6 | callr | 3.7.0 |
caret | 6.0-88 | cellranger | 1.1.0 | chron | 2.3-56 |
class | 7.3-19 | cli | 3.0.1 | clipr | 0.7.1 |
叢集 | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
commonmark | 1.7 | compiler | 4.1.1 | config | 0.3.1 |
cpp11 | 0.3.1 | crayon | 1.4.1 | credentials | 1.3.1 |
curl | 4.3.2 | data.table | 1.14.0 | datasets | 4.1.1 |
DBI | 1.1.1 | dbplyr | 2.1.1 | 遞減 | 1.3.0 |
devtools | 2.4.2 | diffobj | 0.3.4 | digest | 0.6.27 |
dplyr | 1.0.7 | dtplyr | 1.1.0 | 省略符號 | 0.3.2 |
evaluate | 0.14 | fansi | 0.5.0 | farver | 2.1.0 |
fastmap | 1.1.0 | forcats | 0.5.1 | foreach | 1.5.1 |
foreign | 0.8-81 | forge | 0.2.0 | fs | 1.5.0 |
future | 1.22.1 | future.apply | 1.8.1 | 漱口 | 1.2.0 |
泛型 | 0.1.0 | 格特 | 1.3.2 | ggplot2 | 3.3.5 |
gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-2 |
globals | 0.14.0 | glue | 1.4.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.0 | gower | 0.2.2 | graphics | 4.1.1 |
grDevices | 4.1.1 | grid | 4.1.1 | gridExtra | 2.3 |
gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.4.3 |
highr | 0.9 | hms | 1.1.0 | htmltools | 0.5.2 |
htmlwidgets | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ids | 1.0.1 |
ini | 0.3.1 | ipred | 0.9-11 | isoband | 0.2.5 |
iterators | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
KernSmooth | 2.23-20 | knitr | 1.33 | labeling | 0.4.2 |
later | 1.3.0 | lattice | 0.20-44 | Lava | 1.6.10 |
生命週期 | 1.0.0 | listenv | 0.8.0 | lubridate | 1.7.10 |
magrittr | 2.0.1 | markdown | 1.1 | MASS | 7.3-54 |
矩陣 | 1.3-4 | memoise | 2.0.0 | 方法 | 4.1.1 |
mgcv | 1.8-36 | mime | 0.11 | ModelMetrics | 1.2.2.2 |
modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-152 |
nnet | 7.3-16 | numDeriv | 2016.8-1.1 | openssl | 1.4.5 |
parallel | 4.1.1 | parallelly | 1.27.0 | pillar | 1.6.2 |
pkgbuild | 1.2.0 | pkgconfig | 2.0.3 | pkgload | 1.2.1 |
plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.5.2 |
prodlim | 2019.11.13 | 進度 | 1.2.2 | progressr | 0.8.0 |
promises | 1.2.0.1 | proto | 1.0.0 | ps | 1.6.0 |
purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.3.3 |
RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | readr | 2.0.1 |
readxl | 1.3.1 | recipes | 0.1.16 | rematch | 1.0.1 |
rematch2 | 2.1.2 | remotes | 2.4.0 | reprex | 2.0.1 |
reshape2 | 1.4.4 | rlang | 0.4.11 | rmarkdown | 2.10 |
RODBC | 1.3-18 | roxygen2 | 7.1.1 | rpart | 4.1-15 |
rprojroot | 2.0.2 | Rserve | 1.8-8 | RSQLite | 2.2.8 |
rstudioapi | 0.13 | rversions | 2.1.1 | rvest | 1.0.1 |
sass | 0.4.0 | scales | 1.1.1 | selectr | 0.4-2 |
sessioninfo | 1.1.1 | shape | 1.4.6 | shiny | 1.6.0 |
sourcetools | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
spatial | 7.3-11 | splines | 4.1.1 | sqldf | 0.4-11 |
SQUAREM | 2021.1 | stats | 4.1.1 | stats4 | 4.1.1 |
stringi | 1.7.4 | stringr | 1.4.0 | survival | 3.2-13 |
sys | 3.4 | tcltk | 4.1.1 | TeachingDemos | 2.10 |
testthat | 3.0.4 | tibble | 3.1.4 | tidyr | 1.1.3 |
tidyselect | 1.1.1 | tidyverse | 1.3.1 | timeDate | 3043.102 |
tinytex | 0.33 | tools | 4.1.1 | tzdb | 0.1.2 |
usethis | 2.0.1 | utf8 | 1.2.2 | utils | 4.1.1 |
uuid | 0.1-4 | vctrs | 0.3.8 | viridisLite | 0.4.0 |
vroom | 1.5.4 | waldo | 0.3.0 | whisker | 0.4 |
withr | 2.4.2 | xfun | 0.25 | xml2 | 1.3.2 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
zip | 2.2.0 |
已安裝的 Java 和 Scala 連結庫 (Scala 2.12 叢集版本)
群組識別碼 | 成品標識碼 | 版本 |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config | 1.11.655 |
com.amazonaws | aws-java-sdk-core | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-glue | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | aws-java-sdk-kms | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs | 1.11.655 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | aws-java-sdk-support | 1.11.655 |
com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stream | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | 同學 | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | 核心 | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.8-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.crypto.tink | 小 叮噹 | 1.6.0 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | 番石榴 | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | 分析器 | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.10 |
io.delta | delta-sharing-spark_2.12 | 0.1.0 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlet | 4.1.1 |
io.netty | netty-all | 4.1.51.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 收藏家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | 啟用 | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pyolite | 4.30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.3 |
net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8-1 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 2.0.0 |
org.apache.arrow | arrow-memory-core | 2.0.0 |
org.apache.arrow | arrow-memory-netty | 2.0.0 |
org.apache.arrow | arrow-vector | 2.0.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1.20 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | 策展人-食譜 | 2.7.1 |
org.apache.derby | 德比 | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | hadoop-client | 2.7.4 |
org.apache.hadoop | hadoop-common | 2.7.4 |
org.apache.hadoop | hadoop-hdfs | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | 常春藤 | 2.4.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | orc-shims | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-databricks9 |
org.apache.parquet | parquet-common | 1.10.1-databricks9 |
org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm7-shaded | 4.15 |
org.apache.yetus | audience-annotations | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-continuation | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-http | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-io | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-jndi | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-plus | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-proxy | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-security | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-server | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-servlet | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-servlets | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-util | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-util-ajax | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-webapp | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-xml | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-api | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-client | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-common | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-server | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.42.v20210604 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | 澤西-通用 | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
org.json4s | json4s-core_2.12 | 3.7.0-M5 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.9.14 |
org.roaringbitmap | 墊片 | 0.9.14 |
org.rocksdb | rocksdbjni | 6.20.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | 未使用的 | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | 巨集-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | 蛇形 | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |