Databricks Runtime 14.1
次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.1 に関する情報が記載されています。
Databricks は、2023 年 10 月にこれらのイメージをリリースしました。
新機能と機能強化
- array_insert() は負のインデックスに対して 1 ベースです
- リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント
- パブリック プレビューの Delta テーブル機能の削除
- Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
- Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
- パブリック プレビューでの Unity カタログ ビューからのストリーム
- パブリック プレビューでの Apache Pulsar コネクタ
- アップグレードされた Snowflake ドライバー
- SQL セッション変数
- SQL および Python UDF に対する名前付きパラメーターの呼び出し。
- 関数へのテーブル引数は、パーティション分割と順序付けをサポートします。
- 新しい組み込み SQL 関数と強化された組み込み SQL 関数
- 相関のあるサブクエリの処理が改善されました
array_insert() は負のインデックスに対して 1 ベースです
array_insert
関数は、正のインデックスと負のインデックスのいずれに対しても 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert
を true
に設定します。
リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント
リキッド クラスタリングありで新しく作成された Delta テーブルでは、既定で v2 チェックポイントが使用されます。 「リキッド クラスタリングありのテーブルの互換性」を参照してください。
パブリック プレビューの Delta テーブル機能の削除
Delta テーブルの一部のテーブル機能を削除できるようになりました。 現在のサポートには、deletionVectors
と v2Checkpoint
の削除が含まれます。 「Delta テーブル機能の削除」を参照してください。
Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ クエリを実行することができるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。
Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
Delta Sharing の受信者は、列マッピングを使用する共有テーブル上でバッチ クエリを実行できるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。
パブリック プレビューでの Unity カタログ ビューからのストリーム
構造化ストリーミングを使用して、Unity カタログに登録されているビューからのストリーミング読み取りを実行できるようになりました。 Azure Databricks では、Delta テーブルに対して定義されたビューからのストリーミング読み取りのみがサポートされます。 「Unity カタログ ビューからのストリーム」を参照してください。
パブリック プレビューでの Apache Pulsar コネクタ
構造化ストリーミングを使用して、Azure Databricks 上の Apache Pulsar からデータをストリーミングできるようになりました。 「Apache Pulsar からのストリーム」を参照してください。
アップグレードされた Snowflake ドライバー
Snowflake JDBC ドライバーでは、バージョン 3.13.33 が使われるようになりました。
SQL セッション変数
このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。
SQL および Python UDF に対する名前付きパラメーターの呼び出し。
SQL および Python UDF での名前付きパラメーターの呼び出しを使用できるようになりました。
関数へのテーブル引数は、パーティション分割と順序付けをサポートします。
関数の呼び出し中にテーブル引数を関数に渡す方法を制御するために、PARTITION BY
句と ORDER BY
句を使用できるようになりました。
新しい組み込み SQL 関数と強化された組み込み SQL 関数
以下の組み込み関数が追加されました。
- from_xml: XML
STRING
をSTRUCT
に解析します。 - schema_of_xml: XML
STRING
からスキーマを抽出します。 - session_user: ログインしているユーザーを返します。
- try_reflect: Java メソッドが失敗した場合、例外の代わりに
NULL
を返します。
以下の組み込み関数が強化されました。
- mode: 決定論的な結果を強制するオプション パラメーターに対するサポート。
- to_char:
DATE
、TIMESTAMP
、BINARY
に対する新しいサポート。 - to_varchar:
DATE
、TIMESTAMP
、BINARY
に対する新しいサポート。
相関のあるサブクエリの処理が改善されました
次のサブクエリで相関を処理する機能が拡張されました。
- 相関スカラー (横断) サブクエリで制限と順序を処理します。
- 関連付けられたスカラー サブクエリでウィンドウ関数をサポートします。
- スカラー サブクエリと横断サブクエリに対する結合述語で相関参照をサポートします
動作変更:
Photon Parquet リーダーでの厳密な型チェック
Photon は、10 進型ではない Parquet 列から 10 進値を読み取ろうとすると失敗します。 Photon は、Parquet から固定長バイト配列を文字列として読み取るときも失敗します。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock: 3.12.2 から 3.12.3
- s3transfer: 0.6.1 から 0.6.2
- アップグレードされた Java ライブラリ:
- com.uber.h3: 3.7.0 から 3.7.3
- io.airlift.aircompressor: 0.24 から 0.25
- io.delta.delta-sharing-spark_2.12: 0.7.1 から 0.7.5
- io.netty.netty-all: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-buffer: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-http: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-http2: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-socks: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-common: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-handler: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-handler-proxy: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-resolver: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-classes-epoll: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-classes-kqueue: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-native-epoll: 4.1.93.Final-linux-x86_64 から 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue: 4.1.93.Final-osx-x86_64 から 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common: 4.1.93.Final から 4.1.96.Final
- net.snowflake.snowflake-jdbc: 3.13.29 から 3.13.33
- org.apache.orc.orc-core: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims: 1.9.0 から 1.9.1
Apache Spark
Databricks Runtime 14.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.0 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。
- [SPARK-45088] [DBRRM-557] Revert “[SC-142785][PYTHON][CONNECT] 重複する列で getitem を機能させる”
- [SPARK-43453] [DBRRM-557]Revert “[SC-143135][PS]
concat
に対してaxis=1
のときは、MultiIndex
のnames
を無視する” - [SPARK-45225] [SC-143207][SQL] XML: XSD ファイルの URL のサポート
- [SPARK-45156] [SC-142782][SQL]
NON_FOLDABLE_INPUT
エラー クラスでバッククォートによってinputName
をラップする - [SPARK-44910] [SC-143082][SQL] Encoders.bean はジェネリック型引数を持つスーパークラスをサポートしない
- [SPARK-43453] [SC-143135][PS]
concat
に対してaxis=1
のときは、MultiIndex
のnames
を無視する - [SPARK-44463] [SS][CONNECT] Connect ストリーミング Python ワーカーのエラー処理を改善する
- [SPARK-44960] [SC-141023][UI] エスケープを解除し、UI ページ間でエラー サマリーを一致させる
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] pyspark、Spark Connect、sql 関数に from_xml と schema_of_xml を追加する
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] setup.py に足りないパッケージを追加する
- [SPARK-45151] [SC-142861][CORE][UI] タスク レベルのスレッド ダンプのサポート
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] streamingQueryListener と foreachBatch の終了テスト
- [SPARK-45084] [SC-142828][SS] 正確で有効なシャッフル パーティション番号を使うための StateOperatorProgresss
- [SPARK-44872] [SC-142405][CONNECT] インフラと ReattachableExecuteSuite のサーバー テスト
- [SPARK-45197] [SC-142984][CORE]
StandaloneRestServer
でドライバーにJavaModuleOptions
を追加させる - [SPARK-44404] [SC-139601][SQL] エラー クラス LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278] に名前を割り当てる
- [SPARK-44647] [SC-142297][SQL] 結合キーがクラスター キーより少ない SPJ をサポートする
- [SPARK-45088] [SC-142785][PYTHON][CONNECT] 重複する列で
getitem
を機能させる - [SPARK-45128] [SC-142851][SQL] Arrow で
CalendarIntervalType
をサポートする - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Spark Connect ML モデルで入力の pandas データフレームを変更しないようにする
- [SPARK-45034] [SC-142959][SQL] 決定論的モード関数をサポートする
- [SPARK-45173] [SC-142931][UI] UI で不要ないくつかの sourceMapping ファイルを削除する
- [SPARK-45162] [SC-142781][SQL]
call_function
で構築されたマップと配列パラメーターをサポートする - [SPARK-45143] [SC-142840][PYTHON][CONNECT] PySpark を PyArrow 13.0.0 と互換性のあるものにする
- [SPARK-45174] [SC-142837][CORE]
spark.deploy.maxDrivers
をサポートする - [SPARK-45167] [SC-142956][CONNECT][PYTHON] Python クライアントは
release_all
を呼び出す必要がある - [SPARK-36191] [SC-142777][SQL] 相関スカラー (横断) サブクエリで制限と順序を処理する
- [SPARK-45159] [SC-142829][PYTHON] 必要な場合にのみ名前付き引数を処理する
- [SPARK-45133] [SC-142512][CONNECT] 最後の結果タスクが完了したら、Spark Connect クエリを終了させる
- [SPARK-44801] [SC-140802][SQL][UI] リスナーと UI で失敗したクエリの分析をキャプチャする
- [SPARK-45139] [SC-142527][SQL] SQL 型変換を処理するために DatabricksDialect を追加する
- [SPARK-45157] [SC-142546][SQL]
[On|Off|HeapColumnVector
でif
のチェックを繰り返さないようにする - [SPARK-45077] "[SC-142069][UI] dagre-d3.js を 04.3 から 0.6.4 にアップグレードする" を元に戻す
- [SPARK-45145] [SC-142521][EXAMPLE] JavaSparkSQLCli の例を追加する
- [SPARK-43295] "[SC-142254][PS]
DataFrameGroupBy.sum
の文字列型の列をサポートする" を元に戻す - [SPARK-44915] [SC-142383][CORE] 回復の前に再マウントされた PVC のシャッフル データのチェックサムを検証する
- [SPARK-45147] [SC-142524][CORE]
System.setSecurityManager
の使用を削除する - [SPARK-45104] [SC-142206][UI]
graphlib-dot.min.js
を 1.0.2 にアップグレードする - [SPARK-44238] [SC-141606][CORE][SQL]
BloomFilter
のバイト配列入力を含む新しいreadFrom
メソッドを導入する - [SPARK-45060] [SC-141742][SQL]
NULL
形式でのto_char()
からの内部エラーを修正する - [SPARK-43252] [SC-142381][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2016
を内部エラーに置き換える - [SPARK-45069] [SC-142279][SQL] SQL 変数は、外部参照の後で常に解決される必要がある
- [SPARK-44911] [SC-142388][SQL] 無効な列を含む Hive テーブルが作成されたらエラー クラスを返す必要がある
- [SPARK-42754] [SC-125567][SQL][UI] 入れ子になった SQL 実行での下位互換性の問題を修正する
- [SPARK-45121] [SC-142375][CONNECT][PS] Spark Connect で
Series.empty
をサポートする。 - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts などは、ディクショナリを持つ列ベクトルで機能する必要がある
- [SPARK-45027] [SC-142248][PYTHON] オートコンプリートからの
pyspark.sql.functions
で内部関数と変数を非表示にする - [SPARK-45073] [SC-141791][PS][CONNECT]
LastNotNull
をLast(ignoreNulls=True)
に置き換える - [SPARK-44901] [SC-141676][SQL] 手動バックポート: Python UDTF の "analyze" メソッドにパーティション分割と順序付けを行う式を返す API を追加する
- [SPARK-45076] [SC-141795][PS] 組み込みの
repeat
機能に切り替える - [SPARK-44162] [SC-141605][CORE] Spark のメトリックで G1GC をサポートする
- [SPARK-45053] [SC-141733][PYTHON][MINOR] Python バージョンの不一致でのログの改善
- [SPARK-44866] [SC-142221][SQL] ブール型を正しく処理するための
SnowflakeDialect
を追加する - [SPARK-45064] [SC-141775][PYTHON][CONNECT] 足りない
scale
パラメーターをceil/ceiling
に追加する - [SPARK-45059] [SC-141757][CONNECT][PYTHON] Scala と Python に
try_reflect
関数を追加する - [SPARK-43251] [SC-142280][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2015
を内部エラーに置き換える - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] 関数エイリアスの出力列の名前を SQL と一致させる
- [SPARK-44239] [SC-141502][SQL] ベクターのリセット時に、大きなベクターによって割り当てられたメモリを解放する
- [SPARK-43295] [SC-142254][PS]
DataFrameGroupBy.sum
の文字列型の列をサポートする - [SPARK-45080] [SC-142062][SS] DSv2 ストリーミング データ ソースで列形式のサポートを明示的に呼び出す
- [SPARK-45036] [SC-141768][SQL] SPJ: 部分的にクラスター化された分散を処理するロジックを簡素化する
- [SPARK-45077] [SC-142069][UI] dagre-d3.js を 0.4.3 から 0.6.4 にアップグレードする
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] 関数
floor/round/bround
で列型scale
を受け入れる - [SPARK-45090] [SC-142019][PYTHON][CONNECT]
DataFrame.{cube, rollup}
で列序数をサポートする - [SPARK-44743] [SC-141625][SQL]
try_reflect
関数を追加する - [SPARK-45086] [SC-142052][UI] スレッド ロック ハッシュ コードの 16 進数を表示する
- [SPARK-44952] [SC-141644][SQL][PYTHON] 集計 Pandas UDF で名前付き引数をサポートする
- [SPARK-44987] [SC-141552][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1100
に名前を割り当てる - [SPARK-45032] [SC-141730][CONNECT]
Top-level wildcard is not allowed and will error under -Xsource:3
に関連するコンパイルの警告を修正する - [SPARK-45048] [SC-141629][CONNECT] Python クライアントとアタッチ可能な実行に関するテストをさらに追加する
- [SPARK-45072] [SC-141807][CONNECT] Ammonite のクラスに関する外側のスコープを修正する
- [SPARK-45033] [SC-141759][SQL] パラメーター化された
sql()
によるマップをサポートする - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] 関数
repeat
が列型n
を受け入れるようにする - [SPARK-44860] [SC-141103][SQL] SESSION_USER 関数を追加する
- [SPARK-45074] [SC-141796][PYTHON][CONNECT]
DataFrame.{sort, sortWithinPartitions}
で列序数をサポートする - [SPARK-45047] [SC-141774][PYTHON][CONNECT]
DataFrame.groupBy
で序数をサポートする - [SPARK-44863] [SC-140798][UI] Spark UI でスレッド ダンプを txt としてダウンロードするボタンを追加する
- [SPARK-45026] [SC-141604][CONNECT]
spark.sql
は、Arrow と互換性のないデータ型をサポートする必要がある - [SPARK-44999] [SC-141145][CORE]
ExternalSorter
をリファクタリングして、getPartition
を呼び出すときのshouldPartition
のチェックを減らす - [SPARK-42304] [SC-141501][SQL]
_LEGACY_ERROR_TEMP_2189
の名前をGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
に変更する - [SPARK-43781] [SC-139450][SQL] 同じソースから派生した 2 つのデータセットを複合グループ化するときの IllegalStateException を修正する
- [SPARK-45018] [SC-141516][PYTHON][CONNECT] CalendarIntervalType を Python クライアントに追加する
- [SPARK-45024] [SC-141513][PYTHON][CONNECT] セッションの作成で一部の構成を除外する
- [SPARK-45017] [SC-141508][PYTHON] PySpark に
CalendarIntervalType
を追加する - [SPARK-44720] [SC-139375][CONNECT] データセットが AgnosticEncoder ではなく Encoder を使うようにする
- [SPARK-44982] [SC-141027][CONNECT] Spark Connect サーバーの構成を静的としてマークする
- [SPARK-44839] [SC-140900][SS][CONNECT] ユーザーが Spark セッションをシリアル化しようとしたときのエラー ログを改善する
- [SPARK-44865] [SC-140905][SS] StreamingRelationV2 がメタデータ列をサポートするようにする
- [SPARK-45001] [SC-141141][PYTHON][CONNECT] DataFrame.foreachPartition を実装する
- [SPARK-44497] [SC-141017][WEBUI] タスク テーブルにタスク パーティション ID を表示する
- [SPARK-45006] [SC-141143][UI] タイムラインの x 軸に他の UI 日付要素の同じ日付形式を使用する
- [SPARK-45000] [SC-141135][PYTHON][CONNECT] DataFrame.foreach を実装する
- [SPARK-44967] [SC-141137][SQL][CONNECT] TreeNodeTag にブール値を使用する前にまず、ユニットを考慮する必要がある
- [SPARK-44993] [SC-141088][CORE]
ShuffleChecksumTestHelp.compareChecksums
を再利用してShuffleChecksumUtils.compareChecksums
を追加する - [SPARK-44807] [SC-140176][CONNECT] Dataset.metadataColumn を Scala クライアントに追加する
- [SPARK-44965] [SC-141098][PYTHON]
pyspark.sql.functions
からの内部関数と変数を非表示にする - [SPARK-44983] [SC-141030][SQL]
hex
、base64
、utf-8
形式に対するto_char
により、バイナリを文字列に変換する - [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 継承した namedtuple が createDataFrame で機能するように修正
- [SPARK-44985] [SC-141033][CORE] タスク リーパー threadDump に対して stacktrace の代わりに toString を使用する
- [SPARK-44984] [SC-141028][PYTHON][CONNECT] DataFrame から
_get_alias
を削除する - [SPARK-44975] [SC-141013][SQL] BinaryArithmetic の役に立たないオーバーライド解決済みを削除する
- [SPARK-44969] [SC-140957][SQL]
ArrayAppend
でArrayInsert
を再利用する - [SPARK-44549] [SC-140714][SQL] 関連付けられたスカラー サブクエリでウィンドウ関数をサポートする
- [SPARK-44938] [SC-140811][SQL]
spark.sql.maxSinglePartitionBytes
の既定値を 128m に変更する - [SPARK-44918] [SC-140816][SQL][PYTHON] スカラー Python/Pandas UDF での名前付き引数をサポートする
- [SPARK-44966] [SC-140907][CORE][CONNECT] 変更されることのない
var
をval
に変更する - [SPARK-41471] [SC-140804][SQL] 結合の片側のみが KeyGroupedPartitioning の場合に Spark シャッフルを減らす
- [SPARK-44214] [SC-140528][CORE] Spark ドライバー ライブ ログ UI をサポートする
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][CONNECT] ProducedRowCount を SparkListenerConnectOperationFinished に追加する
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']
で列の名前を検証する必要がある - [SPARK-40178] [SC-140433][SQL][COONECT] PySpark と R に対する簡単な結合ヒントをサポートする
- [SPARK-44840] [SC-140593][SQL] 負のインデックスに対して
array_insert()
が 1 から始まるようにする - [SPARK-44939] [SC-140778][R] SparkR SystemRequirements で Java 21 をサポートする
- [SPARK-44936] [SC-140770][CORE] Spark HybridStore がメモリ制限に達したときのログを簡略化する
- [SPARK-44908] [SC-140712][ML][CONNECT] クロス バリデーターの foldCol パラメーターの機能を修正する
- [SPARK-44816] [SC-140717][CONNECT] UDF クラスが見つからない場合のエラー メッセージを改善する
- [SPARK-44909] [SC-140710][ML] torch ディストリビューター ログ ストリーミング サーバーを使用できないときに、その開始をスキップする
- [SPARK-44920] [SC-140707][CORE] TransportClientFactory.createClient() で awaitUninterruptibly() の代わりに await() を使う
- [SPARK-44905] [SC-140703][SQL] regexp_replaceの評価でステートフル lastRegex のために NullPointerException が発生する
- [SPARK-43987] [SC-139594][Shuffle] finalizeShuffleMerge の処理を専用のスレッド プールに分ける
- [SPARK-42768] [SC-140549][SQL] キャッシュされたプランの AQE の適用を既定で有効にする
- [SPARK-44741] [SC-139447][CORE]
StatsdSink
で正規表現ベースの MetricFilter をサポートする - [SPARK-44751] [SC-140532][SQL] XML FileFormat インターフェイスの実装
- [SPARK-44868] [SC-140438][SQL]
to_char
/to_varchar
によって datetime を文字列に変換する - [SPARK-44748] [SC-140504][SQL] UDTF TABLE 引数での PARTITION BY 句のクエリ実行
- [SPARK-44873] [SC-140427] Hive クライアントで入れ子になった列を含む変更ビューをサポートする
- [SPARK-44876] [SC-140431][PYTHON] Spark Connect での Arrow 最適化 Python UDF を修正する
- [SPARK-44520] [SC-137845][SQL] 用語 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY を UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY と開示ルート AE に置き換える
- [SPARK-42664] [SC-139769][CONNECT]
DataFrameStatFunctions
に対するbloomFilter
関数をサポートする - [SPARK-43567] [SC-139227][PS]
factorize
に対するuse_na_sentinel
をサポートする - [SPARK-44859] [SC-140254][SS] 構造化ストリーミング ドキュメントの不適切なプロパティ名を修正する
- [SPARK-44822] [SC-140182][PYTHON][SQL] Python UDF を既定で非決定論的にする
- [SPARK-44731] [SC-139524][PYTHON][CONNECT] Python Spark Connect のリテラルで TimestampNTZ を動作させる
- [SPARK-44836] [SC-140180][PYTHON] Arrow Python UDTF をリファクタリングする
- [SPARK-44714] [SC-139238] having を含むクエリに関する LCA 解決の制限を緩和する
- [SPARK-44749] [SC-139664][SQL][PYTHON] Python UDTF で名前付き引数をサポートする
- [SPARK-44737] [SC-139512][SQL][UI] SQL タブでの非 SparkThrowables に対して SQL ページで json 形式のエラーを表示してはならない
- [SPARK-44665] [SC-139307][PYTHON] pandas DataFrame の assertDataFrameEqual のサポートを追加する
- [SPARK-44736] [SC-139622][CONNECT] Spark Connect Scala クライアントに Dataset.explode を追加する
- [SPARK-44732] [SC-139422][SQL] 組み込み XML データ ソースのサポート
- [SPARK-44694] [SC-139213][PYTHON][CONNECT] アクティブなセッションをリファクタリングし、API として公開する
- [SPARK-44652] [SC-138881] 唯一の df が None の場合にエラーを発生させる
- [SPARK-44562] [SC-138824][SQL] サブクエリのバッチに OptimizeOneRowRelationSubquery を追加する
- [SPARK-44717] [SC-139319][PYTHON][PS] リサンプリングで TimestampNTZ を尊重する
- [SPARK-42849] [SC-139365] [SQL] セッション変数
- [SPARK-44236] [SC-139239][SQL]
spark.sql.codegen.factoryMode
を NO_CODEGEN に設定するときに、WholeStageCodegen を無効にする - [SPARK-44695] [SC-139316][PYTHON]
DataFrame.toDF
のエラー メッセージを改善する - [SPARK-44680] [SC-139234][SQL]
DEFAULT
でのパラメーターのエラーを改善する - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec で、スカラー サブクエリでのプッシュダウン データ フィルターをサポートする
- [SPARK-44641] [SC-139216][SQL] SPJ がトリガーされないときの、特定のシナリオでの正しくない結果
- [SPARK-44689] [SC-139219][CONNECT]
SparkConnectPlanner#unpackScalarScalaUDF
関数の例外処理をさらに一般的にする - [SPARK-41636] [SC-139061][SQL]
selectFilters
が決定論的な順序で述語を返すようにする - [SPARK-44132] [SC-139197][SQL] codegen のエラーを回避するため、結合列名の
Stream
を具体化する - [SPARK-42330] [SC-138838][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2175
に名前RULE_ID_NOT_FOUND
を割り当てる - [SPARK-44683] [SC-139214][SS] ログ レベルが RocksDB 状態ストア プロバイダーに正しく渡されない
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatus
は、Some(null)
ではなくNone
を返す必要がある - [SPARK-44603] [SC-138353] pyspark.testing を setup.py に追加する
- [SPARK-44252] [SC-137505][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用する
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] UDF を逆シリアル化できないときにエラーをスローする。
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] 初期要求がサーバーに到達しなかった場合に ExecutePlan を再試行する
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Connect クライアント Catalyst 依存関係の削除
- [SPARK-44059] [SC-138833][SQL] SQL の名前付き引数に、より適切なエラー メッセージを追加する
- [SPARK-44620] [SC-138831][SQL][PS][CONNECT]
ResolvePivot
にPlan_ID_TAG
を保持させる - [SPARK-43838] [SC-137413][SQL] 単一テーブルに対する having 句を含むサブクエリを最適化できない問題を修正する
- [SPARK-44555] [SC-138820][SQL] checkError() を使ってコマンド Suite での例外をチェックし、エラー クラス名を割り当てる
- [SPARK-44280] [SC-138821][SQL] JDBCDialect API に convertJavaTimestampToTimestamp を追加する
- [SPARK-44602] [SC-138337][SQL][CONNECT][PS]
WidenSetOperationTypes
にPlan_ID_TAG
を保持させる - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] "[SC-137413][SQL] 単一テーブルに対する..." を元に戻す
- [SPARK-44538] [SC-138178][CONNECT][SQL] Row.jsonValue とフレンドを復帰させる
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Spark Connect での再アタッチ可能な実行
- [SPARK-43838] [SC-137413][SQL] 単一テーブルに対する having 句を含むサブクエリを最適化できない問題を修正する
- [SPARK-44587] [SC-138315][SQL][CONNECT] protobuf マーシャラー再帰制限の引き上げ
- [SPARK-44605] [SC-138338][CORE] 内部 ShuffleWriteProcessor API を改善する
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] Spark Connect 用の Spark UI ページを追加する
- [SPARK-44585] [SC-138286][MLLIB] MLLib RankingMetrics ndcgAk での警告状態を修正する
- [SPARK-44198] [SC-138137][CORE] Executor へのログ レベルの伝達をサポートする
- [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType サポートのフォールバック
- [SPARK-44425] [SC-138135][CONNECT] ユーザーが指定した sessionId が UUID であることを検証する
- [SPARK-43611] [SC-138051][SQL][PS][CONNCECT]
ExtractWindowExpressions
にPLAN_ID_TAG
を保持させる - [SPARK-44560] [SC-138117][PYTHON][CONNECT] Arrow Python UDF のテストとドキュメントを改善する
- [SPARK-44482] [SC-138067][CONNECT] Connect サーバーはバインド アドレスを指定できる必要がある
- [SPARK-44528] [SC-138047][CONNECT] Connect データフレームの hasattr() の適切な使用をサポートする
- [SPARK-44525] [SC-138043][SQL] Invoke メソッドが見つからない場合のエラー メッセージを改善する
- [SPARK-44355] [SC-137878][SQL] WithCTE をコマンド クエリに移動する
Databricks ODBC/JDBC ドライバーのサポート
Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。
システム環境
- オペレーティング システム: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
インストールされている Python ライブラリ
ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
---|---|---|---|---|---|
anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | クリックし | 8.0.4 | comm | 0.1.2 |
contourpy | 1.0.5 | cryptography | 39.0.1 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
filelock | 3.12.3 | fonttools | 4.25.0 | GCC ランタイム ライブラリ | 1.10.0 |
googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
nodeenv | 1.8.0 | ノートブック | 6.5.2 | notebook_shim | 0.2.2 |
numpy | 1.23.5 | oauthlib | 3.2.0 | パッケージング | 22.0 |
pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
Send2Trash | 1.8.0 | setuptools | 65.6.3 | 6 | 1.16.0 |
sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
SciPy | 1.10.1 |
インストールされている R ライブラリ
R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。
ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
---|---|---|---|---|---|
矢印 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | blob (blob) | 1.2.4 |
boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
callr | 3.7.3 | キャレット | 6.0-94 | cellranger | 1.1.0 |
chron | 2.3-61 | クラス | 7.3-22 | cli | 3.6.1 |
clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
cpp11 | 0.4.4 | crayon | 1.5.2 | 資格情報 | 1.3.2 |
curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
devtools | 2.4.5 | ダイアグラム | 1.6.5 | diffobj | 0.3.5 |
digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
lava | 1.7.2.1 | ライフサイクル | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
tinytex | 0.45 | ツール | 4.3.1 | tzdb | 0.4.0 |
urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.7 | 郵便番号 | 2.3.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
グループ ID | 成果物 ID | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.7.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.25 |
io.delta | delta-sharing-spark_2.12 | 0.7.5 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | コレクタ | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.33 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | arrow-format | 12.0.1 |
org.apache.arrow | arrow-memory-core | 12.0.1 |
org.apache.arrow | arrow-memory-netty | 12.0.1 |
org.apache.arrow | arrow-vector | 12.0.1 |
org.apache.avro | avro | 1.11.2 |
org.apache.avro | avro-ipc | 1.11.2 |
org.apache.avro | avro-mapred | 1.11.2 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
org.apache.logging.log4j | log4j-api | 2.20.0 |
org.apache.logging.log4j | log4j-core | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.1 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
org.mlflow | mlflow-spark | 2.2.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.0 |
org.roaringbitmap | RoaringBitmap | 0.9.45 |
org.roaringbitmap | shims | 0.9.45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |