Databricks Runtime 14.2

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.2 に関する情報が記載されています。

Databricks は、2023 年 11 月にこれらのイメージをリリースしました。

新機能と機能強化

CACHE SELECT が無視されるようになりました

SQL コマンド CACHE SELECT は、改良されたキャッシュ アルゴリズムを優先して無視されるようになりました。 「Azure Databricks でキャッシュを使用してパフォーマンスを最適化する」を参照してください。

キャッシュ動作の向上

Spark スケジューラによる DiskCache の配置では、パーティションの割り当てが高速化され、クラスターの自動スケール中の分散が向上し、クエリの実行の一貫性が向上しました。

DML コマンドでの破損したファイル処理を修正しました

DML コマンド DELETE、UPDATE、MERGE INTO では、読み取りオプション ignoreCorruptFiles および ignoreMissingFiles が考慮されなくなりました。 テーブルで読み取り不可能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。

共有クラスターのスキーマ レジストリで、from_avro、to_avro、from_protobuf、および to_protobuf Python 関数を使用できるようになりました。

foreachBatch と StreamingListener のサポート

共有クラスターの構造化ストリーミングで foreachBatch() および StreamingListener API を使用できるようになりました。 「foreachBatch を使用して任意のデータ シンクに書き込む」と「Azure Databricks で構造化ストリーミング クエリを監視する」を参照してください。

行レベルのコンカレンシーは一般提供され、既定でオンになっている

行レベルのコンカレンシーは、行レベルで変更を検出することで、同時書き込み操作間の競合を削減します。 行レベルのコンカレンシーは、パーティション分割のないテーブル (リキッド クラスタリングを使用するテーブルを含む) でのみサポートされます。 行レベルのコンカレンシーは、削除ベクトルが有効になっている Delta テーブルでは既定で有効になっています。 「行レベルのコンカレンシーでの書き込みの競合」を参照してください。

Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができます (パブリック プレビュー)

Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができるようになりました。 Databricks Runtime 14.1 では、バッチ クエリのみを実行できます。 「削除ベクトルまたは列マッピングを含むテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。

Unity Catalog の外部テーブルのシャロー クローン (パブリック プレビュー)

Unity Catalog の外部テーブルでシャロー クローンを使用できるようになりました。 「Unity Catalog テーブルのシャロー クローン」を参照してください。

新しいディスク キャッシュ割り当てアルゴリズム

Spark スケジューラで新しいディスク キャッシュ アルゴリズムが使用されるようになりました。 このアルゴリズムにより、ディスク使用量とノード間でのパーティション割り当てが向上し、初期とクラスターのスケーリング後の両方のイベントの割り当てが高速になります。 より厳密なキャッシュ割り当てにより、実行全体の一貫性が向上し、再調整操作中に移動されるデータが減少します。

スキーマ レジストリ コネクタを使用する from_avro にスキーマの展開のサポートが追加されました

展開したレコードが検出されたときにパイプラインを再起動できるようになりました。 以前は、from_avro コネクタでスキーマの展開が発生した場合、新しい列は null を返しました。 「ストリーミング Avro データの読み取りと書き込み」をご覧ください。

マルチスレッドの統計収集の高速化

CONVERT TO DELTA を実行するとき、または Iceberg テーブルと Parquet テーブルから複製する場合、小さなクラスターでは統計の収集が最大 10 倍高速になります。 「Delta Lake への変換」およびParquet テーブルと Iceberg テーブルをクローンすることに関する記事をご覧ください。

DeltaSource での Delta ファイルに対するフィルターのプッシュダウン

使用率を向上させるために、Delta テーブル ストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。

共有クラスターでの Scala スカラーのユーザー定義関数のサポート (パブリック プレビュー)

共有アクセス モードで構成された Unity Catalog 対応クラスターで Scala スカラーのユーザー定義関数を使用できるようになりました。 「ユーザー定義スカラー関数 - Scala」をご覧ください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • fastjsonschema ( 2.18.0 から 2.19.0 へ)
    • filelock (3.12.3 から 3.12.4 へ)
    • googleapis-common-protos (1.60.0 から 1.61.0 へ)
  • アップグレードされた R ライブラリは次のとおりです。
  • アップグレードされた Java ライブラリは次のとおりです。

Apache Spark

Databricks Runtime 14.2 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.1 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-45592] [DBRRM-624] “[SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題” を元に戻します
  • [SPARK-45524] [DBRRM-625] "[SC-146319][PYTHON][SQL] Python データ ソース…" を元に戻します
  • [SPARK-45433] [DBRRM-621] "[SC-145163][SQL] タイムスタンプが指定した timestampFormat と…" を元に戻します
  • [SPARK-45592] [SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題
  • [SPARK-45354] "[SC-143991][SQL] 関数をボトムアップで解決します" を元に戻します
  • [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] テストを修正します
  • [SPARK-45680] [CONNECT] セッションを解放します
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 読み取りの速度低下を修正します
  • [SPARK-45649] [SC-146742][SQL] OffsetWindowFunctionFrame の準備フレームワークを統合します
  • [SPARK-40820] [SC-146727][PYTHON][SQL] StructType を Json から作成します
  • [SPARK-45620] [SC-146225][PYTHON] Python UDTF に関連するユーザーに対する API がキャメルケースを使用するように修正します
  • [SPARK-45727] [SC-146978][SS] 透かしの伝達シミュレーションで未使用のマップを削除します
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] カタログ メソッドが Pandas 変換を回避します
  • [SPARK-45574] [SC-146106][SQL] :: 構文をキャストの短縮系として追加します
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit が K8 にデプロイするときに --total-executor-cores をサポートしません
  • [SPARK-45661] [SC-146594][SQL][PYTHON] StructType、MapType、ArrayType に toNullable を追加します
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Python データ ソース読み取り API の初期サポート
  • [SPARK-45542] [SC-145892][CORE] setSafeMode(HdfsConstants.SafeModeAction, boolean) を setSafeMode(SafeModeAction, boolean) に置き換えます
  • [SPARK-45652] [SC-146641][SQL] SPJ: 動的フィルター処理後に空の入力パーティションを処理します
  • [SPARK-45454] [SC-144846][SQL] 表の既定の所有者を current_user に設定します
  • [SPARK-45554] [SC-146875][PYTHON] フレキシブル パラメータを assertSchemaEqual に導入します
  • [SPARK-45242] [SC-143410][SQL] DataFrame ID を使用して CollectMetrics をセマンティクス的に検証します
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Spark Connect の JVM 依存属性のエラー メッセージを改善します。
  • [SPARK-45646] [SC-146276][SQL] Hive 2.0 よりも前のハードコーディング時間変数を削除します
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 読み取りの速度低下を修正します
  • [SPARK-45545] [SC-146484][CORE] SparkTransportConf を作成する場所で SSLOptions を渡します
  • [SPARK-45641] [SC-146260][UI] AllJobsPage にアプリケーションの開始時刻を表示します
  • [SPARK-40154] [SC-146491][Python][Docs] Dataframe.cache docstring のストレージ レベルを修正します
  • [SPARK-45626] [SC-146259][SQL] _LEGACY_ERROR_TEMP_1055 を REQUIRES_SINGLE_PART_NAMESPACE に変換します
  • [SPARK-45507] [SC-145900][SQL] 入れ子になった相関スカラー サブクエリと COUNT 集計の正確性を修正します
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] 観察されたメトリックを Observation オブジェクトに適用します
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] StreamingForeachBatchHelper の Scaladoc を改善します
  • [SPARK-45616] [SC-146120][CORE] ThreadLocals または SparkSession を伝達しない ParVector を回避します
  • [SPARK-45604] [SC-146105][SQL] Parquet Vectorized Reader での INT64 -> DateTime 変換に LogicalType を追加します
  • [SPARK-44649] [SC-145891][SQL] ランタイム フィルターが同等の作成側の式の渡しをサポートします
  • [SPARK-41674] [SC-128408][SQL] ランタイム フィルターが多層シャッフル結合側をフィルター作成側としてサポートする必要があります
  • [SPARK-45547] [SC-146228][ML] 組み込み関数を使用してベクターを検証します
  • [SPARK-45558] [SC-145890][SS] ステートフル演算子のストリーミングのためのメタデータ ファイルを導入します
  • [SPARK-45618] [SC-146252][CORE] BaseErrorHandler を削除します
  • [SPARK-45638] [SC-146251][SQL][Avro] 10 進変換のテスト カバレッジを改善します
  • [SPARK-44837] [SC-146020][SQL] ALTER TABLE ALTER PARTITION 列のエラー メッセージを変更します
  • [SPARK-45561] [SC-146264][SQL] MySQLDialect で TINYINT の適切な変換を追加します
  • [SPARK-45632] [SC-146255][SQL] AQE を有効にするときにテーブル キャッシュが不必要な ColumnarToRow を回避する必要があります
  • [SPARK-45569] [SC-145932][SQL] エラー _LEGACY_ERROR_TEMP_2152 に名前を割り当てます
  • [SPARK-44784] [SC-141015][CONNECT] SBT テストを密閉します。
  • [SPARK-45452] [SC-144836][SQL] FileSystem.listFiles API を使用するように InMemoryFileIndex を改善します
  • [SPARK-44735] [SC-146186][SQL] 一致しない行に同じ名前の列を挿入する場合に警告メッセージを追加します
  • [SPARK-45351] [SC-144791][CORE] spark.shuffle.service.db.backend の既定値を ROCKSDB に変更します
  • [SPARK-45553] [SC-145906][PS] assertPandasOnSparkEqual の非推奨化
  • [SPARK-45613] [SC-146022][CORE] DeterministicLevel を DeveloperApi として公開します
  • [SPARK-45549] [SC-145895][CORE] CoarseGrainedSchedulerBackend で未使用の numExistingExecutors を削除します
  • [SPARK-45609] [SC-146030][CONNECT] SparkThrowable プロト メッセージに SqlState を含めます
  • [SPARK-45595] [SC-146037] エラー メッセージで sqlstate を公開します
  • [SPARK-45628] [SC-146123][ML] .mllib.linalg.SparseVector の vector_to_array を改善します
  • [SPARK-45009] [SC-145884][SQL][FOLLOW UP] AQE InSubquery テストの結合条件の無相関をオフにします
  • [SPARK-45576] [SC-145883][CORE] ReloadingX509TrustManagerSuite で不必要なデバッグ ログを削除します
  • [SPARK-45485] [SC-145719][CONNECT] ユーザー エージェントの機能強化: 環境変数 SPARK_CONNECT_USER_AGENT を使用し、環境固有の属性を含めます
  • [SPARK-45508] [SC-145513][CORE] プラットフォームが Java 9 以降の Cleaner にアクセスできるように “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED” を追加します
  • [SPARK-45595] "[SC-146037] エラー メッセージで SQLSTATE を公開します" を元に戻します
  • [SPARK-45595] [SC-146037] エラー メッセージで SQLSTATE を公開します
  • [SPARK-45112] "[SC-143259][SQL] SQL データセット関数で…" を元に戻します
  • [SPARK-45257] [SC-143411][CORE] spark.eventLog.compress を既定で有効にします
  • [SPARK-45586] [SC-145899][SQL] 式ツリーが大きいプランのコンパイラ待機時間を短縮します
  • [SPARK-45517] [SC-145691][CONNECT][14.x] エラー フレームワーク パラメーターをサポートするために例外コンストラクターをさらに拡張します
  • [SPARK-45581] [SC-145896] SQLSTATE を必須にします。
  • [SPARK-45427] [SC-145590][CORE] RPC SSL 設定を SSLOptions と SparkTransportConf に追加します
  • [SPARK-45261] [SC-143357][CORE] EventLogFileWriters が none をコーデックとして処理するように修正します
  • [SPARK-45582] [SC-145897][SS] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: ‘rowTag’ を必須オプションにします
  • [SPARK-45392] [SC-144362][CORE][SQL][SS] Class.newInstance() を Class.getDeclaredConstructor().newInstance() に置き換えます
  • [SPARK-45433] [SC-145163][SQL] タイムスタンプが指定した timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します
  • [SPARK-45458] [SC-145011][SQL] bitwiseExpressions で IllegalArgumentException を SparkIllegalArgumentException に変換します
  • [SPARK-45564] [SC-145735][SQL] ‘DataFrameStatFunctions.bloomFilter’を ‘BloomFilterAggregate’ 式で簡略化します
  • [SPARK-45566] [SC-145777][PS] Spark での Pandas API の Pandas のようなテスト ユーティリティのサポート
  • [SPARK-45498] [SC-145509][CORE] フォローアップ: 古いステージからのタスクの完了を無視します…
  • [SPARK-45483] [SC-145152][CONNECT] connect.functions の関数グループを修正します
  • [SPARK-45577] [SC-145781][PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner が名前付き引数からフォールド値を渡すように修正します
  • [SPARK-45009] [SC-138223][FOLLOW UP] AetherSQLQuerySuite の結合条件の無相関をオフにします
  • [SPARK-45415] [SC-145344] RocksDB ステートストアでの “fallocate” の選択的無効化を許可します
  • [SPARK-45500] [SC-145134][CORE][WEBUI] MasterPage で異常な状態で完了したドライバーの数を表示します
  • [SPARK-44120] [SC-144349][PYTHON] Python 3.12 をサポートします
  • [SPARK-45439] [SC-145589][SQL][UI] LiveStageMetrics.accumIdsToMetricType のメモリ使用量を減らします
  • [SPARK-45565] [SC-145717][UI] ステージの詳細に関するタスク リストの不要な JSON.stringify と JSON.parse ループ
  • [SPARK-45567] [SC-145718][CONNECT] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run に存在する場合、冗長を削除します
  • [SPARK-45112] [SC-143259][SQL] SQL データセット関数で UnresolvedFunction ベースの解決を使用します
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] add_artifact 要求をべき等にします
  • [SPARK-44913] [SC-144326][SQL] DS V2 は、マジック メソッドを持つ V2 UDF のプッシュダウンをサポートします
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT] pyspark コネクトの overwrite_partitions バグ
  • [SPARK-45491] [SC-145622] 不足している SQLSTATES 2/2 を追加します
  • [SPARK-45009] [SC-145620][SC-138223][SQL] 結合条件で述語サブクエリを装飾します
  • [SPARK-45377] [SC-144377][CORE] NettyLogger で InputStream を処理します
  • [SPARK-45248] [SC-143759][CORE] Spark UI サーバーのタイムアウトを設定します
  • [SPARK-44594] [SC-145611][SS] kafka コネクタの冗長メソッド パラメーターを削除します
  • [SPARK-45539] [SC-145621][SS] 追加モードで集計クエリをストリーミングするために透かし定義が必要であることを示すアサートとログを追加します
  • [SPARK-44262] [SC-145639][SQL] dropTable と getInsertStatement を JdbcDialect に追加します
  • [SPARK-45516] [SC-145480][CONNECT] SparkThrowable プロト メッセージに QueryContext を含めます
  • [SPARK-45310] [SC-145127][CORE] レポート のシャッフル ブロックの状態は、使用停止移行中にシャッフル サービスを考慮する必要があります
  • [SPARK-45521] [SC-145487][ML] VectorAssemblerでの nnz の再計算を回避します
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] current_database() 列のエイリアスを current_schema() に変更します
  • [SPARK-45116] [SC-145142][SQL] JdbcDialect createTable のパラメーターにコメントを追加します
  • [SPARK-45495] [SC-145529][core] 動的割り当てが無効になっている場合に、k8s クラスターのステージ レベルのタスク リソース プロファイルをサポートします
  • [SPARK-45487] [SC-145559] SQLSTATE エラーと一時エラーを修正します
  • [SPARK-45505] [SC-145550][PYTHON] analyzeInPython をリファクターして再利用できるようにします
  • [SPARK-45132] [SC-145425][SQL] 関数呼び出しの IDENTIFIER を修正します
  • [SPARK-45213] [SC-145020][SQL] エラー _LEGACY_ERROR_TEMP_2151 に名前を割り当てます
  • [SPARK-45416] [SC-145126][CONNECT] 矢印結果のサニティ チェックの整合性
  • [SPARK-45163] [SC-143386][SQL] UNSUPPORTED_VIEW_OPERATION と UNSUPPORTED_TABLE_OPERATION をマージし、いくつかの問題を修正する
  • [SPARK-45421] [SC-144814][SQL] InlineCTE 経由で AnalysisException をキャッチします
  • [SPARK-43664] [SC-145404][CONNECT][PS] Spark Connect 上の Pandas-on-Spark オブジェクトで ps.sql の例外を発生させます。
  • [SPARK-45402] [SC-145371][SQL][PYTHON] 以前の分析結果を使用する ‘eval’ と ‘terminate’ メソッド用の UDTF API を追加します
  • [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery フレームワークを使用した相関 EXISTS および IN サブクエリのサポート
  • [SPARK-45383] [SC-144929][SQL] 既存でないテーブルでの時間移動のエラー メッセージを修正します
  • [SPARK-43254] [SC-143318][SQL] エラー _LEGACY_ERROR_TEMP_2018 に名前を割り当てます
  • [SPARK-45204] [SC-145167][CONNECT] SparkConnectPlanner に任意の ExecuteHolder を追加します
  • [SPARK-45451] [SC-145144][SQL] データセット キャッシュの既定のストレージ レベルを構成可能にします
  • [SPARK-45192] [SC-143194][UI] graphviz エッジの期限切れの lineInterpolate パラメーターを修正します
  • [SPARK-45467] [SC-145146][CORE] Proxy.getProxyClass() を Proxy.newProxyInstance().getClass に置き換えました
  • [SPARK-45397] [SC-145139][ML][CONNECT] 配列アセンブラー機能トランスフォーマーを追加します
  • [SPARK-44855] [SC-145226][CONNECT] ExecuteGrpcResponseSender を ExecuteResponseObserver にアタッチするための小さな調整
  • [SPARK-45398] [SC-144796][SQL] Like 式の sql() に ESCAPE を追加します
  • [SPARK-45494] [SC-145129][CORE][PYTHON] PythonWorkerUtils のバイト配列を読み取り/書き込みするためのユーティリティ関数を導入します
  • [SPARK-45464] [SC-145125][CORE] ネットワーク糸配布ビルドを修正します
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] StorageLevel 用マッパーを導入します
  • [SPARK-45450] [SC-145009][PYTHON] PEP8 に従ったインポートの修正: pyspark.pandas と pyspark (コア)
  • [SPARK-45475] [SC-145018][SQL] JdbcUtils で RDD.foreachPartition ではなく DataFrame.foreachPartition を使用します
  • [SPARK-45271] [SC-143778][SQL] _LEGACY_ERROR_TEMP_1113 を TABLE_OPERATION にマージし、QueryCompilationErrors 内のいくつかの使用されていないメソッドを削除する
  • [SPARK-45449] [SC-145013][SQL] JDBC テーブルでのキャッシュの無効化の問題
  • [SPARK-45473] [SC-145017][SQL] RoundBase の正しくないエラー メッセージを修正します
  • [SPARK-43299] [SC-145022][SS][CONNECT] Scala Client で StreamingQueryException を変換します
  • [SPARK-45474] [SC-145014][CORE][WEBUI] MasterPage JSON API での最上位フィルター処理をサポートします
  • [SPARK-45205] [SC-145012][SQL] 複数のジョブをトリガーするのを防止するために反復子メソッドをオーバーライドするための CommandResultExec。
  • [SPARK-45472] [SC-145004][SS] RocksDB 状態ストアでチェックポイント パスの存在を再確認する必要がありません
  • [SPARK-45470] [SC-145010][SQL] Hive ORC 圧縮の種類の文字列値を貼り付けることを回避します
  • [SPARK-45448] [SC-144829][PYTHON] PEP8 に従ったインポートの修正: pyspark.testing、pyspark.mllib、pyspark.resource、pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] PEP8 に従ったインポートの修正: pyspark.errors と pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] 既定の spark.connect.jvmStacktrace.maxSize を減らします
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] メソッドが同じセッションをチェックします
  • [SPARK-45413] [SC-144847][CORE] 準備ドロップ LevelDB サポートの警告を追加します
  • [SPARK-45462] [SC-144848][CORE][WEBUI] ApplicationPage に Duration を表示します
  • [SPARK-44527] [SC-144855][SQL] maxRows が 0 の場合、ScalarSubquery を null に置き換えます
  • [SPARK-45401] [SC-144854][PYTHON] UDTF インターフェイスに新しいメソッド cleanup を追加します
  • [SPARK-43704] [SC-144849][CONNECT][PS] to_series() の MultiIndex をサポートします
  • [SPARK-45424] [SC-144888][SQL] プレフィックスのみが一致する場合に省略可能な解析結果を返す TimestampFormatter を修正します
  • [SPARK-45441] [SC-144833][PYTHON] PythonWorkerUtils のユーティリティ関数を追加で導入します
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] DataFrame.__init__でプランとセッションを検証します
  • [SPARK-45408] [SC-144810][CORE] RPC SSL 設定を TransportConf に追加します
  • [SPARK-45432] [SC-144818][CORE] 非推奨の Hadoop-2 LocatedFileStatus コンストラクターを削除します
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression がトレーニング ラベルを確認します
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] DataType.fromDDL を PySpark に追加します
  • [SPARK-45406] [SC-144793][PYTHON][CONNECT] DataFrame コンストラクターから schema を削除します
  • [SPARK-45404] [SC-144799][CORE] AWS_ENDPOINT_URL 環境変数をサポートします
  • [SPARK-43620] [SC-144792][CONNECT][PS] Pandas API の修正がサポートされていない機能に依存します
  • [SPARK-45354] [SC-143991][SQL] 関数をボトムアップで解決します
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] アーティファクト API の再試行を追加します。 エラー処理を改善します ([SPARK-45093] へのフォローアップ)。
  • [SPARK-45120] [SC-142780][SPARK-45150][UI] d3 を v3 から v7(v7.8.5) にアップグレードし、UI に API の変更を適用します
  • [SPARK-44838] [SC-143983][SQL] raise_error の改善
  • [SPARK-45312] [SC-143754][SQL][UI] 実行ページでプラン SVG の表示/非表示の切り替えをサポートします
  • [SPARK-45378] [SC-144448][CORE] convertToNettyForSsl を ManagedBuffer に追加します
  • [SPARK-44762] [SC-144338][CONNECT][CORE] SparkConnect.addJobTag および Connect SparkSession.addTag のドキュメント
  • [SPARK-45383] 未解決の RelationTimeTravel を適切に処理します
  • [SPARK-45347] [SC-144512][SQL][CONNECT] SparkThrowable を FetchErrorDetailsResponse に含めます
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis がインライン プランを AnalysisException でスローする必要があります
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] プランが無効な場合に、DataFrame.{columns, colRegex, explain} が例外を発生させる必要があります
  • [SPARK-45227] [SC-144233][CORE] CoarseGrainedExecutorBackend に関する軽微なスレッドセーフの問題を修正します
  • [SPARK-45266] [SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします
  • [SPARK-45266] "[SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします" を元に戻します
  • [SPARK-45371] [SC-144389][CONNECT] Spark Connect Scala クライアントのシェーディング問題を修正します
  • [SPARK-45057] [SC-144214][CORE] keepReadLock が false のとき、読み取りロックを取得しないようにします
  • [SPARK-45385] [SC-144357][SQL] spark.sql.parser.escapedStringLiterals の非推奨化
  • [SPARK-45340] [SC-143917][SQL] SQL 構成 spark.sql.hive.verifyPartitionPath を削除します
  • [SPARK-45266] [SC-144171][PYTHON] テーブル引数が使用されたときに横結合を遅延するように ResolveFunctions アナライザー ルールをリファクターします
  • [SPARK-45362] [SC-144198][PYTHON] Python UDTF ‘eval’ メソッドが使用する前に PARTITION BY 式を出力します
  • [SPARK-45346] [SC-143925][SQL] Parquet スキーマ推論では、スキーマをマージする際、大文字と小文字が区別されるフラグを考慮する必要があります
  • [SPARK-45341] [SC-143933][CORE] KVStore.java のコメントのタイトル レベルを修正して、sbt doc が Java 17 で正常に実行するようにします
  • [SPARK-45334] [SC-143914][SQL] parquetSchemaConverter から誤解を招くコメントを削除します
  • [SPARK-45337] [SC-143932][CORE] Scala 2.12 のチェックを削除する AbstractCommandBuilder#getScalaVersion をリファクタリングします
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame メソッドが Pandas 変換をスキップします
  • [SPARK-43662] [SC-143923][PS][CONNECT] Spark Connect で merge_asof をサポートします
  • [SPARK-44126] [SC-143751][CORE] ターゲット Executor の使用停止時にシャッフル移行エラー数を増やさないでください
  • [SPARK-44550] [SC-119768][SQL] ANSI で null IN (empty list) の修正を有効にします
  • [SPARK-45316] [SC-143783][CORE][SQL] 新しいパラメーター ignoreCorruptFiles/ignoreMissingFiles を HadoopRDD と NewHadoopRDD に追加します
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] addArtifacts クエリのエラー レポート
  • [SPARK-44756] [SC-143787][CORE] RetryingBlockTransferor が再試行の開始に失敗すると Executor がハングします
  • [SPARK-45333] [SC-143768][CORE] spark.eventLog.buffer.kbに関連する 1 つのユニット間違いを修正します
  • [SPARK-45317] [SC-143750][SQL][CONNECT] 例外のスタック トレースで null ファイル名を処理します
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId によって列形式の情報が追加されます
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] sql() によるマップパラメーターと配列パラメーターをサポートします
  • [SPARK-45138] [SC-143309][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用します
  • [SPARK-45297] [SC-143644][SQL] SPARK-31827 で追加された dateformatter の回避策を削除します
  • [SPARK-44345] [SC-143593][CORE] シャッフル移行が有効になっている場合、unknown shuffle map output ログ レベルを下げます
  • [SPARK-44463] [SC-143251][SS][CONNECT] Connect ストリーミング Python ワーカーのエラー処理を改善します
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Scala Client のエラー エンリッチメントを実装します
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Python Client のエラー エンリッチメントを実装します
  • [SPARK-45216] [SC-143288][SQL] 非決定論的シード処理データセット API を修正します
  • [SPARK-45251] [SC-143419][CONNECT] FetchErrorDetails の client_type フィールドを追加します
  • [SPARK-45137] [SC-143001][CONNECT] パラメーター化された sql() でのマップパラメーターと配列パラメーターをサポートします
  • [SPARK-45224] [SC-143257][PYTHON] sql() のパラメーターとしてマップと配列の例を追加します
  • [SPARK-44622] [SC-143205][SQL][CONNECT] FetchErrorDetails RPC を実装します
  • [SPARK-45178] [SC-136089] ラッパーを使用するのではなく、サポートされていないソースを使用して Trigger.AvailableNow の単一バッチを実行するようにフォールバックします
  • [SPARK-44823] [14.x][SC-142979][PYTHON] 23.9.1 に更新し、エラーのあるチェックを修正します
  • [SPARK-45078] [SC-142954][SQL] array_insert ImplicitCastInputTypes の修正が機能しません
  • [SPARK-44579] [SC-138428][SQL] SQLExecution でキャンセル状態の中断をサポートします
  • [SPARK-45252] [SC-143371][CORE] コメント内の大/小記号をエスケープして、sbt doc が正常に実行されるようにします
  • [SPARK-45189] [SC-142973][SQL] TableIdentifier からの UnresolvedRelation の作成には、カタログ フィールドを含める必要があります
  • [SPARK-45229] [SC-143254][CORE][UI] MasterPage で送信済み状態で待機しているドライバーの数を表示します
  • [SPARK-43453] "[SC-143135][PS] concat に対して axis=1 のときは、MultiIndex の names を無視する" を元に戻します

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

  • オペレーティング システム: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
ノートブック 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 パッケージング 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
6 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob (blob) 1.2.4
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 キャレット 6.0-94 cellranger 1.1.0
chron 2.3-61 クラス 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 資格情報 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 ダイアグラム 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ライフサイクル 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
ツール 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
郵便番号 2.3.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1