Databricks Runtime 13.2 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.4.0 で稼働する Databricks Runtime 13.2 に関する情報が記載されています。

Databricks は、2023 年 7 月にこのバージョンをリリースしました。

新機能と機能強化

RocksDB 状態ストアの変更ログ チェックポイント処理

ステートフルな構造化ストリーミング ワークロードのチェックポイント期間とエンドツーエンドの待機時間を短縮するために、変更ログのチェックポイント処理を有効にすることができます。 Databricks では、すべての構造化ストリーミング ステートフル クエリに対して変更ログのチェックポイント処理を有効にすることをお勧めします。 変更ログのチェックポイント処理を有効にするを参照してください。

Unity Catalog のシャロー クローンを使用した VACUUM の信頼性が向上しました。

シャロー クローン操作のソースとターゲットに Unity Catalog マネージド テーブルを使用すると、Unity Catalog によって基になるデータ ファイルが管理され、複製操作のソースとターゲットの信頼性が向上します。 シャロー クローンのソースで VACUUM を実行しても、複製されたテーブルは中断されません。 「Vacuum と Unity Catalog のシャロー クローン」を参照してください。

SQL で Python UDF がサポートされました

Unity Catalog の SQL CREATE FUNCTION ステートメント内で Python を使用してユーザー定義関数を宣言できるようになりました。 「Unity Catalog のユーザー定義関数 (UDF)」を参照してください。

Delta Lake UniForm for Iceberg はパブリック プレビュー段階です

Delta Lake Universal Format (UniForm) を使用すると、Iceberg クライアントで Delta テーブルを読み取ることができます。 「UniForm を使用して Iceberg クライアントを使って Delta テーブルを読み取る」を参照してください。

Delta Lake リキッド クラスタリングはパブリック プレビュー段階です

Delta Lake リキッド クラスタリングでは、テーブルのパーティション分割と ZORDER が置き換えられ、データ レイアウトの決定が簡略化され、クエリのパフォーマンスが最適化されます。 「Delta テーブルに Liquid Clustering クラスタリングを使用する」を参照してください。

Azure Databricks でのアーカイブ サポート

Azure Databricks のアーカイブサポートでは、Delta テーブルを含むクラウド オブジェクト ストレージでクラウドベースのライフサイクル ポリシーを使用して、アーカイブ ストレージ層にファイルを移動できるようにする一連の機能が導入されています。 「Azure Databricks でのアーカイブ サポート」を参照してください。

IDENTIFIER 句のサポート

IDENTIFIER(:mytable) を使用して、多くの SQL ステートメントでテーブル、列、関数、スキーマの名前を安全にパラメーター化します。

Python と Pandas ユーザー定義関数 (UDF) に対する Unity Catalog のサポート

Databricks Runtime 13.2 以降では、Unity Catalog が有効なワークスペースで共有アクセス モードを使用するクラスター上で、Python で記述されたユーザー定義関数 (UDF) はサポートされていません。 これには、Python と Pandas の UDF が含まれます。 Python UDF の詳細については、「ユーザー定義スカラー関数 - Python」を参照してください。

Delta Sharing を使用してスキーマを共有する

Databricks Runtime 13.2 では、Delta Sharing を使用してスキーマ全体を共有するために ALTER SHARE <share-name> ADD SCHEMA <schema-name> を使用できるようになりました。共有した時点で、受信者はスキーマ内のすべてのテーブルとビューにアクセスできるようになり、今後スキーマに追加されるテーブルとビューにもアクセスできます。 「共有にスキーマを追加する」と「ALTER SHARE」を参照してください。

バグ修正

  • failOnUnknownFieldsmode が有効になっている場合にレコードが PERMISSIVE モードで解析される JSON リーダーのバグを修正しました。 レコードは DROPMALFORMEDparser モードで削除されるか、badRecordsPath に書き込まれます (これらのオプションのいずれかが設定されている場合)。 列の種類が一致しない場合、FAILFAST でエラーがスローされます。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • nodeenv (1.7.0 から 1.8.0 へ)
  • アップグレードされた R ライブラリは次のとおりです。
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.6.7 から 0.7.0 へ)

Apache Spark

Databricks Runtime 13.2 には、Apache Spark 3.4.0 が含まれています。 このリリースには、Databricks Runtime 13.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

  • [SPARK-42750] [SC-133452][DBRRM-273] Insert By Name ステートメントのサポート
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach のサポート
  • [SPARK-43663] [SC-134135][CONNECT][PS] SeriesParityTests.test_compare を有効にする
  • [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Spark Connect の (NullOps|NumOps).(eq|ne) を修正する。
  • [SPARK-44021] [SC-134109][SQL] spark.sql.files.maxPartitionNum を追加する
  • [SPARK-43910] [SC-132936][SQL] エラーの ID から __auto_generated_subquery_name を削除する
  • [SPARK-43976] [SC-133375][CORE] modifiedConfigs がイベント ログに存在しないケースを処理する
  • [SPARK-32559] [SC-133992][SQL] トリミング ロジックで ASCII コントロール文字が正しく処理されない問題を修正
  • [SPARK-43421] [SC-132930][SS] RocksDB ステート ストア プロバイダーの変更ログ ベースのチェックポイント処理を実装する
  • [SPARK-43594] [SC-133851][SQL] LocalDateTime を anyToMicros に追加する
  • [SPARK-43884] [SC-133867] DDL のパラメーター マーカー
  • [SPARK-43398] [SC-133894][CORE] Executor タイムアウトをアイドル シャッフルと rdd タイムアウトの最大値にする必要がある
  • [SPARK-43610] [SC-133892][CONNECT][PS] Spark Connect で InternalFrame.attach_distributed_column を有効にする。
  • [SPARK-43971] [SC-133826][CONNECT][PYTHON] ストリーミング方式での Python の createDataFrame のサポート
  • [SPARK-44006] [SC-133652][CONNECT][PYTHON] キャッシュ成果物のサポート
  • [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] copyFromLocalToFs API を追加
  • [SPARK-43921] [SC-133461][PROTOBUF] ビルド時に Protobuf 記述子ファイルを生成する
  • [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] SparkSession.addArtifacts でのファイル サポートを実装する
  • [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Python StreamingQueryProgress rowsPerSecond 型の修正
  • [SPARK-43768] [SC-132398][PYTHON][CONNECT] Python Spark Connect での Python 依存関係管理のサポート
  • [SPARK-43979] [13.X] "[SC-133456][SQL] CollectedMetrics は、自己結合の場合と同じものとして扱う必要がある" を元に戻す
  • [SPARK-42290] [SC-133696][SQL] AQE がオンのときに OOM エラーが報告されない問題を修正
  • [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Scala と Python に SQL 数学関数を追加する
  • [SPARK-43747] [SC-132047][PYTHON][CONNECT] SparkSession.addArtifacts での pyfile サポートを実装する
  • [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Spark Connect で TimedeltaOps.(sub|rsub) を有効にする
  • [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] パリティ テストを有効にする: test_line_plot、test_pie_plot。
  • [SPARK-43867] [SC-132895][SQL] 未解決属性の候補を改善する
  • [SPARK-43901] [SC-133454][SQL] Avro が Long によってサポートされるカスタム小数型をサポート
  • [SPARK-43267] [SC-133024][JDBC] postgres の不明なユーザー定義列を配列内の文字列として処理する
  • [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Scala と Python に xpath_* 関数を追加する
  • [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Scala と Python API にパーセンタイルを追加する
  • [SPARK-43717] [SC-133455][CONNECT] Scala クライアントの reduce agg で scala プリミティブ入力の null パーティションを処理できない
  • [SPARK-43984] [SC-133469][SQL][PROTOBUF] map で結果が生成されないときに foreach を使用するように変更
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Python クライアントで SparkSession.addArtifact を実装する
  • [SPARK-44002] [SC-133606][CONNECT] 成果物の状態ハンドラーを修正する
  • [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Scala と Python に線形回帰集計関数を追加する
  • [SPARK-43920] [SC-133614][SQL][CONNECT] sql/api モジュールを作成する
  • [SPARK-43979] [SC-133456][SQL] CollectedMetrics は自己結合の場合と同じものとして扱う必要がある
  • [SPARK-43977] [SC-133373][CONNECT] の予期しないチェック結果を修正dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: 列挙型を ints バグとして修正
  • [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Scala と Python に unix_* 関数を追加する
  • [SPARK-43807] [SC-132545][SQL] _LEGACY_ERROR_TEMP_1269 を PARTITION_SCHEMA_IS_EMPTY に移行する
  • [SPARK-43956] [SC-133123][SQL] Percentile[Cont|Disc] の SQL が表示されないバグを修正
  • [SPARK-42626] [SC-133248][CONNECT] SparkResult の破壊的反復子を追加
  • [SPARK-43333] [SC-132898][SQL] Avro が共用体型を型安定のフィールド名を持つ SQL に変換できるようにする
  • [SPARK-43953] [SC-133134][CONNECT] pass を削除
  • [SPARK-43970] [SC-133403][PYTHON][CONNECT] サポートされていないデータフレーム メソッドをオート コンプリートで非表示にする
  • [SPARK-43973] [SC-133272][SS][UI] 構造化ストリーミング UI で、失敗したクエリが正しく表示されるようにする
  • [SPARK-42577] [SC-125445][CORE] 無限再試行の可能性を回避するために、ステージの最大試行数の制限を追加する
  • [SPARK-43841] [SC-132699][SQL] StringUtils#orderSuggestedIdentifiersBySimilarity でプレフィックスのない候補属性を処理する
  • [SPARK-41497] [SC-124795][CORE][フォローアップ]構成 spark.rdd.cache.visibilityTracking.enabled のサポート バージョンを 3.5.0 に変更する
  • [SPARK-37942] [SC-130983][CORE][SQL] エラー クラスを移行する
  • [SPARK-43898] [SC-132926][CORE] Scala 2.13 の KryoSerializer に immutable.ArraySeq$ofRef を自動的に登録する
  • [SPARK-43775] [SC-132891][SQL] DataSource V2: 更新を削除および挿入として表すことができるようにする
  • [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] pandas DataFrame と toPandas から createDataFrame で UserDefinedType をサポート
  • [SPARK-43418] [SC-132753][SC-130685][CONNECT] SparkSession.Builder.getOrCreate を追加
  • [SPARK-43549] [SC-132383][SQL] _LEGACY_ERROR_TEMP_0036 を INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN に変換
  • [SPARK-41497] [SC-124644][CORE] rdd キャッシュを使用した再試行タスクの場合のアキュムレータのアンダーカウントを修正
  • [SPARK-43892] [SC-133006][PYTHON] df[|] のオートコンプリートのサポートを pyspark.sql.dataframe.DataFrame に追加
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Catalog.listDatabases の省略可能なパターンを追加する
  • [SPARK-43205] [SC-132623] IDENTIFIER 句
  • [SPARK-43545] [SC-132378][SQL][PYTHON] 入れ子になったタイムスタンプ型をサポート
  • [SPARK-43949] [SC-133048][PYTHON] cloudpickle を 2.2.1 にアップグレード
  • [SPARK-43760] [SC-132809][SQL] スカラー サブクエリ結果の NULL 値の許容
  • [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Spark Connect のTimedeltaOps を修正
  • [SPARK-43895] [SC-132897][CONNECT][GO] go パッケージ パスを準備する
  • [SPARK-43894] [SC-132892][PYTHON] df.cache() のバグを修正
  • [SPARK-43509] [SC-131625][CONNECT] 複数の Spark Connect セッションの作成をサポート
  • [SPARK-43882] [SC-132888][SQL] _LEGACY_ERROR_TEMP_2122 に名前を割り当てる
  • [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Spark Connect の NumOps を修正
  • [SPARK-43604] [SC-132165][SQL] エラーのテキストをソース コードに埋め込むのを避けるために INVALID_SQL_SYNTAX をリファクタリングする
  • [SPARK-43859] [SC-132883][SQL] LateralColumnAliasReference で toString をオーバーライドする
  • [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Catalog.listCatalogs の省略可能なパターンを追加する
  • [SPARK-43353] "[SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する" を元に戻す
  • [SPARK-43375] [SC-130309][CONNECT] INVALID_CONNECT_URL のエラー メッセージを改善する
  • [SPARK-43863] [SC-132721][CONNECT] Scala 2.13 の SparkConnectPlanner から冗長な toSeq を削除する
  • [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Spark Connect の DatetimeOps を修正
  • [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Spark Connect の BinaryOps を修正
  • [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Spark Connect の NullOps を修正
  • [SPARK-43782] [SC-132885][CORE] 静的 Spark conf でログ レベルの構成をサポート
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961][SQL] ExpressionImplUtils に AES IV と AAD のサポートを追加
  • [SPARK-43795] [SC-132532][CONNECT] SparkConnectPlanner に使用されていないパラメーターを削除する
  • [SPARK-42317] [SC-129194][SQL] _LEGACY_ERROR_TEMP_2247 に名前を割り当てる: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][SQL] エラー クラス _LEGACY_ERROR_TEMP_0017 に名前を割り当てる
  • [SPARK-43834] [SC-132679][SQL] ResolveDefaultColumns のコンパイル エラーでエラー クラスを使用する
  • [SPARK-43749] [SC-132423][SPARK-43750][SQL] エラー クラス _LEGACY_ERROR_TEMP_240[4-5] に名前を割り当てる
  • [SPARK-43576] [SC-132533][CORE] Core モジュールから未使用の宣言を削除する
  • [SPARK-43314] [SC-129970][CONNECT][PYTHON] Spark Connect クライアント エラーをエラー クラスに移行する
  • [SPARK-43799] [SC-132715][PYTHON] Pyspark Protobuf API に記述子バイナリ オプションを追加する
  • [SPARK-43837] [SC-132678][SQL] エラー クラス _LEGACY_ERROR_TEMP_103[1-2] に名前を割り当てる
  • [SPARK-43862] [SC-132750][SQL] エラー クラス LEGACY_ERROR_TEMP(1254 & 1315) に名前を割り当てる
  • [SPARK-43886] [SC-132808][PYTHON] ジェネリック タプルを Pandas UDF の入力ヒントとして受け入れる
  • [SPARK-43530] [SC-132653][PROTOBUF] 記述子ファイルを 1 回だけ読み取る
  • [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] エラー クラス _LEGACY_ERROR_TEMP_241[1-7] に名前を割り当てる
  • [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Spark Connect の CategoricalOps を修正
  • [SPARK-39979] [SC-132685][SQL] arrow UDF 操作に大きな可変幅ベクトルを使用するオプションを追加
  • [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Spark Connect の StringOps を修正
  • [SPARK-43353] [SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-43815] [SC-132781][SQL] to_char の to_varchar エイリアスを追加
  • [SPARK-43543] [13.x][SC-131839][PYTHON] Pandas UDF での入れ子になった MapType の動作を修正
  • [SPARK-43361] [SC-131789][PROTOBUF] 列挙型のシリアル化に関連するエラーのドキュメントを更新する
  • [SPARK-43740] [SC-132035][PYTHON][CONNECT] サポートされていない session メソッドをオート コンプリートで非表示にする
  • [SPARK-43022] [SC-131681][CONNECT] Scala クライアント向けに protobuf 関数をサポート
  • [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] NotImplementedError を PySparkNotImplementedError に移行する
  • [SPARK-43860] [SC-132713][SQL] 可能な限り末尾再帰を有効にする
  • [SPARK-42421] [SC-132695][CORE] utils を使用して、ローカル チェックポイントで使用される動的割り当てのスイッチを取得する
  • [SPARK-43590] [SC-132012][CONNECT] connect-jvm-client-mima-check で protobuf モジュールによる mima チェックがサポートされるようにする
  • [SPARK-43315] [13.x][CONNECT][PYTHON][SS] 残りのエラーを DataFrame(Reader|Writer) からエラー クラスに移行する
  • [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: ints としての列挙型を持つ serde を許可する
  • [SPARK-43789] [SC-132397][R] Arrow を使用した R createDataFrame で、‘spark.sql.execution.arrow.maxRecordsPerBatch’ を既定で使用する
  • [SPARK-43596] [SC-126994][SQL] rewriteDomainJoins で IsNull 述語を処理する
  • [SPARK-42249] [SC-122565][SQL] エラー メッセージ内のドキュメントの HTML リンクを改善する。
  • [SPARK-43128] [SC-131628][CONNECT][SS] recentProgress と lastProgress をネイティブ Scala Api と一貫性を持つ StreamingQueryProgress を返すようにする
  • [SPARK-43387] [SC-130448][SQL] _LEGACY_ERROR_TEMP_1168 の人間が判読できるエラー コードを提供する。
  • [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions を API 応答にシリアル化するときのエラーを修正する
  • [SPARK-42958] [SC-131475][CONNECT] avro モジュールでの mima チェックをサポートするように connect-jvm-client-mima-check をリファクタリングする
  • [SPARK-43591] [SC-131977][SQL] エラー クラス _LEGACY_ERROR_TEMP_0013 に名前を割り当てる
  • [SPARK-38464] [SC-132211][CORE] org.apache.spark.io でエラー クラスを使用する
  • [SPARK-43759] [SC-132189][SQL][PYTHON] pyspark.sql.types で TimestampNTZType を公開する
  • [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] エラー クラス _LEGACY_ERROR_TEMP_240[1-3] に名前を割り当てる
  • [SPARK-43719] [SC-132016][WEBUI] missing row.excludedInStages フィールドを処理する
  • [SPARK-42956] [SC-127257][CONNECT] Scala クライアント向けに avro 関数をサポートする
  • [SPARK-43487] [SC-131975][SQL] 入れ子になった CTE エラー メッセージを修正する
  • [SPARK-43265] [SC-129653] エラー フレームワークを共通の utils モジュールに移動する
  • [SPARK-40912] [SC-131547][CORE]KryoDeserializationStream での例外のオーバーヘッド
  • [SPARK-43583] [SC-131976][CORE] SaslRpcHandler インスタンスではなくデリゲートから MergedBlockedMetaReqHandler を取得する
  • [SPARK-42996] [SC-131997][CONNECT][PS][ML] 失敗したすべてのテストに適切な JIRA チケットを作成して割り当てる。
  • [SPARK-38477] [SC-131425][CORE] org.apache.spark.network でエラー クラスを使用する
  • [SPARK-43718] [SC-132014][SQL] USING 結合のキーに対して Null 許容を正しく設定する
  • [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop は空の列を受け入れる必要がある
  • [SPARK-43743] [SC-132038][SQL] Port HIVE-12188(DoA が kerberos 以外のセキュリティで保護された HS2 で正しく動作しない)
  • [SPARK-43598] [SC-131929][SQL] エラー クラス _LEGACY_ERROR_TEMP_2400 に名前を割り当てる
  • [SPARK-43138] [SC-131031][CORE] 移行中の ClassNotFoundException を修正する
  • [SPARK-43360] [SC-131526][SS][CONNECT] Scala クライアントの StreamingQueryManager
  • [SPARK-38467] [SC-131025][CORE] org.apache.spark.memory でエラー クラスを使用する
  • [SPARK-43345] [SC-131790][SPARK-43346][SQL] エラー クラス LEGACY_ERROR_TEMP[0041|1206] の名前変更
  • [SPARK-42815] [SC-126450][SQL] 部分式の削除サポートのショートカット式
  • [SPARK-38462] [SC-130449][CORE] エラー クラス INTERNAL_ERROR_EXECUTOR を追加
  • [SPARK-43589] [SC-131798][SQL] bytesToString を使用するように cannotBroadcastTableOverMaxTableBytesError を修正
  • [SPARK-43539] [SC-131830][SQL] エラー クラス _LEGACY_ERROR_TEMP_0003 に名前を割り当てる
  • [SPARK-43157] [SC-131688][SQL] 複製されたプランが同じオブジェクトを参照しないように InMemoryRelation のキャッシュされたプランを複製する
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] カテゴリで INTERNAL_ERROR を拡張し、エラー クラス INTERNAL_ERROR_BROADCAST を追加する
  • [SPARK-43281] [SC-131370][SQL] 同時実行ライターがファイル メトリックを更新しない問題を修正する
  • [SPARK-43383] [SC-130660][SQL] LocalRelation に rowCount の統計を追加する
  • [SPARK-43574] [SC-131739][PYTHON][SQL] 実行時にワーカーで UDF と pandas 関数 API の Python 実行可能ファイルを設定するサポート
  • [SPARK-43569] [SC-131694][SQL] HADOOP-14067 の回避策を削除する
  • [SPARK-43183] [SC-128938][SS][13.x] StreamingQueryListener に新しいコールバック "onQueryIdle" を導入する
  • [SPARK-43528] [SC-131531][SQL][PYTHON] pandas DataFrame を使用した createDataFrame で重複したフィールド名をサポート
  • [SPARK-43548] [SC-131686][SS] HADOOP-16255 の回避策を削除する
  • [SPARK-43494] [SC-131272][CORE] SparkHadoopUtil#createFile のリフレクションではなく HdfsDataOutputStreamBuilder の replicate() を直接呼び出す
  • [SPARK-43471] [SC-131063][CORE] 欠落している hadoopProperties と metricsProperties を処理する
  • [SPARK-42899] [SC-126456][SQL] Null 許容フィールドに null 非許容の入れ子になったフィールドがある場合を処理するように DataFrame.to(schema) を修正
  • [SPARK-43302] [SC-129747][SQL] Python UDAF を AggregateFunction にする
  • [SPARK-43223] [SC-131270][Connect] 型指定された agg、reduce 関数、RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][SS] 例外に存在する場合はエラー クラスを含むように QueryTerminatedEvent を拡張する
  • [SPARK-43359] [SC-131463][SQL] Hive テーブルからの削除は "UNSUPPORTED_FEATURE.TABLE_OPERATION" をスローする必要がある
  • [SPARK-43284] [SC-130313] URL エンコード文字列に戻る
  • [SPARK-43492] [SC-131227][SQL] 引数 3 個の関数のエイリアス DATE_ADD と DATE_DIFF を追加する
  • [SPARK-43473] [SC-131372][PYTHON] pandas DataFrame からの createDataFrame で構造体型をサポート
  • [SPARK-43386] [SC-131110][SQL] UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスで推奨される列と属性の一覧を改善
  • [SPARK-43443] [SC-131332][SQL] 無効な値を使用する場合のタイムスタンプについて型の推定のベンチマークを追加する
  • [SPARK-43518] [SC-131420][SQL] _LEGACY_ERROR_TEMP_2029 を INTERNAL_ERROR に変換する
  • [SPARK-42604] [SC-130648][CONNECT] functions.typedlit を実装する
  • [SPARK-42323] [ES-669513] "[SC-123479][SQL] _LEGACY_ERROR_TEMP_2332 に名前を割り当てる" を元に戻す
  • [SPARK-43357] [SC-130649][SQL] 日付型の引用日付をフィルター処理する
  • [SPARK-43410] [SC-130526][SQL] Packed skipValues のベクター化されたループを改善する
  • [SPARK-43441] [SC-130995][CORE] makeDotNode は、DeterministicLevel がない場合に失敗しない
  • [SPARK-43324] [SC-130455][SQL] 差分ベースのソースの UPDATE コマンドを処理する
  • [SPARK-43272] [SC-131168][CORE] リフレクションではなく createFile を直接呼び出す
  • [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Spark Connect セッション エラーをエラー クラスに移行する
  • [SPARK-43405] [SC-130987][SQL] 無用な getRowFormatSQL、inputRowFormatSQL、outputRowFormatSQL メソッドを削除する
  • [SPARK-43447] [SC-131017][R] R 4.3.0 のサポート
  • [SPARK-43425] [SC-130981][SQL] TimestampNTZType を ColumnarBatchRow に追加
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] 複数のデータ フレームを含む操作のチェックを追加する
  • [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Spark Connect 構造化ストリーミング エラーをエラー クラスに移行する
  • [SPARK-42992] [13.x][SC-129465][PYTHON] PySparkRuntimeError の導入
  • [SPARK-43422] [SC-130982][SQL] メタデータ出力で LogicalRelation にタグを保持する
  • [SPARK-43390] [SC-130646][SQL] DSv2 では、CTAS/RTAS でスキーマの NULL 値の許容を予約できます
  • [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest で任意の要求オプションがサポートされます。
  • [SPARK-43313] [SC-130254][SQL] MERGE INSERT アクションに欠落している列の DEFAULT 値を追加する
  • [SPARK-42842] [SC-130438][SQL] エラー クラス _LEGACY_ERROR_TEMP_2006 を REGEX_GROUP_INDEX にマージする
  • [SPARK-43377] [SC-130405][SQL] spark.sql.thriftServer.interruptOnCancel を既定で有効にする
  • [SPARK-43292] [SC-130525][CORE][CONNECT] ExecutorClassLoader を core モジュールに移動して Executor#addReplClassLoaderIfNeeded を簡略化する
  • [SPARK-43040] [SC-130310][SQL] JDBC データ ソースでの TimestampNTZ 型のサポートの向上
  • [SPARK-43343] [SC-130629][SS] FileStreamSource では、DataSource の作成時に追加のファイル glob チェックを無効にする必要がある
  • [SPARK-43312] [SC-130294][PROTOBUF] 任意のフィールドを JSON に変換するオプション
  • [SPARK-43404] [SC-130586][SS] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップする
  • [SPARK-43397] [SC-130614][CORE] executorLost メソッドのログ Executor の使用停止期間
  • [SPARK-42388] [SC-128568][SQL] ベクター化されたリーダーで Parquet フッターの 2 回読み取りを回避する
  • [SPARK-43306] [13.x][SC-130320][PYTHON] Spark SQL 型からエラー クラスに ValueError を移行する
  • [SPARK-43337] [SC-130353][UI][3.4] 列を並べ替えるための昇順/降順の矢印アイコンがテーブル列に表示されない
  • [SPARK-43279] [SC-130351][CORE] SparkHadoopUtil から未使用のメンバーをクリーンアップする
  • [SPARK-43250] [SC-130147][SQL] エラー クラス _LEGACY_ERROR_TEMP_2014 を内部エラーに置き換える
  • [SPARK-43363] [SC-130299][SQL][PYTHON] 矢印の種類が指定されていない場合にのみ、カテゴリの種類への astype を呼び出すようにする
  • [SPARK-43261] [SC-130154][PYTHON] TypeError を Spark SQL 型からエラー クラスに移行する
  • [SPARK-41971] [SC-130230][SQL][PYTHON] 構造体型の処理方法の pandas 変換の構成を追加する
  • [SPARK-43381] [SC-130464][CONNECT] 'transformStatCov' を遅延させる
  • [SPARK-43362] [SC-130481][SQL] MySQL コネクタの JSON 型の特別な処理
  • [SPARK-42843] [SC-130196][SQL] エラー クラス _LEGACY_ERROR_TEMP_2007 を REGEX_GROUP_INDEX に更新する
  • [SPARK-42585] [SC-129968][CONNECT] ローカル リレーションのストリーミング
  • [SPARK-43181] [SC-130476][SQL] spark-sql シェルに UI WebURL を表示する
  • [SPARK-43051] [SC-130194][CONNECT] 既定値を出力するオプションを追加
  • [SPARK-43204] [SC-129296][SQL] MERGE の割り当てをテーブル属性に合わせる
  • [SPARK-43348] [SC-130082][PYTHON] PyPy3 で Python 3.8 をサポート
  • [SPARK-42845] [SC-130078][SQL] エラー クラス _LEGACY_ERROR_TEMP_2010 を InternalError に更新する
  • [SPARK-43211] [SC-128978][HIVE] IsolatedClientLoader での Hadoop2 のサポートを削除する

システム環境

  • オペレーティング システム: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 cryptography 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0.12
entrypoints 0.4 実行 1.2.0 facets-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 ノートブック 6.4.12 numpy 1.21.5
oauthlib 3.2.0 パッケージング 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 6 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob (blob) 1.2.3
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 キャレット 6.0-93 cellranger 1.1.0
chron 2.3-59 クラス 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 資格情報 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 ライフサイクル 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 ツール 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1