Databricks Runtime 6.5 (EoS)

Databricks は、2020 年 4 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 6.5 に関する情報が記載されています。

新機能

Delta テーブルに対するすべての書き込み、更新、および削除の操作メトリックをテーブル履歴に表示

Delta テーブルに対するすべての書き込み、更新、および削除について、操作メトリック (ファイル数や行数の変更など) がテーブルの履歴に表示されるようになりました。 これらのメトリックの生成は、既定では有効になっています。 次のように実行すると、履歴を確認できます。

DESCRIBE HISTORY deltaTableName

Delta Lake ストリーミング マイクロバッチで処理されるデータのレート制限

構造化ストリーミングを使用して Delta Lake からデータを処理するときに、各マイクロバッチで処理されるデータ量をレート制限するオプション maxBytesPerTrigger を設定できるようになりました。 これにより、「ソフト最大値」を設定します。これは、バッチがこの量のデータをほぼ処理し、制限を超えて処理する可能性があることを意味します。

ストリーミングに Trigger.Once を使用する場合、このオプションは無視されます。 さらに、このオプションを maxFilesPerTrigger と組み合わせて使用する場合は、マイクロバッチでは maxFilesPerTrigger または maxBytesPerTrigger の制限に達するまでデータを処理します。

機能強化

Snowflake コネクタが 2.5.9 に更新されました

更新されたコネクタにより、Snowflake JDBC ドライバ―は 3.12.0 に昇格します。

Java が 1.8.0_242 にアップグレードされました

このバージョンではトラスト アンカー証明書の新しいチェックが導入され、トラスト アンカーが CA 証明書であり、適切な拡張機能が含まれるようになりました。 トラスト アンカー証明書には、ca フィールドが true に設定された基本制約拡張が含まれている必要があります。 また、キー使用拡張機能が含まれている場合は、keyCertSign ビットを設定する必要があります。

自己署名トラスト アンカー証明書を使用する場合は、新しいチェックによって導入された次の例外が発生する可能性があります。

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

自己署名トラスト アンカー証明書を引き続き使用するには、上記の例外に対処する次の 2 つの方法があります。

• Java 1.9.0_242 で導入された Java システム プロパティ jdk.security.allowNonCaAnchor を true に設定して、以前の動作を復元します。 spark.driver.extraJavaOptions および spark.executor.extraJavaOptions を使用して、このシステム プロパティを Spark ドライバーとエグゼキュータにそれぞれ設定できます。

• トラスト アンカー証明書には、ca フィールドが true に設定された基本制約拡張を含めます。 トラスト アンカー証明書にキー使用拡張機能が含まれている場合は、keyCertSign ビットを設定します。

  Java Keytool を使用して公開キーと秘密キーのペアを生成する場合は、トラスト アンカー証明書を生成するときに -ext BasicConstraints=ca:true を設定します。 トラスト アンカー証明書にキー使用拡張機能が含まれている場合は、トラスト アンカー証明書を生成するときに keyCertSign ビット -ext KeyUsage=...,keyCertSign を設定します。

アップグレードされた R ライブラリ

インストールされている複数の R ライブラリをアップグレードしました。 「インストールされている R ライブラリ」を参照してください。

非推奨事項

• boto パッケージは非推奨であり、Databricks Runtime の次のメジャー リリースで削除される予定です。 Azure Databricks では、代わりに boto3 を使用することをお勧めします。
• 次の R パッケージは、Databricks Runtime の今後のメジャー リリースで削除されます。
  • abind
  • bitops
  • car
  • carData
  • doMC
  • gbm
  • h2o
  • littler
  • lme4
  • mapproj
  • maps
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • sp
  • SparseM
  • statmod
  • zip

Azure Databricks では、Databricks Runtime でインストールされない R パッケージをインストールして読み込むには、次のコードを使用することをお勧めします。

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 には、Apache Spark 2.4.5 が含まれています。 このリリースには、Databricks Runtime 6.4 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。

• [SPARK-27099] [SQL] 任意の列を Long にハッシュするための 'xxhash64' を追加
• [SPARK-26151] [SQL] 不適切な CSV レコードの部分的な結果を返す
• [SPARK-30927] [SS] StreamingQueryManager では、終了した StreamingQuery への参照を保持しないようにする必要がある
• [SPARK-22590] BroadcastExchangeExec.executionContext の子スレッドに sparkContext.localproperties をコピーする
• [SPARK-30671] EmptyDataFrame は LocalRelation を使用する必要がある
• [SPARK-30556] [SQL] SQLExecution withThreadLocalCaptured で変更された状態をリセットする
• [SPARK-30763] [SQL] java.lang.IndexOutOfBoundsException で、regexp_extract のグループ 1 が見つからない問題を修正
• [SPARK-30806] [SQL] UnboundedWindowFunctionFrame のグループごとに 1 回評価する
• [SPARK-30731] 非推奨の Mkdocs オプションを更新
• [SPARK-30857] [SQL] エポックの前から時間と日までのタイムスタンプの切り捨てを修正
• [SPARK-30798] QueryExecution の Session.active をスコープする
• [SPARK-30793] [SQL] エポックの前から分と秒までのタイムスタンプの切り捨てを修正
• [SPARK-30826] [SQL] StringStartsWith で parquet にプッシュダウンされる参照ケースを尊重します
• [SPARK-30797] [SQL] TRUNCATE TABLE で ACL を設定するときに、従来のユーザー、グループ、またはその他のアクセス許可を ACL エントリに設定する
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop では、重複する列を処理する必要がある
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill では、重複する列を処理する必要がある
• [SPARK-30310] [CORE] SparkUncaughtExceptionHandler と追加されたテストで一致しないケースを解決
• [SPARK-30512] 専用の BOSS イベント ループ グループを追加

メンテナンスの更新

Databricks Runtime 6.5 メンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R バージョン 3.6.3 (2020-02-29)
• Delta Lake: 0.5.0

このセクションの内容は次のとおりです。

• インストールされている Python ライブラリ
• インストールされている R ライブラリ
• インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2020 年 2 月 26 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)