Databricks Runtime 7.4 (EoS)

Databricks は、2020 年 11 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.4 に関する情報が記載されています。

新機能

このセクションの内容は次のとおりです。

• Delta Lake の機能と機能強化
• 自動ローダーが、管理者へのファイル通知リソース セットアップの委任をサポート
• 新しい USAGE 特権によって管理者がデータ アクセス特権をよりきめ細かく制御できる
• パススルー対応クラスターで DBFS ヒューズが有効に

Delta Lake の機能と機能強化

このリリースでは、次の Delta Lake の機能と機能強化が提供されています。

• 新しい API を使用して、テーブルに追加されたデータが制約を満たすかどうかを Delta Lake で検証できる
• 新しい API を使用して、Delta テーブルを古いバージョンのテーブルにロールバックできる
• 新しく開始するバージョンでは、Delta Lake ストリーミング ソースで最新の変更のみを返すことができる
• OPTIMIZE の安定性の向上

新しい API を使用して、テーブルに追加されたデータが制約を満たすかどうかを Delta Lake で検証できる

Delta Lake で CHECK 制約がサポートされるようになりました。 指定すると、テーブルに追加されたデータが指定された式を満たすことを Delta Lake が自動的に検証します。 CHECK 制約を追加するには、ALTER TABLE ADD CONSTRAINTS コマンドを使用します。 詳細については、「Azure Databricks の制約」を参照してください。

新しい API を使用して、Delta テーブルを古いバージョンのテーブルにロールバックできる

RESTORE コマンドを使用して、Delta テーブルを古いバージョンにロールバックできるようになりました。

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE は、復元するバージョン以降にテーブルに加えられたすべての変更をロールバックする新しいコミットを作成します。 すべての既存のデータとメタデータが復元されます。これには、スキーマ、制約、ストリーミング トランザクション ID、COPY INTO メタデータ、およびテーブル プロトコルのバージョンが含まれます。 詳細については、Delta テーブルの復元に関する記事を参照してください。

新しく開始するバージョンでは、Delta Lake ストリーミング ソースで最新の変更のみを返すことができる

最新の変更のみを返すには、latest として startingVersion を指定します。 詳細については、「初期位置の指定」を参照してください。

OPTIMIZE の安定性の向上

OPTIMIZE (パーティション述語がない場合) は、数千万の小さなファイルを含むテーブルで実行するように拡張できます。 以前は、Apache Spark ドライバーのメモリが不足して、OPTIMIZE を完了できない場合がありました。OPTIMIZE は、数千万のファイルを含む非常に大きなテーブルを処理するようになりました。

自動ローダーが、管理者へのファイル通知リソース セットアップの委任をサポート

管理者は、新しい Scala API を使用して、自動ローダー用のファイル通知リソースをセットアップできます。 データ エンジニアは、管理者に初期リソースのセットアップを委任することで、アクセス許可がより低い自動ローダー ストリームを操作できるようになりました。 「ファイル通知リソースを手動で構成または管理する」を参照してください。

新しい USAGE 特権によって管理者がデータ アクセス特権をよりきめ細かく制御できる

データベース内のオブジェクトに対してアクションを実行するには、アクションの実行に必要な特権に加えて、そのデータベースに対する USAGE 特権が付与されていることが必要になりました。 USAGE 特権は、データベースまたはカタログに付与されます。 USAGE 特権の導入により、テーブル所有者が、それを他のユーザーと共有することを一方的には決定できなくなり、ユーザーも、テーブルを含むデータベースに対する USAGE 特権を持っていることが必要になります。

テーブル アクセス制御が有効になっているワークスペースでは、ルート CATALOG に対する USAGE 特権が users グループに自動的に付与されています。

詳細については、「USAGE 特権」を参照してください。

パススルー対応クラスターで DBFS FUSE が有効に

資格情報のパススルー対応の高コンカレンシー クラスターを使用しているときに、/dbfs/ で FUSE マウントを使用して DBFS に対する読み取りと書き込みを行うことができるようになりました。 通常のマウントがサポートされます。 パススルー資格情報を必要とするマウントはサポートされません。

機能強化

Spark SQL が、IF と POSITION のシノニムとして IFF と CHARINDEX をサポート

Databricks Runtime では、IF() は CASE WHEN <cond> THEN <expr1> ELSE <expr2> END のシノニムです

Databricks Runtime は、IF() のシノニムとして IFF() をサポートするようになりました

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX は、POSITION 関数の代替名です。 CHARINDEX は、別の文字列内で最初に見つかった文字列の位置を検索します。オプションで開始インデックスを使用できます。

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Python ノートブックについて既定でセルごとに複数の出力が有効

Databricks Runtime 7.1 で、Python ノートブック (および Python 以外のノートブック内の %python セル) についてセルごとに複数の出力がサポートされるようになりましたが、ノートブックで機能を有効にする必要がありました。 Databricks Runtime 7.4 では、この機能は既定で有効になっています。 「セルごとに複数の出力を表示する」を参照してください。

Python ノートブックのオートコンプリートの機能強化

Python のオートコンプリートでは、Jedi ライブラリを使用したコードの静的分析から生成された追加の型情報が表示されます。 Tab キーを押して、オプションの一覧を表示できます。

Spark DataFrame プレビューでの Spark ML ベクターの display の向上

display 形式では、ベクター型 (スパースまたは高密度)、長さ、インデックス (スパース ベクターの場合)、および値のラベルが表示されるようになりました。

その他の修正

• ノートブックの collections.namedtuple でのピックリングの問題を修正しました。
• クラスとメソッドの対話的な定義でのピックリングの問題を修正しました。
• パススルーまたはテーブル アクセス制御対応のクラスターでの mlflow.start_run() の呼び出しが失敗する原因となったバグを修正しました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • jedi が 0.14.1 から 0.17.2 にアップグレード。
  • koalas が 1.2.0 から 1.3.0 にアップグレード。
  • parso が 0.5.2 から 0.7.0 にアップグレード。
• インストールされている複数の R ライブラリをアップグレードしました。 「インストールされている R ライブラリ」を参照してください。

Apache Spark

Databricks Runtime 7.4 には、Apache Spark 3.0.1 が含まれています。 このリリースには、Databricks Runtime 7.3 LTS (EoS) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-33170] [SQL] FileFormatWriter の fast-fail 動作を制御する SQL 構成を追加
• [SPARK-33136] [SQL] V2WriteCommand.outputResolved で誤って入れ替えられるパラメーターを修正
• [SPARK-33134] [SQL] ルート JSON オブジェクトに対してのみ部分的な結果を返す
• [SPARK-33038] [SQL] AQE の最初と現在のプラン文字列を結合
• [SPARK-33118] [SQL] LOCATION を使用すると CREATE TEMPORARY TABLE が失敗する
• [SPARK-33101] [ML] LibSVM 形式で、Hadoop 構成を DS オプションから基になる HDFS ファイルシステムに伝搬する
• [SPARK-33035] [SQL] QueryPlan#transformUpWithNewOutput の属性マッピングの古いエントリを更新
• [SPARK-33091] [SQL] OrcUtils.readCatalystSchema の呼び出し時の潜在的な副作用を避けるため、foreach の代わりに map を使用することを避ける
• [SPARK-33073] [PYTHON] Pandas から Arrow への変換エラー時のエラー処理の向上
• [SPARK-33043] [ML] RowMatrix ヒューリスティック計算で spark.driver.maxResultSize=0 を処理
• [SPARK-29358] [SQL] オプションで、unionByName の欠損列に null を埋める
• [SPARK-32996] [WEB-UI] ExecutorMetricsJsonSerializer の空の ExecutorMetrics を処理
• [SPARK-32585] [SQL] ScalaReflection で Scala の列挙型をサポート
• [SPARK-33019] [CORE] spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 を既定で使用
• [SPARK-33018] [SQL] 子が 0 バイトの場合の統計の推定の問題を修正
• [SPARK-32901] [CORE] UnsafeExternalSorter の書き込み中にメモリが割り当てられない
• [SPARK-33015] [SQL] ComputeCurrentTime ルールで millisToDays() を使用
• [SPARK-33015] [SQL] 現在の日付を 1 回のみ計算
• [SPARK-32999] [SQL] Utils.getSimpleName を使用することで、TreeNode で形式に誤りがあるクラス名へのアクセスを回避
• [SPARK-32659] [SQL] InSubqueryExec で Set の代わりに Broadcast Array
• [SPARK-32718] [SQL] 間隔の単位に関する不要なキーワードを削除
• [SPARK-32886] [WEBUI] イベント タイムライン ビューの 'undefined ' リンクを修正
• [SPARK-32898] [CORE] タスクが実際の開始前に強制終了したときの正しくない executorRunTime を修正
• [SPARK-32635] [SQL] catalyst モジュールに新しいテストケースを追加
• [SPARK-32930] [CORE] 非推奨の isFile/isDirectory メソッドを置換
• [SPARK-32906] [SQL] 浮動小数点を正規化した後は struct フィールド名を変更しない
• [SPARK-24994] [SQL] 整数リテラルを簡素化するための UnwrapCastInBinaryComparison オプティマイザーを追加
• [SPARK-32635] [SQL] 折りたたみ可能性の伝搬を修正
• [SPARK-32738] [CORE] Inbox.process で致命的なエラーが発生した場合にアクティブなスレッドの数を減らす必要がある
• [SPARK-32900] [CORE] null があるときの UnsafeExternalSorter の書き込みを許可
• [SPARK-32897] [PYTHON] SparkSession.builder.getOrCreate に対して非推奨の警告を表示しない
• [SPARK-32715] [CORE] ブロードキャストの断片を格納できなかったときのメモリ リークを修正
• [SPARK-32715] [CORE] ブロードキャストの断片を格納できなかったときのメモリ リークを修正
• [SPARK-32872] [CORE] MAX_CAPACITY 時の BytesToBytesMap が拡張しきい値を超えないようにする
• [SPARK-32876] [SQL] HiveExternalCatalogVersionsSuite の既定のフォールバック バージョンを 3.0.1 と2.4.7 に変更
• [SPARK-32840] [SQL] 無効な間隔値が、その単位について合計されることがある
• [SPARK-32819] [SQL] ignoreNullability パラメーターは再帰的に有効にする
• [SPARK-32832] [SS] DataStreamReader/Writer オプションに CaseInsensitiveMap を使用
• [SPARK-32794] [SS] いくつかのステートフルなクエリと非データバッチと V1 ソースを含むマイクロバッチ エンジンの非常にまれなケースのエラーを修正
• [SPARK-32813] [SQL] アクティブな SparkSession がない場合に ParquetSource ベクター化リーダーの既定の構成を取得
• [SPARK-32823] [WEB UI] マスター UI リソース レポートの修正
• [SPARK-32824] [CORE] ユーザーがリソース構成で .amount を忘れたときのエラー メッセージを向上
• [SPARK-32614] [SQL] CSV の 'comment' が設定されていない場合にコメント処理を適用しない
• [SPARK-32638] [SQL] WidenSetOperationTypes でエイリアスを追加するときの参照を修正
• [SPARK-32810] [SQL] CSV/JSON データ ソースでスキーマを推測するときにパスのグロブを回避する
• [SPARK-32815] [ML] glob メタ文字を含むファイル パスでの LibSVM データ ソースの読み込みエラーを修正
• [SPARK-32753] [SQL] タグはタグのないノードにのみコピー
• [SPARK-32785] [SQL] 未解決部分がある間隔の結果を null にしない
• [SPARK-32764] [SQL] -0.0 は 0.0 と等しい
• [SPARK-32810] [SQL] CSV/JSON データ ソースでスキーマを推測するときにパスのグロブを回避する
• [SPARK-32779] [SQL] デッドロックが発生するため、withClient フローで SessionCatalog の同期 API を使用しない
• [SPARK-32791] [SQL] パーティション分割されていないテーブル メトリックに動的なパーティション排除時間を設定しない
• [SPARK-32767] [SQL] spark.sql.shuffle.partitions がバケット番号より大きい場合にのみバケット結合を機能させる
• [SPARK-32788] [SQL] パーティション分割されていないテーブル スキャンにパーティション フィルターを設定しない
• [SPARK-32776] [SS] ストリーミングの制限によって PropagateEmptyRelation を最適化して削除しない
• [SPARK-32624] [SQL] 入れ子になった Scala 型に対する CodegenContext.addReferenceObj での回帰を修正
• [SPARK-32659] [SQL] 非アトミック型での DPP 排除のテストの向上
• [SPARK-31511] [SQL] BytesToBytesMap 反復子をスレッドセーフにする
• [SPARK-32693] [SQL] Nullable プロパティ以外は同じスキーマの 2 つのデータフレームを比較
• [SPARK-28612] [SQL] DataFrameWriterV2.replace() の正しいメソッド ドキュメント

メンテナンスの更新

Databricks Runtime 7.4 のメンテナンス更新に関する記事を参照してください。

システム環境

• オペレーティング システム: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R バージョン 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、XXXX 年 XX 月 XX 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)