Databricks Runtime 8.0 (EoS)

Databricks は、2021 年 3 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark 3.1.1 で稼働する Databricks Runtime 8.0 に関する情報が記載されています。

新機能

Databricks Runtime 8.0 には、Apache Spark 3.1.1 が含まれています。 詳細については、「Apache Spark」を参照してください。

機能強化

形式が指定されていない場合は Delta が既定の形式になりました

Databricks Runtime 8.0 では、Delta テーブルを簡単に作成するために、既定の形式が delta に変更されています。 SQL コマンドまたは {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API を使用してテーブルを作成し、形式を指定しない場合は、既定の形式は delta になります。

Delta Lake を使用すると、Parquet よりもパフォーマンスが向上し、豊富なスキーマ検証、品質制約、トランザクションの保証により、データの信頼性が向上します。 Delta Lake を使用すると、1 つのデータ ソース上に統合された構造化ストリーミングとバッチ処理を使用することで、データ パイプラインを簡略化できます。

Databricks では Delta Lake を使用してデータを保存する方法をお勧めしていますが、従来のワークフローを Delta Lake に移行することが必要になる場合があります。 既存のワークフローの移行については、「Delta Lake とは」を参照してください。

新しい構造化ストリーミングの既定のトリガー間隔によってコストを削減

ストリーミング クエリで Trigger.ProcessingTime を使用してトリガー間隔を設定しない場合、間隔は 500 ミリ秒に設定されます。 以前の既定の間隔は 0 ミリ秒でした。 この変更により、空のトリガーの数が減り、リストなどのクラウド ストレージのコストが削減されます。

資格情報パススルーでの LDA 変換関数の使用 (パブリック プレビュー)

これで、認証に資格情報パススルーを使用するように構成されたクラスターで LDA 変換関数を使用できるようになりました。

資格情報パススルーを使用して構成された 1 つのユーザー クラスターでは信頼されたファイル システムが不要 (パブリック プレビュー)

資格情報パススルー用に構成された標準クラスターまたはジョブ クラスターを 1 人のユーザーで使用する場合、ローカル ファイル システムを信頼できるファイル システムとして構成する必要がなくなりました。 この変更により、1 つのユーザー クラスターでジョブを実行するときにファイルシステムの不要な制限がなくなりました。

ライブラリのアップグレード

• いくつかの Java および Scala ライブラリをアップグレードしました。 インストールされている Java と Scala のライブラリ (Scala 2.12 クラスター バージョン) を参照してください。
• Python 3.8.6 にアップグレードしました。
• インストールされている複数の Python ライブラリをアップグレードしました。 インストールされている Python ライブラリを参照してください。
• R を 4.0.3 にアップグレードしました。
• インストールされている複数の R ライブラリをアップグレードしました。 「インストールされている R ライブラリ」を参照してください。

Apache Spark

Databricks Runtime 8.0 には、Apache Spark 3.1.1 が含まれています。

このセクションの内容は次のとおりです。

• コアと Spark SQL
• PySpark
• 構造化ストリーミング
• MLlib
• SparkR

コアと Spark SQL

ハイライト

• テーブル作成の SQL 構文を統一 (SPARK-31257)
• シャッフルされたハッシュ結合を改善 (SPARK-32461)
• 拡張部分式を排除 (SPARK-33092、SPARK-33337、SPARK-33427、SPARK-33540)
• Kubernetes GA (SPARK-33005)

ANSI SQL 互換性の強化

• char/varchar データ型をサポート (SPARK-33480)
• ANSI モード: null を返す代わりにランタイム エラーが発生する (SPARK-33275)
• ANSI モード: 新しい明示的なキャスト構文規則 (SPARK-33354)
• SQL の標準的なコマンドを追加 SET TIME ZONE (SPARK-32272)
• テーブル作成の SQL 構文を統一 (SPARK-31257)
• 一時ビューと永続的なビューの動作を統一 (SPARK-33138)
• INSERT ステートメントの列リストをサポート (SPARK-32976)
• ANSI の入れ子のカッコ内コメントをサポート (SPARK-28880)

パフォーマンスの向上

• シャッフル サービスを使用しないホストローカル シャッフル データの読み取り (SPARK-32077)
• 再パーティション ノード前の冗長な並べ替えを排除 (SPARK-32276)
• 述語を部分的にプッシュダウン (SPARK-32302、SPARK-32352)
• 展開によりフィルターをプッシュダウン (SPARK-33302)
• CNF 変換を介した Join による可能なより多くの述語をプッシュ (SPARK-31705)
• ブロードキャスト ハッシュ結合の出力パーティション分割の維持によりシャッフルを排除 (SPARK-31869)
• 結合キーの並べ替えの改善によりシャッフルを排除 (SPARK-32282)
• 出力のパーティション分割と並べ替え順序の正規化によりシャッフルを排除 (SPARK-33399)
• シャッフルされたハッシュ結合を改善 (SPARK-32461)
  • シャッフルされたハッシュ結合のビルド側パーティション分割を保持 (SPARK-32330)
  • ハッシュ結合 (BHJ と SHJ) のストリーム側順序を保持 (SPARK-32383)
  • 並べ替えマージ結合のバケット テーブルを結合 (SPARK-32286)
  • シャッフルされたハッシュ結合に code-gen を追加 (SPARK-32421)
  • シャッフルされたハッシュ結合で完全外部結合をサポート (SPARK-32399)
• whole-stage-codegen を使用したプロジェクト内部分式の削除をサポート (SPARK-33092)
• 条件式での部分式の削除をサポート (SPARK-33337)
• 解釈された式の評価に対する部分式の削除をサポート (SPARK-33427)
• 解釈された述語の部分式の削除をサポート (SPARK-33540)
• その他のオプティマイザー ルール
  • ルール ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
  • ルール EliminateNullAwareAntiJoin (SPARK-32573)
  • ルール EliminateAggregateFilter (SPARK-32540)
  • ルール UnwrapCastInBinaryComparison (SPARK-32858)
  • ルール DisableUnnecessaryBucketedScan (SPARK-32859)
  • ルール CoalesceBucketsInJoin (SPARK-31350)
  • 不要な入れ子フィールドのプロジェクトを使用せずに生成から排除 (SPARK-29721)
  • 集約と展開から不要な入れ子フィールドを削除 (SPARK-27217)
  • repartition-by-expression および join から不要な入れ子フィールドを削除 (SPARK-31736)
  • 表面的なバリエーションに対する不要な入れ子フィールドの削除 (SPARK-32163)
  • ウィンドウと並べ替えから不要な入れ子フィールドを削除 (SPARK-32059)
  • CreateArray/CreateMap のサイズへの子のサイズを最適化 (SPARK-33544)

拡張性の機能強化

• SupportsPartitionsDataSourceV2 で API を追加 (SPARK-31694)
• SupportsMetadataColumnsDataSourceV2 で API を追加 (SPARK-31255)
• SQL キャッシュのシリアル化をプラグ可能にする (SPARK-32274)
• v2 カタログの TableCatalog.dropTable に purge オプションを導入 (SPARK-33364)

コネクタの機能強化

• Hive メタストア パーティション フィルターのプッシュダウンを改善 (SPARK-33537)
  • starts-with フィルター と ends-with フィルターのサポートを含める (SPARK-33458)
  • 日付の種類によるフィルターをサポート (SPARK-33477)
  • not-equal によるフィルターをサポート (SPARK-33582)
• Parquet
  • Parquet のマップのキーの種類での複合型を許可 (SPARK-32639)
  • リベースなしの Parquet で INT96 の保存と読み込みを許可 (SPARK-33160)
• ORC
  • ORC の場合の入れ子列の述語をプッシュダウン (SPARK-25557)
  • Apache ORC を 1.5.12 にアップグレード (SPARK-33050)
• CSV
  • CSV スキーマ推論中に SQL テキスト データ ソースを活用 (SPARK-32270)
• JSON
  • JSON データソースのフィルター プッシュダウンをサポート (SPARK-30648)
• JDBC
  • JDBC 用のカタログ API を実装 (SPARK-32375、SPARK-32579、SPARK-32402、SPARK-33130)
  • JDBC 認証プロバイダーの開発者用 API を作成 (SPARK-32001)
  • JDBC 接続プロバイダーの無効化の可能性を追加 (SPARK-32047)
• Avro
  • Avro データソースのフィルター プッシュダウンをサポート (SPARK-32346)

機能強化

• ノードの使用停止 (SPARK-20624)
  • 基本フレームワーク (SPARK-20628)
  • 使用停止中の RDD ブロックを移行 (SPARK-20732)
  • 動的スケーリングの一部としてのグレースフルの使用停止 (SPARK-31198)
  • 使用停止中のシャッフル ブロックを移行 (SPARK-20629)
  • タスクとブロックの移行終了時の実行プログラムのみを終了 (SPARK-31197)
  • 使用停止中のフォールバック ストレージをサポート (SPARK-33545)
• 新しい組み込み関数
  • json_array_length (SPARK-31008)
  • json_object_keys (SPARK-31009)
  • current_catalog (SPARK-30352)
  • timestamp_seconds、timestamp_millis、timestamp_micros (SPARK-31710)
  • width_bucket (SPARK-21117)
  • regexp_extract_all (SPARK-24884)
  • nth_value (SPARK-27951)
  • raise_error (SPARK-32793)
  • unix_seconds、unix_millis、および unix_micros (SPARK-33627)
  • date_from_unix_date、および unix_date (SPARK-33646)
  • current_timezone (SPARK-33469)
• コマンドの拡張機能についての説明 (SPARK-32337、SPARK-31325)
• ユーザーが指定したヒントを無効にするオプションを提供 (SPARK-31875)
• Hive スタイルの REPLACE COLUMNS 構文をサポート (SPARK-30613)
• LIKE ANY 演算子と LIKE ALL 演算子をサポート (SPARK-30724)
• MERGE INTO での無制限の MATCHED と NOT MATCHED をサポート (SPARK-32030)
• F が後ろに付く浮動リテラルをサポート (SPARK-32207)
• 1 つの構成をリセットするための RESET 構文をサポート (SPARK-32406)
• フィルター式での DISTINCT の同時使用許可をサポート (SPARK-30276)
• DSv2 で alter table add/drop partition コマンドをサポート (SPARK-32512)
• 入れ子の OR 条件内での NOT IN サブクエリをサポート (SPARK-25154)
• REFRESH FUNCTION コマンドのサポート (SPARK-31999)
• データセットで sameSemantics メソッドと sementicHash メソッドを追加 (SPARK-30791)
• UDF でのケース クラスの構成型のサポート (SPARK-31826)
• エンコーダーでの列挙をサポート (SPARK-32585)
• 入れ子のフィールド API withField と dropFields をサポート (SPARK-31317、SPARK-32511)
• unionByName の欠損列への null 値挿入をサポート (SPARK-29358)
• 指定したオプションを取得するために DataFrameReader.table をサポート (SPARK-32592、SPARK-32844)
• spark.sql.hive.metastore.jars で HDFS の場所をサポート (SPARK-32852)
• --archives オプションをネイティブでサポート (SPARK-33530、SPARK-33615)
• タスクの開始イベントと終了イベントのメソッドを含める ExecutorPlugin API の拡張 (SPARK-33088)

その他の注目すべき変更点

• Apache Spark のドキュメント サイトに検索機能を提供 (SPARK-33166)
• Apache Arrow を 2.0.0 へアップグレード (SPARK-33213)
• Thrift サーバーで Java 8 Time API を有効化 (SPARK-31910)
• UDF で Java 8 Time API を有効化 (SPARK-32154)
• 小数を含む集計のオーバーフロー チェック (SPARK-28067)
• 動的パーティション上書きモードでのコミット競合を修正 (SPARK-27194、SPARK-29302)
• スレーブ、ブラックリスト、ホワイトリストへの参照を削除 (SPARK-32004、SPARK-32036、SPARK-32037)
• シャッフル マップ ステージのタスク結果のサイズ チェックを削除 (SPARK-32470)
• ユーザー指定のファイル システム スキームを公開するための ExecutorSource を一般化 (SPARK-33476)
• StorageLevel.DISK_ONLY_3 を追加 (SPARK-32517)
• Executor の Web UI の Executor メモリ メトリックを公開 (SPARK-23432)
• ステージ レベルの Executor メモリ メトリックを [ステージ] タブで公開 (SPARK-26341)
• YARN クラスター モードでの明示的な spark.ui.port セットを修正 (SPARK-29465)
• スタンドアロン クラスター モードでの spark-submit の終了を制御するspark.submit.waitForCompletion 構成を追加 (SPARK-31486)
• ドライバー stdout/stderr に直接リンクを印刷するようにするために yarn.Client を設定 (SPARK-33185)
• ブロードキャストの一部の保存に失敗したときのメモリ リークを修正 (SPARK-32715)
• BlockManagerMaster ドライバーのハートビート タイムアウトを構成可能にする (SPARK-34278)
• キャッシュ動作を統合し、完了 (SPARK-33507)

PySpark

Project Zen

• Project Zen: Python のユーザビリティを向上 (SPARK-32082)
• PySpark 型ヒントをサポート (SPARK-32681)
• PySpark ドキュメントを再設計 (SPARK-31851)
• NumPy ドキュメント スタイルへ移行 (SPARK-32085)
• PyPI ユーザー向けのインストール オプション (SPARK-32017)
• 辞書のリストからの DataFrame スキーマの推論を廃止 (SPARK-32686)
• Python UDF からの例外メッセージを簡略化 (SPARK-33407)

その他の注目すべき変更点

• 決定論的 Python UDF の呼び出しの重複を除去 (SPARK-33303)
• PySpark 関数での高階関数をサポート (SPARK-30681)
• データ ソースの v2x 書き込み API をサポート (SPARK-29157)
• PySpark 関数での percentile_approx をサポート (SPARK-30569)
• PySpark DataFrame で inputFiles をサポート (SPARK-31763)
• PySpark Column で withField をサポート (SPARK-32835)
• PySpark Column で dropFields をサポート (SPARK-32511)
• PySpark 関数で nth_value をサポート (SPARK-33020)
• acosh、asinh、atanh をサポート (SPARK-33563)
• PySpark SparkContext で getCheckpointDir メソッドをサポート (SPARK-33017)
• unionByName の欠損列への null 値挿入をサポート (SPARK-32798)
• cloudpickle を v1.5.0 へアップグレード (SPARK-32094)
• Arrow を使用する PySpark へ MapType サポートを追加 (SPARK-24554)
• DataStreamReader.table と DataStreamWriter.toTable (SPARK-33836)

構造化ストリーミング

パフォーマンスの向上

• MaxFilesPerTrigger を超えたファイルのフェッチ済みリストを未読ファイルとしてキャッシュ (SPARK-30866)
• ファイル ストリーム ソースとシンク メタデータ ログのロジックを合理化 (SPARK-30462)
• クエリがコンパクト バッチから再起動した場合のコンパクト メタデータの 2 回のログ読み取りを回避 (SPARK-30900)

機能強化

• DataStreamReader.table API を追加 (SPARK-32885)
• DataStreamWriter.toTable API を追加 (SPARK-32896)
• 左側ストリーム同士の半結合 (SPARK-32862)
• 外部ストリーム同士の完全結合 (SPARK-32863)
• 出力ファイルのデータ保持を設定する新しいオプションを提供 (SPARK-27188)
• Spark 構造化ストリーミング履歴サーバーのサポートを追加 (SPARK-31953)
• クエリ再起動間に状態スキーマ検証を導入 (SPARK-27237)

その他の注目すべき変更点

• ストリーミング状態ストアのスキーマ検証を導入 (SPARK-31894)
• 状態ストアで別の圧縮コーデックを使用するためのサポート (SPARK-33263)
• メタデータが更新されていないことによる Kafka コネクタの無制限の待機 (SPARK-28367)
• Kafka の 2.6.0 へのアップグレード (SPARK-32568)
• 構造化ストリーミング UI ページの改ページ サポート (SPARK-31642、SPARK-30119)
• 構造化ストリーミング UI の状態情報 (SPARK-33223)
• 構造化ストリーミング UI のウォーターマーク ギャップ情報 (SPARK-33224)
• SS UI で状態カスタム メトリック情報を公開 (SPARK-33287)
• ウォーターマークより後の行の数に関する新しいメトリックを追加 (SPARK-24634)

MLlib

ハイライト

• LinearSVC blockify の入力ベクトル (SPARK-30642)
• LogisticRegression blockify の入力ベクトル (SPARK-30659)
• LogisticRegression blockify の入力ベクトル (SPARK-30660)
• AFT blockify の入力ベクトル (SPARK-31656)
• ML での関連付けルールのサポートを追加 (SPARK-19939)
• LinearSVCModel のトレーニング概要を追加 (SPARK-20249)
• RandomForestClassificationModel の概要を追加 (SPARK-23631)
• FMClassificationModel のトレーニングの概要を追加 (SPARK-32140)
• MultilayerPerceptronClassificationModel の概要を追加 (SPARK-32449)
• SparkR に FMClassifier を追加 (SPARK-30820)
• SparkR LinearRegression ラッパーを追加 (SPARK-30818)
• SparkR への FMRegressor ラッパーを追加 (SPARK-30819)
• vector_to_array の SparkR ラッパーを追加 (SPARK-33040)
• アダプティブ blockify インスタンス - LinearSVC (SPARK-32907)
• CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer サポートの Python バックエンド見積もりツール/エバリュエーターを作成 (SPARK-33520)
• ML ALS recommendForAll の GEMV によりパフォーマンスを向上 (SPARK-33518)
• UnivariateFeatureSelector を追加 (SPARK-34080)

その他の注目すべき変更点

• 1 つのジョブでの GMM コンピューティングの概要と更新プログラムを配布 (SPARK-31032)
• mllib.ChiSqSelectorModel の ChiSqSelector 依存関係を削除 (SPARK-31077)
• TestChiSquare のテストの結果データフレームをフラット化 (SPARK-31301)
• MinHash keyDistance を最適化 (SPARK-31436)
• 三角不等式に基づいて KMeans を最適化 (SPARK-31007)
• ClusteringEvaluator にウエイトのサポートを追加 (SPARK-31734)
• エバリュエーターに getMetrics を追加 (SPARK-31768)
• LinearRegressionSummary にインスタンス ウエイトのサポートを追加 (SPARK-31944)
• CrossValidator にユーザー指定のフォールド列を追加 (SPARK-31777)
• 機能とチューニングでの ML パラメーターの既定値のパリティ (SPARK-32310)
• KMeans/BiKMeans のダブル キャッシュを修正 (SPARK-32676)
• 変換後の最適化 (SPARK-33111)
• FeatureHasher 変換を最適化 (SPARK-32974)
• データフレーム列に array_to_vector 関数を追加 (SPARK-33556)
• 分類、回帰、クラスタリング、および FPM での ML パラメーターの既定値のパリティ (SPARK-32310)
• MaxIters を超える Summary.totalIterations (SPARK-31925)
• ツリー モデルの予測を最適化 (SPARK-32298)

SparkR

• 高階関数の SparkR インターフェイスを追加 (SPARK-30682)
• unionByName での欠損列への null 値挿入をサポート (SPARK-32798)
• SparkR 関数の withColumn をサポート (SPARK-32946)
• SparkR 関数の timestamp_seconds をサポート (SPARK-32949)
• SparkR 関数の nth_value をサポート (SPARK-33030)
• Arrow の最小バージョンの上限を 1.0.0 へ (SPARK-32452)
• SparkR 関数の array_to_vector をサポート (SPARK-33622)
• acosh、asinh、および atanh をサポート (SPARK-33563)
• from_avro と to_avro をサポート (SPARK-33304)

メンテナンスの更新

「Databricks Runtime 8.0 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.8.8 (2021 年 3 月 26 日のメンテナンス更新プログラムでの 3.8.6 からの更新)
• R: R バージョン 4.0.3 (2020-10-10)
• Delta Lake 0.8.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)