Databricks Runtime 7.0 (EoS)

Databricks は、2020 年 6 月にこのイメージをリリースしました。

次のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.0 に関する情報が記載されています。

新機能

Databricks Runtime 7.0 には、次の新機能があります。

• Scala 2.12

  Databricks Runtime 7.0 では、Scala が 2.11.12 から 2.12.10 にアップグレードされています。 Scala 2.12 と 2.11 の間の変更リストは「Scala 2.12.0 リリース ノート」にあります。

• Databricks Runtime 6.4 でリリースされた自動ローダー (パブリック プレビュー) が、Databricks Runtime 7.0 で改善されました。

  自動ローダーを使用すると、ETL 中にクラウド BLOB ストアに到着した新しいデータ ファイルを段階的に処理する、より効率的な方法が提供されます。 これは、クラウド ディレクトリを繰り返し一覧表示し、表示されたファイルを追跡することで新しいファイルを識別する、ファイルベースの構造化ストリーミングに対する機能強化であり、ディレクトリが大きくなるにつれて非常に非効率になる可能性があります。 自動ローダーは、ファイル通知ベースの構造化ストリーミングよりも便利で効果的です。クラウドでファイル通知サービスを手動で構成する必要があり、既存のファイルをバックフィルすることはできません。 詳細については、「自動ローダー」を参照してください。

  Databricks Runtime 7.0 では、自動ローダーを使用するためにカスタムの Databricks Runtime イメージを要求する必要がなくなりました。

• COPY INTO (パブリック プレビュー) は、べき等な再試行で Delta Lake にデータを読み込む機能ですが、Databricks Runtime 7.0 で改善されました

  Databricks Runtime 6.4 でパブリック プレビューとしてリリースされた COPY INTO SQL コマンドを使用すると、べき等再試行で Delta Lake にデータを読み込むことができます。 現在では、Delta Lake にデータを読み込むには、Apache Spark DataFrame API を使用する必要があります。 読み込み中にエラーが発生した場合は、それらを効果的に処理する必要があります。 新しい COPY INTO コマンドは、SQL でのデータの読み込みで、使い慣れた宣言型インターフェイスを提供します。 このコマンドによって、以前に読み込まれたファイルを追跡し、エラーが発生した場合に安全に再実行します。 詳細については、「COPY INTO」を参照してください。

機能強化

• Azure Synapse (以前の SQL Data Warehouse) コネクタで COPY ステートメントがサポートされます。

  COPY の主な利点は、低い権限をもつユーザーが、 Azure Synapse で厳密な CONTROL アクセス許可を必要とすることなく Azure Synapse にデータを書き込めることです。

• ノートブックのセルで Matplolib オブジェクトをインラインで表示するのに、%matplotlib inline という魔法のコマンドは不要になりました。 既定で常にインラインに表示されます。

• Matplolib の図形は transparent=False でレンダリングされるようになり、ユーザー指定の背景が失われることがなくなりました。 この動作は、Spark の構成で spark.databricks.workspace.matplotlib.transparent true を設定することでオーバーライドできます。

• 高コンカレンシー モードのクラスターで構造化ストリーミングの実稼働ジョブを実行すると、ジョブの再起動が失敗することがあります。これは、以前に実行したジョブが正常に終了しなかったことが原因です。 Databricks Runtime 6.3 ではクラスターで SQL 構成 spark.sql.streaming.stopActiveRunOnRestart true を設定できる機能が導入され、以前の実行が確実に停止するようにできます。 この構成は Databricks Runtime 7.0 では既定で設定されます。

ライブラリの主な変更点

Python パッケージ

アップグレードされた主な Python パッケージは次のとおりです。

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

削除された Python パッケージは次のとおりです。

• boto (use boto3)
• pycurl

R パッケージ

追加された R パッケージは次のとおりです。

• broom
• highr
• isoband
• knitr
• markdown
• modelr
• reprex
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

削除された R パッケージは次のとおりです。

• abind
• bitops
• car
• carData
• doMC
• gbm
• h2o
• littler
• lme4
• mapproj
• maps
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• rio
• sp
• SparseM
• statmod
• zip

Java ライブラリと Scala ライブラリ

• Hive ユーザー定義関数の処理に使用される Apache Hive のバージョンと Hive SerDes が 2.3 にアップグレードされました。
• 以前は、Azure Storage jar と Key Vault jar は Databricks Runtime の一部としてパッケージ化されていました。そのため、クラスターにアタッチされているライブラリの異なるバージョンを使用することができませんでした。 Classes under com.microsoft.azure.storage および com.microsoft.azure.keyvault の下のクラスは Databricks Runtime のクラス パス上になくなりました。 これらのいずれかのクラス パスに依存している場合、今後はクラスターに Azure Storage SDK または Azure Key Vault SDK をアタッチする必要があります。

動作の変更

このセクションでは、Databricks Runtime 6.6 から Databricks Runtime 7.0 での動作の変更を示します。 Databricks Runtime の以前のリリースから Databricks Runtime 7.0 およびそれ以降へワークロードを移行する際には、これらを理解している必要があります。

Spark の動作の変更

Databricks Runtime 7.0 は Spark 3.0 上で構築された最初の Databricks Runtime であるため、Spark 2.4 上に構築された Databricks Runtime 5.5 LTS または 6.x からワークロードを移行するときには、多くの変更点があり注意が必要です。 これらの変更については、このリリース ノートの記事の Apache Spark セクションの各機能領域の「動作の変更」セクションを参照してください。

• Spark core、Spark SQL、構造化ストリーミングの動作の変更
• MLlib の動作の変更
• SparkR の動作の変更

その他の動作の変更

• Scala 2.12 へのアップグレードには、次の変更が伴います。

  • パッケージ セル シリアル化の処理方法が異なります。 次の例は、動作の変更点とその処理方法を示しています。

    次のパッケージ セルで定義されているとおりに foo.bar.MyObjectInPackageCell.run() を実行すると、エラー java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$ がトリガーされます。

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    このエラーを回避するために、シリアル化可能なクラスの内部で MyObjectInPackageCell をラップできます。

  • DataStreamWriter.foreachBatch を使用するときに、ソース コードの更新が必要になる場合があります。 この変更は、Scala 2.12 ではラムダ式から SAM 型への自動変換が行われるため、あいまいさが発生する可能性があるという事実に起因します。

    たとえば、次の Scala コードはコンパイルできません。

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    コンパイル エラーを修正するには、foreachBatch { (df, id) => myFunc(df, id) } を foreachBatch(myFunc _) に変更するか、foreachBatch(new VoidFunction2 ...) のように Java API を明示的に使用します。

• Hive ユーザー定義関数と Hive SerDes の処理に使用される Apache Hive バージョンが 2.3 にアップグレードされるため、次の 2 つの変更が必要になります。

  • Hive の SerDe インターフェイスが抽象クラス AbstractSerDe によって置き換えられます。 すべてのカスタム Hive SerDe 実装で、AbstractSerDe への移行が必要です。
  • spark.sql.hive.metastore.jars を builtin に設定すると、Databricks Runtime 7.0 のメタストアにアクセスするために、Hive 2.3 メタストア クライアントが使用されます。 Hive 1.2 ベースの外部メタストアにアクセスする必要がある場合は、spark.sql.hive.metastore.jars を、Hive 1.2 jar が格納されるフォルダーに設定します。

非推奨と削除

• データ スキップ インデックスは、Databricks Runtime 4.3 で非推奨になり、Databricks Runtime 7.0 で削除されました。 代わりに Delta テーブルを使用することをお勧めします。これにより、向上したデータ スキップ機能が提供されます。
• Databricks Runtime 7.0 では、Apache Spark の基になるバージョンが Scala 2.12 を使用しています。 Scala 2.11 に対してコンパイルされたライブラリは、予期しない動作によって Databricks Runtime 7.0 クラスターを無効にする可能性があります。そのため、Databricks Runtime 7.0 以降を実行しているクラスターでは、すべてのクラスターにインストールされるように構成されたライブラリはインストールされません。 クラスターの [ライブラリ] タブには、ステータス Skipped と、ライブラリ処理での変更について説明する非推奨メッセージが表示されます。 ただし、"Azure Databricks プラットフォーム バージョン 3.20 がワークスペースにリリースされる前の" Databricks Runtime の以前のバージョンで作成されたクラスターがある場合は、Databricks Runtime 7.0 を使用するようにそのクラスターを編集しようとすると、すべてのクラスターにインストールされるように構成されたライブラリはすべて、そのクラスターにインストールされます。 この場合は、インストールされたライブラリ内の互換性がない JAR が原因で、クラスターが無効になることがあります。 回避策は、クラスターを複製するか、新しいクラスターを作成することです。

Apache Spark

Databricks Runtime 7.0 には、Apache Spark 3.0 が含まれています。

このセクションの内容は次のとおりです。

• Core、Spark SQL、構造化ストリーミング
• MLlib
• SparkR
• GraphX
• 廃止
• 既知の問題

Core、Spark SQL、構造化ストリーミング

ハイライト

• (Project Hydrogen) アクセラレータ対応スケジューラ (SPARK-24615)
• アダプティブ クエリの実行 (SPARK-31412)
• 動的なパーティションの排除 (SPARK-11150)
• 型のヒントで pandas UDF API を再設計 (SPARK-28264)
• 構造化ストリーミング UI (SPARK-29543)
• カタログ プラグイン API (SPARK-31121)
• 改善された ANSI SQL の互換性

パフォーマンスの向上

• アダプティブ クエリの実行 (SPARK-31412)
  • 基本フレームワーク (SPARK-23128)
  • シャッフル後のパーティション番号の調整 (SPARK-28177)
  • 動的サブクエリの再利用 (SPARK-28753)
  • ローカル シャッフル リーダー (SPARK-28560)
  • スキューの結合の最適化 (SPARK-29544)
  • 連続するシャッフル ブロックの読み取りの最適化 (SPARK-9853)
• 動的なパーティションの排除 (SPARK-11150)
• その他のオプティマイザー ルール
  • ルール ReuseSubquery (SPARK-27279)
  • ルール PushDownLeftSemiAntiJoin (SPARK-19712)
  • ルール PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • ルール ReplaceNullWithFalse (SPARK-25860)
  • ルール 結合/集計のサブクエリで制限なしの並べ替えを除外 (SPARK-29343)
  • ルール PruneHiveTablePartitions (SPARK-15616)
  • Generate から不要な入れ子になったフィールドを除外 (SPARK-27707)
  • ルール RewriteNonCorrelatedExists (SPARK-29800)
• テーブル キャッシュの同期コストを最小化 (SPARK-26917)、(SPARK-26617)、(SPARK-26548)
• 集計コードを小さい関数に分割 (SPARK-21870)
• INSERT および ALTER TABLE ADD PARTITION コマンドにバッチ処理を追加 (SPARK-29938)

拡張性の機能強化

• カタログ プラグイン API (SPARK-31121)
• データ ソース V2 API リファクタリング (SPARK-25390)
• Hive 3.0 および 3.1 メタストアのサポート (SPARK-27970)、(SPARK-24360)
• Spark プラグインのドライバーへのインターフェイスを拡張 (SPARK-29396)
• Executor プラグインを使用した Spark メトリクス システムのユーザー定義メトリクスによる拡張 (SPARK-28091)
• 拡張 Columnar Processing Support 向けの開発者用 API (SPARK-27396)
• DSV2: parquet、ORC、CSV、JSON、Kafka、Text、Avro を使用した組み込みのソース移行 (SPARK-27589)
• SparkExtensions での FunctionInjection を許可 (SPARK-25560)
• アグリゲーターの UDAF としての登録を許可 (SPARK-27296)

コネクタの機能強化

• 非決定的式による列の排除 (SPARK-29768)
• データ ソース テーブルでの spark.sql.statistics.fallBackToHdfs のサポート (SPARK-25474)
• ファイル ソースでのサブクエリ フィルターを使用したパーティションの排除を許可 (SPARK-26893)
• データ ソース フィルターでのサブクエリのプッシュダウンを回避 (SPARK-25482)
• ファイル ソースからの再帰的なデータ読み込み (SPARK-27990)
• Parquet/ORC
  • 選言述語のプッシュダウン (SPARK-27699)
  • 入れ子になった列の排除を一般化 (SPARK-25603) し、既定でオンに設定 (SPARK-29805)
  • Parquet のみ
    • 入れ子になったフィールドの Parquet 述語プッシュダウン (SPARK-17636)
  • ORC のみ
    • ORC のマージ スキーマをサポート (SPARK-11412)
    • ORC の入れ子になったスキーマを排除 (SPARK-27034)
    • ORC の述語変換の複雑さを軽減 (SPARK-27105, SPARK-28108)
    • Apache ORC を 1.5.9 にアップグレード (SPARK-30695)
• CSV
  • CSV データソースでのフィルターのプッシュダウンをサポート (SPARK-30323)
• Hive SerDe
  • ネイティブ データ ソースを使用して Hive serde テーブルを読み取る場合はスキーマ推論なし (SPARK-27119)
  • Hive CTAS コマンドでは、変換可能な場合はデータ ソースを使用する必要がある (SPARK-25271)
  • ネイティブ データ ソースを使用してパーティション分割された Hive テーブルの挿入を最適化する (SPARK-28573)
• Apache Kafka
  • Kafka ヘッダーのサポートを追加 (SPARK-23539)
  • Kafka 委任トークンのサポートを追加 (SPARK-25501)
  • Kafka ソースに新しいオプションを導入: タイムスタンプによるオフセット (開始/終了) (SPARK-26848)
  • Kafka バッチ ソースで minPartitions オプションとストリーミング ソース v1 をサポート (SPARK-30656)
  • Kafka を 2.4.1 にアップグレード (SPARK-31126)
• 新しい組み込みのデータ ソース
  • 新しい組み込みのバイナリ ファイル データ ソース (SPARK-25348)
  • 新しい no-op バッチ データ ソース (SPARK-26550) と no-op ストリーミング シンク (SPARK-26649)

機能強化

• [Hydrogen] アクセラレータ対応スケジューラ (SPARK-24615)
• Join Hint の完全なセットを導入 (SPARK-27225)
• SQL クエリに PARTITION BY ヒントを追加 (SPARK-28746)
• Thrift サーバーでのメタデータ処理 (SPARK-28426)
• scala API に高次の関数を追加 (SPARK-27297)
• バリア タスク コンテキストでシンプルなすべて収集をサポート (SPARK-30667)
• Hive UDF で UDT 型をサポート (SPARK-28158)
• Catalyst で DELETE/UPDATE/MERGE 演算子をサポート (SPARK-28351, SPARK-28892, SPARK-28893)
• DataFrame.tail を実装 (SPARK-30185)
• 新しい組み込み関数
  • sinh、cosh、tanh、asinh、acosh、atanh (SPARK-28133)
  • any、every、some (SPARK-19851)
  • bit_and。bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and、bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by、min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • version (SPARK-29554)
  • xxhash64 (SPARK-27099)
• 既存の組み込み関数の機能強化
  • 組み込みの date-time 関数/演算の改善 (SPARK-31415)
  • from_json で FAILFAST モードをサポート (SPARK-25243)
  • array_sort に新しい比較子パラメーターを追加 (SPARK-29020)
  • フィルターでインデックスを入力として取得できるだけでなく、 要素も取得可能 (SPARK-28962)

SQL の互換性の機能強化

• 予期的グレゴリオ暦に切り替え (SPARK-26651)
• Spark の独自の datetime パターン定義を構築 (SPARK-31408)
• テーブル挿入に対して ANSI ストア割り当てポリシーを導入 (SPARK-28495)
• 既定でテーブルの挿入で ANSI ストアの割り当て規則に従う (SPARK-28885)
• SQLConf spark.sql.ansi.enabled を追加 (SPARK-28989)
• 集計式で ANSI SQL フィルター句をサポート (SPARK-27986)
• ANSI SQL OVERLAY 関数をサポート (SPARK-28077)
• ANSI の入れ子のカッコ内コメントをサポート (SPARK-28880)
• 整数のオーバーフロー時に例外をスロー (SPARK-26218)
• 間隔の算術演算のオーバーフロー チェック (SPARK-30341)
• 無効な文字列が数値型にキャストされたときに例外をスロー (SPARK-30292)
• 間隔の乗除算のオーバーフロー動作を他の演算と一貫性のあるものにする (SPARK-30919)
• char と decimal について ANSI の型の別名を追加 (SPARK-29941)
• SQL パーサーで defines ANSI 準拠の予約済みキーワードを定義 (SPARK-26215)
• ANSI モードがオンのとき予約済みキーワードを識別子として使用できない (SPARK-26976)
• ANSI SQL LIKE ... ESCAPE 構文をサポート (SPARK-28083)
• ANSI SQL Boolean-Predicate 構文をサポート (SPARK-27924)
• 相関サブクエリの処理のサポートを向上 (SPARK-18455)

監視とデバッグの機能拡張

• 新しい構造化ストリーミング UI (SPARK-29543)
• SHS: ストリーミング アプリの実行のイベント ログのロール オーバーを許可 (SPARK-28594)
• ユーザーがバッチ クエリとストリーミング クエリで任意のメトリックを定義して監視できる API を追加 (SPARK-29345)
• クエリごとの計画時間を追跡するためのインストルメンテーション (SPARK-26129)
• 基本的なシャッフル メトリックを SQL交換演算子に配置 (SPARK-26139)
• SQL ステートメントを呼び出しサイトではなく SQL Tab に表示 (SPARK-27045)
• SparkUI にヒントを追加 (SPARK-29449)
• History Server の同時実行パフォーマンスを改善 (SPARK-29043)
• EXPLAIN FORMATTED コマンド (SPARK-27395)
• 切り捨てられたプランと生成されたコードのファイルへのダンプをサポート (SPARK-26023)
• クエリの出力を記述する describe フレームワークを強化 (SPARK-26982)
• SHOW VIEWS コマンドを追加 (SPARK-31113)
• SQL パーサーのエラー メッセージを改善 (SPARK-27901)
• Prometheus の監視をネイティブでサポート (SPARK-29429)

PySpark の機能強化

• 種類のヒントを含め、再設計された pandas UDF (SPARK-28264)
• Pandas UDF パイプライン (SPARK-26412)
• Scalar Pandas UDF で引数および戻り値の型として StructType をサポート (SPARK-27240 )
• Pandas UDF を使用した Dataframe Cogroup をサポート (SPARK-27463)
• mapInPandas を追加して DataFrame の反復子を許可 (SPARK-28198)
• 一部の SQL 関数でも列名を受け取る必要がある (SPARK-26979)
• PySpark SQL 例外をより Python 的なものに (SPARK-31849)

ドキュメントとテスト カバレッジの機能強化

• SQL レファレンスの作成 (SPARK-28588)
• WebUI のユーザー ガイドの作成 (SPARK-28372)
• SQL 構成ドキュメントのページの作成 (SPARK-30510)
• Spark 構成のバージョン情報を追加 (SPARK-30839)
• PostgreSQL からのポート回帰テスト (SPARK-27763)
• Thrift サーバー テスト カバレッジ (SPARK-28608)
• UDF (python UDF、pandas UDF、scala UDF) のテスト カバレッジ (SPARK-27921)

その他の注目すべき変更点

• 組み込みの Hive 実行を 1.2.1 から 2.3.6 にアップグレード (SPARK-23710、SPARK-28723、SPARK-31381)
• 既定で Apache Hive 2.3 依存関係を使用 (SPARK-30034)
• GA Scala 2.12 (2.11 は削除) (SPARK-26132)
• 動的割り当てでの Executor のタイム アウトのロジックを改善 (SPARK-20286)
• シャッフル サービスによって提供され、動的割り当てでは無視される、ディスク永続化された RDD ブロック (SPARK-27677)
• 新しい Executor を取得してブロックリストに起因するハングを回避 (SPARK-22148)
• Netty のメモリ プール アロケーターの共有を許可 (SPARK-24920)
• TaskMemoryManager と UnsafeExternalSorter$SpillableIterator の間のデッドロックを修正 (SPARK-27338)
• StructuredStreaming の AdmissionControl API を導入 (SPARK-30669)
• Spark の履歴のメイン ページのパフォーマンスを改善 (SPARK-25973)
• SQL リスナーでのメトリック集計の高速化とスリム ダウン (SPARK-29562)
• シャッフル ブロックが同じホストからフェッチされるときにネットワークを回避 (SPARK-27651)
• DistributedFileSystem のファイル一覧を改善 (SPARK-27801)

Spark core、Spark SQL、構造化ストリーミングの動作の変更

次の移行ガイドで Apache Spark 2.4 と 3.0 との間の動作の変更を一覧で示しています。 これらの変更によって、Databricks Runtime の以前のバージョンで実行されていたジョブの更新が必要になる場合があります。

• 移行ガイド: Spark Core
• 移行ガイド: SQL、データセットと DataFrame
• 移行ガイド: 構造化ストリーミング
• 移行ガイド: PySpark (Python on Spark)

以下の動作の変更は、これらの移行ガイドでは説明されていません。

• Spark 3.0 では非推奨のクラス org.apache.spark.sql.streaming.ProcessingTime が削除されました。 代わりに org.apache.spark.sql.streaming.Trigger.ProcessingTime を使用してください 同様に、org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger が削除されました。代わりに Trigger.Continuous を使用してください。org.apache.spark.sql.execution.streaming.OneTimeTrigger は非表示になりました。代わりに Trigger.Once を使用してください。 (SPARK-28199)
• Databricks Runtime 7.0 では、Hive SerDe テーブルを読み取るときに、既定では、テーブル パーティションではないサブディレクトリの下にあるファイルの読み取りは Spark によって禁止されています。 有効にするには、構成 spark.databricks.io.hive.scanNonpartitionedDirectory.enabled を true に設定します。 これは、Spark ネイティブ テーブル リーダーとファイル リーダーには影響しません。

プログラミング ガイド:

• Spark RDD プログラミング ガイド
• Spark SQL、DataFrames、Datasets ガイド
• 構造化ストリーミング プログラミング ガイド

MLlib

ハイライト

• 複数列のサポートが Binarizer (SPARK-23578)、StringIndexer (SPARK-11215)、StopWordsRemover (SPARK-29808)、PySpark QuantileDiscretizer (SPARK-22796) に追加
• ツリーベースの特徴変換のサポート (SPARK-13677)
• 2つの新しいエバリュエーター MultilabelClassificationEvaluator (spark-16692) と RankingEvaluator (spark-28045) が追加されました
• サンプルの重みのサポートが DecisionTreeClassifier/Regressor (SPARK-19591)、RandomForestClassifier/Regressor (SPARK-9478)、GBTClassifier/Regressor (SPARK-9612)、RegressionEvaluator (SPARK-24102)、BinaryClassificationEvaluator (SPARK-24103)、BisectingKMeans (SPARK-30351)、KMeans (SPARK-29967)、GaussianMixture (SPARK-30102) に追加
• PowerIterationClustering の R API が追加 (SPARK-19827)
• ML パイプラインの状態を追跡するための Spark ML リスナーを追加 (SPARK-23674)
• Python の勾配ブーステッド ツリーに検証セットへの適合が追加 (SPARK-24333)
• RobustScaler トランスフォーマーが追加されました (SPARK-28399)
• Factorization Machines の分類子とリグレッサーが追加されました (SPARK-29224)
• ガウス Naive Bayes (SPARK-16872) と補数 Naive Bayes (SPARK-29942) が追加
• Scala と Python との間の ML 関数のパリティ (SPARK-28958)
• predictRaw がすべての Classification モデルでパブリックになりました。 predictProbability が、LinearSVCModel を除くすべての Classification モデルでパブリックになりました。 (SPARK-30358)

MLlib の動作の変更

次の移行ガイドで Apache Spark 2.4 と 3.0 との間の動作の変更を一覧で示しています。 これらの変更によって、Databricks Runtime の以前のバージョンで実行されていたジョブの更新が必要になる場合があります。

• 移行ガイド: MLlib (Machine Learning)

以下の動作の変更は、この移行ガイドでは説明されていません。

• Spark 3.0 では、Pyspark 内の多クラス ロジスティック回帰は、サブクラス BinaryLogisticRegressionSummary ではなく、LogisticRegressionSummary を (正しく) 返すようになりました。 BinaryLogisticRegressionSummary によって公開される追加のメソッドは、この場合、いずれにしても機能しません。 (SPARK-31681)
•  Spark 3.0 では、pyspark.ml.param.shared.Has* mixin は、set*(self, value) setter メソッドを提供しなくなりました。代わりにそれぞれの self.set(self.*, value) を使用してください。 詳細については、SPARK-29093 を参照してください。 (SPARK-29093)

プログラミング ガイド

• Machine Learning ライブラリ (MLlib) ガイド

SparkR

• SparkR の相互運用性における矢印の最適化 (SPARK-26759)
• ベクター化 R gapply ()、dapply ()、createDataFrame、collect () によるパフォーマンスの向上
• R シェル、IDE の “一括実行” (SPARK-24572)
• Power Iteration Clustering のための R API (SPARK-19827)

SparkR の動作の変更

次の移行ガイドで Apache Spark 2.4 と 3.0 との間の動作の変更を一覧で示しています。 これらの変更によって、Databricks Runtime の以前のバージョンで実行されていたジョブの更新が必要になる場合があります。

• 移行ガイド: SparkR (R on Spark)

プログラミング ガイド

• SparkR (R on Spark).

GraphX

プログラミング ガイド: GraphX プログラミング ガイド.

廃止

• Python 2 のサポートが廃止 (SPARK-27884)
• R < 3.4 のサポートが廃止 (SPARK-26014)

既知の問題

• パターン文字 ‘D’ を使用して年の通日を解析すると、年フィールドがない場合は、間違った結果が返されます。 これは、パターン文字列を使用して datetime 文字列を datetime 値に解析する to_timestamp などの SQL 関数で発生する可能性があります。 (SPARK-31939)
• サブクエリの内部で結合/ウィンドウ/集計を実行すると、キーの値が-0.0 と0.0 である場合に、間違った結果が返されることがあります。 (SPARK-31958)
• あいまいな自己結合エラーが原因で、予期しない動作によってウィンドウ クエリが失敗することがあります。 (SPARK-31956)
• dropDuplicates 演算子を含むストリーミング クエリは、Spark 2.x によって記述されたチェックポイントでは、再開できないことがあります。 (SPARK-31990)

メンテナンスの更新

Databricks Runtime 7.0 メンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R バージョン 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2020 年 4 月 22 日に Microsoft CRAN スナップショット からインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)