Databricks Runtime 9.0 (EoS)

次のリリース ノートには、Apache Spark 3.1.2 で稼働する Databricks Runtime 9.0 と Databricks Runtime 9.0 Photon に関する情報が記載されています。 Databricks は、2021 年 8 月にこれらのイメージをリリースしました。 Photon はパブリック プレビュー段階にあります。

訂正

これらのリリース ノートの以前のバージョンでは、Apache Parquet の依存関係が 1.10 から 1.12 にアップグレードされたと誤って記載されています。 実際、Parquet の依存関係はバージョン 1.10 のままです。 間違ったリリース ノートが削除されました。

新機能と機能強化

• データセットの概要統計用の新しい API (パブリック プレビュー)
• Azure Synapse コネクタの外部データ ソースの構成が簡単
• 必要に応じて、セッションを Amazon Redshift コネクタに対して指定された期間に制限する
• 自動ローダー
• SQL
• R のサポート
• 構造化ストリーム ステートフル処理の初期状態を指定してやり直しを回避する
• Delta MERGE INTO コマンドの低シャッフル実装が利用可能 (パブリック プレビュー)

データセットの概要統計用の新しい API (パブリック プレビュー)

Databricks Utilities の新しい dbutils.data.summarize コマンドを使用すると、Spark DataFrame の列に関する概要統計を自動的に計算し、結果を対話形式で表示する Spark ジョブを起動できます。 この関数は、Scala と Python で使用できます。 「データ ユーティリティ (dbutils.data)」を参照してください。

Azure Synapse コネクタの外部データ ソースの構成が簡単

Azure Synapse Analytics のクエリ データ コネクタの新しい externalDataSource オプションを使用すると、Azure Synapse データベースからの読み取りに、事前にプロビジョニングされた外部データ ソースを使用できます。 externalDataSource オプションを使用すると、以前に必要だった CONTROL アクセス許可が不要になります。

externalDataSource を設定すると、外部データ ソースと、一時ストレージの構成に使用される tempDir オプションは、ストレージ アカウント内の同じコンテナーを参照する必要があります。

必要に応じて、セッションを Amazon Redshift コネクタに対して指定された期間に制限する

Azure Databricks コネクタを使用した Amazon Redshift のクエリで新しい fs.s3a.assumed.role.session.duration オプションを使用すると、Redshift が想定ロールで一時的な S3 バケットにアクセスしているときに、オプションでセッションの期間を設定できます。

自動ローダー

• 最適化されたファイルの一覧
• 最適化されたイメージ データ ストレージ
• バイナリ ファイルの画像サムネイル (パブリック プレビュー)
• DirectoryRename イベントにより、複数のファイルのアトミック処理が可能

最適化されたファイルの一覧

自動ローダーの最適化により、AWS S3、Azure Data Lake Storage Gen2 (ADLS Gen2)、Google Cloud Storage (GCS) など、クラウド ストレージ内の入れ子になったディレクトリを一覧に含めるときに、パフォーマンスが向上し、コストを削減できます。

たとえば、これらのディレクトリ内のすべてのファイルを検索するために /some/path/YYYY/MM/DD/HH/fileName としてアップロードされるファイルがある場合、すべてのサブディレクトリの並列一覧を実行するために自動ローダーが使用され、365 (1 日あたり) * 24 (1 時間あたり) = 8760 LIST API ディレクトリが、各年のディレクトリの基になるストレージに対して呼び出されます。 自動ローダーは、これらのストレージ システムからフラット化された応答を受け取ることで、ストレージ システム内のファイル数に対する API 呼び出し数を、各 API 呼び出しによって返される結果の数で割った値 (S3 の場合は 1000、ADLS Gen2 の場合は 5000、GCS の場合は 1024) に低減し、クラウド コストを大幅に削減します。

最適化されたイメージ データ ストレージ

自動ローダーは、取り込み中の画像データを自動検出し、差分テーブルのストレージを最適化して読み取りおよび書き込みのパフォーマンスを向上させることができます。 「イメージまたはバイナリ データを Delta Lake for ML に取り込む」を参照してください。

バイナリ ファイルの画像サムネイル (パブリック プレビュー)

自動ローダーを使用して Delta テーブルとして読み込まれた、または保存された binaryFile 形式の画像に注釈がアタッチされ、Azure Databricks ノートブック内のテーブルを表示するときに、画像のサムネイルが表示されるようになります。 詳細については、「画像」を参照してください。

DirectoryRename イベントにより、複数のファイルのアトミック処理が可能

Azure Data Lake Storage Gen2 で Databricks Runtime 9.0 以上で作成された自動ローダー ストリームは、ディレクトリ名の変更を含め、RenameDirectory イベントをリッスンするように、ファイル イベント通知を設定します。 ディレクトリ名の変更を使用すると、複数のファイルを自動ローダーにアトミックに表示できます。

SQL

• SELECT * 内の列を除外する (パブリック プレビュー)
• SQL スカラー関数 (パブリック プレビュー)
• FROM サブクエリ内の先行する別名と列の参照 (パブリック プレビュー)

SELECT * 内の列を除外する (パブリック プレビュー)

SELECT * で EXCEPT キーワードがサポートされるようになりました。これにより、指定したトップ レベルの列を展開から除外できます。 たとえば、SELECT * EXCEPT (b) FROM tbl をスキーマ (a, b, c) を持つテーブルが (a, c) に展開されることからです。

SQL スカラー関数 (パブリック プレビュー)

CREATE FUNCTION では、SQL スカラー関数がサポートされるようになりました。 一連の引数を受け取り、1 つのスカラー型の値を返すスカラー関数を作成できます。 SQL 関数の本文に任意の式を指定できます。 次に例を示します。

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

詳細については、「CREATE FUNCTION (SQL および Python)」を参照してください。

FROM サブクエリ内の先行する別名と列の参照 (パブリック プレビュー)

クエリの FROM 句のサブクエリの前に、LATERAL キーワードを使用して、前の FROM 項目の別名と列を参照できます。 次に例を示します。

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

LATERAL キーワードは、INNER、CROSS、LEFT (OUTER) JOIN をサポートします。

パラメーターとパラメーターを参照してください。

R のサポート

Notebook スコープの R ライブラリ (パブリック プレビュー)

Notebook スコープの Python ライブラリを使用すると、ライブラリをインストールし、ノートブック セッションにスコープを設定した環境を作成できます。 これらのライブラリは、同じクラスターで実行されている他のノートブックには影響しません。 ライブラリはドライバー ノードとワーカー ノードの両方で使用できます。そのため、ユーザー定義関数でライブラリを参照できます。 「Notebook スコープの R ライブラリ」を参照してください。

R ノートブックの警告メッセージ

warn オプションの既定値は、R ノートブック内で 1 に設定されます。 その結果、すべての警告がコマンド結果の一部として公開されます。 オプションの詳細については、warn オプションとオプション設定に関する記事を参照してください。

構造化ストリーム ステートフル処理の初期状態を指定してやり直しを回避する

[flat]MapGroupsWithState 演算子を使用して、構造化ストリーム ステートフル処理に対するユーザー定義の初期状態を指定できるようになりました。

「mapGroupsWithState の初期状態のを指定する」を参照してください。

Delta MERGE INTO コマンドの低シャッフル実装が利用可能 (パブリック プレビュー)

Delta MERGE INTO コマンドには、変更されていない行のシャッフルを減らす新しい実装が用意されています。 これによってコマンドのパフォーマンスが向上し、テーブルに対する既存のクラスタリング (Z オーダーなど) を保持するのに役立ちます。 低シャッフル マージを有効にするには、spark.databricks.delta.merge.enableLowShuffle を true に設定します。 「Azure Databricks での低シャッフル マージ」を参照してください。

バグの修正

• 同じ名前のビューを作成することで、ビューを上書きすることがなくなりました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • certifi が 2021.5.30 から 2020.12.5 へ
  • chardet が 3.0.4 から 4.0.0 へ
  • Cython が 0.29.21 から 0.29.23 へ
  • デコレーターが 4.4.2 から 5.0.6 へ
  • ipython が 7.19.0 から 7.22.0 へ
  • joblib が 0.17.0 から 1.0.1 へ
  • jupyter-client が 6.1.7 から 6.1.12 へ
  • jupyter-core が 4.6.3 から 4.7.1 へ
  • kiwisolver が 1.3.0 から 1.3.1 へ
  • matplotlib が 3.2.2 から 3.4.2 へ
  • pandas が 1.1.5 から 1.2.4 へ
  • pip が 20.2.4 から 21.0.1 へ
  • prompt-toolkit が 3.0.8 から 3.0.17 へ
  • protobuf が 3.17.3 から 3.17.2 へ
  • ptyprocess が 0.6.0 から 0.7.0 へ
  • pyarrow が 1.0.1 から 4.0.0 へ
  • Pygments が 2.7.2 から 2.8.1 へ
  • pyzmq が 19.0.2 から 20.0.0 へ
  • 要求が 2.24.0 から 2.25.1 へ
  • s3transfer が 0.3.6 から 0.3.7 へ
  • scikit-learn が 0.23.2 から 0.24.1 へ
  • scipy が 1.5.2 から 1.6.2 へ
  • seaborn が 0.10.0 から 0.11.1 へ
  • setuptools が 50.3.1 から 52.0.0 へ
  • statsmodels が 0.12.0 から 0.12.2 へ
  • tornado が 6.0.4 から 6.1 へ
  • virtualenv が 20.2.1 から 20.4.1 へ
  • ホイールが 0.35.1 から 0.36.2 へ
• アップグレードされた R ライブラリ:
  • マトリックスが 1.3-3 から 1.3-4 へ

Apache Spark

Databricks Runtime 9.0 には、Apache Spark 3.1.2 が含まれています。 このリリースには、Databricks Runtime 8.4 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。

• [SPARK-35886] [SQL][3.1] PromotePrecision は genCodePromotePrecision を上書きすべきでなく、genCode を上書きすべきでない
• [SPARK-35879] [CORE][SHUFFLE] collectFetchRequests によって発生したパフォーマンスの回帰を修正する
• [SPARK-35817] [SQL][3.1] ワイド Avro テーブルに対するクエリのパフォーマンスを復元する
• [SPARK-35841] [SQL] 次の場合に文字列を 10 進型にキャストすると機能しない
• [SPARK-35783] [SQL] ORC データの読み取りを減らすために、タスク構成の読み取り列の一覧を設定する
• [SPARK-35576] [SQL][3.1] Set コマンドの結果で機密情報を編集する
• [SPARK-35449] [SQL][3.1] elseValue が設定されている場合にのみ、CaseWhen 値から共通の式を抽出する
• [SPARK-35288] [SQL] StaticInvoke は、厳密な引数クラスの一致なしでメソッドを見つける必要がある
• [SPARK-34794] [SQL] 入れ子になった DataFrame 関数でのラムダ変数名の問題を修正する
• [SPARK-35278] [SQL] Invoke 正しい数のパラメーターでメソッドを見つける必要がある
• [SPARK-35226] [SQL] JDBC データソースでの refreshKrb5Config オプションのサポート
• [SPARK-35244] [SQL] Invoke は元の例外をスローする必要がある
• [SPARK-35213] [SQL] チェーン化された withField 演算で、入れ子になった構造体の正しい順序を保持する
• [SPARK-35087] [UI] ステージ詳細ページの実行プログラムによるテーブル集計メトリックの一部の列が誤って表示されます。
• [SPARK-35168] [SQL] mapred.reduce.tasks が、adaptive.coalescePartitions.initialPartitionNum でなく shuffle.partitions である必要がある
• [SPARK-35127] [UI] 異なるステージ詳細ページを切り替えると、新しく開かれたページのエントリ項目が空白になる場合がある
• [SPARK-35142] [PYTHON][ML] rawPredictionUDF の OneVsRestModel 内の戻り値の誤った型を修正する
• [SPARK-35096] [SQL] SchemaPruning は spark.sql.caseSensitive config に従う必要がある
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias は UnresolvedAlias を作成するべきではない
• [SPARK-35080] [SQL] サブクエリを集計するときにのみ相関等値述語のサブセットを許可する
• [SPARK-35117] [UI] 進行中のタスクの比率を強調表示するために進行状況バーを元に戻す
• [SPARK-35136] LiveStage.info の初期 null 値を削除する
• [SPARK-34834] [NETWORK] TransportResponseHandler の潜在的な Netty メモリ リークを修正する
• [SPARK-35045] [SQL] univocity 内で入力バッファーを制御するための内部オプションを追加する
• [SPARK-35014] フォールド可能な式を再書き込みしないように PhysicalAggregation パターンを修正する
• [SPARK-35019] [PYTHON][SQL] pyspark.sql.* の型ヒントの不一致を修正する
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() はパーティション値が null であることを尊重する必要がある
• [SPARK-34630] [PYTHON] pyspark.version の typehint を追加する
• [SPARK-34963] [SQL] 構造体の配列から大文字と小文字を区別しない構造体フィールドを抽出するために、入れ子になった列の排除を修正する
• [SPARK-34988] [CORE][3.1] Jetty for CVE-2021-28165 をアップグレードする
• [SPARK-34922] [SQL][3.1] CBO で相対コスト比較関数を使用する
• [SPARK-34970] [SQL][SECURITY][3.1] explain() の出力でマップの種類のオプションを編集する
• [SPARK-34923] [SQL] より多くのプランでメタデータの出力を空にする必要がある
• [SPARK-34949] [CORE] 実行プログラムのシャットダウン時に BlockManager が再登録されないようにする
• [SPARK-34939] [CORE] 配信されるマップの状態を逆シリアル化できない場合に、フェッチ エラーの例外をスローする
• [SPARK-34909] [SQL] conv() での負の符号なしへの変換を修正する
• [SPARK-34845] [CORE] ProcfsMetricsGetter は部分的な procfs メトリックを返すべきでない
• [SPARK-34814] [SQL] LikeSimplification は NULL を処理する必要がある
• [SPARK-34876] [SQL] null 非許容の集計の defaultResult を入力する
• [SPARK-34829] [SQL] 高階関数の結果を修正する
• [SPARK-34840] [SHUFFLE] マージされたシャッフルの破損のケースを修正する ...
• [SPARK-34833] [SQL] 相関サブクエリ用に右側の埋め込みを正しく適用する
• [SPARK-34630] [PYTHON][SQL] pyspark.sql.Column.contains の typehint を追加した
• [SPARK-34763] [SQL] col(), $”name” と df(“name”) は引用符で囲まれた列名を正しく処理する必要がある
• [SPARK-33482] [SPARK-34756] [SQL] FileScan 等式チェックを修正する
• [SPARK-34790] [CORE] io 暗号化が有効になっている場合、バッチ内のシャッフル ブロックのフェッチを無効にする
• [SPARK-34803] [PYSPARK] pandas または pyarrow がインポートに失敗した場合に発生する ImportError を渡す
• [SPARK-34225] [CORE] URI 形式の文字列が addFile または addJar に渡されたときにそれ以上エンコードしない
• [SPARK-34811] [CORE] シークレットやトークンなどの fs.s3a.access.key を編集する
• [SPARK-34796] [SQL][3.1] doProduce() 内の LIMIT コード生成のカウンター変数を初期化する
• [SPARK-34128] [SQL] THRIFT-4805 に関与する望ましくない TTransportException 警告を抑制する
• [SPARK-34776] [SQL] 入れ子になった列の排除で、ウィンドウで生成された属性を排除するべきではない
• [SPARK-34087] [3.1][SQL] ExecutionListenerBus のメモリ リークを修正する
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords は、コンテキストではなく Spark クラスローダーを使用する必要がある
• [SPARK-34719] [SQL][3.1] 列名が重複したビュー クエリを正しく解決する
• [SPARK-34766] [SQL][3.1] ビューの maven 構成をキャプチャしない
• [SPARK-34731] [CORE] EventLoggingListener でのプロパティの編集時に ConcurrentModificationException を回避する
• [SPARK-34737] [SQL][3.1] TIMESTAMP_SECONDS の入力 float を double にキャストする
• [SPARK-34749] [SQL][3.1] ResolveCreateNamedStruct の簡略化
• [SPARK-34768] [SQL] Univocity の既定の入力バッファー サイズを尊重する
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists はデータベースが存在しない場合に失敗すべきでない
• [SPARK-34504] [SQL] DDL コマンドの SQL 一時ビューが不必要に解決されるのを回避する
• [SPARK-34727] [SQL] float から timestamp へのキャストで不一致を修正する
• [SPARK-34723] [SQL] 全体ステージでの部分式の削除に対するパラメーターの型を修正する
• [SPARK-34724] [SQL] getMethod を getDeclaredMethod の代わりに使用して解釈された評価を修正する
• [SPARK-34713] [SQL] ExtractValue 使用した CreateStruct によりグループを修正する
• [SPARK-34697] [SQL] DESCRIBE FUNCTION と SHOW FUNCTIONS が || (文字列連結演算子) について説明するのを許可する
• [SPARK-34682] [SQL] PrivateMethodTester をリフレクションの代わりに使用する
• [SPARK-34682] [SQL] CustomShuffleReaderExec の正規化エラー チェックの回帰を修正する
• [SPARK-34681] [SQL] 不等号条件で左側を構築するときの完全外部シャッフル ハッシュ結合のバグを修正する
• [SPARK-34545] [SQL] pyrolite の valueCompare 機能の問題を修正する
• [SPARK-34607] [SQL][3.1] Utils.isMemberClass を追加して jdk8u での形式に誤りがあるクラス名エラーを修正する
• [SPARK-34596] [SQL] Utils.getSimpleName を使用して NewInstance.doGenCode で形式に誤りがあるクラス名をヒットするのを回避する
• [SPARK-34613] [SQL] 修正ビューでヒント構成の無効化がキャプチャされない
• [SPARK-32924] [WEBUI] 正しい順序で並べ替えられたマスター UI 内の期間列を作成する
• [SPARK-34482] [SS] StreamExecution.logicalPlan のアクティブな SparkSession を修正する
• [SPARK-34567] [SQL] CreateTableAsSelect もメトリックを更新する必要がある
• [SPARK-34599] [SQL] INSERT INTO OVERWRITE で DSv2 に対するドットを含むパーティション列がサポートされない問題を解決する
• [SPARK-34577] [SQL] DESCRIBE NAMESPACE のデータセットへの列のドロップまたは追加を修正する
• [SPARK-34584] [SQL] 静的パーティションも v2 テーブルに挿入するときに StoreAssignmentPolicy に従う必要がある
• [SPARK-34555] [SQL] DataFrame からのメタデータ出力の解決
• [SPARK-34534] FetchShuffleBlocks を使用してブロックをフェッチするときの blockIds の順序を修正
• [SPARK-34547] [SQL] 解決にメタデータ列のみを最終手段として使用する
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap がドットを持つ列名に対して失敗する
• [SPARK-34561] [SQL] v2 DESCRIBE TABLE のデータセットとの間の列のドロップまたは追加を修正する
• [SPARK-34556] [SQL] 重複する静的パーティション列のチェックで大文字と小文字が区別される必要がある
• [SPARK-34392] [SQL] DateTimeUtils で ZoneOffset +h:mm をサポート。 getZoneId
• [SPARK-34550] [SQL] Hive メタストアにフィルターをプッシュしている間、InSet null 値をスキップする
• [SPARK-34543][SQL] v1 SET LOCATIONでパーティション仕様を解決する際に spark.sql.caseSensitive 構成を尊重する
• [SPARK-34436] [SQL] DPP が LIKE ANY/ALL 式をサポートする
• [SPARK-34531] [CORE] PrometheusServlet で試験的な API タグを削除する
• [SPARK-34497] [SQL] 組み込みの JDBC 接続プロバイダーを修正して JVM セキュリティ コンテキストの変更を復元する
• [SPARK-34515] [SQL] getPartitionsByFilter 中に InSet に null 値が含まれている場合に NPE を修正する
• [SPARK-34490] [SQL] ビューがドロップされたテーブルを参照している場合、分析は失敗する
• [SPARK-34473] [SQL] DataFrameReader.schema(StructType) での NPE の回避
• [SPARK-34384] [CORE] ResourceProfile API の不足しているドキュメントを追加する
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext が、競争上の問題でハングする可能性がある
• [SPARK-20977] [CORE] CollectionAccumulator の状態に非最終フィールドを使用する
• [SPARK-34421] [SQL] CTE を使用してビューの一時関数とビューを解決する
• [SPARK-34431] [CORE] hive-site.xml を 1 回だけ読み込む
• [SPARK-34405] [CORE] PrometheusServlet クラスの timersLabels の平均値を修正
• [SPARK-33438] [SQL] set -v コマンドに対して定義された SQL Confs を使用する積極的 init オブジェクト
• [SPARK-34158] pom.xml 内の唯一の開発者 Matei の誤った url
• [SPARK-34346] [CORE][SQL][3.1] spark.buffer.size によって設定された io.file.buffer.size が誤った hive-site.xml の読み込みでオーバーライドされると、perf 回帰を引き起こす可能性がある
• [SPARK-34359] [SQL][3.1] SHOW DATABASES の出力スキーマを復元するためにレガシ構成を追加する
• [SPARK-34331] [SQL] DS v2 メタデータ col 解決の高速化
• [SPARK-34318] [SQL][3.1] Dataset.colRegex は改行を含む列名と修飾子を操作できる必要がある
• [SPARK-34326] [CORE][SQL] SPARK-31793 に追加された UT を一時パスの長さに応じて修正
• [SPARK-34319] [SQL] FlatMapCoGroupsInPandas/MapInPandas の重複属性を解決する
• [SPARK-34310] [CORE][SQL] map と flatten を flatMap に置き換える
• [SPARK-34083] [SQL][3.1] TPCDS の元の定義を char/varchar 列に対して使用する
• [SPARK-34233] [SQL][3.1] バイナリ比較での文字の埋め込みの FIX NPE
• [SPARK-34270] [SS] StateStoreMetrics を結合して StateStoreCustomMetric をオーバーライドすべきでない
• [SPARK-34144] [SQL] LocalDate の値と Instant の値を JDBC 関係に書き込もうとするときにスローされる例外
• [SPARK-34273] [CORE] SparkContext の停止時に BlockManager を再登録しない
• [SPARK-34262] [SQL][3.1] ALTER TABLE .. SET LOCATION 内の v1 テーブルのキャッシュされたデータを更新する
• [SPARK-34275] [CORE][SQL][MLLIB] filter と size を count に置き換える
• [SPARK-34260] [SQL] 一時ビューを 2 回作成するときの UnresolvedException を修正
• [SPARK-33867] [SQL] SQL クエリの生成時に Instant 値と LocalDate 値が処理されない
• [SPARK-34193] [CORE] TorrentBroadcast ブロック マネージャーの使用停止レースの修正
• [SPARK-34221] [WEBUI] UI ページでステージが失敗した場合の対応するエラー メッセージが正しく表示されることを保証する
• [SPARK-34236] [SQL] v2 上書き w/ null 静的パーティション発生が式をソース フィルター: null に変換できないことの修正
• [SPARK-34212] [SQL] Parquet ファイルからの不適切な 10 進読み取りを修正
• [SPARK-34244] [SQL] regexp_extract_all の Scala 関数バージョンを削除する
• [SPARK-34235] [SS] spark.sql.hive をプライベート パッケージにする
• [SPARK-34232] [CORE]ログ内の SparkListenerEnvironmentUpdate イベントを編集する
• [SPARK-34229] [SQL] Avro はファイル スキーマを使用して 10 進値を読み取る必要がある
• [SPARK-34223] [SQL] InsertIntoHadoopFsRelationCommand 内の null 値を持つ静的パーティションの NPE を修正する
• [SPARK-34192] [SQL] char パディングを書き込み側に移動し、読み取り側でも長さのチェックを削除する
• [SPARK-34203] [SQL] null パーティション値を __HIVE_DEFAULT_PARTITION__ に v1 In-Memory カタログで変換する
• [SPARK-33726] [SQL] 集計中に重複したフィールド名を修正する
• [SPARK-34133] [AVRO] Catalyst-to-Avro フィールド照合の実行時に大文字と小文字の区別を尊重する
• [SPARK-34187] [SS] オフセット検証のチェック時にポーリング中に取得した使用可能なオフセット範囲を使用する
• [SPARK-34052] [SQL][3.1] “CACHE TABLE .. を使用して作成した一時ビューの SQL テキストを格納する AS SELECT …”
• [SPARK-34213] [SQL] LOAD DATA 内の v1 テーブルのキャッシュされたデータを更新する
• [SPARK-34191] [PYTHON][SQL] udf オーバーロードの型指定を追加する
• [SPARK-34200] [SQL] あいまいな列参照で属性の可用性を考慮する必要がある
• [SPARK-33813] [SQL][3.1] JDBC ソースが MS SQL Server の空間の型を処理できない問題を解決する
• [SPARK-34178] [SQL] MultiInstanceRelation.newInstance によって作成された新しいノードのタグをコピーする
• [SPARK-34005] [CORE][3.1] タスク エンドでの Executor ごとにピーク メモリ メトリックを更新する
• [SPARK-34115] [CORE] 速度低下を回避するために SPARK_TESTING を lazy val としてチェックする
• [SPARK-34153] [SQL][3.1][3.0] 使用されていない getRawTable() を HiveExternalCatalog.alterPartitions() から削除する
• [SPARK-34130] [SQL] StaticInvoke を使用した char varchar 埋め込みと長さチェックの改善
• [SPARK-34027] [SQL][3.1] ALTER TABLE .. RECOVER PARTITIONS のキャッシュを更新する
• [SPARK-34151] [SQL] java.io.File.toURL を java.io.File.toURI.toURL に置き換える
• [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala を org/apache/spark/sql/errors に移動する
• [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector の追加
• [SPARK-33790] [CORE][3.1] getFileStatus の SingleFileEventLogFileReader での rpc 呼び出しを減らす
• [SPARK-34118] [CORE][SQL][3.1] exists または forall でのフィルターと空のチェックを置き換える
• [SPARK-34114] [SQL] 読み取り側の char の長さチェックと埋め込みに対して右側にトリミングすべきでない
• [SPARK-34086] [SQL][3.1] RaiseError が生成するコードが多すぎ、char varchar の長さチェックでの codegen が失敗する可能性がある
• [SPARK-34075] [SQL][CORE] パーティション推論のために非表示のディレクトリが一覧表示される
• [SPARK-34076] [SQL] キャッシュが空でない場合に SQLContext.dropTempTable が失敗する
• [SPARK-34084] [SQL][3.1] ALTER TABLE .. ADD PARTITION のテーブル統計の自動更新を修正する
• [SPARK-34090] [SS] KafkaTokenUtil.needTokenUpdate で使用される HadoopDelegationTokenManager.isServiceEnabled の結果をキャッシュする
• [SPARK-34069] [CORE] キル バリア タスクは SPARK_JOB_INTERRUPT_ON_CANCEL を尊重する必要がある
• [SPARK-34091] [SQL]シャッフル バッチ フェッチは有効にした後で無効にできる必要がある
• [SPARK-34059] [SQL][CORE][3.1] map でなく for/foreach を使用して積極的に実行されることを確認する
• [SPARK-34002] [SQL] ScalaUDF でのエンコーダーの使用を修正する
• [SPARK-34060] [SQL][3.1] ALTER TABLE .. DROP PARTITION による統計の更新中の Hive テーブルのキャッシュを修正する
• [SPARK-31952] [SQL] 集計の実行時の誤ったメモリ スピル メトリックを修正する
• [SPARK-33591] [SQL][3.1] パーティション仕様値の null を認識する
• [SPARK-34055] [SQL][3.1] ALTER TABLE .. ADD PARTITION のキャッシュを更新する
• [SPARK-34039] [SQL][3.1] ReplaceTable はキャッシュを無効にする必要がある
• [SPARK-34003] [SQL] PaddingAndLengthCheckForCharVarchar と ResolveAggregateFunctions の間の規則の競合を修正する
• [SPARK-33938] [SQL][3.1] Like Any/All を LikeSimplification によって最適化する
• [SPARK-34021] [R] CRAN 申請に関する SparkR ドキュメントのハイパー リンクを修正する
• [SPARK-34011] [SQL][3.1][3.0] ALTER TABLE .. RENAME TO PARTITION のキャッシュを更新する
• [SPARK-33948] [SQL] Scala 2.13 での MapObjects.doGenCode メソッドの CodeGen エラーを修正する
• [SPARK-33635] [SS] KafkaTokenUtil.needTokenUpdate でのチェックの順序を調整して、パフォーマンス回帰を修正
• [SPARK-33029] [CORE][WEBUI] UI Executor ページでドライバーが誤って除外としてマークされる問題を修正
• [SPARK-34015] [R] gapply での入力タイミングの修正
• [SPARK-34012] [SQL] 構成 spark.sql.legacy.parser.havingWithoutGroupByAsWhere が true の場合の動作を移行ガイドと整合
• [SPARK-33844] [SQL][3.1] InsertIntoHiveDir コマンドでも col 名を確認する必要がある
• [SPARK-33935] [SQL] CBO cost 関数の修正
• [SPARK-33100] [SQL] spark-sql の角かっこで囲まれたコメント内のセミコロンを無視する
• [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException を修正
• [SPARK-33992] [SQL] transformUpWithNewOutput が allowInvokingTransformsInAnalyzer を追加するようにオーバーライドする
• [SPARK-33894] [SQL] Scala 2.13 でのランタイム コンパイル エラーを回避するために mllib 内のプライベート ケース クラスの可視性を変更する
• [SPARK-33950] [SQL][3.1][3.0] v1 ALTER TABLE .. DROP PARTITION 内のキャッシュを更新する
• [SPARK-33980] [SS] spark.readStream.schema での char/varchar の無効化
• [SPARK-33945] [SQL][3.1] expr ツリーで構成されるランダム シードを処理する
• [SPARK-33398] Spark 3.0 より前のツリー モデルの読み込みを修正
• [SPARK-33963] [SQL] HiveTableRelation をテーブル統計なしで正規化する
• [SPARK-33906] [WEBUI] 未定義の peakMemoryMetrics による UI Executor ページのスタックのバグを修正する
• [SPARK-33944] [SQL] SharedState オプション内のウェアハウス キーのログ記録が正しくない
• [SPARK-33936] [SQL][3.1] コネクタのインターフェイスが追加されたときにバージョンを追加する
• [SPARK-33916] [CORE] フォールバック ストレージ オフセットを修正し、圧縮コーデックのテストの対象範囲を向上する
• [SPARK-33899] [SQL][3.1] v1 SHOW TABLES/VIEWS の spark_catalog でのアサート エラーを修正する
• [SPARK-33901] [SQL] DDL 後の Char と Varchar の表示エラーを修正する
• [SPARK-33897] [SQL] オプション ‘cross’ を join メソッドで設定できない
• [SPARK-33907] [SQL][3.1] 解析オプションが空の場合、JsonToStructs の列のみを削除する
• [SPARK-33621] [SPARK-33784] [SQL][3.1] データ ソースの再書き込み規則を挿入する方法を追加する
• [SPARK-33900] [WEBUI] remotebytesread のみが使用可能な場合にシャッフル読み取りサイズまたはレコードを正しく表示
• [SPARK-33892] [SQL] char/varchar を DESC と SHOW CREATE TABLE 内で表示する
• [SPARK-33895] [SQL] MetaOperation of ThriftServer での Char と Varchar の失敗
• [SPARK-33659] [SS] DataStreamWriter.toTable API の現在の動作を文書化する
• [SPARK-33893] [CORE] executorList からフォールバック ブロック マネージャーを除外する
• [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator を使用してタスクの終了後に消費を停止する
• [SPARK-33889] [SQL][3.1] V2 テーブルで SHOW PARTITIONS からの NPE を修正する
• [SPARK-33879] [SQL] Char Varchar 値がパーティション列として一致エラーで失敗する
• [SPARK-33877] [SQL] 列リストでの INSERT の SQL リファレンス ドキュメント
• [SPARK-33876] [SQL] 外部の場所を持つテーブルから char/varchar を読み取る長さチェックを追加する
• [SPARK-33846] [SQL] StructType.toDDL 内の入れ子になったスキーマのコメントを含める
• [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst を特殊な配列値と照合する
• [SPARK-33834] [SQL] ALTER TABLE CHANGE COLUMN を Char と Varchar と一緒に検証する
• [SPARK-33853] [SQL] EXPLAIN CODEGEN と BenchmarkQueryTest でサブクエリ コードが表示されない
• [SPARK-33836] [SS][PYTHON] DataStreamReader.table と DataStreamWriter.toTable を公開する
• [SPARK-33829] [SQL][3.1] v2 テーブルの名前を変更するとキャッシュが再作成される必要がある
• [SPARK-33756] [SQL] BytesToBytesMap の MapIterator をべき等にする
• [SPARK-33850] [SQL] AQE が有効な場合、EXPLAIN FORMATTED にサブクエリのプランが表示されない
• [SPARK-33841] [CORE][3.1] 高負荷の状態で SHS からジョブが断続的に消える問題を修正
• [SPARK-33593][SQL] ベクター リーダーに、バイナリ パーティション値を含む正しくないデータが返される
• [SPARK-26341] [WEBUI] ステージ レベルの実行プログラムのメモリ メトリックの [ステージ] タブでの公開
• [SPARK-33831] [UI] jetty 9.4.34 への更新
• [SPARK-33822] [SQL] HashJoin で CastSupport.cast メソッドを使用する
• [SPARK-33774] [UI][CORE] "マスターに戻る" で、スタンドアロン クラスターの 500 エラーが返される
• [SPARK-26199] [SPARK-31517] [R] … の処理のための戦略を修正する mutate の名前
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader および RollingEventLogFilesFileReader を package private にする必要がある
• [SPARK-33697] [SQL] RemoveRedundantProjects は既定で列の順序付けを要求する必要がある
• [SPARK-33752] [SQL][3.1] AnalysisException の getSimpleMessage がセミコロンを繰り返し追加しないようにする
• [SPARK-33788] [SQL][3.1][3.0][2.4] NoSuchPartitionsException が HiveExternalCatalog.dropPartitions() からスローされる
• [SPARK-33803] [SQL] DESCRIBE TABLE コマンド内のキーでテーブル プロパティを並べ替える
• [SPARK-33786] [SQL] テーブル名を変更する場合は、キャッシュのストレージ レベルを尊重する必要がある
• [SPARK-33273] [SQL] サブクエリの実行での競争状態を修正する
• [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE はテーブル自体を再キャッシュする必要がある
• [SPARK-33777] [SQL] V2 SHOW PARTITIONS の出力を並べ替える
• [SPARK-33733] [SQL] PullOutNondeterministic は、確定的なフィールドを確認して収集する必要がある
• [SPARK-33764] [SS] 状態ストアのメンテナンス間隔を SQL 構成として作成する
• [SPARK-33729] [SQL] キャッシュを更新するときに、Spark はデータの再キャッシュ時にキャッシュされたプランを使用すべきでない
• [SPARK-33742] [SQL][3.1] HiveExternalCatalog.createPartitions() から PartitionsAlreadyExistException がスローされる
• [SPARK-33706] [SQL] partitionExists() 内に完全に指定されたパーティション識別子が必要
• [SPARK-33740] [SQL] hive-site.xml の hadoop 構成によって既存の hadoop 構成がオーバーライドされる可能性がある
• [SPARK-33692] [SQL] ビューでは、キャプチャされたカタログと名前空間を使用して関数を参照する必要がある
• [SPARK-33669] yarn クライアント モードで sc.stop を行ったときの YARN アプリケーション状態モニターからの間違ったエラー メッセージ
• [SPARK-32110] [SQL] HyperLogLog++ で特別な浮動数を正規化する
• [SPARK-33677] [SQL] パターンに escapeChar が含まれている場合は、LikeSimplification ルールをスキップ
• [SPARK-33693] [SQL] spark.sql.hive.convertCTAS の非推奨
• [SPARK-33641] [SQL] 誤った結果を生成する新しい char/varchar 型をパブリック API で無効にする
• [SPARK-32680] [SQL] 未解決のクエリで V2 CTAS を事前処理しない
• [SPARK-33676] [SQL] V2 ALTER TABLE .. ADD/DROP PARTITION 内のスキーマに対するパーティション仕様の正確な一致が必要
• [SPARK-33670] [SQL] v1 SHOW TABLE EXTENDED で、パーティション プロバイダーが Hive であることを確認する
• [SPARK-33663] [SQL] キャッシュ解除が、存在しない一時ビューで呼び出されるべきでない
• [SPARK-33667][SQL] v1 SHOW PARTITIONS でパーティション仕様を解決する際に spark.sql.caseSensitive 構成を尊重する
• [SPARK-33652] [SQL] DSv2: DeleteFrom はキャッシュを更新する必要がある

メンテナンスの更新

「Databricks Runtime 9.0 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2021 年 7 月 28 日の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)