Databricks Runtime 8.1 (EoS)

Databricks は、2021 年 3 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark 3.1.1 で稼働する Databricks Runtime 8.1 に関する情報が記載されています。

新機能と機能強化

• 新しい SQL 演算子により JSON 文字列の複雑な ETL を削減する
• テーブルのアクセス制御リストの可視性を制御する
• 新しい自動ローダー オプションによりパフォーマンスが向上する
• OAuth 2.0 とサービス プリンシパルを使用して Azure Synapse Analytics に対して認証を行う (パブリック プレビュー)
• Azure Synapse Analytics テーブルに IDENTITY 列を手動で挿入する
• Azure Auto Loader でキュー操作のサービス プリンシパルを使用した認証がサポートされるようになった
• Kafka メトリックを使用してストリームの進行状況を追跡する
• Delta Lake ストリーミング ソース メトリックを使用してストリームの進行状況を追跡する

新しい SQL 演算子により JSON 文字列の複雑な ETL を削減する

新しい 2 つの SQL 演算子 (:: と :) を使用すると、JSON 文字列からデータを簡単に抽出できます。

• 式をデータ型にキャストするには、二重コロン :: を使用します。 たとえば、cast(col as int) を指定する代わりに、col::int と入力できます。
• 半構造化データからフィールドを抽出するには、1 つのコロン : を使用します。 JSON データを含む STRING 列がある場合は、JSON <json-column> からキー field を STRING として抽出する構文 <json-column>:<field> を使用して、その JSON 文字列からフィールドを抽出できます。 これを :: 構文と組み合わせて、データを特定の型にキャストできます。

たとえば、JSON データがある場合は、次のようになります。

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

データからテーブル store_data を作成します。

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

ステートメント SELECT raw:store.bicycle.price::double FROM store_data が返されます。

+--------+
| price  |
+--------+
| 19.95  |
+--------+

詳しくは、「JSON 文字列のクエリを実行する」をご覧ください。

テーブルのアクセス制御リストの可視性を制御する

テーブルに定義されているすべてのアクセス許可を一覧表示することで情報が漏洩するのを回避するために、次の場合にのみ SHOW GRANTS [<user>] <object> ステートメントを実行できるようになりました。

• Databricks SQL 管理者または <object> の所有者。
• [<user>] に指定されているユーザー。

新しい自動ローダー オプションによりパフォーマンスが向上する

自動ローダーで、キュー サービスからメッセージをフェッチする並列処理を指定するための新しいオプション cloudFiles.fetchParallelism がサポートされるようになりました。

「自動ローダー」を参照してください。

OAuth 2.0 とサービス プリンシパルを使用して Azure Synapse Analytics に対して認証を行う (パブリック プレビュー)

Azure Synapse Analytics コネクタで、OAuth 2.0 と Microsoft Entra ID サービス プリンシパルを使用した認証がサポートされるようになり、ユーザー名とパスワードの代わりにサービス プリンシパルを使用した認証を必要とするアプリケーションが有効になります。 詳細については、Azure Synapse Analytics コネクタの「Azure Databricks と Synapse の間の認証のしくみ」を参照してください。

Azure Synapse Analytics テーブルに IDENTITY 列を手動で挿入する

Azure Synapse Analytics コネクタで、DataFramesで設定された値に基づいて、Azure Synapse Analytics テーブルの IDENTITY 列への値の明示的な挿入がサポートされるようになりました。 この機能は、バッチとストリーミングの挿入でサポートされており、カスタム IDENTITY 列の値を必要とするユース ケースを可能にします。 詳細については、Azure Synapse Analytics の identityInsert パラメーターの「Azure Databricks Synapse コネクタのオプション リファレンス」を参照してください。

Azure Auto Loader でキュー操作のサービス プリンシパルを使用した認証がサポートされるようになった

自動ローダーを使用して、キュー操作に対してキュー関連のアクセス許可が付与された Microsoft Entra ID サービス プリンシパルを使用して認証できるようになりました。 この変更により、キュー操作に接続文字列を使用し、イベント操作にサービス プリンシパルを使用するという以前の要件が削除され、1 つのサービス プリンシパルを両方の操作の種類に使用できるようになります。 詳細については、「自動ローダー」を参照してください。

Kafka メトリックを使用してストリームの進行状況を追跡する

Kafka ストリーミング ソースで、バッチごとにコンシューマーが最新のものに遅れをとっているオフセットの数が報告されるようになりました。 これらのメトリックを使用して、ストリームの進行状況を追跡できます。 メトリックを表示する方法の詳細については、「Kafka メトリックを取得する」を参照してください。

Delta Lake ストリーミング ソース メトリックを使用してストリームの進行状況を追跡する

Delta Lake ストリーミング ソースで、バックログの大きさと、バッチごとにバックログに存在するファイルの数が報告されるようになりました。 これらのメトリックを使用して、ストリームの進行状況を追跡できます。 メトリックを表示する方法の詳細については、「メトリック」を参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • koalas が 1.5.0 から 1.6.0 にアップグレード。
• 新しくインストールされた Python ライブラリ:
  • plotly 4.14.3
  • retrying 1.3.3
• R が 4.0.3 から 4.0.4 にアップグレードされました。
• インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
• アップグレードされた Java ライブラリ:
  • jetty が 9.4.34.v20201102 から 9.4.36.v20210114 に
• OpenJDK 8 ビルドが Zulu 8.52.0.23-CA-linux64 (ビルド 1.8.0_282-b08) に

Apache Spark

Databricks Runtime 8.1 には、Apache Spark 3.1.1 が含まれています。 このリリースには、Databricks Runtime 8.0 (EoS) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

• [SPARK-34534] FetchShuffleBlocks を使用してブロックをフェッチするときの blockIds の順序を修正
• [SPARK-34613] [SQL] 修正ビューでヒント構成の無効化がキャプチャされない
• [SPARK-34392] [SQL] DateTimeUtils で ZoneOffset +h:mm をサポート。 getZoneId
• [SPARK-34436] [SQL] DPP が LIKE ANY/ALL 式をサポートする
• [SPARK-34497] [SQL] 組み込みの JDBC 接続プロバイダーを修正して JVM セキュリティ コンテキストの変更を復元する
• [SPARK-34543][SQL] v1 SET LOCATIONでパーティション仕様を解決する際に spark.sql.caseSensitive 構成を尊重する
• [SPARK-34550] [SQL] Hive メタストアにフィルターをプッシュしている間、InSet null 値をスキップする
• [SPARK-34531] [CORE] PrometheusServlet で試験的な API タグを削除する

メンテナンスの更新

Databricks Runtime 8.1 メンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (ビルド 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (2021 年 3 月 26 日のメンテナンス更新プログラムでの 3.8.6 からの更新)
• R: R バージョン 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)