2019 年 9 月

  • [アーティクル]

これらの機能と Azure Databricks プラットフォームの機能強化が 2019 年 9 月にリリースされました。

Note

リリースは段階的に行われます。 お使いの Azure Databricks アカウントは、リリースの初日から最大 1 週間後まで更新されない可能性があります。

Databricks Runtime 5.2 のサポート終了

2019 年 9 月 30 日

Databricks Runtime 5.2 のサポートは 9 月 30 日に終了しました。 Databricks サポート ライフサイクルについての記事をご覧ください。

Databricks Light を使用するプールによってサポートされる自動クラスターを起動する (パブリック プレビュー)

2019 年 9 月 26 日から 10 月 1 日: バージョン 3.3

7 月にプール構成参照を導入した際は、プールを使用したクラスターを自動ジョブ用に構成したときに、ランタイム バージョンとして Databricks Light を選択できませんでした。 今回で、クラスターの起動時間の短縮とコスト効率の高いクラスターの両方が実現します。

2019 年 10 月 14 日に Azure SQL Database ゲートウェイの IP アドレスが変更されます

10 月 14 日に、Microsoft はトラフィックをこれらのリージョンの新しいゲートウェイに移行します。 ワークスペースがこれらのリージョンのいずれかにあり、("VNet インジェクション" を使用して) 独自の Azure Databricks 仮想ネットワークから統合されたメタストア用にユーザー定義ルート (UDR) を構成している場合は、これらの IP アドレスが変更された場合にメタストアの IP アドレスを更新する必要がある場合があります。 ご利用のリージョンの IP アドレスの最新の一覧については、Azure SQL Database のゲートウェイ IP アドレスの表を参照してください。

標準クラスターおよび Scala で Azure Data Lake Storage 資格情報のパススルーのサポートを開始 (パブリック プレビュー)

2019 年 9 月 12 日から 17 日: バージョン 3.2

資格情報のパススルーが、Databricks Runtime 5.5 以上を実行している標準クラスター上の Python、SQL、Scala、および Databricks Runtime 6.0 ベータ版以上の SparkR で使用できるようになりました。 これまで、資格情報パススルーには、高コンカレンシー クラスターが必要でしたが、これは Scala をサポートしていませんでした。

Azure Data Lake Storage の資格情報パススルーでクラスターを有効にすると、そのクラスターで実行するコマンドは、ユーザーがストレージにアクセスするためのサービス プリンシパル資格情報を構成しなくても、Azure Data Lake Storage のデータの読み取りと書き込みができるようになります。 資格情報は、アクションを開始するユーザーから自動的に設定されます。

セキュリティのため、資格情報パススルーが有効になっている標準クラスターでコマンドを実行できるユーザーは 1 人のみです。 この 1 人のユーザーは、作成時に設定され、クラスターに対する管理アクセス許可を持つすべてのユーザーが編集できます。 管理者は、1 人のユーザーがクラスターに対して少なくともアタッチのアクセス許可を持つようにする必要があります。

資格情報パススルーの単一ユーザー

pandas DataFrames が拡大縮小なしでノートブックにレンダリング可能に

2019 年 9 月 12 日から 17 日: バージョン 3.2

Azure Databricks ノートブックでは、レンダリングされたノートブックの使用可能な幅に合わせて、displayHTML がフレーム付き HTML コンテンツの一部をスケーリングしていました。 この動作は画像に対しては望ましいですが、幅の広い pandas DataFrame ではレンダリングが不十分でした。 しかし、もうそんなことはありません。

Python バージョン セレクターが動的に表示されるようになりました

2019 年 9 月 12 日から 17 日: バージョン 3.2

Python 2 (Databricks 6.0 など) をサポートしない Databricks ランタイムを選択すると、クラスター作成ページで Python バージョン セレクターが非表示になります。

Databricks Runtime 6.0 ベータ版

2019 年 9 月 12 日

Databricks Runtime 6.0 (ベータ版) では、次を含む多くのライブラリのアップグレードと新機能が提供されます。

  • Delta Lake DML コマンド用の Scala および Java の API と、vacuum および history ユーティリティ コマンド。
  • モデル トレーニング中の読み取りと書き込みの高速化と信頼性向上のために強化された、DBFS FUSE v2 クライアント。
  • ノートブック セルごとの複数の matplotlib プロットのサポート。
  • Python 3.7 に更新し、numpy、pandas、matplotlib などのライブラリを更新しました。
  • Python 2 のサポートの終了。

詳細については、「Databricks Runtime 6.0 (サポート期間終了)」の完全なリリース ノートを参照してください。