2020 年 6 月

次の機能と Azure Databricks プラットフォームの機能強化が 2020 年 6 月にリリースされました。

Databricks Connect で Databricks Runtime 6.6 のサポートを開始

2020 年 6 月 26 日

Databricks Connect で Databricks Runtime 6.6 のサポートを開始。

Databricks Runtime 7.0 ML GA

2020 年 6 月 22 日

Databricks Runtime 7.0 ML は、Databricks Runtime 7.0 の上に構築され、次の新機能を含みます。

• conda および pip コマンドによって管理されるノートブックスコープの Python ライブラリとカスタム環境。
• tensorflow、tensorboard、pytorch、xgboost、sparkdl、および hyperopt を含む主要な Python パッケージの更新。
• 新しく追加された Python パッケージは、lightgbm、nltk、petastorm、および plotly です。
• RStudio Server Open Source v1.2。

詳細については、「Databricks Runtime 7.0 ML (サポート期間終了)」の完全なリリース ノートを参照してください。

Apache Spark 3.0 で稼働する Databricks Runtime 7.0 GA

2020 年 6 月 18 日

Databricks Runtime 7.0 は Apache Spark 3.0 を搭載しており、現在は Scala 2.12 をサポートしています。

Spark 3.0 には、次のような多くの追加機能と機能強化が含まれています。

• アダプティブ クエリの実行。Spark SQL でアダプティブ実行を行う柔軟なフレームワークで、実行時のレジューサー数の変更をサポートしています。
• 種類のヒントを含め、再設計された pandas UDF。
• 構造化ストリーミング Web UI。
• ANSI SQL 標準との互換性の向上。
• 結合のヒント。

Databricks Runtime 7.0 では、次が追加されています。

• 新しいデータファイルが、ETL 中にクラウドの BLOB ストアに到着したときに増分的に処理するための改善された自動ローダー。
• べき等の等再試行で Delta Lake にデータを読み込むための改善された COPY INTO コマンド。
• 多くの改善、ライブラリの追加とアップグレード、およびバグの修正。

詳細については、「Databricks Runtime 7.0 (サポート期間終了)」の完全なリリース ノートを参照してください。

Databricks Runtime 7.0 for Genomics GA

2020 年 6 月 18 日

Databricks Runtime 7.0 for Genomics は、Databricks Runtime 7.0 の上に構築され、次のライブラリの変更を含みます。

• ADAM ライブラリがバージョン 0.30.0 から 0.32.0 に更新されました。
• Apache Spark 3.0 に基づくリリースは存在しないため、Hail ライブラリは Databricks Runtime 7.0 for Genomics に含まれていません。

MLflow モデルのステージ依存アクセス制御

2020 年 6 月 16 ～ 23 日: バージョン 3.22

ステージに依存するアクセス制御をユーザーまたはグループに割り当てることができるようになりました。これにより、ステージングまたは運用のステージで MLflow モデルレジストリ内に登録済みの MLflow モデルを管理することができます。 ステージングバージョンを管理可能および運用環境バージョンを管理可能の、2 つの新しいアクセス許可レベルが導入されました。 これらのアクセス許可を持つユーザーは、そのレベルで許可されているステージ間の遷移を実行できます。

詳しくは、「MLflow モデル ACL」をご覧ください。

Notebook で自動スクロールの無効化がサポートされるようになりました

2020 年 6 月 16 ～ 23 日: バージョン 3.22

Shift + Enter キーを使用してノートブックのセルを実行する場合、既定のノートブックの動作では、セルが表示されていない場合、次のセルに自動的にスクロールします。 自動スクロールは、 >[ユーザー設定] > [エディター設定] で無効にすることができるようになりました。 自動スクロールを無効にした場合、Shift + Enter キーを押すと、フォーカスは次のセルに移動しますが、ノートブックはそのセルまでスクロールしません。

メタストア IP アドレスが 2020 年 6 月 30 日に変更

2020 年 6 月 11 日

Azure Databricks の既定のメタストアは Azure Database for MySQL を使用します。 Azure Databricks メタストアのすべての Azure Database for MySQL IP アドレスは、2020 年 6 月 30 日に変更されます。 Azure Databricks ワークスペースが独自の仮想ネットワークにデプロイされている場合、そのデプロイのルート テーブルには Azure Databricks メタストア IP アドレスが含まれているか、そのアドレスを含むアクセスリストがあるファイアウォールまたはプロキシ アプライアンスにルーティングされている可能性があります。 その場合は、中断を回避するために、2020 年 6 月 30 日より前に、新しい MySQL IP を使用して Azure Databricks ルート テーブルまたはファイアウォールを更新する必要があります。

Internet Explorer 11 のサポートは 8 月 15 日に終了

2020 年 6 月 9 日

業界の動向に即して、お客様の安定した一貫性のあるユーザー エクスペリエンスを確保するために、Azure Databricks は 2020 年 8 月 15 日に Internet Explorer 11 のサポートを終了します。

Databricks Runtime 6.2 シリーズのサポート終了

2020 年 6 月 3 日

Databricks Runtime 6.2、Databricks Runtime 6.2 for Machine Learning、および Databricks Runtime 6.2 for Genomics のサポートが 6 月 3 日に終了しました。 Databricks サポート ライフサイクルについての記事をご覧ください。

クラスター ポリシーを使用してクラスターの作成を簡素化および制御する (パブリック プレビュー)

2020 年 6 月 2 ～ 9 日: バージョン 3.21

クラスター ポリシーは、管理者が定義した再利用可能なクラスター テンプレートで、クラスター属性に規則を適用し、ユーザーがこれらの規則に準拠するクラスターを作成するように確保します。 Azure Databricks 管理者は、クラスターポリシーを作成し、ユーザーにポリシーのアクセス許可を付与することができるようになりました。 これにより、作成されたリソースをより詳細に制御できるようになり、作業を実行するために必要な柔軟性のレベルをユーザーにもたらし、クラスターの作成エクスペリエンスが大幅に簡素化されます。

詳細については、「コンピューティング ポリシーの作成と 管理」 を参照してください。

SCIM Me エンドポイントが SCIM 準拠の応答を返すようになりました

2020 年 6 月 2 ～ 9 日: バージョン 3.21

SCIM Me エンドポイントは、グループやエンタイトルメントなどの情報を含む、/users/{id} エンドポイントと同じ情報を返すようになりました。

「CurrentUser API」をご覧ください。

IP アクセス リストを使用して Azure Databricks へのアクセスを制限する (パブリック プレビュー)

2020 年 6 月 1 日

Azure Databricks ワークスペースは、セキュリティで保護された境界を持つ既存の企業ネットワークを介してのみユーザーがサービスに接続するように構成できます。 Azure Databricks 管理者は、IP アクセス リスト API を使用して、許可リストとブロック リストを含む承認済み IP アドレスのセットを定義できます。 Web アプリケーションと REST API へのすべての着信アクセスでは、ユーザーは認可された IP アドレスから接続する必要があり、ユーザーが VPN を使用しない限り、コーヒー ショップや空港などのパブリック ネットワークからワークスペースにアクセスできないように保証されます。

この機能を使用するには、Premium プランが必要です。

詳細については、「ワークスペースの IP アクセス リストを構成する」を参照してください。