2021 年 5 月

  • [アーティクル]

次の機能と Azure Databricks プラットフォームの機能強化が 2021 年 5 月にリリースされました。

Note

リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。

Databricks Machine Learning: 全 ML ライフサイクル向けのデータ ネイティブおよび共同作業ソリューション

2021 年 5 月 27 日

新しい Machine Learning ペルソナは、Azure Databricks UI のサイドバーから選択でき、モデル レジストリやパブリック プレビューの 4 つの新機能を含む、ML 向けの新しい特設型環境に簡単にアクセスできるようになります。

  • 便利なリソース、最近使用したもの、作業の開始リンクが記載された新しいダッシュボード ページ。
  • 実験の検出と管理を一元化する新しい実験ページ。
  • AutoML。データから ML モデルを自動生成し、運用環境へのパスを短縮する手段です。
  • 機能ストアは、ML 機能をカタログ化して、トレーニングやサービス提供で使用できるようになり、再利用を増やすことができる方法です。 自動的に記録されるデータ　ソースを活用するデータ系列ベースの機能検索により、クライアント アプリケーションへの変更を必要としない簡素化されたモデル デプロイを使用して、機能をトレーニングやサービス提供で使用できるようにすることができます。

詳細については、「Databricks Machine Learning の概要」を参照してください。

SQL Analytics の名前が Databricks SQL に変更

2021 年 5 月 27 日

SQL Analytics は Databricks SQLという名前に変更されました。 詳細については、Databricks SQL のリリース ノートを参照してください。

Delta Live Tables を使用した ETL パイプラインの作成と管理 (パブリック プレビュー)

2021 年 5 月 26 日

Databricks は、抽出、変換、読み込み (ETL) の開発をシンプルで信頼性の高い、拡張性を備えたクラウド サービスである Delta Live Tables をご利用いただけるようになったことを発表いたします。 Delta Live Tables:

  • パイプラインを構築するための直感的でなじみのある宣言型インターフェイスを提供します。
  • データ処理パイプラインを監視し、依存関係を視覚化し、さまざまな環境間でパイプラインと依存関係を管理することができます。
  • テスト駆動型開発、データ品質制約の適用、Uniform Data エラー処理ポリシーの適用を可能にします。
  • データ処理パイプラインのデプロイが自動化されるため、データのアップグレード、ロールバック、およびインクリメンタルな再処理を簡単に行うことができます。

詳細については、「Delta Live Tables とは」を参照してください。

Azure スポット VM の一般提供を開始

2021 年 5 月 24 日

Azure Spot Virtual Machines で Azure Databricks クラスターを作成する機能が一般公開されました。 大幅に低コストの Azure スポット インスタンスを利用して、Azure Databricks の総保有コスト (TCO) を削減できるようになりました。 次の場合は、Azure スポット インスタンスの使用を選択できます。

独自のキーを使用して Databricks SQL クエリとクエリの履歴を暗号化する (パブリック プレビュー)

2021 年 5 月 20 日

詳細については、Databricks SQL のリリース ノートを参照してください。

終了する汎用クラスター数の上限の引き上げ

2021 年 5 月 18 日: バージョン 3.46

Azure Databricks ワークスペースで、最大 150 台の終了した多目的クラスターを設けられるようになりました。 以前は、制限は 120 台でした。 詳細については、「コンピューティングを終了する」を参照してください。 Clusters API の要求が返す、終了した汎用クラスター数の上限も 150 になりました。

ピン留めされるクラスター数の上限の引き上げ

2021 年 5 月 18 日: バージョン 3.46

Azure Databricks ワークスペースに最大 70 台のピン留めされたクラスターを作成できるようになりました。 以前は、制限は 50 台でした。 詳細については、「コンピューティングをピン留めする」を参照してください

ノートブックの結果の格納場所を管理する (パブリック プレビュー)

2021 年 5 月 18 日: バージョン 3.46

サイズや実行の種類に関係なく、すべてのノートブックの結果をルート Azure Storage インスタンスに格納するように選択できるようになりました。 既定では、対話型ノートブックの一部の結果は Azure Databricks に格納されます。 新しい構成を使用すると、これらをルート Azure Storage インスタンスに自分のアカウントで格納できます。 詳細については、「ノートブックの結果の保存場所を構成する」を参照してください。

この機能は、結果が常にルート Azure Storage インスタンスに格納される、ジョブとして実行されるノートブックには影響しません。

コントロール プレーンのノートブックとシークレット データを独自のキーで暗号化する (パブリック プレビュー)

2021 年 5 月 10 日

Azure Databricks ワークスペースは、Azure Databricks のマネージド サブスクリプションでホストされるコントロール プレーンと、お持ちの Azure サブスクリプションにデプロイされるコンピューティング プレーンで構成されます。 コントロール プレーンは、ノートブック コマンド、シークレット、およびその他のワークスペース構成データを含む、管理サービス データを格納します。 既定では、このデータは Azure Databricks によって管理されるキーで暗号化されますが、Azure Key Vault インスタンスからキーを追加して、このデータを暗号化できるようになりました。 「管理サービス用にカスタマー マネージド キーを有効にする」を参照してください。

Databricks Runtime 7.4 シリーズのサポート終了

2021 年 5 月 3 日

Databricks Runtime 7.4、Databricks Runtime 7.4 for Machine Learning、Databricks Runtime 7.4 for Genomics のサポートが 5 月 3 日に終了しました。 Databricks ランタイム サポート ライフサイクルを参照してください。

Repos ユーザーは個人用アクセス トークンを使用して Azure DevOps と統合できるようになりました

2021 年 5 月 3 日から 10 日: バージョン 3.45

Microsoft Entra ID アクセス トークンに加えて、個人用アクセス トークンを使用して Azure DevOps で認証できるようになりました。 詳細については、「Databricks Git フォルダー (Repos) を設定する」を参照してください。