2023 年 10 月
これらの機能と Azure Databricks プラットフォームの機能強化が 2023 年 10 月にリリースされました。
Note
リリースは段階的に行われます。 Azure Databricks ワークスペースの更新は、最初のリリース日から 1 週間以上行われないことがあります。
Databricks SQL Serverless (パブリック プレビュー) のサーバーレスセキュリティで保護された接続
2023 年 10 月 31 日
新しいサーバーレスのセキュリティで保護された接続ツールを使用すると、 サーバーレス SQL ウェアハウス から Azure Storage のデータ ソースへのネットワーク アクセスを制御できます。 サブネット ID を使用してストレージ ファイアウォールを選択するか、Azure Private Link でプライベート接続を有効にすることができます。 パブリック プレビューに参加するには、Azure Databricks アカウント チームにお問い合わせください。 「サーバーレス コンピューティング プレーンのネットワーク」をご参照ください。
2023 年 10 月 31 日より前に Azure Databricks のドキュメントに記載されていたサブネット ID を使用して構成されたストレージ ファイアウォールがある場合、Databricks では、新しいツールのいずれかを使用して、各ワークスペース リージョンのファイアウォール構成を更新することをお勧めします。 これは、すべてのワークスペースに一貫したデプロイを適用するのに役立ちます。 既存の構成を更新しない場合、ワークスペースは引き続き機能します。
Azure Databricks ジョブの YAML ソースを表示する
2023 年 10 月 30 日
ジョブの詳細ページ上で 
をクリックして、[YAML/JSON の表示] を選択し、ジョブの YAML ソースを表示およびコピーすることができるようになりました。 YAML ソースを使用して、Databricks アセット バンドルを含む CI/CD ワークフローを作成することができます。 「Databricks アセット バンドルとは」をご覧ください。
Azure Databricks ワークフローに条件付きロジックを追加する
2023 年 10 月 30 日
これで、If/else condition タスクを使用して、ブール式の結果に基づいて Azure Databricks ジョブでタスクを条件付きで実行できるようになりました。 「If/else 条件タスク を使用して分岐ロジックをジョブに追加する」をご覧ください。
すべてのジョブ タスクで参照できる Azure Databricks ジョブのパラメーターを構成する
2023 年 10 月 30 日
キーと値のペアを受け入れるすべてのジョブ タスクに自動的に渡されるパラメーターを Azure Databricks ジョブに追加できるようになりました。 ｢すべてのジョブ タスクのパラメータの追加」を参照してください。 さらに、拡張された値参照のセットを使用して、ジョブ タスク間でコンテキストと状態を渡すようになりました。 「ジョブ実行に関するコンテキストをジョブ タスクに渡す」を参照してください。
削除ベクトルの自動有効化
2023 年 10 月 30 日
ワークスペース管理者設定の削除ベクトルの自動有効化を使用することで、 Databricks Runtime 14.0 以降のすべての新しい Delta テーブルで削除ベクトルを有効にできるようになりました。 現在、このビヘイビアーはオプトインですが、今後オプトアウトに変更される予定です。 Databricks では、この設定のオプションを手動で構成することをお勧めしています。 「削除ベクトルの自動有効化」を参照してください。
UNDROP TABLE での Unity Catalog の一般提供
2023 年 10 月 25 日
ドロップから 7 日以内は、既存スキーマ内のドロップされたマネージド テーブルまたは外部テーブルをドロップ解除できます。 Databricks Runtime 12.1 以降が必要です。 詳しくは、「UNDROP TABLE」および「SHOW TABLES DROPPED」をご覧ください。
Partner Connect で Dataiku をサポート
2023 年 10 月 25 日
Azure Databricks ワークスペースを Dataiku に接続するための Partner Connect を使用できるようになりました。 「Dataiku に接続する」を参照してください。
Databricks AutoML で生成されたノートブックが MLflow 成果物として保存されるようになりました
2023 年 10 月 24 日
Databricks AutoML によって生成されたノートブックは、Machine Learning のすべての Databricks Runtime バージョンで、MLflow 成果物として保存されるようになりました。
新しいリージョン: カタール中部
2023 年 10 月 23 日
Azure Databricks は、カタール中部で使用でるようになりました。 「Azure Databricks のリージョン」を参照してください。
Azure Firewall とPrivate Link でサポートされている Unity Catalog ボリューム
2023 年 10 月 23 日
Unity カタログ ボリュームを、Azure Firewall または Private Link で構成された Azure ストレージ アカウントと組み合わせて使用できるようになりました。 これにより、以前の制限がなくなりました。
予測最適化 (パブリック プレビュー)
2023 年 10 月 24 日
予測最適化により、差分テーブルのメンテナンス操作を手動で管理する必要がなくなります。 メンテナンス操作は必要な場合にのみ実行されるため、メンテナンス操作のための不必要な実行と、パフォーマンスの追跡やトラブルシューティングに関連する負担の両方が排除されます。 「Delta Lake の予測最適化」を参照してください。
コンピューティング システム テーブルが使用可能 (パブリック プレビュー)
2023 年 10 月 23 日
system.compute スキーマには、アカウント内のコンピューティング リソースを監視するために使用できる次の 2 つの新しいテーブル (clusters と node_types) が含まれています。
クラスター テーブルは、時間の経過に伴うクラスター構成の完全な履歴を含む、緩やかに変化するディメンション テーブルです。このテーブルには、万能クラスターとジョブ クラスターに関する完全な履歴が含まれています。 ノードの種類テーブルは、現在使用可能なノードの種類とその基本的なハードウェア情報をキャプチャします。 これらのシステム テーブルにアクセスできない場合は、アカウントでコンピューティング スキーマを有効にしていることを確認します (「システム テーブル スキーマを有効にする」を参照してください)。
コンピューティング システム テーブルの詳細については、「コンピューティング システム テーブルのリファレンス」を参照してください。
オンデマンド機能の計算は GA です
2023 年 10 月 19 日
機械学習機能は、推論時にオンデマンドで計算できるようになりました。 これにより、モデルは、ユーザーの現在の場所など、推論時にのみ利用できる入力を使用して特徴量を計算したり、コストが高い特徴量を使用して事前計算、保存、更新を行ったりすることができます。 モデル トレーニング コードでは、モデルのトレーニングと推論中に実行される特徴量検索と計算の任意のグラフを定義できます。
特徴量計算ロジック、モデル、データはすべて Unity Catalog によって管理されます。 詳細については、「Python ユーザー定義関数を使用したオンデマンドでの特徴量の計算」を参照してください。
Unity Catalog の特徴エンジニアリング
2023 年 10 月 19 日
Unity Catalog の機能エンジニアリングを使用すると、Unity Catalog が機能ストアになります。 モデル トレーニングまたは推論の特徴テーブルとして、主キーを持つ任意の Delta テーブルを使用できます。 Unity Catalog には、機能の検出とガバナンスが用意されています。
AI によって生成されたテーブル コメント (パブリック プレビュー)
2023 年 10 月 18 日
Azure Databricks を使用する際に AI を使用して支援するイニシアチブの一環として、Azure Databricks では、AI によって生成されたテーブルと列のコメントがパブリック プレビューに導入されています。 Catalog Explorer で、Unity Catalog によって管理される任意のテーブルまたはテーブル列に対して、AI によって生成されたコメントを表示、編集、追加できます。 AI によって生成されたコメントは、外部モデル パートナーを使用して応答を提供する場合があります。 これらのサービスに送信されるデータは、モデルトレーニングには使用されません。
「AI によって生成されたコメントをテーブルに追加する」を参照してください。
Unity カタログのモデルは GA です
2023 年 10 月 17 日
Unity カタログの ML モデルが一般公開されました。 Unity Catalog は、一元化されたアクセス制御、監査、系列、ワークスペース間のモデル共有、および MLOps デプロイ ワークフローの改善を提供します。 Azure Databricks では、ワークスペース モデル レジストリの代わりに Unity カタログでモデルを使用することをお勧めします。 詳しくは、｢Unity Catalog 内でモデル ライフサイクルを管理する」をご覧ください。
コンピューティング ポリシーでライブラリをサポート (パブリック プレビュー)
2023 年 10 月 17 日
ワークスペース管理者は、コンピューティング ポリシーにライブラリを追加できるようになりました。 ポリシーを使用するコンピューティングでは、ライブラリが自動的にインストールされます。 ユーザーは、ポリシーを使用するコンピューティングでコンピューティング スコープライブラリをインストールまたはアンインストールすることはできません。 以前にインストールしたライブラリはアンインストールされます。
Databricks では、コンピューティング ポリシーを使用するために、init スクリプトでインストールされているすべてのライブラリを移行することをお勧めします。 「ライブラリをポリシーに追加する」を参照してください。
Partner Connect が Monte Carlo をサポートする
2023 年 10 月 16 日
Azure Databricks ワークスペースを Monte Carlo に接続できる Partner Connect を使用できるようになりました。 詳細については、「Azure Databricks を Monte Carlo に接続する」を参照してください。
セマンティック検索 (パブリック プレビュー)
2023 年 10 月 16 日
自然言語を使って、高度な [検索] ダイアログで Unity Catalog テーブルを検索できるようになりました。 「セマンティック検索」を参照してください。
ワークスペース レベルで Databricks Assistant を有効にする
2023 年 10 月 11 日
アカウント管理者が許可している場合、ワークスペース管理者は個々のワークスペースで Databricks Assistant を有効または無効にできるようになりました。 詳細については、「Databricks アシスタントを有効にする操作方法は?」を参照してください。
新しい Photon のデフォルト
2023 年 10 月 11 日
UI を使用して新しいクラスターを作成する場合、デフォルトの Databricks Runtime エンジンでは Photon が有効になります。 これは、汎用とジョブのクラスターに当てはまります。
Photon 互換のクラスター ポリシーを使用して作成された新しいクラスターでは、Photon が既定で有効になっています。 クラスター ポリシーが Photon 互換になるのは、Databricks Runtime がそれをサポートし、ノードの種類がサポートされ、runtime_engine が明示的に STANDARD に設定されていない場合です。
Databricks Runtime 14.1 が一般提供
2023 年 10 月 11 日
Databricks Runtime 14.1 および Databricks Runtime 14.1 ML が一般提供されるようになりました。
「Databricks Runtime 14.1」および「Databricks Runtime 14.1 for Machine Learning」を参照してください。
開発者ツールのリリース ノートが移動されました
2023 年 10 月 10 日
2023 年 10 月 10 日以降、Azure Databricks 開発者ツールのリリース ノートは、Azure Databricks プラットフォームのリリース ノートではなく、Azure Databricks 開発者ツールと SDK のリリース ノートに投稿されるようになりました。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.5 に更新されました
2023 年 10 月 9 日
Visual Studio Code 用の Databricks 拡張機能バージョン 1.1.5 には、小規模の修正プログラムがいくつか含まれています。 詳細については、バージョン 1.1.5 の変更ログをご覧ください。
更新の予測 I/O は一般提供されています
2023 年 10 月 9 日
更新の予測 I/O は、Databricks Runtime 14.0 以降で一般提供になりました。 「予測 I/O とは」を参照してください。
削除ベクトルは一般提供されています
2023 年 10 月 9 日
削除ベクトルは、Databricks Runtime 14.0 以降で一般提供になりました。 「削除ベクトルとは」を参照してください。
Partner Connect では RudderStack がサポートされています
2023 年 10 月 5 日
Azure Databricks ワークスペースを RudderStack に接続できる Partner Connect を使用できるようになりました。 詳細については、「RudderStack に接続する」を参照してください。
Databricks CLI がバージョン 0.207.0 (パブリック プレビュー) に更新されました
2023 年 10 月 4 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.207.0 に更新されました。 このリリースには、Databricks アセット バンドルの機能更新プログラムと修正プログラムが含まれており、いくつかのコマンド グループやコマンドに対する追加や変更などが行われています。 詳細については、バージョン 0.207.0 の変更ログをご覧ください。
ノートブックで選んだセルを実行する
2023 年 10 月 4 日
選択したセルのみをノートブックで実行できるようになりました。 「選択したセルを実行する」を参照してください。
ワークスペースカタログのバインディングを使ってカタログへの読み取り専用アクセス権を付与する
2023 年 10 月 4 日
ワークスペース カタログ バインドを使用して、アカウント内の特定のワークスペースへのカタログ アクセスを制限する場合、そのアクセスを読み取り専用にできるようになりました。 読み取り専用のワークスペース カタログ バインドは、開発とテストを可能にするために、開発者ワークスペースから運用データへの読み取り専用アクセス権をユーザーに付与するなどのシナリオに役立ちます。
この更新プログラムでは、/api/2.1/unity-catalog/workspace-bindings/ API エンドポイントも非推奨となり、/api/2.1/unity-catalog/bindings/ に置き換えられます。
「特定のワークスペースにカタログ アクセスを制限する」参照してください。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.4 に更新されました
2023 年 10 月 2日
Visual Studio Code 用の Databricks 拡張機能バージョン 1.1.4 では、カスタムの Azure Databricks ワークスペースの URL に対するサポートなどが追加されています。 詳細については、バージョン 1.1.4 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.10.0 (ベータ版) に更新されました
2023 年 10 月 3 日
Databricks SDK for Python バージョン 0.10.0 では、7 つの破壊的変更が導入され、10 個のデータクラス、6 つのフィールド、1 つのサービスが追加されています。 詳細については、バージョン 0.10.0 の変更ログをご覧ください。
Databricks SDK for Go がバージョン 0.22.0 (ベータ版) に更新されました
2023 年 10 月 3 日
Databricks SDK for Go バージョン 0.22.0 では、API の破壊的変更が 1 つ導入され、API が1 つ追加されています。 詳細については、バージョン 0.22.0 の変更ログをご覧ください。
Azure China 向けパブリック プレビューの Unity カタログ ボリューム
2023 年 10 月 2日
Unity カタログ ボリュームは、Azure China リージョンでパブリック プレビュー機能として使用できるようになりました。 「Unity Catalog ボリュームとは」を参照してください。