2024 年 8 月

  • [アーティクル]

以下の機能と Azure Databricks プラットフォームの機能強化が 2024 年 8 月にリリースされました。

Note

リリースは段階的に行われます。 Azure Databricks アカウントの更新は、最初のリリース日から 1 週間以上行われないことがあります。

Lakeflow システム テーブルが追加の列で拡張

2024 年 8 月 23 日

system.lakeflow スキーマ内のテーブルに、追加の列で拡張されています。 次の点が変更されています。

  • jobs は、description 列で拡張されます。
  • job_run_timeline は、run_type、run_name、compute_ids、termination_code および job_parameters 列で拡張されます。
  • job_task_run_timeline は、job_run_id、parent_run_id および termination_code 列で拡張されます。

スキーマの変更は重大な影響を受けずに、既存のワークフローを中断することはありません。 新しい列は、既に出力された行に対してバックフィルはされません。 詳しくは、「監査ログ システム テーブル リファレンス」をご参照ください。

Delta Sharing: Python および Power BI コネクタでサポートされるその他の Delta Lake 機能

2024 年 8 月 21 日

Delta Sharing Python コネクタ 1.1.0 以降と Power BI v2.132.908.0 以降が現在サポートされています。

  • 列マッピング名モード
  • 削除ベクトル
  • Uniform フォーマット

これらの Delta Lake 機能は、Databricks Runtime 14.1 以降とオープンソースの Delta Sharing Apache Spark コネクタ 3.1 以降で既にサポートされていました。

「Delta Lake 機能のサポート マトリックス」を参照してください。

Delta Sharing で TimestampNTZ のサポートが追加されました

2024 年 8 月 21 日

Delta Sharing では、Databricks Runtime 14.1 以降およびオープン ソースの Delta Sharing Apache Spark コネクタ 3.3 以降で TimestampNTZ のサポートが追加されました。

「Delta Lake 機能のサポート マトリックス」を参照してください。

Azure Databricks ジョブ For each タスクは GA です

2024 年 8 月 21 日

For each タスクが一般提供になりました。 For each タスクを使用すると、別のタスクをループで実行し、タスクの反復ごとに異なるパラメーター セットを渡すことができます。 For each タスクは、ノートブック、JAR、Python スクリプト、SQL タスクなどの標準ジョブ タスクを反復処理できます。 「パラメーター化された Azure Databricks ジョブ タスクをループで実行する」を参照してください。

ワークスペース管理者向けの Azure RBAC アクセス許可

2024 年 8 月 20 日

以前は、Azure から Azure Databricks ワークスペース管理者ロールをユーザーに付与するには、ビルトイン Azure RBAC (ロールベースのアクセス制御) 共同作成者ロールまたは所有者ロールが必要でした。 ユーザーに Azure Databricks ワークスペース管理者ロールを付与するアクセス許可 Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action を持つカスタム Azure RBAC ロールを作成できるようになりました。 これらのユーザーは、Azure Databricks サービスを管理し、診断ログを構成できます。 詳細については、「必要な Azure 管理者アクセス許可」を参照してください。

Databricks Runtime 15.4 LTS は GA です

2024 年 8 月 19 日

Databricks Runtime 15.4 LTS と Databricks Runtime 15.4 LTS ML が一般提供されるようになりました。

「Databricks Runtime 15.4 LTS」と「Databricks Runtime 15.4 LTS for Machine Learning」を参照してください。

個人用ノートブックオートコンプリート

2024 年 8 月 19 日

ノートブックのオートコンプリートは、ユーザー個々のUnity Catalogメタデータと使用状況に基づいて提案を優先するようになり、各ユーザーにカスタム提案ランキングを提供します。 「パーソナライズされたオートコンプリート」を参照してください。

Jobs Compute 用にワークスペースの既定のアクセス モードを設定する

2024 年 8 月 16 日

ワークスペース管理者は、ワークスペース内の Jobs Compute の既定のアクセス モードを構成できるようになりました。 この既定のアクセスモードは、定義されたアクセス モードがないコンピューティング リソースに適用されます。 詳細については、「Jobs Compute の既定のアクセス モード」を参照してください。

Databricks アシスタントの新しいスラッシュ コマンド

2024 年 8 月 14 日

Databricks アシスタントでは、一般的なタスクのショートカットとして次のスラッシュ コマンドが追加されました。

  • /findTables: Unity Catalog のメタデータに基づいて関連するテーブルを検索します。
  • /findQueries: Unity Catalog のメタデータに基づいて関連するクエリを検索します。
  • /prettify: 読みやすさを考えてコードを書式設定します。
  • /rename: コンテキストに応じて、ノートブックのセルやその他の要素に更新された名前を提案します。
  • /settings: アシスタントからノートブックの設定を直接調整します。

詳細については、「プロンプトにスラッシュ コマンドを使用する」を参照してください。

ワークスペース検索でボリュームがサポートされるようになりました

2024 年 8 月 14 日

検索結果にボリュームが含まれるようになりました。 「ワークスペース オブジェクトを検索する」を参照してください。

Mosaic AI モデル トレーニングで Meta Llama 3.1 405B モデルがサポート

2024 年 8 月 14 日

Mosaic AI モデル トレーニングで Meta Llama 3.1 405B モデルがサポートされるようになりました。 「サポートされているモデル」を参照してください。

Databricks JDBC ドライバー 2.6.40

2024 年 8 月 13 日

JDBC ドライバー ダウンロードから、Databricks JDBCドライバーのバージョン 2.6.40 が利用可能になりました。 このリリースでは、ログの使いやすさとセキュリティを向上させるために、重複する WARNING ログ メッセージが削除されます。

このリリースには、次の機能強化と新機能が含まれます。

  • OIDC 検出エンドポイントのサポート。 ドライバーでトークンをフェッチし、承認エンドポイントを取得する OIDC 検出エンドポイントを設定できるようになりました。
  • Arrow のサポートの更新。 ドライバーで Apache Arrow バージョン 14.0.2 が使用できるようになりました。 以前のバージョンのドライバーでは、Apache Arrow バージョン 9.0.0 が使用されていました。
  • ProxyIgnoreList のサポート。 UseProxyが 1 に設定されている場合、ドライバーで ProxyIgnoreList プロパティがサポートされるようになりました。
  • 更新トークンのサポート。 ドライバーでオプションの更新トークンがサポートされるようになりました。 アクセス トークンが保存され、有効な限り新しい接続に再利用されます。 ドライバーで更新トークンを使用してアクセス トークンを更新できない場合は、もう一度サインインが行われます。
  • 認証サポートの更新。 ドライバーで、Google Cloud でのブラウザー ベース (U2M) の認証、およびクライアント資格情報 (M2M) の認証がサポートされるようになりました。
  • 統合された既定の OAuth オプションの追加。
  • OAuth リダイレクト ポートを構成できるようになりました。 これを行うには、OAuth2RedirectUrlPort プロパティをポートに設定します。

完全な構成情報については、ドライバー ダウンロード パッケージとともにインストールされている『Databricks JDBC ドライバー ガイド』を参照してください。

Databricks の個人用アクセス トークンが 90 日以上未使用の場合、取り消されます

2024 年 8 月 13 日

Databricks では、90 日以上使用されていない個人用アクセス トークン (PAT) が自動的に取り消されるようになりました。 詳細については、「古いアクセス トークンの自動失効」を参照してください。

クラスター API で部分的な構成の更新がサポートされるようになりました

2024 年 8 月 13 日

新しい API 呼び出しを使用すると、クラスター構成を部分的に更新できます。これを行うには、更新する属性のみを指定する必要があります。 『REST API リファレンス』の「クラスター構成の更新 (部分)」を参照してください。

ノートブックのセルで行を折り返す

2024 年 8 月 12 日

ノートブックのセルで行の折り返しを有効または無効にできるようになりました。これにより、テキストを複数の行に折り返すか、1 行のまま水平スクロールできます。 「行の折り返し」を参照してください。

2024 年 8 月 12 日

ベクトル検索インデックスで使用するテーブル内の列のサブセットを指定できるようになりました。 主キー列と埋め込み列は常に同期されます。 「ベクトル検索インデックスを作成してクエリを実行する方法」を参照してください。

ワークスペース フォルダー内で同じファイル名を使用できなくなりました

2024 年 8 月 9 日

Databricks では、アセットの名前がアセットのファイル拡張子に関連して、別のファイル名と完全に一致するとき、ワークスペース フォルダー内のアセットの作成や名前変更を行えなくなります。 たとえば、同じワークスペース フォルダーに .py の拡張子を持つ test の基本名があるノートブックが既にある場合、test.py という名前のファイルを作成できなくなります。

詳細については、「ワークスペース フォルダー内のアセットの名前付け」を参照してください。

コンピューティング ポリシーの実施が利用可能になりました

2024 年 8 月 8 日

ポリシー コンプライアンスの実施により、ワークスペース管理者はポリシーの最新バージョンに準拠するように、ワークスペースのコンピューティング リソースを更新できます。 この機能は UI で使用したり、クラスター ポリシー API を介して使用したりすることができます。

「ポリシー コンプライアンスの実施」または「クラスター ポリシー API」を参照してください。

Databricks Clean Rooms を使用してデータ プロジェクトで安全かつ非公開で共同作業する (パブリック プレビュー)

2024 年 8 月 6 日

Databricks Clean Rooms では、Delta Sharing とサーバーレス コンピューティングを使用して、安全かつプライバシーが保護される環境を実現します。この環境では、複数の関係者が機密性の高いエンタープライズ データを共有し、互いのデータに直接アクセスすることなく共同作業を行うことができます。

Clean Rooms を使用すると、他の Databricks アカウントのユーザー同士が協力して、機微なデータを移動、公開することなく、広告キャンペーン、投資の決定、研究開発などの共有プロジェクトに関する独自の分析情報を生成できます。 機械学習ワークロードをネイティブでサポートする Python など、Databricks ノートブックでサポートされている任意の言語を使用して、エフェメラル環境で複雑なワークロードを実行します。

お試しを希望される方は、Azure Databricks の担当者にお問い合わせください。

「Azure Databricks クリーン ルームとは」を参照してください。

Mosaic AI ベクトル検索は HIPAA に準拠するようになりました

2024 年 8 月 6 日

Mosaic AI ベクトル検索はすべてのリージョンで HIPAA に準拠するようになりました。

行フィルターと列マスクは機能強化されて GA されました

2024 年 8 月 6 日

行フィルターと列マスクを適用する機能が、Databricks Runtime 12.2 以降で一般提供になりました。 行フィルターと列マスクを使用すると、特定のユーザーが機微なデータにアクセスするのを防ぐことができます。 これらのフィルターとマスクは、SQL ユーザー定義関数 (UDF) として実装されます。 一般提供になったことで、パブリック プレビューでは利用できなかった次の機能がサポートされます。

  • ポリシー パラメーター内の定数式 (文字列、数値、間隔、ブール値、null)。

  • 具体化されたビューとストリーミング テーブル (パブリック プレビュー)。

  • MERGE ステートメント。

  • テーブル サンプリング。

シングルユーザー コンピューティングでのきめ細かいアクセス制御に対するサポートの別のリリースにより、行フィルターと列マスクが適用されたテーブルで作業するためのコンピューティング オプションも拡張されます。

「行フィルターと列マスクを使用して機密性の高いテーブル データをフィルター処理する」を参照してください。

Lakehouse Federation が一般公開 (GA)

2024 年 8 月 1 日

Databricks Runtime 15.2 以降と Databricks SQL バージョン 2024.30 以降で、Lakehouse Federation コネクタが、次のデータベースの種類で一般公開 (GA) になっています。

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

このリリースでは、次の機能強化も導入されています。

  • Snowflake および Microsoft SQL Server コネクタでのシングル サインオン (SSO) 認証のサポート。

  • サーバーレス コンピューティング環境からの SQL Server コネクタに対する Azure Private Link のサポート。 「ステップ 3: プライベート エンドポイント規則を作成する」を参照してください。

  • 追加のプッシュダウン (文字列、数学、その他の関数) のサポート。

  • さまざまなクエリ シェイプでのプッシュダウン成功率が向上しました。

  • 追加のプッシュダウン デバッグ機能:

    • EXPLAIN FORMATTED 出力には、プッシュダウンされたクエリ テキストが表示されます。
    • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーション ノード ID、JDBC クエリの実行時間 (詳細モード) が表示されます。 「システム生成フェデレーション クエリを表示する」を参照してください。