Delta Live Tables のリリース ノートとリリース アップグレード プロセス

  • [アーティクル]

この記事では、Delta Live Tables のリリース プロセス、Delta Live Tables ランタイムの管理方法について説明し、Delta Live Tables リリースごとのリリース ノートへのリンクを提供します。

Delta Live Tables ランタイム チャネル

Note

Delta Live Tables リリースで使用される Databricks Runtime バージョンを確認するには、該当するリリースのリリース ノートを参照してください。

Delta Live Tables クラスターでは、「Databricks Runtime リリース ノートのバージョンと互換性」に基づいてランタイムが使用されます。 Databricks は、Delta Live Tables ランタイムを自動的にアップグレードして、プラットフォームの機能強化とアップグレードをサポートします。 Delta Live Tables パイプライン設定の channel フィールドを使用して、パイプラインを実行する Delta Live Tables ランタイム バージョンを制御できます。 サポートされる値は

  • current から現在のランタイム バージョンの更新。
  • ランタイム バージョンの今後の変更でパイプラインをテストする preview

既定では、パイプラインは current ランタイム バージョンを使用して実行されます。 運用ワークロードには current ランタイムを使用することをお勧めします。 preview 設定を使用して次のランタイム バージョンでパイプラインをテストする方法については、「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

Delta Live Tables チャネルの詳細については、「Delta Live Tables のパイプライン設定」の channel フィールドを参照してください。

Delta Live Tables が各リリースのアップグレード プロセスを管理する方法については、「Delta Live Tables のアップグレードのしくみ」を参照してください。

パイプライン更新プログラムの Databricks Runtime のバージョンを確認するにはどうすればよいですか?

Delta Live Tables イベント ログに対してクエリを実行して、パイプライン更新の Databricks Runtime バージョンを見つけることができます。 ランタイム情報を参照してください。

Delta Live Tables リリース ノート

Delta Live Tables のリリース ノートは、年と週ごとに整理されています。 Delta Live Tables はバージョンレスであるため、ワークスペースとランタイムの両方の変更が自動的に行われます。 次のリリース ノートでは、各リリースでの変更とバグ修正の概要が示されています。

Delta Live Tables のアップグレードのしくみ

Delta Live Tables はバージョンレス製品と見なされています。つまり、Databricks は Delta Live Tables ランタイムを自動的にアップグレードして、プラットフォームの機能強化とアップグレードをサポートします。 Databricks では、Delta Live Tables パイプラインの外部依存関係を制限することをお勧めします。

Databricks は事前に機能し、自動アップグレードによって実稼働 Delta Live Tables パイプラインにエラーや問題が発生するのを防きます。 「Delta Live Tables のアップグレード プロセス」を参照してください。

特に、外部依存関係のある Delta Live Tables パイプラインをデプロイするユーザーの場合、Databricks では、preview チャネルを使用してパイプラインを事前にテストすることをお勧めします。 「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

Delta Live Tables のアップグレード プロセス

Databricks は、Delta Live Tables コンピューティング リソースによって使用される Databricks Runtime を管理します。 Delta Live Tables では、Azure Databricks ワークスペース内のランタイムが自動的にアップグレードされ、アップグレード後にパイプラインの正常性が監視されます。

アップグレードが原因でパイプラインを開始できないことが Delta Live Tables で検出された場合、パイプラインのランタイム バージョンは以前の安定性が確認されているバージョンに戻り、次に示す手順が自動的にトリガーされます。

  • パイプラインの Delta Live Tables ランタイムが、以前の既知の正常なバージョンに固定されます。
  • Delta Live Tables UI に、アップグレード エラーが原因でパイプラインが以前のバージョンに固定されたことを示す視覚的なインジケーターが表示されます。
  • Databricks サポートに問題が通知されます。
    • 問題がランタイムの回帰に関連している場合は、Databricks によって問題が解決されます。
    • 問題の原因がパイプラインで使用されるカスタム ライブラリまたはパッケージである場合は、Databricks から問題を解決するように求められます。
  • 問題が解決すると、Databricks によってアップグレードが再び開始されます。

重要

Delta Live Tables は、実稼働モードで実行されているパイプラインのみを元に戻し、チャネルを current に設定します。

次のランタイム バージョンでのパイプラインのテストを自動化する

次の Delta Live Tables ランタイム バージョンでの変更がパイプラインに影響しないことを確認するには、Delta Live Tables のチャネル機能を使用します。

  1. ステージング パイプラインを作成し、チャネルを preview に設定します。
  2. Delta Live Tables UI で、パイプラインを毎週実行するスケジュールを作成し、パイプライン エラーを通知する電子メールを受け取るアラートを有効にします。 Databricks では、特にカスタム パイプラインの依存関係を使用する場合は、パイプラインの週次でのテスト実行をスケジュールすることをお勧めします。
  3. エラーの通知を受け取った場合に、そのエラーを解決できないときは、Databricks でサポート チケットを開きます。

パイプラインの依存関係

Delta Live Tables ではパイプラインの外部依存関係がサポートされます。たとえば、%pip install コマンドを使用して任意の Python パッケージをインストールできます。 また Delta Live Tables では、グローバルおよびクラスター スコープの init スクリプトを使用することもできます。 ただし、こうした外部依存関係 (特に init スクリプト) があると、ランタイムのアップグレードで問題が生じるリスクが高くなります。 リスクを軽減するには、パイプラインでの init スクリプトの使用を最小限に抑えます。 init スクリプトを必要とする処理がある場合は、パイプラインのテストを自動化して問題を早期に検出します。「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。 init スクリプトを使用する場合は、テストの頻度を高めることをお勧めします。