Delta テーブル機能の削除

Azure Databricks では、テーブル機能を削除するためのサポートが制限されています。 テーブル機能を削除するには、次の処理を行う必要があります。

• テーブル機能を使用するテーブル プロパティを無効にします。
• テーブルの基になっているデータ ファイルから、テーブル機能のすべてのトレースを削除します。
• テーブル機能を使用するトランザクション エントリをトランザクション ログから削除します。
• テーブル プロトコルをダウングレードします。

サポートされている場合、この機能は、以前のバージョンの Databricks Runtime、Delta Sharing、またはその他の Delta Lake リーダーまたはライター クライアントとの互換性をサポートするためだけに使用する必要があります。

Delta テーブル機能を削除するにはどうすればよいですか?

Delta テーブル機能を削除するには、ALTER TABLE <table-name> DROP FEATURE <feature-name> [TRUNCATE HISTORY] コマンドを実行します。 「ALTER TABLE」を参照してください。

Databricks Runtime 14.1 以降を使用し、ターゲット Delta テーブルに対する MODIFY 権限を持っている必要があります。

削除できる Delta テーブル機能は何ですか?

次の Delta テーブル機能を削除できます。

• deletionVectors 「削除ベクトルとは」を参照してください。
• v2Checkpoint 「リキッド クラスタリングありのテーブルの互換性」を参照してください。
• columnMapping 「Delta Lake の列マッピングを使用して列の名前変更と削除を行う」をご覧ください。
• typeWidening-preview 「型の拡大」を参照してください。
• checkConstraints 「Azure Databricks の制約」を参照してください。

他の Delta テーブル機能を削除することはできません。

テーブル機能を有効にしてレガシ機能を削除する

DROP FEATURE コマンドには、テーブル機能の読み取りと書き込みをサポートするプロトコル バージョンが必要です。 columnMapping や checkConstraints などの Delta 機能は、以前のプロトコル バージョンでサポートされていました。 テーブルで有効になっている他の機能によっては、これらの機能を削除する前にプロトコル バージョンのアップグレードが必要になる場合があります。

次のコマンドを使用してテーブル リーダーとライターのバージョンをアップグレードできます。これにより、列マッピングを削除し、プロトコルをダウングレードできます:

ALTER TABLE <table-name> SET TBLPROPERTIES (
  'delta.minReaderVersion' = '3',
  'delta.minWriterVersion' = '7'
)

Delta テーブル機能はどのように削除されますか?

Delta テーブル機能はリーダー プロトコルとライター プロトコルで表されているため、完全に削除するには、トランザクション ログにまったく存在しない状態にする必要があります。 機能の削除は 2 段階で行われ、完了するまで時間が必要です。 機能の削除の詳細は機能によって異なりますが、次のセクションでは一般的な概要を示します。

テーブル機能を削除する準備をする

第 1 段階では、ユーザーはテーブル機能を削除する準備をします。 この段階で起こることを次に説明します。

1. ユーザーが DROP FEATURE コマンドを実行します。
2. テーブル機能を明示的に有効にするテーブル プロパティには、機能を無効にするための値が設定されています。
3. 削除された機能に関連付けられた動作を制御するテーブル プロパティには、機能が導入される前に既定値に設定されたオプションがあります。
4. 必要に応じて、更新されたテーブル プロパティを適用してデータ ファイルとメタデータ ファイルが書き換えられます。
5. コマンドの実行が完了し、機能の削除を続けるには 24 時間待機する必要があることをユーザーに通知するエラー メッセージが返されます。

最初に機能を無効にした後、プロトコルのダウングレード完了前は引き続きターゲット テーブルへの書き込みができますが、削除するテーブル機能を使用することはできません。

プロトコルをダウングレードしてテーブル機能を削除する

テーブル機能を削除するには、その機能に関連付けられているすべてのトランザクション履歴を削除し、プロトコルをダウングレードする必要があります。

1. 少なくとも 24 時間が経過した後、ユーザーは TRUNCATE HISTORY 句を使用して DROP FEATURE コマンドを再度実行します。
2. クライアントは、指定された保持しきい値内のトランザクションでテーブル機能が使用されていないことを確認したうえで、そのしきい値までテーブル履歴を切り捨てます。
3. プロトコルがダウングレードされ、テーブル機能が削除されます。
4. テーブルに存在するテーブル機能をレガシ プロトコル バージョンで表すことができる場合、テーブルの minReaderVersion と minWriterVersion は、Delta テーブルで使用されている残りの機能を正確にすべてサポートする最小バージョンにダウングレードされます。

「Azure Databricks で Delta Lake 機能の互換性を管理する方法は?」を参照してください。