Добавочно клонировать таблицы Parquet и Iceberg в Delta Lake

Вы можете использовать функцию клонирования Azure Databricks для добавочного преобразования данных из источников данных Parquet или Iceberg в управляемые или внешние таблицы Delta.

Клон Azure Databricks для Parquet и Iceberg объединяет функции, используемые для клонирования таблиц Delta и преобразования таблиц в Delta Lake. В этой статье описываются варианты использования и ограничения для этой функции и приведены примеры.

Когда следует использовать клон для добавочного приема данных Parquet или Iceberg

Azure Databricks предоставляет ряд вариантов приема данных в lakehouse. Databricks рекомендует использовать клон для приема данных Parquet или Iceberg в следующих ситуациях:

• Вы выполняете миграцию из Parquet или Iceberg в Delta Lake, но необходимо продолжать использовать исходные таблицы.
• Необходимо поддерживать синхронизацию только приема между целевой таблицей и рабочей исходной таблицей, которая получает добавления, обновления и удаления.
• Вы хотите создать моментальный снимок, совместимый с ACID, исходных данных для создания отчетов, машинного обучения или пакетного ETL.

Какой синтаксис для клона?

Клонирование для Parquet и Iceberg использует тот же базовый синтаксис, используемый для клонирования таблиц Delta, с поддержкой мелких и глубоких клонов. Дополнительные сведения см. в разделе "Клонирование типов".

Databricks рекомендует использовать клонирование постепенно для большинства рабочих нагрузок. Поддержка клонирования Parquet и Iceberg использует синтаксис SQL.

Чтобы глубоко клонировать таблицу Parquet или Iceberg с помощью пути к файлу, используйте следующий синтаксис:

CREATE OR REPLACE TABLE <target-table-name> CLONE parquet.`/path/to/data`;

CREATE OR REPLACE TABLE <target-table-name> CLONE iceberg.`/path/to/data`;

Чтобы неглубоко клонировать таблицу Parquet или Iceberg с помощью пути к файлу, используйте следующий синтаксис:

CREATE OR REPLACE TABLE <target-table-name> SHALLOW CLONE parquet.`/path/to/data`;

CREATE OR REPLACE TABLE <target-table-name> SHALLOW CLONE iceberg.`/path/to/data`;

Вы также можете создавать глубокие или мелкие клоны для таблиц Parquet, зарегистрированных в хранилище метаданных, как показано в следующих примерах:

CREATE OR REPLACE TABLE <target-table-name> CLONE <source-table-name>;

CREATE OR REPLACE TABLE <target-table-name> SHALLOW CLONE <source-table-name>;

Требования и ограничения для клонирования таблиц Parquet и Iceberg

Независимо от того, используются ли глубокие или мелкие клоны, изменения, примененные к целевой таблице после клонирования, не могут быть синхронизированы с исходной таблицей. Добавочная синхронизация с клоном является однонаправленной, что позволяет автоматически применять изменения исходных таблиц к целевым таблицам Delta.

Следующие дополнительные ограничения применяются при использовании клонирования с таблицами Parquet и Iceberg:

• Необходимо зарегистрировать таблицы Parquet с секциями в каталоге, например каталог Unity или устаревшее хранилище метаданных Hive перед клонированием и использованием имени таблицы для idenfity исходной таблицы. Нельзя использовать синтаксис клонирования на основе пути для таблиц Parquet с секциями.
• Вы не можете клонировать таблицы Айсберга, которые испытали эволюцию секций.
• Не удается клонировать таблицы с слиянием в режиме слияния, которые имеют опыт обновления, удаления или слияния.
• Ниже приведены ограничения для клонирования таблиц Айсберга с секциями, определенными для усеченных столбцов:
  • В Databricks Runtime 12.2 LTS и ниже поддерживается stringтолько усеченный тип столбца.
  • В Databricks Runtime 13.3 LTS и более поздних версиях можно работать с усеченными столбцами типов stringилиlongint.
  • Azure Databricks не поддерживает работу с усеченными столбцами типа decimal.
• Добавочный клон синхронизирует изменения схемы и свойства из исходной таблицы. Все изменения схемы и файлы данных, записанные непосредственно в клонированную таблицу, переопределяются.
• Каталог Unity не поддерживает мелкие клоны для таблиц Parquet или Iceberg.
• При определении пути нельзя использовать шаблоны глобов.