Delta Lake'e dönüştürme

  • Makale

SQL komutu Parquet CONVERT TO DELTA ve Iceberg tabloları için Delta Lake tablolarına tek seferlik dönüştürme gerçekleştirir. Parquet veya Iceberg tablolarının Delta Lake'e artımlı olarak dönüştürülmesi için bkz . Parquet ve Iceberg tablolarını Delta Lake'e artımlı olarak kopyalama.

Unity Kataloğu, Unity Kataloğu tarafından yönetilen dış konumlarda depolanan Parquet ve Iceberg tabloları için SQL komutunu destekler CONVERT TO DELTA .

Unity Kataloğu'nda mevcut Parquet veri dosyalarını dış tablolar olarak yapılandırabilir ve sonra Bunları Delta Lake'e dönüştürerek Databricks lakehouse'un tüm özelliklerinin kilidini açabilirsiniz.

Teknik belgeler için bkz . DELTA'YA DÖNÜŞTÜR.

Dış konumdaki Parquet veya Iceberg dosyalarının dizinini Delta Lake'e dönüştürme

Not

  • Iceberg tablolarını dönüştürme işlemi Genel Önizleme aşamasındadır.
  • Iceberg tablolarının dönüştürülmesi Databricks Runtime 10.4 LTS ve üzerinde desteklenir.
  • Iceberg meta veri deposu tablolarının dönüştürülmesi desteklenmez.
  • Bölüm evrimi yaşayan Iceberg tablolarının dönüştürülmesi desteklenmez.
  • Iceberg'in güncelleştirmeler, silmeler veya birleştirmelerle karşılaşmış olan okundu tabloları dönüştürmesi desteklenmez.
  • Iceberg tablolarını kesilmiş sütunlarda tanımlanan bölümlere dönüştürmeye yönelik sınırlamalar aşağıdadır:
    • Databricks Runtime 12.2 LTS ve altında desteklenen tek kesilen sütun türüdür string.
    • Databricks Runtime 13.3 LTS ve üzerinde, , longveya inttüründe stringkesilmiş sütunlarla çalışabilirsiniz.
    • Azure Databricks, türünde decimalkesilmiş sütunlarla çalışmayı desteklemez.

Depolama konumunda yazma erişiminiz olduğu sürece Parquet veri dosyalarının dizinini Delta Lake tablosuna dönüştürebilirsiniz. Unity Kataloğu ile erişimi yapılandırma hakkında bilgi için bkz . Unity Kataloğu'nu kullanarak bulut nesne depolamasına bağlanma.

Not

Unity Kataloğu için Azure Data Lake Storage 2. Nesil gerekir.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Dönüştürülen tabloları Unity Kataloğu'na dış tablo olarak yüklemek için, dış konumda izniniz olmalıdır CREATE EXTERNAL TABLE .

Not

Databricks Runtime 11.3 LTS ve üzeri için, CONVERT TO DELTA Hive meta veri deposuna kayıtlı tablolar için bölümleme bilgilerini otomatik olarak çıkartır. Unity Kataloğu dış tabloları için bölümleme bilgileri sağlamanız gerekir.

Unity Kataloğu'nda yönetilen ve dış tabloları Delta Lake'e dönüştürme

CONVERT TO DELTA söz dizimi yalnızca Unity Kataloğu dış tabloları oluşturmak için kullanılabilir. CTAS Eski Hive meta veri deposu yönetilen Parquet tablosunu doğrudan yönetilen Unity Kataloğu Delta Lake tablosuna dönüştürmek için deyimini kullanın. Bkz. CREATE TABLE AS SELECT kullanarak Hive tablosunu Unity Kataloğu yönetilen tablosuna yükseltme.

Dış Parquet tablosunu Unity Kataloğu dış tablosuna yükseltmek için bkz . Yükseltme sihirbazını kullanarak tek bir Hive tablosunu Unity Kataloğu dış tablosuna yükseltme.

Bir dış Parquet tablosunu Unity Kataloğu'na kaydettikten sonra, bunu dış Delta Lake tablosuna dönüştürebilirsiniz. Parquet tablosu bölümlenmişse bölümleme bilgileri sağlamanız gerekir.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);