Azure Databricks Delta Lake özellik uyumluluğunu nasıl yönetir?

Delta Lake, Linux Foundation idaresi altında bağımsız bir açık kaynak projesidir. Databricks, Databricks Runtime sürümlerinde Delta Lake üzerinde derleyen yeni Delta Lake özellikleri ve iyileştirmeleri için destek sunar.

Delta Lake özelliklerinden yararlanan Azure Databricks iyileştirmeleri, uyumluluk için OSS Delta Lake'te kullanılan protokollere uygundur.

Birçok Azure Databricks iyileştirmesi, bir tabloda Delta Lake özelliklerinin etkinleştirilmesini gerektirir. Delta Lake özellikleri her zaman geriye dönük uyumludur, bu nedenle daha düşük bir Databricks Runtime sürümü tarafından yazılan tablolar her zaman daha yüksek bir Databricks Runtime sürümü tarafından okunabilir ve yazılabilir. Bazı özelliklerin etkinleştirilmesi, daha düşük bir Databricks Runtime sürümünde çalışan iş yükleriyle uyumluluğu bozar. Uyumluluğu ileriye götüren özellikler için, uyumlu bir Databricks Runtime sürümünü kullanmak üzere yükseltilmiş tablolara başvuran tüm iş yüklerini güncellemeniz gerekir.

Hangi Delta Lake özellikleri Databricks Runtime yükseltmeleri gerektirir?

Aşağıdaki Delta Lake özellikleri, ileriye dönük uyumluluğu bozar. Özellikler tablo temelinde etkinleştirilir. Bu tabloda Azure Databricks tarafından hala desteklenen en düşük Databricks Runtime sürümü listelenmektedir.

Bkz . Databricks Runtime sürüm notları sürümleri ve uyumluluğu.

Tablo protokolü belirtimi nedir?

Her Delta tablosunun, tablonun desteklediği özellik kümesini gösteren bir protokol belirtimi vardır. Protokol belirtimi, tabloyu okuyan veya yazan uygulamalar tarafından tablonun desteklediği tüm özellikleri işleyebileceklerini belirlemek için kullanılır. Bir uygulama, tablonun protokolünde desteklenen olarak listelenen bir özelliğin nasıl işleneceğini bilmiyorsa, bu uygulama bu tabloyu okuyamaz veya yazamaz.

Protokol belirtimi iki bileşene ayrılır: okuma protokolü ve yazma protokolü.

Protokolü okuma

Okuma protokolü, bir tablonun desteklediği ve bir uygulamanın tabloyu doğru okumak için anlaması gereken tüm özellikleri listeler. Tablonun okuma protokolünü yükseltmek için tüm okuyucu uygulamalarının eklenen özellikleri desteklemesi gerekir.

Yazma protokolü

Yazma protokolü, bir tablonun desteklediği ve bir uygulamanın tabloya doğru yazabilmek için anlaması gereken tüm özellikleri listeler. Tablonun yazma protokolünü yükseltmek için tüm yazıcı uygulamalarının eklenen özellikleri desteklemesi gerekir. Okuma protokolü de yükseltilmediği sürece salt okunur uygulamaları etkilemez.

Hangi protokoller yükseltilmelidir?

Bazı özellikler hem okuma protokollerini hem de yazma protokollerini yükseltmeyi gerektirir. Diğer özellikler yalnızca yazma protokollerini yükseltmeyi gerektirir.

Örneğin, kısıtlamalar için CHECK destek bir yazma protokolü özelliğidir: yalnızca yazma uygulamalarının kısıtlamalar hakkında CHECK bilgi sahibi olması ve bunları zorunlu kılması gerekir.

Buna karşılık, sütun eşlemesi hem okuma hem de yazma protokollerini yükseltmeyi gerektirir. Veriler tabloda farklı depolandığından, okuyucu uygulamalarının verileri doğru okuyabilmeleri için sütun eşlemesini anlaması gerekir.

En düşük okuyucu ve yazıcı sürümleri

Bir tabloda Delta özelliklerini etkinleştirdiğinizde, tablo protokolü otomatik olarak yükseltilir. Databricks, ve minWriterVersion tablo özelliklerinin değiştirilmesini minReaderVersion önerir. Bu tablo özelliklerinin değiştirilmesi protokol yükseltmesini engellemez. Bu değerlerin daha düşük bir değere ayarlanması tabloyu düşürmez. Bkz . Delta tablosu özelliklerini bırakma.

Tablo özellikleri nelerdir?

Databricks Runtime 12.2 LTS ve üzeri sürümlerde Delta Lake tablosu özellikleri, belirli bir tablo tarafından hangi özelliklerin destekleneceğini belirten ayrıntılı bayraklar sunar. Databricks Runtime 11.3 LTS ve altında, Delta Lake özellikleri protokol sürümleri olarak adlandırılan paketlerde etkinleştirildi. Tablo özellikleri, protokol sürümlerinin ardıllarıdır ve Delta Lake okuyan ve yazan istemciler için geliştirilmiş esneklik hedefiyle tasarlanmıştır. Bkz. Protokol sürümü nedir?.

Delta tablosu özelliği, tablonun belirli bir özelliği desteklediğini gösteren bir işaretçidir. Her özellik bir yazma protokolü özelliğidir (yani yalnızca yazma protokollerini yükselter) veya bir okuma/yazma protokolü özelliğidir (özelliği etkinleştirmek için hem okuma hem de yazma protokollerinin yükseltileceği anlamına gelir).

Delta Lake'te desteklenen tablo özellikleri hakkında daha fazla bilgi edinmek için bkz . Delta Lake protokolü.

Tablo özellikleri Delta Lake özelliklerinin etkinleştirilme şeklini değiştirir mi?

Delta tablolarıyla yalnızca Azure Databricks aracılığıyla etkileşimde bulunuyorsanız, en düşük Databricks Runtime gereksinimlerini kullanarak Delta Lake özellikleri desteğini izlemeye devam edebilirsiniz. Azure Databricks, tablo tarafından kullanılan tüm özellikler bu sürüm tarafından desteklendiği sürece tüm Databricks Runtime LTS sürümlerinde tablo özelliklerine yükseltilmiş Delta tablolarının okunmasını destekler.

Diğer sistemleri kullanarak Delta tablolarını okur ve yazarsanız, sistemin yükseltilen protokol sürümlerini anlamama riski olduğundan tablo özelliklerinin uyumluluğu nasıl etkilediğini düşünmeniz gerekebilir.

Protokol sürümü nedir?

Protokol sürümü, tablo özelliklerinin belirli bir gruplandırma işlemini gösteren bir protokol numarasıdır. Databricks Runtime 11.3 LTS ve altında tablo özelliklerini tek tek etkinleştiremezsiniz. Protokol sürümleri bir özellik grubu paketler.

Delta tabloları, okuma protokolü ve yazma protokolü için ayrı bir protokol sürümü belirtir. Delta tablosunun işlem günlüğü, Delta Lake evrimini destekleyen protokol sürüm oluşturma bilgilerini içerir. Açıklama ayrıntılarıyla Delta Lake tablo ayrıntılarını gözden geçirme bölümüne bakın.

Protokol sürümleri, önceki protokollerdeki tüm özellikleri paketler. Bkz. Protokol sürümüne göre özellikler.

Protokol sürümüne göre özellikler

Aşağıdaki tabloda Delta Lake özellikleri için gereken en düşük protokol sürümleri gösterilmektedir.