Sunucusuz bilgi işlem sürüm notları

Bu makalede, not defterleri ve işler için sunucusuz işlemde şu anda kullanılabilen ve yaklaşan özellikler ve davranışlar açıklanmaktadır.

Sunucusuz işlem hakkında daha fazla bilgi için bkz . Sunucusuz işlemle bağlantı kurma.

Databricks düzenli aralıklarla sunucusuz işlem güncelleştirmeleri yayımlar ve platforma yapılan iyileştirmeleri ve yükseltmeleri desteklemek için sunucusuz işlem çalışma zamanını otomatik olarak yükselter. Tüm kullanıcılar kısa bir süre içinde dağıtılan aynı güncelleştirmeleri alır.

Yaklaşan davranış değişiklikleri

Bu bölümde, sonraki sunucusuz işlem sürümünde gelen davranış değişiklikleri vurgulanır. Değişiklikler üretime gönderildiğinde sürüm notlarına eklenir.

Eylül 2024

Görünümler için şema bağlama değişikliği

Görünümün temel alınan sorgularındaki veri türleri, görünüm ilk oluşturulduğunda kullanılanlardan değiştiğinde, güvenli bir atama gerçekleştirilemiyorsa Databricks artık görünüme başvurular için hata oluşturmaz. Bunun yerine, görünüm mümkün olduğunda normal atama kurallarının kullanılmasını telafi eder.

Bu değişiklik, Databricks'in tablo şeması değişikliklerini daha hazır bir şekilde tolere etmesine olanak tanır.

Dış boole mantığı için NOT belgelenmemiş ! söz dizimi toleranslarına izin verme

Databricks artık boole mantığının dışında bir eş NOT anlamlı olarak kullanımını ! tolere etmeyecektir. Örneğin:

CREATE ... IF ! EXISTS, IS ! NULL, ! NULL sütun veya alan özelliği ! IN ve ! BETWEEN şununla değiştirilmelidir:

CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL sütun veya alan özelliği NOT IN ve NOT BETWEEN.

Bu değişiklik karışıklığı azaltır, SQL standardıyla uyumludur ve SQL'i daha taşınabilir hale getirir.

Boole ön ek işleci ! (ör. !is_mgr veya !(true AND false)) bu değişiklikten etkilenmez.

Görünümlerde sütun tanımı söz diziminin belgelenmemiş ve işlenmemiş bölümlerine izin verme

Databricks, adlandırılmış sütunlar ve sütun açıklamaları ile CREATE VIEW'u destekler. Sütun türlerinin, NOT NULL kısıtlamaların veya DEFAULT belirtiminin söz diziminde herhangi bir etkisi olmadan tolere edilmiştir. Databricks bu söz dizimi toleranslarını kaldırır.

Bunun yapılması karışıklığı azaltır, SQL standardıyla uyumludur ve gelecekteki iyileştirmelere olanak tanır.

Sürüm notları

Bu bölüm sunucusuz işlem için sürüm notlarını içerir. Sürüm notları yıla ve yılın haftasına göre düzenlenir. Sunucusuz işlem her zaman burada listelenen en son yayınlanan sürümü kullanarak çalışır.

• JDK, JDK 8'den JDK 17'ye yükseltilir
• Sürüm 2024.30
• Sürüm 2024.15

JDK, JDK 8'den JDK 17'ye yükseltilir

15 Ağustos 2024, Ağustos 2024, Saat 20:00

Not defterleri ve iş akışları için sunucusuz işlem, sunucu tarafında Java Development Kit (JDK) 8'den JDK 17'ye geçirildi. Bu yükseltme aşağıdaki davranış değişikliklerini içerir:

Hata düzeltmeleri

İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması: Bu yükseltmeyle Azure Databricks artık iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırma işlemini destekliyor. Örneğin, [^[abc]] "'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.

Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, gibi [[a-c][1-3]]köşeli ayraçlar içinde köşeli ayraç içeren herhangi bir desendir.

Sürüm 2024.30

23 Temmuz 2024, Saat 2024, Temmuz 2024, Saat 20:00

Bu sunucusuz işlem sürümü kabaca Databricks Runtime 15.1'e karşılık gelir

Yeni özellikler

Yan tümcesinde yıldız (*) söz dizimi desteği: Artık listedeki tüm sütunlara başvurmak için yan tümcesinde WHERE yıldız (*) söz dizimini SELECT kullanabilirsiniz.WHERE

Örneğin, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Değişiklikler

JSON ayrıştırma için geliştirilmiş hata kurtarma: ve JSON yol ifadeleri için from_json() kullanılan JSON ayrıştırıcısı artık yanlış biçimlendirilmiş söz diziminden daha hızlı kurtarılarak daha az veri kaybına neden olur.

Yapı alanında, dizi değerinde, eşleme anahtarında veya eşleme değerinde hatalı biçimlendirilmiş JSON söz dizimi ile karşılaşıldığında, JSON ayrıştırıcısı artık yalnızca okunamayan alan, anahtar veya öğe için döndürülecektir NULL . Sonraki alanlar, anahtarlar veya öğeler düzgün şekilde ayrıştırılır. Bu değişiklik öncesinde JSON ayrıştırıcısı dizi, yapı veya eşleme ayrıştırma işlemini bıraktı ve kalan içerik için döndürüldü NULL .

Sürüm 2024.15

15 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00

Bu, ilk sunucusuz işlem sürümüdür. Bu sürüm kabaca Databricks Runtime 14.3'e karşılık gelir ve bazı sunucusuz ve eski özelliklerin desteğini kaldıran bazı değişiklikler içerir.

Desteklenen Spark yapılandırma parametreleri

Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için Databricks, Çoğu Spark yapılandırmasının el ile ayarlanması desteğini kaldırmıştır. Yalnızca aşağıdaki Spark yapılandırma parametrelerini el ile ayarlayabilirsiniz:

• spark.sql.legacy.timeParserPolicy (Varsayılan değer EXCEPTION)
• spark.sql.session.timeZone (Varsayılan değer Etc/UTC)
• spark.sql.shuffle.partitions (Varsayılan değer auto)
• spark.sql.ansi.enabled (Varsayılan değer true)

Bu listede olmayan bir Spark yapılandırması ayarlarsanız sunucusuz işlem üzerinde çalışan iş başarısız olur.

Spark özelliklerini yapılandırma hakkında daha fazla bilgi için bkz . Azure Databricks'te Spark yapılandırma özelliklerini ayarlama.

input_file işlevleri kullanım dışı bırakıldı

input_file_name(), input_file_block_length() ve input_file_block_start() işlevleri kullanım dışı bırakıldı. Bu işlevlerin kullanılması önerilmez.

Bunun yerine, dosya meta verisi bilgilerini almak için dosya meta verileri sütununu kullanın.

Davranış değişiklikleri

Sunucusuz işlem sürümü 2024.15 aşağıdaki davranış değişikliklerini içerir:

• unhex(hexStr) hata düzeltmesi: İşlev kullanılırken unhex(hexStr) , hexStr her zaman bir baytta sola doldurulur. Daha önce unhex işlevi ilk yarım baytı yoksaymıştı. Örneğin: unhex('ABC') artık yerine x'BC'üretirx'0ABC'.
• Otomatik oluşturulan sütun diğer adları artık kararlıdır: Kullanıcı tarafından belirtilen bir sütun diğer adı olmadan bir ifadenin sonucuna başvurulduğunda, otomatik olarak oluşturulan bu diğer ad artık kararlı olacaktır. Yeni algoritma, gerçekleştirilmiş görünümler gibi özelliklerde kullanılan önceden otomatik olarak oluşturulan adlarda değişiklik olmasına neden olabilir.
• Tür alanlarıyla CHAR tablo taramaları artık her zaman dolduruldu: Delta tabloları, belirli JDBC tabloları ve dış veri kaynakları CHAR verilerini doldurulmayan biçimde depolar. Databricks, okurken doğru semantiği sağlamak için verileri belirtilen uzunlukta boşluklarla doldurmaya devam edecektir.
• BIGINT/DECIMAL'den TIMESTAMP'ye atamalar taşan değerler için bir özel durum oluşturur: Databricks, değeri Unix döneminin saniye sayısı olarak değerlendirerek BIGINT ve DECIMAL'den TIMESTAMP'ye dönüştürmeye izin verir. Daha önce Databricks taşan değerler döndürse de taşma durumlarında bir özel durum oluşturur. Özel durum yerine NULL döndürmek için kullanın try_cast .
• PySpark UDF yürütmesi, tek kullanıcı işlemlerinde UDF yürütmesinin tam davranışıyla eşleşecek şekilde geliştirilmiştir: Aşağıdaki değişiklikler yapılmıştır:
  • Dize dönüş türüne sahip UDF'ler artık dize olmayan değerleri örtük olarak dizelere dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler, döndürülen değerin gerçek veri türünden bağımsız olarak sonuda bir str(..) sarmalayıcı uygulardı.
  • Dönüş türlerine sahip timestamp UDF'ler artık zaman damgalarına örtük olarak saat dilimi dönüştürmesi uygulamaz.

Sistem ortamı

Sunucusuz işlem aşağıdaki sistem ortamını içerir:

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Python: 3.10.12
• Delta Gölü: 3.1.0

Yüklü Python kitaplıkları

Aşağıdaki Python kitaplıkları sunucusuz işlemde varsayılan olarak yüklenir. Ortam yan paneli kullanılarak ek bağımlılıklar yüklenebilir. Bkz . Not defteri bağımlılıklarını yükleme.