Delta Lake nedir?
Delta Lake, APACHE Spark ve büyük veri iş yüklerine ACID (bölünmezlik, tutarlılık, yalıtım ve dayanıklılık) işlemleri getiren açık kaynaklı bir depolama katmanıdır.
Azure Synapse ile birlikte sunulan Delta Lake'in geçerli sürümü Scala, PySpark ve .NET için dil desteğine sahiptir ve Linux Foundation Delta Lake ile uyumludur. Sayfanın alt kısmında daha ayrıntılı örneklere ve belgelere bağlantılar bulunur. Delta Tablolarına Giriş videosundan daha fazla bilgi edinebilirsiniz.
Önemli özellikler
| Özellik | Açıklama |
|---|---|
| ACID İşlemleri | Veri gölleri genellikle birden çok işlem ve işlem hattı aracılığıyla doldurulur ve bazıları okumalarla eşzamanlı olarak veri yazar. Delta Lake ve işlemlerin eklenmesinden önce veri mühendislerinin veri bütünlüğünü sağlamak için el ile hataya açık bir işlemden geçmesi gerekiyordu. Delta Lake, veri göllerine tanıdık ACID işlemleri getirir. En güçlü yalıtım düzeyi olan seri hale getirilebilirlik sağlar. Delta Lake'e Atlama: İşlem Günlüğünü Açma konusunda daha fazla bilgi edinin. |
| Ölçeklenebilir Meta Veri İşleme | Büyük verilerde meta verilerin kendisi bile "büyük veri" olabilir. Delta Lake meta verileri tıpkı veriler gibi ele alır ve Spark'ın tüm meta verilerini işlemek için dağıtılmış işleme gücünden yararlanır. Sonuç olarak Delta Lake, milyarlarca bölüm ve dosya içeren petabayt ölçeğindeki tabloları kolayca işleyebilir. |
| Zaman Yolculuğu (veri sürümü oluşturma) | Bir değişikliği "geri alma" veya önceki sürüme geri dönme özelliği, işlemlerin temel özelliklerinden biridir. Delta Lake, denetimler, geri almalar veya denemeleri yeniden oluşturmak için verilerin önceki sürümlerine geri dönmenizi sağlayan verilerin anlık görüntülerini sağlar. Daha fazla bilgi için bkz . Büyük Ölçekli Veri Gölleri için Delta Lake Time Travel tanıtımı. |
| Biçim Aç | Apache Parquet, Delta Lake için temel biçimdir ve biçime özgü verimli sıkıştırma ve kodlama şemalarından yararlanmanıza olanak tanır. |
| Birleşik Batch ve Akış Kaynağı ve Havuzu | Delta Lake'teki bir tablo hem toplu iş tablosu hem de akış kaynağı ve havuzdur. Akış verileri alma, toplu geçmiş doldurma ve etkileşimli sorguların hepsi kutudan çıkar. |
| Şema Zorlama | Şema zorlama, veri türlerinin doğru ve gerekli sütunların mevcut olduğundan emin olunmasına yardımcı olur ve hatalı verilerin veri tutarsızlığı oluşturmasını önler. Daha fazla bilgi için bkz . Delta Lake'e Atlama: Şema Zorlama ve Evrim |
| Şema Evrimi | Delta Lake, geçiş DDL'sini yazmak zorunda kalmadan otomatik olarak uygulanabilen bir tablo şemasında değişiklik yapmanızı sağlar. Daha fazla bilgi için bkz . Delta Lake'e Atlama: Şema Zorlama ve Evrim |
| Denetim Geçmişi | Delta Lake işlem günlüğü, verilerde yapılan her değişiklikle ilgili ayrıntıları kaydeder ve değişikliklerin tam denetim kaydını sağlar. |
| Güncelleştirmeler ve Silmeler | Delta Lake, çeşitli işlevler için Scala / Java / Python ve SQL API'lerini destekler. Birleştirme, güncelleştirme ve silme işlemleri desteği, uyumluluk gereksinimlerini karşılamanıza yardımcı olur. Daha fazla bilgi için bkz . Delta Lake 0.6.1 Sürümünü Duyurma, Delta Lake 0.7 Sürümünü Duyurma ve DML komutlarını birleştirme, güncelleştirme ve silme kod parçacıkları içeren Python API'lerini kullanan Delta Lake Tablolarında Basit, Güvenilir Upserts ve Deletes. |
| Apache Spark API ile yüzde 100 uyumlu | Geliştiriciler Delta Lake'i mevcut veri işlem hatlarıyla en az değişiklikle kullanabilirler. Bu işlem, mevcut Spark uygulamalarıyla tam olarak uyumludur. |
Tüm belgeler için Delta Lake Belgeleri Sayfasına bakın
Daha fazla bilgi için bkz . Delta Lake Project.