Azure Data Factory'de Delta biçimi

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, delta biçimini kullanarak Azure Data Lake Store 2. Nesil'de veya Azure Blob Depolama depolanan bir delta gölüne veri kopyalama adımları vurgulanmaktadır. Bu bağlayıcı, veri akışlarını hem kaynak hem de havuz olarak eşlemede satır içi veri kümesi olarak kullanılabilir.

Eşleme veri akışı özellikleri

Bu bağlayıcı, veri akışlarını hem kaynak hem de havuz olarak eşlemede satır içi veri kümesi olarak kullanılabilir.

Kaynak özellikleri

Aşağıdaki tabloda, delta kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Şemayı içeri aktarma

Delta yalnızca satır içi veri kümesi olarak kullanılabilir ve varsayılan olarak ilişkili bir şeması yoktur. Sütun meta verilerini almak için Projeksiyon sekmesinde şemayı içeri aktar düğmesine tıklayın. Bu, corpus tarafından belirtilen sütun adlarına ve veri türlerine başvurmanızı sağlar. Şemayı içeri aktarmak için veri akışı hata ayıklama oturumunun etkin olması ve işaret etmeniz gereken mevcut bir CDM varlık tanımı dosyanız olması gerekir.

Delta kaynak betiği örneği

source(output(movieId as integer,
            title as string,
            releaseDate as date,
            rated as boolean,
            screenedOn as timestamp,
            ticketPrice as decimal(10,2)
            ),
    store: 'local',
    format: 'delta',
    versionAsOf: 0,
    allowSchemaDrift: false,
    folderPath: $tempPath + '/delta'
  ) ~> movies

Havuz özellikleri

Aşağıdaki tabloda delta havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz.

Delta havuzu betiği örneği

İlişkili veri akışı betiği:

moviesAltered sink(
          input(movieId as integer,
                title as string
            ),
           mapColumn(
                movieId,
                title
            ),
           insertable: true,
           updateable: true,
           deletable: true,
           upsertable: false,
           keys: ['movieId'],
            store: 'local',
           format: 'delta',
           vacuum: 180,
           folderPath: $tempPath + '/delta'
           ) ~> movieDB

Bölüm ayıklama ile delta havuzu

Yukarıdaki Güncelleştirme yöntemi (güncelleştirme/upsert/delete gibi) altındaki bu seçenekle, incelenen bölüm sayısını sınırlayabilirsiniz. Hedef depodan yalnızca bu koşulu karşılayan bölümler getirilir. Bir bölüm sütununun alabileceği sabit değer kümesini belirtebilirsiniz.

Bölüm ayıklama ile delta havuzu betiği örneği

Aşağıda gösterildiği gibi örnek bir betik verilmiştir.

DerivedColumn1 sink( 
      input(movieId as integer,
            title as string
           ), 
      allowSchemaDrift: true,
      validateSchema: false,
      format: 'delta',
      container: 'deltaContainer',
      folderPath: 'deltaPath',
      mergeSchema: false,
      autoCompact: false,
      optimizedWrite: false,
      vacuum: 0,
      deletable:false,
      insertable:true,
      updateable:true,
      upsertable:false,
      keys:['movieId'],
      pruneCondition:['part_col' -> ([5, 8])],
      skipDuplicateMapInputs: true,
      skipDuplicateMapOutputs: true) ~> sink2
 

Delta, tüm bölümler yerine hedef delta deposundan yalnızca == 5 ve 8 part_col 2 bölümü okur. part_col, hedef delta verilerinin bölümlendiği bir sütundur. Kaynak verilerde mevcut olması gerekmez.

Delta havuzu iyileştirme seçenekleri

Ayarlar sekmesinde, delta havuzu dönüştürmeyi iyileştirmek için üç seçenek daha bulursunuz.

• Şemayı birleştir seçeneği etkinleştirildiğinde şema evrimine izin verir; örneğin, geçerli gelen akışta bulunan ancak hedef Delta tablosunda bulunmayan tüm sütunlar otomatik olarak şemasına eklenir. Bu seçenek tüm güncelleştirme yöntemlerinde desteklenir.

• Otomatik sıkıştırma etkinleştirildiğinde, tek bir yazma işleminden sonra dönüştürme, dosyaların daha fazla sıkıştırılıp sıkıştırılamadığını denetler ve en fazla küçük dosyaya sahip bölümler için dosyaları daha fazla sıkıştırmak için hızlı bir OPTIMIZE işi (1 GB yerine 128 MB dosya boyutuyla) çalıştırır. Otomatik sıkıştırma, çok sayıda küçük dosyayı daha az sayıda büyük dosyada birleştirmeye yardımcı olur. Otomatik sıkıştırma yalnızca en az 50 dosya olduğunda devreye giriyor. Sıkıştırma işlemi gerçekleştirildikten sonra tablonun yeni bir sürümünü oluşturur ve sıkıştırılmış biçimde önceki birkaç dosyanın verilerini içeren yeni bir dosya yazar.

• Yazmayı en iyi duruma getir etkinleştirildiğinde havuz dönüştürmesi, her tablo bölümü için 128 MB dosya yazmaya çalışarak gerçek verilere göre bölüm boyutlarını dinamik olarak iyileştirir. Bu yaklaşık bir boyutdur ve veri kümesi özelliklerine bağlı olarak değişebilir. İyileştirilmiş yazma işlemleri, yazma ve sonraki okumaların genel verimliliğini artırır. Bölümleri, sonraki okumaların performansını artıracak şekilde düzenler.

Bilinen sınırlamalar

Bir delta havuzuna yazdığınızda, yazılan satır sayılarının izleme çıkışında gösterilmeyeceği bilinen bir sınırlama vardır.

İlgili içerik

• Eşleme veri akışında bir kaynak dönüştürmesi oluşturun.
• Eşleme veri akışında havuz dönüşümü oluşturma.
• Satırları ekleme, güncelleştirme, yükseltme veya silme olarak işaretlemek için bir değişiklik satırı dönüştürmesi oluşturun.