Lakehouse'ı kopyalama etkinliğinde yapılandırma

Bu makalede, veri işlem hattındaki kopyalama etkinliğinin Fabric Lakehouse'dan ve fabric lakehouse'a veri kopyalamak için nasıl kullanılacağı özetlenmiştir. Varsayılan olarak, veriler V-Order'da Lakehouse Tablosu'na yazılır ve daha fazla bilgi için Delta Lake tablo iyileştirme ve V-Order'a gidebilirsiniz.

Desteklenen biçim

Lakehouse aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• Excel biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi
• XML biçimi

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

• Genel
• Kaynak
• Hedef
• Eşleme
• Ayarlar

Genel

Genel sekmesi yapılandırması için Genel'e gidin.

Kaynak

Aşağıdaki özellikler, kopyalama etkinliğinin Kaynak sekmesi altında Lakehouse için desteklenir.

Aşağıdaki özellikler gereklidir:

• Bağlantı: Bağlantı listesinden bir Lakehouse bağlantısı seçin. Bağlantı yoksa, bağlantı listesinin alt kısmındaki Diğer'i seçerek yeni bir Lakehouse bağlantısı oluşturun. Lakehouse'unuzu belirtmek için Dinamik içerik kullan'ı uygularsanız bir parametre ekleyin ve parametre değeri olarak Lakehouse nesne kimliğini belirtin. Lakehouse nesne kimliğinizi almak için çalışma alanınızda Lakehouse'unuzu açın ve kimlik URL'nizde sonradır /lakehouses/.

  

• Kök klasör: Gölünüzdeki yönetilen veya yönetilmeyen alanın sanal görünümünü gösteren Tablolar veya Dosyalar'ı seçin. Daha fazla bilgi için bkz. Lakehouse'a giriş.

  • Tablolar'ı seçerseniz:

    • Tablo adı: Tablo listesinden var olan bir tabloyu seçin veya kaynak olarak bir tablo adı belirtin. Yeni bir tablo oluşturmak için Yeni'yi de seçebilirsiniz.

      

    • Tablo: Bağlantıda şemaları olan Lakehouse'u uyguladığınızda, tablo listesinden şema içeren mevcut bir tabloyu seçin veya kaynak olarak şema içeren bir tablo belirtin. İsterseniz Yeni'yi seçerek şemayla yeni bir tablo oluşturabilirsiniz. Bir şema adı belirtmezseniz, hizmet varsayılan şema olarak dbo kullanır.

      

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Zaman damgası: Eski bir anlık görüntüyü zaman damgasına göre sorgulamak için belirtin.
      • Sürüm: Eski bir anlık görüntüyü sürüme göre sorgulamak için belirtin.
      • Ek sütunlar: Depolama kaynak dosyalarının göreli yoluna veya statik değerine ek veri sütunları ekleyin. İfade, ikincisi için desteklenir.

    Okuyucu sürüm 1 desteklenir. İlgili desteklenen Delta Lake özelliklerini bu makalede bulabilirsiniz.

  • Dosyalar'ı seçerseniz:

    • Dosya yolu türü: Dosya yolu, Joker karakter dosya yolu veya Dosya listesi'ni dosya yolu türünüz olarak seçebilirsiniz. Aşağıdaki listede her ayarın yapılandırması açıklanmaktadır:

      

      • Dosya yolu: Kopyalamak istediğiniz dosyayı seçmek için Gözat'ı seçin veya yolu el ile doldurun.

      • Joker karakter dosya yolu: Kaynak klasörlerinizi veya dosyalarınızı filtrelemek için verilen Lakehouse yönetilmeyen alanınızın (Dosyalar altında) altında joker karakterler içeren klasörü veya dosya yolunu belirtin. İzin verilen joker karakterler şunlardır: * (sıfır veya daha fazla karakterle eşleşir) ve ? (sıfır veya tek karakterle eşleşir). Klasörünüzün veya dosya adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış için kullanın ^ .

        • Joker klasör yolu: Verilen kapsayıcının altındaki klasörün yolu. Klasörü filtrelemek için joker karakter kullanmak istiyorsanız, bu ayarı atlayın ve etkinlik kaynağı ayarlarında bu bilgileri belirtin.

        • Joker dosya adı: Verilen Lakehouse yönetilmeyen alanının (Dosyalar altında) ve klasör yolunun altındaki dosya adı.

          

      • Dosya listesi: Belirli bir dosya kümesinin kopyalandığını gösterir.

        • Klasör yolu: Kopyalamak istediğiniz dosyaları içeren bir klasörü gösterir.
        • Dosya listesinin yolu: Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasını gösterir. Bu, yapılandırılan dosya yolunun göreli yolu olan satır başına bir dosyadır.

        

    • Özyinelemeli olarak: Verilerin alt klasörlerden mi yoksa yalnızca belirtilen klasörden mi özyinelemeli olarak okunup okunmadığını gösterir. Etkinleştirilirse, giriş klasöründeki ve alt klasörlerindeki tüm dosyalar özyinelemeli olarak işlenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.

    • Dosya biçimi: Açılan listeden dosya biçiminizi seçin. Dosya biçimini yapılandırmak için Ayarlar düğmesini seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Son değiştirme tarihine göre filtrele: Dosyalar, son değiştirme tarihlerine göre filtrelenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.
        • Başlangıç saati: Dosyalar, son değiştirme süreleri yapılandırılan saatten büyük veya buna eşitse seçilir.
        • Bitiş saati: Son değiştirme süreleri yapılandırılan süreden kısaysa dosyalar seçilir.
      • Bölüm bulmayı etkinleştir: Bölümlenmiş dosyalar için, bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını belirtin ve bunları ek kaynak sütunlar olarak ekleyin.
        • Bölüm kök yolu: Bölüm bulma etkinleştirildiğinde, bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak kök yolu belirtin.
      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırını gösterir. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

Hedef

Aşağıdaki özellikler, kopyalama etkinliğinin Hedef sekmesi altında Lakehouse için desteklenir.

Aşağıdaki özellikler gereklidir:

• Bağlantı: Bağlantı listesinden bir Lakehouse bağlantısı seçin. Bağlantı yoksa, bağlantı listesinin alt kısmındaki Diğer'i seçerek yeni bir Lakehouse bağlantısı oluşturun. Lakehouse'unuzu belirtmek için Dinamik içerik kullan'ı uygularsanız bir parametre ekleyin ve parametre değeri olarak Lakehouse nesne kimliğini belirtin. Lakehouse nesne kimliğinizi almak için çalışma alanınızda Lakehouse'unuzu açın ve kimlik URL'nizde sonradır /lakehouses/.

  

• Kök klasör: Gölünüzdeki yönetilen veya yönetilmeyen alanın sanal görünümünü gösteren Tablolar veya Dosyalar'ı seçin. Daha fazla bilgi için bkz. Lakehouse'a giriş.

  • Tablolar'ı seçerseniz:

    • Tablo adı: Tablo listesinden var olan bir tabloyu seçin veya hedef olarak bir tablo adı belirtin. Yeni bir tablo oluşturmak için Yeni'yi de seçebilirsiniz.

      

    • Tablo: Bağlantıda şemaları olan Lakehouse'u uyguladığınızda, tablo listesinden şema içeren mevcut bir tabloyu seçin veya hedef olarak şema içeren bir tablo belirtin. İsterseniz Yeni'yi seçerek şemayla yeni bir tablo oluşturabilirsiniz. Bir şema adı belirtmezseniz, hizmet varsayılan şema olarak dbo kullanır.

      

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Tablo eylemleri: Seçili tabloya karşı işlemi belirtin.

        • Ekle: Var olan tabloya yeni değerler ekler.

          • Bölümü Etkinleştir: Bu seçim, bir veya birden çok sütunu temel alan bir klasör yapısında bölümler oluşturmanıza olanak tanır. Her ayrı sütun değeri (çift) yeni bir bölümdür. Örneğin, "year=2000/month=01/file".
            • Bölüm sütunu adı: Verileri yeni bir tabloya eklediğinizde şema eşlemesindeki hedef sütunlardan birini seçin. Zaten bölümleri olan mevcut bir tabloya veri eklediğinizde, bölüm sütunları otomatik olarak varolan tablodan türetilir. Desteklenen veri türleri dize, tamsayı, boole ve datetime'dır. Biçim, Eşleme sekmesinin altındaki tür dönüştürme ayarlarına saygı gösterir.

        • Üzerine yaz: Yeni değerleri kullanarak tablodaki mevcut verilerin ve şemanın üzerine yazın. Bu işlem seçilirse, hedef tablonuzda bölümü etkinleştirebilirsiniz:

          • Bölümü Etkinleştir: Bu seçim, bir veya birden çok sütunu temel alan bir klasör yapısında bölümler oluşturmanıza olanak tanır. Her ayrı sütun değeri (çift) yeni bir bölümdür. Örneğin, "year=2000/month=01/file".
            • Bölüm sütun adı: Şema eşlemesindeki hedef sütunlardan birini seçin. Desteklenen veri türleri dize, tamsayı, boole ve datetime'dır. Biçim, Eşleme sekmesinin altındaki tür dönüştürme ayarlarına saygı gösterir.

          Delta Lake zaman yolculuğu desteğine sahiptir. Üzerine yazılan tabloda, Lakehouse'unuzdan erişebileceğiniz önceki sürümler için delta günlükleri bulunur. Ayrıca, kopyalama etkinliği kaynağında Sürüm belirterek Lakehouse'dan önceki sürüm tablosunu da kopyalayabilirsiniz.

      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

    Yazıcı sürüm 2 desteklenir. İlgili desteklenen Delta Lake özelliklerini bu makalede bulabilirsiniz.

  • Dosyalar'ı seçerseniz:

    • Dosya yolu: Kopyalamak istediğiniz dosyayı seçmek için Gözat'ı seçin veya yolu el ile doldurun.

      

    • Dosya biçimi: Açılan listeden dosya biçiminizi seçin. Dosya biçimini yapılandırmak için Ayarlar'ı seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Kopyalama davranışı: Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını tanımlar. Düzleştirme hiyerarşisi, Dosyaları birleştir, Hiyerarşiyi koru veya Kopyalama davranışı olarak Dinamik içerik ekle'yi seçebilirsiniz. Her ayarın yapılandırması şöyledir:

        • Düzleştirme hiyerarşisi: Kaynak klasördeki tüm dosyalar hedef klasörün ilk düzeyindedir. Hedef dosyalar otomatik olarak oluşturulan adlara sahiptir.

        • Dosyaları birleştirme: Kaynak klasördeki tüm dosyaları tek bir dosyayla birleştirir. Dosya adı belirtilirse, birleştirilmiş dosya adı belirtilen addır. Aksi takdirde, otomatik olarak oluşturulan bir dosya adıdır.

        • Hiyerarşiyi koru: Hedef klasördeki dosya hiyerarşisini korur. Kaynak dosyanın kaynak klasöre göreli yolu, hedef klasörün hedef dosyanın göreli yolu ile aynıdır.

        • Dinamik içerik ekleme: Özellik değeri için bir ifade belirtmek için Dinamik içerik ekle'yi seçin. Bu alan, desteklenen sistem değişkenlerinden, etkinlik çıkışından, işlevlerden ve kullanıcı tarafından belirtilen değişkenlerden veya parametrelerden ifadeler oluşturabileceğiniz ifade oluşturucusunu açar. İfade dili hakkında daha fazla bilgi için İfadeler ve işlevler'e gidin.

          

      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

      • Blok boyutu (MB): Lakehouse'a veri yazarken blok boyutunu MB olarak belirtin. İzin verilen değer 4 MB ile 100 MB arasındadır.

      • Meta veriler: Hedef veri deposuna kopyalarken özel meta veriler ayarlayın. Dizinin altındaki metadata her nesne fazladan bir sütunu temsil eder. , name meta veri anahtarı adını tanımlar ve value bu anahtarın veri değerini belirtir. Öznitelikleri koru özelliği kullanılırsa, belirtilen meta veriler kaynak dosya meta verileriyle birlenir/üzerine yazılır. İzin verilen veri değerleri şunlardır:

        • $$LASTMODIFIED: ayrılmış değişken, kaynak dosyaların son değiştirme zamanının depolandığı gösterir. Yalnızca ikili biçimli dosya tabanlı bir kaynağa uygulayın.

        • Expression

        • Statik değer

          

Eşleme

Eşleme sekmesi yapılandırması için Hedef veri deponuz olarak Lakehouse tablosunu uygulamıyorsanız Eşleme'ye gidin.

Lakehouse tablosunu Eşleme'deki yapılandırma dışında hedef veri deponuz olarak uygularsanız, hedef sütunlarınızın türünü düzenleyebilirsiniz. Şemaları içeri aktar'ı seçtikten sonra, hedefinizde sütun türünü belirtebilirsiniz.

Örneğin, kaynaktaki PersonID sütununun türü int'tir ve hedef sütuna eşlerken bunu dize türüyle değiştirebilirsiniz.

Dosya biçiminiz olarak İkili'yi seçerseniz eşleme desteklenmez.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar'a gidin.

Tablo özeti

Aşağıdaki tablolarda Lakehouse'daki kopyalama etkinliği hakkında daha fazla bilgi yer alır.

Kaynak bilgileri

Hedef bilgileri

İlgili içerik

• Lakehouse bağlayıcıya genel bakış