Kopyalama etkinliğinde SFTP'yi yapılandırma
Bu makalede, SFTP'den veri kopyalamak için veri işlem hattında kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir.
Desteklenen biçim
SFTP aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.
- Avro biçimi
- İkili biçim
- Sınırlandırılmış metin biçimi
- Excel biçimi
- JSON biçimi
- ORC biçimi
- Parquet biçimi
- XML biçimi
Desteklenen yapılandırma
Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.
Genel
Genel ayarlar sekmesini yapılandırmak için Genel ayarlar kılavuzuna bakın.
Source
Kopyalama etkinliği kaynağınızı yapılandırmak için Kaynak sekmesine gidin. Ayrıntılı yapılandırma için aşağıdaki içeriğe bakın.
Aşağıdaki üç özellik gereklidir:
Veri deposu türü: Dış'ı seçin.
Bağlan ion: Bağlantı listesinden bir SFTP bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir SFTP bağlantısı oluşturun.
Dosya yolu türü: Dosyaları okumak istediğiniz yönteme göre Dosya yolu, Joker karakter dosya yolu ve Dosya listesi arasından seçim yapın.
Dosya yolu: Bu türü seçerseniz kaynak dosya yolunuzu belirtin. Kaynak dosyalarınızı seçmek veya dosya yolunuzu el ile girmek için Gözat'ı seçebilirsiniz.
Joker dosya yolu: Bu türü seçerseniz kaynak klasörlerinizi veya dosyalarınızı filtrelemek için Joker karakter yollarını belirtin.
İzin verilen joker karakterler şunlardır
*(sıfır veya daha fazla karakterle eşleşir) ve?(sıfır veya tek karakterle eşleşir). Klasör adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış için kullanın^. Daha fazla örnek için Klasör ve dosya filtresi örnekleri'ne gidin.
Joker klasör yolu: Kaynak klasörleri filtrelemek için joker karakterler içeren klasör yolunu belirtin.
Joker dosya adı: Kaynak dosyaları filtrelemek için verilen klasör yolu/joker klasör yolu altında joker karakterler içeren dosya adını belirtin.
Dosya listesi: Bu türü seçerseniz, belirli bir dosya kümesinin kopyalandığını belirtmek için Klasör yolunu ve Dosya yolu listesini belirtin. Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasının üzerine gelin ve her satıra bir dosya ekleyin. Daha fazla örnek için Dosya listesi örnekleri'ne gidin.
Klasör yolu: Kaynak klasörünüzün yolunu belirtin. Bu gereklidir.
Dosya listesinin yolu: Kopyalamak istediğiniz dosyaların listesini içeren metin dosyasının yolunu belirtin.
Dosya biçimi: Açılan listeden uygulanan dosya biçimini seçin. Dosya biçimini yapılandırmak için Ayarlar seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.
Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:
En son değiştirilene göre filtrele: Dosyalar, belirttiğiniz son değiştirme tarihlerine göre filtrelenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.
- Başlangıç saati (UTC): Son değiştirme süreleri yapılandırılan saatten büyük veya buna eşitse dosyalar seçilir.
- Bitiş saati (UTC): Son değiştirme süreleri yapılandırılan saatten kısaysa dosyalar seçilir.
Başlangıç saati (UTC) tarih saat değerine sahipse ancak Bitiş saati (UTC) NULL olduğunda, son değiştirilen özniteliği tarih saat değerinden büyük veya buna eşit olan dosyaların seçileceği anlamına gelir. Bitiş saati (UTC) tarih saat değerine sahipse ancak Başlangıç saati (UTC) NULL olduğunda, son değiştirilen özniteliği tarih saat değerinden küçük olan dosyaların seçileceği anlamına gelir. Özellikler NULL olabilir; başka bir deyişle verilere hiçbir dosya özniteliği filtresi uygulanmaz.
Öbeklemeye devre dışı bırakma: Öbekleme, performansı iyileştirmek için tasarlanmıştır ve altında gerçekleşir. Bu seçenek, her dosyada öbeklemesini devre dışı bırakmanızı sağlar. SFTP'den veri kopyalarken, hizmet önce dosya uzunluğunu almaya çalışır, ardından dosyayı birden çok bölüme böler ve paralel olarak okur. SFTP sunucunuzun dosya uzunluğunu almayı mı yoksa belirli bir uzaklığı okumayı mı desteklediğini belirtin. Varsayılan olarak seçili değildir.
Bölüm bulmayı etkinleştir: Bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını ve ek kaynak sütunlar olarak eklenip eklenmeyeceğini belirtin. Varsayılan olarak seçili değildir ve ikili dosya biçimini kullandığınızda desteklenmez.
Bölüm kök yolu: Bölüm bulma etkinleştirildiğinde, bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak kök yolu belirtin.
Belirtilmezse, varsayılan olarak,- Kaynakta dosya yolu veya dosya listesi kullandığınızda, bölüm kök yolu yapılandırdığınız yoldur.
- Joker karakter klasör filtresi kullandığınızda, bölüm kök yolu ilk joker karakterden önceki alt yoldur.
Örneğin, yolu olarak
root/folder/year=2020/month=08/day=27yapılandırdığınız varsayılır:- Bölüm kök yolunu olarak
root/folder/year=2020belirtirseniz kopyalama etkinliği, dosyaların içindeki sütunlara ek olarak sırasıyla "08" ve "27" değerine sahip iki sütun daha oluşturur. - Bölüm kök yolu belirtilmezse ek sütun oluşturulmaz.
En fazla eşzamanlı bağlantı: Bu özellik, etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırını gösterir. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.
Ek sütunlar: Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. İfade, ikincisi için desteklenir. Daha fazla bilgi için Kopyalama sırasında ek sütun ekleme bölümüne gidin.
Hedef
Kopyalama etkinliği hedefinizi yapılandırmak için Hedef sekmesine gidin. Ayrıntılı yapılandırma için aşağıdaki içeriğe bakın.
- Veri deposu türü: Dış'ı seçin.
- Bağlan ion: Bağlantı listesinden bir SFTP bağlantısı seçin. Bağlantı yoksa Yeni'yi seçerek yeni bir SFTP bağlantısı oluşturun.
- Dosya yolu: Verilerinizin yazılacağını dosya yolunu belirtin. Kaynak dosyalarınızı seçmek veya dosya yolunuzu el ile girmek için Gözat'ı seçebilirsiniz.
- Dosya biçimi: Açılan listeden uygulanan dosya biçimini seçin. Dosya biçimini yapılandırmak için Ayarlar seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.
Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:
Kopyalama davranışı: Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını belirtin. Aşağıdaki özellikler arasından seçim yapın.
- Düzleştirme hiyerarşisi: Kaynak klasördeki tüm dosyalar hedef klasörün ilk düzeyindedir. Hedef dosyalar otomatik olarak oluşturulan adlara sahiptir.
- Dosyaları birleştirme: Kaynak klasördeki tüm dosyaları tek bir dosyayla birleştirir. Dosya adı belirtilirse, birleştirilmiş dosya adı belirtilen addır. Aksi takdirde, otomatik olarak oluşturulan bir dosya adıdır.
- Hiyerarşiyi koru (varsayılan): Hedef klasördeki dosya hiyerarşisini korur. Kaynak dosyanın kaynak klasöre göreli yolu, hedef dosyanın hedef klasöre göreli yolu ile aynıdır.
- Dinamik içerik ekleme: Dinamik içerik kullanarak kopyalama davranışınızı belirtmek için bunu seçin.
En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.
İşlem zaman aşımı (dakika):Her öbek SFTP sunucusuna yazılacak zaman aşımını belirtin. Varsayılan değer 60 dakikadır.
Geçici dosyayla karşıya yükleme: Geçici dosyalara yüklenip yeniden adlandırılmayacağını veya doğrudan hedef klasöre veya dosya konumuna yazılacağını belirtin. Varsayılan olarak seçilir ve hizmet önce geçici dosyalara yazar ve karşıya yükleme tamamlandığında bunları yeniden adlandırır.
Bu dizi (1) aynı dosyaya yazan başka işlemleriniz varsa dosyanın bozulmasına neden olabilecek çakışmaları önlemeye ve (2) aktarım sırasında dosyanın özgün sürümünün mevcut olduğundan emin olmanıza yardımcı olur. SFTP sunucunuz yeniden adlandırma işlemini desteklemiyorsa bu seçeneği devre dışı bırakın ve hedef dosyaya eşzamanlı yazma işlemine sahip olmadığınızdan emin olun.
İpucu
SFTP'ye veri yazarken "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" veya "SftpOperationFail" hatasını alırsanız ve kullandığınız SFTP kullanıcısı uygun izinlere sahipse, SFTP sunucunuzun dosya yeniden adlandırma işleminin çalışıp çalışmadığını denetleyin. Değilse, Geçici dosyayla karşıya yükle seçeneğini devre dışı bırakın ve yeniden deneyin.
Eşleme
Eşleme sekmesi yapılandırması için bkz. Eşleme sekmesinin altında eşlemelerinizi yapılandırma. Dosya biçiminiz olarak İkili'yi seçerseniz eşleme desteklenmez.
Ayarlar
Ayarlar sekme yapılandırması için Ayarlar sekmesinin altındaki Diğer ayarlarınızı yapılandırma bölümüne gidin.
Tablo özeti
Aşağıdaki tabloda SFTP'deki kopyalama etkinliği hakkında daha fazla bilgi yer alır.
Source
| Veri Akışı Adı | Açıklama | Değer | Zorunlu | JSON betik özelliği |
|---|---|---|---|---|
| Veri deposu türü | Veri deposu türünüz. | Harici | Yes | / |
| Bağlantı | Kaynak veri deposuna SFTP bağlantınız. | < SFTP bağlantınız > | Yes | bağlantı |
| Dosya yolu türü | Kaynak verileri almak için kullanılan dosya yolu türü. | • Dosya yolu • Joker karakter dosya yolu • Dosya listesi |
Yes | / |
| Dosya yolu | Kaynak dosyanın yolu. | < dosya yolu> | Yes | fileName folderPath |
| Joker karakter yolları | Kaynak dosyanın joker karakter yolu. | < joker karakter dosya yolunuz > | Joker karakter dosya adı için Evet | wildcardFolderPath wildcardFileName |
| Klasör yolu | Kaynak klasörünüzün yolu. | < klasör yolunuz> | Yes | folderPath |
| Dosya listesinin yolu | Belirli bir dosya kümesinin kopyalandığını gösterir. Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasının üzerine gelin ve her satıra bir dosya ekleyin. | < dosya listesi yolu > | Hayır | fileListPath |
| Dosya biçimi | Kaynak verilerinizin dosya biçimi. Farklı dosya biçimleri hakkında bilgi için, ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın. | / | Yes | / |
| Son değiştirme ölçütüne göre filtrele | [Başlangıç saati, Bitiş saati) aralığında son değiştirme zamanına sahip dosyalar, daha fazla işlem için filtrelenir. Saat UTC saat dilimine biçiminde yyyy-mm-ddThh:mm:ss.fffZuygulanır. Bu özellikler atlanabilir, başka bir deyişle hiçbir dosya özniteliği filtresi uygulanmaz. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir. |
datetime | Hayır | modifiedDatetimeStart modifiedDatetimeEnd |
| Öbekleyi devre dışı bırakma | Öbekleme, performansı iyileştirmek için tasarlanmıştır ve altında gerçekleşir. Bu seçenek, her dosyada öbeklemesini devre dışı bırakmanızı sağlar. SFTP'den veri kopyalarken, hizmet önce dosya uzunluğunu almaya çalışır, ardından dosyayı birden çok bölüme böler ve paralel olarak okur. SFTP sunucunuzun dosya uzunluğunu almayı mı yoksa belirli bir uzaklığı okumayı mı desteklediğini belirtin. | seçili veya seçilmemiş (varsayılan) | Hayır | disableChunking: true veya false (varsayılan) |
| Bölüm bulmayı etkinleştirme | Bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını ve ek kaynak sütunlar olarak eklenip eklenmeyeceğini gösterir. | seçili veya seçilmemiş (varsayılan) | Hayır | enablePartitionDiscovery: true veya false (varsayılan) |
| Bölüm kök yolu | Bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak bölüm kök yolu. Bölüm bulma etkinleştirildiğinde belirtin. | < bölüm kök yolu > | Hayır | partitionRootPath |
| En fazla eşzamanlı bağlantı | Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin. | < eş zamanlı bağlantıların üst sınırı > (tamsayı) |
Hayır | maxConcurrent Bağlan ions |
| Ek sütunlar | Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları ekleyin. İfade, ikincisi için desteklenir. Daha fazla bilgi için Kopyalama sırasında ek sütun ekleme bölümüne gidin | • Adı •Değer |
Hayır | additionalColumns: •Adı •Değer |