Verileri Kopyala aracını kullanarak LastModifiedDate temelinde yeni ve değiştirilmiş dosyaları artımlı olarak kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu öğreticide, veri fabrikası oluşturmak için Azure portalını kullanacaksınız. Ardından Verileri Kopyala aracını kullanarak azure blob depolamadan Azure Blob depolamaya yalnızca yeni ve değiştirilmiş dosyaları artımlı olarak kopyalayan bir işlem hattı oluşturacaksınız. Kopyalanacak dosyaları belirlemek için kullanır LastModifiedDate .

Buradaki adımları tamamladıktan sonra Azure Data Factory kaynak depodaki tüm dosyaları tarar, tarafından dosya filtresini LastModifiedDateuygular ve hedef depoya yalnızca yeni olan veya son zamandan beri güncelleştirilmiş olan dosyaları kopyalar. Data Factory çok sayıda dosyayı tararsa, yine de uzun süreler beklemeniz gerektiğini unutmayın. Kopyalanan veri miktarı azalsa bile dosya tarama zaman alır.

Bu öğreticide şu görevleri tamamlayacaksınız:

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
• Azure Depolama hesabı: Kaynak ve havuz veri depoları için Blob depolamayı kullanın. Azure Depolama hesabınız yoksa Depolama hesabı oluşturma başlığındaki yönergeleri izleyin.

Blob depolamada iki kapsayıcı oluşturma

Aşağıdaki adımları tamamlayarak Blob depolama alanınızı öğreticiye hazırlayın:

1. source adlı bir kapsayıcı oluşturun. Bu görevi gerçekleştirmek için Azure Depolama Gezgini gibi çeşitli araçlar kullanabilirsiniz.

2. destination adlı bir kapsayıcı oluşturun.

Veri fabrikası oluşturma

1. Soldaki bölmede Kaynak oluştur'u seçin. Integration>Data Factory'yi seçin:

   

2. Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

   Veri fabrikanızın adı genel olarak benzersiz olmalıdır. Şu hata iletisini alabilirsiniz:

   

   Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınızADFTutorialDataFactory adını kullanın. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.

3. Abonelik'in altında yeni veri fabrikasını oluşturacağınız Azure aboneliğini seçin.

4. Kaynak Grubu'nun altında şu adımlardan birini uygulayın:

   • Var olanı kullan'ı ve ardından listeden var olan bir kaynak grubunu seçin.

   • Yeni oluştur'u seçin ve kaynak grubu için bir ad girin.

   Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

5. Sürüm bölümünde V2'yi seçin.

6. Konum bölümünde veri fabrikasının konumunu seçin. Listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikanızın kullandığı veri depoları (örneğin, Azure Depolama ve Azure SQL Veritabanı) ve hesaplamalar (örneğin, Azure HDInsight) başka konumlarda ve bölgelerde olabilir.

7. Oluştur'u belirleyin.

8. Veri fabrikası oluşturulduktan sonra veri fabrikası giriş sayfası görüntülenir.

9. Azure Data Factory kullanıcı arabirimini (UI) ayrı bir sekmede açmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin:

   

Veri Kopyalama aracını kullanarak işlem hattı oluşturma

1. Azure Data Factory giriş sayfasında Veri Kopyala aracını açmak için Alma kutucuğunu seçin:

   

2. Özellikler sayfasında aşağıdaki adımları izleyin:

   1. Görev türü'nin altında Yerleşik kopyalama görevi'ne tıklayın.

   2. Görev temposu veya görev zamanlaması altında Atlayan pencere'yi seçin.

   3. Yinelenme'nin altına 15 Dakika girin.

   4. İleri'yi seçin.

   

3. Kaynak veri deposu sayfasında şu adımları tamamlayın:

   1. Bağlantı eklemek için + Yeni bağlantı'ya tıklayın.

   2. Galeriden Azure Blob Depolama seçin ve ardından Devam'ı seçin:

      

   3. Yeni bağlantı (Azure Blob Depolama) sayfasında, Azure abonelik listesinden Azure aboneliğinizi ve Depolama hesabı adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin ve oluştur'u seçin.

   4. Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin.

   5. Dosya veya klasör bölümünde Gözat'ı seçin, kaynak klasörü seçin ve ardından Tamam'ı seçin.

   6. Dosya yükleme davranışı'nın altında Artımlı yük: LastModifiedDate seçeneğini belirleyin ve İkili kopya'yı seçin.

   7. İleri'yi seçin.

   

4. Hedef veri deposu sayfasında şu adımları tamamlayın:

   1. Oluşturduğunuz AzureBlobStorage bağlantısını seçin. Bu, kaynak veri deposuyla aynı depolama hesabıdır.

   2. Klasör yolu bölümünde hedef klasöre göz atın ve seçin ve ardından Tamam'ı seçin.

   3. İleri'yi seçin.

   

5. Ayarlar sayfasında, Görev adı'nın altında DeltaCopyFromBlobPipeline yazın ve İleri'yi seçin. Data Factory, belirtilen görev adına sahip bir işlem hattı oluşturur.

   

6. Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.

   

7. Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.

   

8. Soldaki İzleyici sekmesinin otomatik olarak seçildiğine dikkat edin. Uygulama İzleyici sekmesine geçer. İşlem hattının durumunu görürsünüz. Listeyi yenilemek için Yenile’yi seçin. Etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için İşlem hattı adı altındaki bağlantıyı seçin.

   

9. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan yalnızca bir giriş görürsünüz. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik çalıştırmaları sayfasında Etkinlik adı sütunundaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Özellikler hakkında ayrıntılı bilgi için bkz. Kopyalama etkinliği genel bakış.

   

   Blob depolama hesabınızda kaynak kapsayıcıda dosya olmadığından, hesapta hedef kapsayıcıya kopyalanmış hiçbir dosya görmezsiniz:

   

10. Boş bir metin dosyası oluşturun ve file1.txt olarak adlandırlayın. Bu metin dosyasını depolama hesabınızdaki kaynak kapsayıcıya yükleyin. Bu görevleri gerçekleştirmek için Azure Depolama Gezgini gibi çeşitli araçlar kullanabilirsiniz.

    

11. İşlem hattı çalıştırmaları görünümüne geri dönmek için Etkinlik çalıştırmaları sayfasındaki içerik haritası menüsünde Tüm işlem hattı çalıştırmaları bağlantısını seçin ve aynı işlem hattının otomatik olarak yeniden tetiklenmesini bekleyin.

12. İkinci işlem hattı çalıştırması tamamlandığında, etkinlik çalıştırması ayrıntılarını gözden geçirmek için daha önce bahsedilen adımları izleyin.

    Bir dosyanın (file1.txt) kaynak kapsayıcıdan Blob depolama hesabınızın hedef kapsayıcısına kopyalandığını görürsünüz:

    

13. Başka bir boş metin dosyası oluşturun ve file2.txt olarak adlandırlayın. Bu metin dosyasını Blob depolama hesabınızdaki kaynak kapsayıcıya yükleyin.

14. İkinci metin dosyası için 11. ve 12. adımları yineleyin. Bu işlem hattı çalıştırması sırasında kaynak kapsayıcıdan depolama hesabınızın hedef kapsayıcısına yalnızca yeni dosyanın (file2.txt) kopyalandığını göreceksiniz.

    Dosyaları taramak için Azure Depolama Gezgini kullanarak yalnızca bir dosyanın kopyalandığını da doğrulayabilirsiniz:

    

İlgili içerik

Azure'da Apache Spark kümesi kullanarak verileri dönüştürmeyi öğrenmek için aşağıdaki öğreticiye gidin: