Kopyalama etkinliği oturum günlüğü

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Kopyaladığınız dosya adlarını bir Kopyalama etkinliği günlüğe kaydedebilirsiniz. Bu, verilerin yalnızca kaynaktan hedefe başarıyla kopyalanmasını sağlamakla kalmaz, aynı zamanda kaynak ile hedef arasındaki tutarlılığı da doğrulamaya yardımcı olabilir.

Hatalı verileri atlamak için bir Kopyalama etkinliği hataya dayanıklılık ayarını etkinleştirdiğinizde, atlanan dosyalar ve atlanan satırlar da günlüğe kaydedilebilir. Kopyalama etkinliğinde hataya dayanıklılıktan daha fazla ayrıntı alabilirsiniz.

Oturum günlüğünü etkinleştirerek Azure Data Factory (ADF) Kopyalama etkinliği tarafından kopyalanan tüm dosya adlarını alma fırsatınız olduğu düşünüldüğünde, aşağıdaki senaryolarda sizin için yararlı olacaktır:

• Dosyaları bir depolama alanından diğerine kopyalamak için ADF Kopyalama etkinliklerini kullandıktan sonra, hedef depoda bazı beklenmeyen dosyalar bulursunuz. Dosyaları gerçekten hangi etkinliğin ne zaman kopyaladığına bakmak için Kopyalama etkinliği oturum günlüklerini tarayabilirsiniz. Bu yaklaşımla, ADF'de kök nedeni kolayca bulabilir ve yapılandırmalarınızı düzeltebilirsiniz.
• Dosyaları bir depolama alanından diğerine kopyalamak için ADF Kopyalama etkinliklerini kullandıktan sonra, hedefe kopyalanan dosyaların kaynak depodan beklenen dosyalar olmadığını fark edebilirsiniz. Kopyalama işlerinin zaman damgasını ve ADF Kopyalama etkinlikleri tarafından kaynak depodan okunan dosyaların meta verilerini almak için Kopyalama etkinliği oturum günlüklerini tarayabilirsiniz. Bu yaklaşımla, dosyaların ADF tarafından kopyalandıktan sonra kaynak depodaki diğer uygulamalar tarafından güncelleştirilip güncelleştirilmediğini onaylayabilirsiniz.

JSON ile yapılandırma

Aşağıdaki örnek, Kopyalama Etkinliği'nde oturum günlüğünü etkinleştirmek için bir JSON tanımı sağlar:

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

İzleme

bir Kopyalama etkinliği çıktısı

Kopyalama etkinliği tamamen çalıştıktan sonra, her Kopyalama etkinliği çalıştırmasının çıkışından günlük dosyalarının yolunu görebilirsiniz. Günlük dosyalarını şu yoldan bulabilirsiniz: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt. Oluşturulan günlük dosyaları .txt uzantısına sahiptir ve verileri CSV biçimindedir.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Günlük dosyasının şeması

Aşağıdaki tabloda günlük dosyasının şeması gösterilmektedir.

Günlük dosyası örneği aşağıda verilmişti:

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

Yukarıdaki günlük dosyasından kaynak ve hedef depo arasında tutarlı olduğu doğrulanamadığından sample1.csv atlandığını görebilirsiniz. ADF Kopyalama etkinliği aynı anda kopyalarken sample1.csv neden diğer uygulamalar tarafından değiştirildiği için tutarsız hale geldiği hakkında daha fazla bilgi edinebilirsiniz. Sample2.csv kaynaktan hedef depoya başarıyla kopyalandığını da görebilirsiniz.

Günlük dosyalarını daha fazla analiz etmek için birden çok çözümleme altyapısı kullanabilirsiniz. Aşağıda sql sorgusunu kullanarak csv günlük dosyasını SQL veritabanına aktararak günlük dosyasını analiz etmek için sql sorgusunu kullanmak için birkaç örnek verilmiştir. Burada tablo adı SessionLogDemo olabilir.

• Kopyalanan dosya listesini ver.

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• Belirli bir zaman aralığı içinde kopyalanan dosya listesini ver.

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• Bana kopyalanan zamanı ve meta verilerini içeren belirli bir dosya verin.

select * from SessionLogDemo where OperationItem='<file name>'

• Meta verilerinin bir zaman aralığı içinde kopyalanmış olduğu dosyaların listesini verin.

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• Atlanan dosya listesini ver.

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• Belirli bir dosyanın atlanma nedenini söyle.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• Aynı nedenden dolayı atlanan dosyaların listesini ver: "blob dosyası yok".

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• Kopyalamak için en uzun süreyi gerektiren dosya adını verin.

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

İlgili içerik

Diğer Kopyalama Etkinliği makalelerine bakın:

• Kopyalama etkinliği genel bakış
• hataya dayanıklılık Kopyalama etkinliği
• veri tutarlılığını Kopyalama etkinliği