Přihlášení relace do aktivita Copy

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Zkopírované názvy souborů můžete protokolovat v aktivita Copy. To může pomoct zajistit nejen úspěšné kopírování dat ze zdroje do cíle, ale také ověřit konzistenci mezi zdrojem a cílem.

Pokud povolíte nastavení odolnosti proti chybám v aktivita Copy pro přeskočení chybných dat, můžou se protokolovat i přeskočené soubory a přeskočené řádky. Další podrobnosti o odolnosti proti chybám můžete získat v aktivitě kopírování.

Vzhledem k tomu, že máte možnost získat všechny názvy souborů zkopírované službou Azure Data Factory (ADF) aktivita Copy prostřednictvím povolení protokolu relací, bude pro vás užitečné v následujících scénářích:

• Po použití aktivit kopírování ADF ke kopírování souborů z jednoho úložiště do druhého najdete v cílovém úložišti nějaké neočekávané soubory. V protokolech relace aktivita Copy můžete zjistit, která aktivita soubory skutečně zkopírovala a kdy. Díky tomuto přístupu můžete snadno najít původní příčinu a opravit konfigurace v ADF.
• Po použití aktivit kopírování ADF ke kopírování souborů z jednoho úložiště do druhého zjistíte, že soubory zkopírované do cíle nejsou očekávané ze zdrojového úložiště. Můžete zkontrolovat protokoly relace aktivita Copy a získat časové razítko úloh kopírování a metadata souborů, když je aktivity kopírování ADF čtou ze zdrojového úložiště. Pomocí tohoto přístupu můžete ověřit, jestli byly soubory aktualizovány jinými aplikacemi ve zdrojovém úložišti po zkopírování ADF.

Konfigurace s využitím JSON

Následující příklad obsahuje definici JSON pro povolení protokolu relace v aktivitě kopírování:

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

Sledování

Výstup z aktivita Copy

Po úplném spuštění aktivity kopírování uvidíte cestu k souborům protokolu z výstupu každého aktivita Copy spuštění. Soubory protokolu najdete v cestě: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt. Vygenerované soubory protokolu mají příponu .txt a jejich data jsou ve formátu CSV.

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Schéma souboru protokolu

Následující tabulka ukazuje schéma souboru protokolu.

Tady je příklad souboru protokolu:

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

Z výše uvedeného souboru protokolu vidíte, sample1.csv se přeskočil, protože se nepodařilo ověřit, že je konzistentní mezi zdrojovým a cílovým úložištěm. Další podrobnosti o tom, proč se sample1.csv stane nekonzistentním, je to proto, že se změnily jinými aplikacemi, když aktivita Copy ADF kopíruje současně. Můžete také vidět, sample2.csv se úspěšně zkopíroval ze zdroje do cílového úložiště.

K další analýze souborů protokolu můžete použít více analytických modulů. Níže je několik příkladů, jak pomocí dotazu SQL analyzovat soubor protokolu importem souboru csv do databáze SQL, kde název tabulky může být SessionLogDemo.

• Dejte mi zkopírovaný seznam souborů.

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

• Dejte mi seznam souborů zkopírovaný v určitém časovém rozsahu.

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

• Dejte mi konkrétní soubor s jeho zkopírovaným časem a metadaty.

select * from SessionLogDemo where OperationItem='<file name>'

• Dejte mi seznam souborů s jejich metadaty zkopírovanými v časovém rozsahu.

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

• Dejte mi seznam přeskočených souborů.

select OperationItem from SessionLogDemo where OperationName='FileSkip'

• Uveďte důvod, proč se určitý soubor přeskočil.

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

• Seznam souborů se přeskočí kvůli stejnému důvodu: "Soubor objektu blob neexistuje".

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

• Dejte mi název souboru, který vyžaduje nejdelší dobu kopírování.

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

Související obsah

Podívejte se na další články o aktivitě kopírování:

• přehled aktivita Copy
• odolnost proti chybám aktivita Copy
• aktivita Copy konzistence dat