Verifica della coerenza dei dati nell'attività di copia

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Quando si spostano dati dall'archivio di origine a quello di destinazione, l'attività di copia offre un'opzione che consente di eseguire ulteriori verifiche di coerenza dei dati per assicurarsi che i dati non vengano solo copiati correttamente dall'origine all'archivio di destinazione, ma anche verificati di essere coerenti tra l'archivio di origine e quello di destinazione. Dopo aver trovato file incoerenti durante lo spostamento dei dati, è possibile interrompere l'attività di copia o continuare a copiare il resto abilitando l'impostazione di tolleranza di errore per ignorare i file incoerenti. È possibile ottenere i nomi di file ignorati abilitando l'impostazione del log di sessione nell'attività di copia. Per altri dettagli, fare riferimento al log della sessione nell'attività di copia.

Archivi dati e scenari supportati

• La verifica della coerenza dei dati è supportata da tutti i connettori ad eccezione di FTP, SFTP, HTTP, Snowflake, Office 365 e Azure Databricks Delta Lake.
• La verifica della coerenza dei dati non è supportata nello scenario di copia di staging.
• Quando si copiano file binari, la verifica della coerenza dei dati è disponibile solo quando il comportamento "PreserveHierarchy" viene impostato nell'attività di copia.
• Quando si copiano più file binari in un'unica attività di copia con verifica della coerenza dei dati abilitata, è possibile interrompere l'attività di copia o continuare a copiare il resto abilitando l'impostazione di tolleranza di errore per ignorare i file incoerenti.
• Quando si copia una tabella in un'attività di copia singola con verifica della coerenza dei dati abilitata, l'attività di copia ha esito negativo se il numero di righe lette dall'origine è diverso dal numero di righe copiate nella destinazione e dal numero di righe incompatibili ignorate.

Configurazione

Nell'esempio seguente viene fornita una definizione JSON per abilitare la verifica della coerenza dei dati nell'attività di copia:

{
  "name":"CopyActivityDataConsistency",
  "type":"Copy",
  "typeProperties": { 
    "source": { 
        "type": "BinarySource", 
        "storeSettings": { 
            "type": "AzureDataLakeStoreReadSettings", 
            "recursive": true 
        } 
    }, 
    "sink": { 
        "type": "BinarySink", 
        "storeSettings": { 
            "type": "AzureDataLakeStoreWriteSettings" 
        } 
    }, 
    "validateDataConsistency": true, 
    "skipErrorFile": { 
        "dataInconsistency": true 
    }, 
    "logSettings": {
        "enableCopyActivityLog": true,
        "copyActivityLogSettings": {
            "logLevel": "Warning",
            "enableReliableLogging": false
        },
        "logLocationSettings": {
            "linkedServiceName": {
               "referenceName": "ADLSGen2",
               "type": "LinkedServiceReference"
            },
            "path": "sessionlog/"
        }
    }
} 

Monitoraggio

Output dell'attività di copia

Quando l'attività di copia viene eseguita completamente, è possibile visualizzare il risultato della verifica della coerenza dei dati dall'output di ciascuna esecuzione dell'attività di copia:

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

È possibile visualizzare i dettagli della verifica di coerenza dei dati da "Proprietà dataConsistencyVerification".

Valore di VerificationResult:

• Verificato: i dati copiati sono stati verificati in modo che siano coerenti tra l'archivio di origine e quello di destinazione.
• NotVerified: i dati copiati non sono stati verificati in modo coerente perché non è stata abilitata l'opzione validateDataConsistency nell'attività di copia.
• Non supportato: i dati copiati non sono stati verificati in modo coerente perché la verifica della coerenza dei dati non è supportata per questa coppia di copia specifica.

Valore di InconsistentData:

• Trovato: l'attività di copia ha trovato dati incoerenti.
• Ignorato: l'attività di copia ha trovato e ignorato dati incoerenti.
• Nessuno: l'attività di copia non ha trovato dati incoerenti. Questo può essere dovuto al fatto che i dati sono stati verificati come coerenti tra l'archivio di origine e di destinazione o perché è stato disabilitato validateDataConsistency nell'attività di copia.

Log di sessione dell'attività di copia

Se si configura la registrazione dei file incoerenti, vedere il file di log al percorso seguente: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv. I file di log sono i file CSV.

Lo schema di un file di log è il seguente:

Di seguito è riportato un esempio di file di log:

Timestamp, Level, OperationName, OperationItem, Message
2020-02-26 06:22:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 

Dal file di log riportato sopra, è possibile vedere che sample1.csv è stato ignorato perché non è stato possibile verificarne la coerenza tra l'archivio di origine e quello di destinazione. È possibile ottenere altri dettagli sul motivo per cui sample1.csv diventa incoerente perché è stato modificato da altre applicazioni quando l'attività di copia viene copiata contemporaneamente.

Contenuto correlato

Vedere gli altri articoli relativi all'attività di copia:

• Panoramica dell'attività di copia
• Tolleranza di errore dell'attività di copia