Monitorare l'attività di copia

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Questo articolo illustra come monitorare l'esecuzione dell'attività di copia nelle pipeline di Azure Data Factory e Synapse. Si basa sull'articolo di panoramica dell'attività di copia che presenta una panoramica generale sull'attività di copia. È anche possibile monitorare le attività di copia generate con lo strumento Copia dati e eliminare le attività usando lo stesso approccio.

Monitorare visivamente

Dopo aver creato e pubblicato una pipeline, è possibile associarla a un trigger o avviare manualmente un'esecuzione ad hoc. È possibile monitorare tutte le esecuzioni della pipeline in modo nativo nell'esperienza utente. Informazioni sul monitoraggio generale dalle pipeline di Azure Data Factory e Synapse in modo visivo.

Per monitorare l'esecuzione del attività Copy, passare all'interfaccia utente di Data Factory Studio o azure Synapse Studio per l'istanza del servizio. Nella scheda Monitoraggio viene visualizzato un elenco di esecuzioni di pipeline, fare clic sul collegamento nome della pipeline per accedere all'elenco di esecuzioni di attività nell'esecuzione della pipeline.

A questo livello, è possibile visualizzare collegamenti all'input, all'output e agli errori dell'attività di copia (se l'esecuzione attività Copy ha esito negativo), nonché statistiche come durata/stato. Facendo clic sul pulsante Dettagli (occhiali) accanto al nome dell'attività di copia verranno fornite informazioni dettagliate sull'esecuzione dell'attività di copia.

In questa visualizzazione di monitoraggio grafico, il servizio presenta le informazioni sull'esecuzione dell'attività di copia, tra cui il volume di lettura/scrittura dei dati, il numero di file/righe di dati copiati dall'origine al sink, la velocità effettiva, le configurazioni applicate per lo scenario di copia, i passaggi dell'attività di copia passano attraverso con le relative durate e dettagli e altro ancora. Fare riferimento a questa tabella per ogni possibile metrica e la relativa descrizione dettagliata.

In alcuni scenari, quando si esegue un attività Copy, nella parte superiore della visualizzazione di monitoraggio dell'attività di copia verrà visualizzato "Suggerimenti per l'ottimizzazione delle prestazioni", come illustrato nell'esempio. I suggerimenti indicano il collo di bottiglia identificato dal servizio per l'esecuzione della copia specifica, insieme ai suggerimenti su cosa modificare per aumentare la velocità effettiva della copia. Altre informazioni sui suggerimenti per l'ottimizzazione delle prestazioni automatica.

I dettagli e le durate dell'esecuzione inferiore descrivono i passaggi chiave eseguiti dall'attività di copia, che è particolarmente utile per la risoluzione dei problemi relativi alle prestazioni di copia. Il collo di bottiglia dell'esecuzione della copia è quello con la durata più lunga. Fare riferimento a Risolvere i problemi relativi alle prestazioni dell'attività di copia in base a ciò che ogni fase rappresenta e le indicazioni dettagliate sulla risoluzione dei problemi.

Esempio: Copiare da Amazon S3 ad Azure Data Lake Archiviazione Gen2

Monitorare a livello di codice

attività Copy anche i dettagli di esecuzione e le caratteristiche delle prestazioni vengono restituiti nel Sezione Output dei risultati>dell'esecuzione dell'attività di copia, usata per eseguire il rendering della visualizzazione di monitoraggio dell'interfaccia utente. Di seguito è riportato un elenco completo delle proprietà che potrebbero essere restituite. Verranno visualizzate solo le proprietà applicabili allo scenario di copia. Per informazioni su come monitorare le esecuzioni di attività a livello di codice, vedere Monitorare a livello di codice una pipeline di Azure Data Factory o Synapse.

Esempio:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Contenuto correlato

Vedere gli altri articoli relativi all'attività di copia:

- Panoramica dell'attività di copia

- Prestazioni dell'attività di copia