Monitorar atividade de cópia

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como monitorar a execução da atividade de cópia em pipelines do Azure Data Factory e do Synapse. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia. Você também pode monitorar as atividades de cópia geradas com a ferramenta Copiar Dados, bem como Excluir atividades usando a mesma abordagem.

Monitorar visualmente

Depois de criar e publicar um pipeline, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência do usuário. Saiba mais sobre o monitoramento em geral por meio do Monitoramento visual de pipelines do Azure Data Factory e do Synapse.

Para monitorar a execução de atividade Copy, vá até a interface do usuário do Data Factory Studio ou do Azure Synapse Studio para sua instância de serviço. Na guia Monitor, você vê uma lista de execuções de pipeline, clique no link do nome do pipeline para acessar a lista de execuções de atividade na execução do pipeline.

Nesse nível, você pode ver os links para entrada de atividade de cópia, saída e erros (se a execução da atividade Copy falhar), bem como estatísticas como duração/status. Clicar no botão Informações (óculos) ao lado do nome da atividade de cópia fornecerá as informações detalhadas sobre a execução da atividade de cópia.

Nesta visão gráfica de monitoramento, o serviço apresenta as informações de execução da atividade Copy, incluindo o volume de leitura/gravação de dados, o número de arquivos/linhas de dados copiados do provedor de origem para o coletor, a taxa de transferência, as configurações aplicadas ao seu cenário de cópia, as etapas que a atividade Copy desempenha com as durações e os detalhes correspondentes e muito mais. Veja esta tabela em cada métrica possível e sua descrição detalhada.

Em alguns cenários, ao executar uma atividade Copy, você verá "Dicas de ajuste de desempenho" na parte superior da exibição de monitoramento da atividade Copy, conforme mostrado no exemplo. As dicas informam o gargalo identificado pelo serviço para a execução de cópia específica, juntamente com a sugestão sobre o que mudar para impulsionar a taxa de transferência da cópia. Saiba mais sobre asdicas de ajuste de desempenho automático.

Os detalhes e as durações da execução da parte inferior descrevem as chaves principais pelas quais sua atividade de cópia passa, o que é especialmente útil para solucionar problemas de desempenho de cópia. O gargalo de sua execução de cópia é aquele com a duração mais longa. Veja como solucionar problemas do desempenho da atividade de cópia do gargalo sobre o que cada estágio representa e as diretrizes detalhadas para de solução de problemas.

Exemplo:Copiar os arquivos do Amazon S3 para o Azure Data Lake Storage Gen2

Monitorar programaticamente

Os detalhes de execução da atividade Copy e as características de desempenho também são retornados na seção saída de resultado da execução da atividade>Copy,que é usada para renderizar a exibição de monitoramento da interface do usuário. A seguir uma lista está completa de propriedades que podem ser retornadas. Você notará apenas as propriedades que são aplicáveis ao seu cenário de cópia. Para obter informações sobre como monitorar as execuções de atividade programaticamente em geral, consulte Monitorar programaticamente pipelines do Azure Data Factory ou do Synapse.

Exemplo:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Conteúdo relacionado

Consulte os outros artigos sobre atividade de cópia:

- Visão geral da atividade de cópia

- Desempenho da atividade Copy