Мониторинг действия копирования

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описано, как контролировать выполнение операций копирования в конвейеры Фабрики данных Azure и Synapse. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования. Вы также можете отслеживать действия копирования, созданные с помощью Средство копирования данных, а также Удалять действия, используя тот же подход.

Визуальный мониторинг

Создав и опубликовав конвейер, можно связать его с триггером или вручную запустить прямое выполнение. В пользовательском интерфейсе по умолчанию можно отслеживать все выполнения конвейера. Сведения о мониторинге Фабрики данных Azure в целом см. в статье Визуальный мониторинг конвейеров Фабрики данных Azure и Azure Synapse.

Чтобы отслеживать выполнение действия Copy, перейдите в раздел Data Factory Studio или пользовательский интерфейс Azure Synapse Studio для своего экземпляра службы. На вкладке Монитор, где отображается список выполнений конвейера, щелкните ссылку с именем конвейера, чтобы получить доступ к списку выполнения действий в рамках выполнения конвейера.

На этом уровне можно просмотреть ссылки на входные данные, выходные данные и ошибки действия Copy (если не удается выполнить действие Copy), а также статистику, например длительность или состояние. Если нажать кнопку Сведения (в виде очков) рядом с именем действия Copy, вы получите подробные сведения о выполнении действия копирования.

В этом графическом представлении мониторинга служба предоставляет сведения о выполнении действия копирования, включая объем чтения и записи данных, число файлов и строк данных, скопированных из источника в приемник, пропускную способность, конфигурации, применяемые для сценария копирования, этапы, выполняемые действием копирования, с учетом соответствующих длительностей и сведений и т. д. Возможные метрики и их подробное описание см. в этой таблице.

В некоторых сценариях при выполнении действия Copy вы увидите Советы по настройке производительности в верхней части окна мониторинга действия Copy, как показано в примере. Советы указывают на узкие места, выявленные службой для конкретного выполнения операции Copy, а также дают рекомендации по внесению изменений для увеличения пропускной способности копирования. Дополнительные сведения об автоматической настройке производительности.

В нижней части окна сведений о выполнении и длительности описываются основные этапы, которые выполняются в ходе действия Copy, что особенно полезно для устранения неполадок с производительностью копирования. Узким местом при выполнении копирования является операция с самой большой длительностью. Дополнительные сведения см. в статье Устранение неполадок с производительностью действий копирования, где подробно описан каждый этап и приведено руководство по устранению неполадок.

Пример. Копирование из Amazon S3 в Azure Data Lake Storage 2-го поколения

Мониторинг при помощи программных средств

Сведения о выполнении действия Copy и характеристики производительности также возвращаются в раздел Результат выполнения действия Copy>Выходные данные, который используется для визуализации окна мониторинга пользовательского интерфейса. Ниже приведен полный список свойств, которые могут быть возвращены. Вы увидите только те свойства, которые применимы к сценарию копирования. Сведения о программном мониторинге выполнения действий в целом см. в разделе Программный мониторинг конвейеров Фабрики данных Azure и Azure Synapse.

Пример:

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Связанный контент

См. другие статьи о действиях копирования:

- Общие сведения о действии копирования

- Производительность действия копирования