Настройка Azure Cosmos DB для NoSQL в действии копирования
В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из Azure Cosmos DB для NoSQL.
Поддерживаемая конфигурация
Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.
Общие
Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".
Оригинал
Следующие свойства поддерживаются для Azure Cosmos DB для NoSQL на вкладке "Источник " действия копирования.
Требуются следующие три свойства:
- Тип хранилища данных: выберите "Внешний".
- Подключение. Выберите подключение Azure Cosmos DB для NoSQL из списка подключений. Если подключение отсутствует, создайте новое подключение Azure Cosmos DB для NoSQL, нажав кнопку "Создать".
- Контейнер. Выберите контейнер, который требуется использовать. Нажмите кнопку "Изменить", чтобы ввести имя контейнера вручную.
В разделе "Дополнительно" можно указать следующие поля:
Используйте запрос: в качестве запроса можно выбрать таблицу или запрос. В следующем списке описана конфигурация каждого параметра.
Таблица: считывает данные из таблицы, указанной в таблице.
Запрос. Указывает запрос Azure Cosmos DB для чтения данных.
Размер страницы: число документов на страницу результата запроса. По умолчанию используется значение "-1", то есть для использования динамического размера страницы на стороне службы до 1000.
Определение даты и времени. Определение даты и времени из строковых значений в документах. Допустимые значения: true (по умолчанию), false.
Предпочтительный регион: предпочтительный список регионов для подключения при получении данных из Azure Cosmos DB. Выберите один предпочтительный регион из раскрывающегося списка после выбора "Создать".
Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. Дополнительные сведения см. в описании "Добавление дополнительных столбцов во время копирования".
Назначение
Следующие свойства поддерживаются для Azure Cosmos DB для NoSQL на вкладке "Назначение " действия копирования.
Требуются следующие три свойства:
- Тип хранилища данных: выберите "Внешний".
- Подключение. Выберите подключение Azure Cosmos DB для NoSQL из списка подключений.
- Контейнер. Выберите "Обзор" , чтобы выбрать файл, который требуется скопировать, или указать путь вручную.
В разделе "Дополнительно" можно указать следующие поля:
Поведение записи: определяет поведение записи, когда назначение является файлами из файлового хранилища данных. В раскрывающемся списке можно выбрать "Добавить динамическое содержимое", "Вставка" или "Upsert ".
Добавление динамического содержимого: откройте панель "Добавить динамическое содержимое". Откроется построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Для получения сведений о языке выражений перейдите к выражениям и функциям.
Вставка. Выберите этот параметр, если исходные данные вставляются.
Upsert: поведение upsert заключается в замене документа, если документ с тем же идентификатором уже существует; в противном случае вставьте документ.
Время ожидания пакетной вставки: время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимые значения:
Timespan. Например, 00:30:00 (30 минут).Размер пакета записи: укажите количество строк для вставки в таблицу SQL на пакет. Допустимое значение — целое число (число строк). По умолчанию эта служба динамически определяет соответствующий размер пакета в зависимости от размера строки.
Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.
Отключить аналитику метрик производительности: этот параметр управляет коллекцией метрик, таких как DTU, DWU, RU и т. д. для оптимизации производительности копирования и рекомендаций. Если вы обеспокоены этим поведением, отключите эту функцию.
Сопоставление
Для конфигурации вкладки "Сопоставление" перейдите к разделу "Настройка сопоставлений" на вкладке "Сопоставление".
Настройки
Для конфигурации вкладки Параметры перейдите к разделу "Настройка других параметров" на вкладке "Параметры".
Сводка таблицы
В следующих таблицах содержатся дополнительные сведения о действии копирования в Azure Cosmos DB для NoSQL.
Исходная таблица
| Имя | Описание | Значение | Обязательное поле | Свойство скрипта JSON |
|---|---|---|---|---|
| Тип хранилища данных | Тип хранилища данных. | Внешний | Да | / |
| Соединение | Подключение к исходному хранилищу данных. | <подключение> | Да | подключение |
| Контейнер | Контейнер исходных данных. | <контейнер источника> | Да | Контейнер fileName |
| Использование запроса | В качестве запроса можно выбрать таблицу или запрос . | • Таблица • Запрос |
No | type |
| Размер страницы | Число документов на страницу результата запроса. По умолчанию используется значение "-1", то есть для использования динамического размера страницы на стороне службы до 1000. | <размер страницы> | No | Pagesize |
| Удаление даты и времени | Файлы в исходном хранилище данных будут удалены сразу после перемещения в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования следует отметить, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие все еще находятся в исходном хранилище. | Выбранный или отмена выбора | No | detectDatetime |
| Предпочтительный регион | Предпочтительный список регионов для подключения при получении данных из Azure Cosmos DB. Выберите один предпочтительный регион из раскрывающегося списка после выбора "Создать". | <предпочитаемые регионы> | No | preferredRegions |
| Дополнительные столбцы | Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. Дополнительные сведения см. в описании "Добавление дополнительных столбцов во время копирования". | <максимальное число одновременных подключений> | No | additionalColumns |
Целевая таблица
| Имя | Описание | Значение | Обязательное поле | Свойство скрипта JSON |
|---|---|---|---|---|
| Тип хранилища данных | Тип хранилища данных. | Внешний | Да | / |
| Соединение | Подключение к целевому хранилищу данных. | <подключение> | Да | подключение |
| Контейнер | Контейнер целевых данных. | <контейнер источника> | Да | Контейнер fileName |
| Поведение записи | Описывает способ записи данных в Azure Cosmos DB. Допустимые значения: insert и upsert. Поведение upsert — замена документа, если документ с таким идентификатором уже существует. В противном выполняется вставка документа. | • Добавление динамического содержимого • Вставка • Upsert |
No | writeBehavior |
| Время ожидания пакетной службы | Дождитесь завершения операции пакетной вставки до истечения времени ожидания. Допустимые значения — Timespan. Например, 00:30:00 (30 минут). | timespan | No | writeBatchTimeout |
| Размер пакета записи | Количество строк для вставки в таблицу SQL на пакет. Допустимое значение: целое число (количество строк). По умолчанию эта служба динамически определяет соответствующий размер пакета в зависимости от размера строки. | <количество строк > (целое число) |
No | writeBatchSize |
| Максимальное число одновременных подключений | Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений. | <максимальное число одновременных подключений> | No | maxConcurrentConnections |
| Отключение аналитики метрик производительности | Этот параметр управляет коллекцией метрик, таких как DTU, DWU, RU и т. д. для оптимизации производительности копирования и рекомендаций. Если вы обеспокоены этим поведением, отключите эту функцию. | Выбранный или отмена выбора | No | disableMetricsCollection |