az datafactory pipeline

  • Ссылка

Примечание.

Эта ссылка является частью расширения datafactory для Azure CLI (версия 2.15.0 или более поздней). Расширение будет автоматически устанавливаться при первом запуске команды az datafactory pipeline . Подробнее о расширениях.

Управление конвейером с помощью datafactory.

Команды

Имя Описание Тип Состояние
az datafactory pipeline create

Создание конвейера.

 Расширение Общедоступная версия
az datafactory pipeline create-run

Создает запуск конвейера.

 Расширение Общедоступная версия
az datafactory pipeline delete

Удаляет конвейер.

 Расширение Общедоступная версия
az datafactory pipeline list

Выводит список конвейеров.

 Расширение Общедоступная версия
az datafactory pipeline show

Возвращает конвейер.

 Расширение Общедоступная версия
az datafactory pipeline update

Обновление конвейера.

 Расширение Общедоступная версия

az datafactory pipeline create

Создание конвейера.

az datafactory pipeline create --factory-name
                               --name
                               --pipeline
                               --resource-group
                               [--if-match]

Примеры

Pipelines_Create

az datafactory pipeline create --factory-name "exampleFactoryName" --pipeline "{\"activities\":[{\"name\":\"ExampleForeachActivity\",\"type\":\"ForEach\",\"typeProperties\":{\"activities\":[{\"name\":\"ExampleCopyActivity\",\"type\":\"Copy\",\"inputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":\"examplecontainer.csv\",\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"outputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":{\"type\":\"Expression\",\"value\":\"@item()\"},\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"typeProperties\":{\"dataIntegrationUnits\":32,\"sink\":{\"type\":\"BlobSink\"},\"source\":{\"type\":\"BlobSource\"}}}],\"isSequential\":true,\"items\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.OutputBlobNameList\"}}}],\"parameters\":{\"JobId\":{\"type\":\"String\"},\"OutputBlobNameList\":{\"type\":\"Array\"}},\"variables\":{\"TestVariableArray\":{\"type\":\"Array\"}},\"runDimensions\":{\"JobId\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.JobId\"}},\"duration\":\"0.00:10:00\"}" --name "examplePipeline" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--name --pipeline-name -n

Имя конвейера.

--pipeline

Определение ресурса конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

Необязательные параметры

--if-match

ETag сущности конвейера. Следует указывать только для обновления, для которого оно должно соответствовать существующей сущности или может быть * для безусловного обновления.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline create-run

Создает запуск конвейера.

az datafactory pipeline create-run --factory-name
                                   --name
                                   --resource-group
                                   [--is-recovery {false, true}]
                                   [--parameters]
                                   [--reference-pipeline-run-id]
                                   [--start-activity-name]
                                   [--start-from-failure {false, true}]

Примеры

Pipelines_CreateRun

az datafactory pipeline create-run --factory-name "exampleFactoryName" --parameters "{\"OutputBlobNameList\":[\"exampleoutput.csv\"]}" --name "examplePipeline" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

Необязательные параметры

--is-recovery

Флаг режима восстановления. Если для режима восстановления задано значение true, указанный указанный конвейер, а новый запуск будет сгруппирован по одному идентификатору группы.

допустимые значения: false, true
--parameters

Параметры запуска конвейера. Эти параметры будут использоваться только в том случае, если runId не указан. Ожидаемое значение: json-string/json-file/@json-file.

--reference-pipeline-run-id

Идентификатор выполнения конвейера. Если идентификатор выполнения указан, параметры указанного запуска будут использоваться для создания нового запуска.

--start-activity-name

В режиме восстановления повторное выполнение начнется с этого действия. Если это не указано, все действия будут выполняться.

--start-from-failure

В режиме восстановления, если задано значение true, повторное выполнение начнется с неудачных действий. Свойство будет использоваться только в том случае, если startActivityName не указан.

допустимые значения: false, true
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline delete

Удаляет конвейер.

az datafactory pipeline delete [--factory-name]
                               [--ids]
                               [--name]
                               [--resource-group]
                               [--subscription]
                               [--yes]

Примеры

Pipelines_Delete

az datafactory pipeline delete --factory-name "exampleFactoryName" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--factory-name

Имя фабрики.

--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--yes -y

Не запрашивать подтверждение.

значение по умолчанию: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline list

Выводит список конвейеров.

az datafactory pipeline list --factory-name
                             --resource-group

Примеры

Pipelines_ListByFactory

az datafactory pipeline list --factory-name "exampleFactoryName" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline show

Возвращает конвейер.

az datafactory pipeline show [--factory-name]
                             [--ids]
                             [--if-none-match]
                             [--name]
                             [--resource-group]
                             [--subscription]

Примеры

Pipelines_Get

az datafactory pipeline show --factory-name "exampleFactoryName" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--factory-name

Имя фабрики.

--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--if-none-match

ETag сущности конвейера. Необходимо указать только для получения. Если ETag соответствует существующему тегу сущности или если * предоставлено, содержимое не будет возвращено.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline update

Обновление конвейера.

az datafactory pipeline update [--activities]
                               [--add]
                               [--annotations]
                               [--concurrency]
                               [--description]
                               [--duration]
                               [--factory-name]
                               [--folder-name]
                               [--force-string]
                               [--ids]
                               [--if-match]
                               [--if-none-match]
                               [--name]
                               [--parameters]
                               [--remove]
                               [--resource-group]
                               [--run-dimensions]
                               [--set]
                               [--subscription]
                               [--variables]

Примеры

Pipelines_Update

az datafactory pipeline update --factory-name "exampleFactoryName" --description "Example description" --activities "[{\"name\":\"ExampleForeachActivity\",\"type\":\"ForEach\",\"typeProperties\":{\"activities\":[{\"name\":\"ExampleCopyActivity\",\"type\":\"Copy\",\"inputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":\"examplecontainer.csv\",\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"outputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":{\"type\":\"Expression\",\"value\":\"@item()\"},\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"typeProperties\":{\"dataIntegrationUnits\":32,\"sink\":{\"type\":\"BlobSink\"},\"source\":{\"type\":\"BlobSource\"}}}],\"isSequential\":true,\"items\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.OutputBlobNameList\"}}}]" --parameters "{\"OutputBlobNameList\":{\"type\":\"Array\"}}" --duration "0.00:10:00" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--activities

Список действий в конвейере. Ожидаемое значение: json-string/json-file/@json-file.

--add

Добавьте объект в список объектов, указав пары пути и значения ключа. Пример: --add property.listProperty <key=value, string or JSON string>.

значение по умолчанию: []
--annotations

Список тегов, которые можно использовать для описания конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--concurrency

Максимальное число параллельных запусков для конвейера.

--description

Описание конвейера.

--duration

Значение TimeSpan, после которого запускается метрика мониторинга Azure. Ожидаемое значение: json-string/json-file/@json-file.

--factory-name

Имя фабрики.

--folder-name

Имя папки, в которую находится конвейер.

--force-string

При использовании "set" или "add" сохраняйте строковые литералы вместо попытки преобразовать в JSON.

значение по умолчанию: False
--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--if-match

ETag сущности конвейера. Следует указывать только для обновления, для которого оно должно соответствовать существующей сущности или может быть * для безусловного обновления.

--if-none-match

ETag сущности конвейера. Необходимо указать только для получения. Если ETag соответствует существующему тегу сущности или если * предоставлено, содержимое не будет возвращено. Значение по умолчанию — None.

--name --pipeline-name -n

Имя конвейера.

--parameters

Список параметров для конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--remove

Удалите свойство или элемент из списка. Пример: --remove property.list <indexToRemove> OR --remove propertyToRemove.

значение по умолчанию: []
--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--run-dimensions

Измерения, создаваемые конвейером. Ожидаемое значение: json-string/json-file/@json-file.

--set

Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=<value>.

значение по умолчанию: []
--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--variables

Список переменных для конвейера. Ожидаемое значение: json-string/json-file/@json-file.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.