steps Пакет

Ссылка

Содержит предварительно созданные этапы, которые можно выполнить в конвейере Машинного обучения Azure.

Этапы конвейера Azure ML можно настроить вместе, чтобы создать конвейер, который представляет собой общий и многократно используемый рабочий процесс Машинного обучения Azure. На каждом этапе конвейера можно настроить повторное использование результатов предыдущих выполнений, если содержимое этапа (скрипты и зависимости), а также входные данные и параметры не меняются.

Классы в этом пакете обычно используются вместе с классами в пакете core. Основной пакет содержит классы для настройки данных (PipelineData), планирования (Schedule) и управления выходными данными этапов (StepRun).

Предварительно созданные этапы в этом пакете охватывают множество распространенных сценариев, встречающихся в рабочих процессах машинного обучения. Чтобы приступить к работе с предварительно созданными этапами конвейера, см. следующие материалы:

Модули

adla_step	Содержит функции для создания этапа конвейера Azure ML для выполнения скрипта U-SQL в Azure Data Lake Analytics.
automl_step	Содержит функциональные возможности для добавления этапа конвейера автоматизированного ML в Машинном обучении Azure и управления им.
azurebatch_step	Содержит функциональные возможности для создания этапа конвейера Машинного обучения Azure, запускающего исполняемый файл Windows в пакетной службе Azure.
command_step	Содержит функциональные возможности для создания этапа конвейера Azure ML, выполняющего команды.
data_transfer_step	Содержит функциональные возможности для создания этапа конвейера Azure ML, который передает данные между разными видами хранилищ.
databricks_step	Содержит функциональные возможности для создания этапа конвейера Azure ML для запуска записной книжки Databricks или скрипта Python в DBFS.
estimator_step	Содержит функциональные возможности для создания этапа конвейера, выполняющего оценщик для обучения модели Машинного обучения.
hyper_drive_step	Содержит функциональные возможности для создания и контроля этапов конвейера Машинного обучения Azure, которые выполняют настройку параметров.
kusto_step	Содержит функциональные возможности для создания этапа конвейера Azure ML для выполнения записной книжки Kusto.
module_step	Содержит функции для добавления этапа конвейера Машинного обучения Azure с помощью существующей версии Module.
mpi_step	Содержит функциональные возможности для добавления этапа конвейера Azure ML для запуска задания MPI для обучения модели в рамках Машинного обучения.
parallel_run_config	Содержит функциональные возможности для настройки ParallelRunStep.
parallel_run_step	Содержит функциональные возможности для добавления этапа запуска пользовательского скрипта в параллельном режиме для нескольких целевых объектов AmlCompute.
python_script_step	Содержит функциональные возможности для создания этапа конвейера Azure ML, выполняющего скрипт Python.
r_script_step	Содержит функциональные возможности для создания этапа конвейера Azure ML, выполняющего скрипт R.
synapse_spark_step	Содержит функциональные возможности для создания этапа Azure ML Synapse, выполняющего скрипт Python.

Классы

AdlaStep	Создает этап конвейера Azure ML для выполнения сценария U-SQL с помощью Azure Data Lake Analytics. Пример использования AdlaStep см. в записной книжке https://aka.ms/pl-adla. Создайте шаг конвейера Машинного обучения Azure для выполнения скрипта U-SQL с Data Lake Analytics Azure.
AutoMLStep	Создает этап конвейера Azure ML, который инкапсулирует выполнение автоматизированного ML. Пример использования AutoMLStep приведен в записной книжке https://aka.ms/pl-automl. Инициализируйте AutoMLStep.
AutoMLStepRun	Предоставляет сведения о запуске эксперимента автоматизированного ML и о методах получения выходных данных по умолчанию. Класс AutoMLStepRun используется для управления, проверки состояния и получения сведений о запуске после отправки запуска автоматизированного ML в конвейер. Кроме того, этот класс позволяет получать выходные данные по умолчанию для AutoMLStep с помощью класса StepRun. Инициализация шага automl.
AzureBatchStep	Создает этап конвейера Azure ML для отправки заданий в пакетную службу Azure. Примечание. На этом этапе не поддерживается загрузку и выгрузку каталогов и их содержимого. Пример использования AzureBatchStep см. в записной книжке https://aka.ms/pl-azbatch. Создайте шаг конвейера Машинного обучения Azure для отправки заданий в пакетная служба Azure.
CommandStep	Создание этапа конвейера Azure ML, который выполняет команду. Создание этапа конвейера Azure ML, который выполняет команду.
DataTransferStep	Создает этап конвейера Azure ML, который передает данные между разными видами хранилищ. DataTransferStep поддерживает общие типы хранилищ, такие как служба Хранилище BLOB-объектов Azure и Azure Data Lake в качестве источников и приемников. Дополнительные сведения см. в разделе Примечания. Пример использования DataTransferStep см. в записной книжке https://aka.ms/pl-data-trans. Создайте шаг конвейера Машинного обучения Azure, который передает данные между вариантами хранения.
DatabricksStep	Создает этап конвейера Azure ML для добавления записной книжки DataBricks, сценария Python или JAR в качестве узла. Пример использования DatabricksStep приведен в записной книжке https://aka.ms/pl-databricks. Создайте шаг конвейера Машинного обучения Azure, чтобы добавить записную книжку DataBricks, скрипт Python или JAR-файл в качестве узла. Пример использования DatabricksStep приведен в записной книжке https://aka.ms/pl-databricks. :p aram python_script_name:[Обязательно] Имя скрипта Python относительно `source_directory`. Если скрипт принимает входные и выходные данные, они передаются в скрипт в качестве параметров. Если указан `python_script_name`, то должен быть указан и `source_directory`. Укажите только один из `notebook_path`, `python_script_path`, `python_script_name` или `main_class_name`. Если указать объект DataReference в качестве входных данных с помощью data_reference_name=input1 и объект PipelineData в качестве выходных данных с помощью name=output1, то входные и выходные данные будут переданы в скрипт в качестве параметров. Они будут выглядеть описанным ниже образом, и при этом необходимо проанализировать аргументы в скрипте для доступа к путям всех входных и выходных данных: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1" Кроме того, в скрипте будут доступны следующие параметры: AZUREML_RUN_TOKEN: маркер AML для проверки подлинности с помощью Машинного обучения Azure. AZUREML_RUN_TOKEN_EXPIRY: время окончания срока действия маркера AML. AZUREML_RUN_ID: идентификатор выполнения Машинного обучения Azure для этого выполнения. AZUREML_ARM_SUBSCRIPTION: подписка Azure для рабочей области AML. AZUREML_ARM_RESOURCEGROUP: группа ресурсов Azure для рабочей области Машинного обучения Azure. AZUREML_ARM_WORKSPACE_NAME: имя рабочей области Машинного обучения Azure. AZUREML_ARM_PROJECT_NAME: имя эксперимента Машинного обучения Azure. AZUREML_SERVICE_ENDPOINT: URL-адрес конечной точки для служб AML. AZUREML_WORKSPACE_ID: идентификатор рабочей области Машинного обучения Azure. AZUREML_EXPERIMENT_ID: идентификатор эксперимента Машинного обучения Azure. AZUREML_SCRIPT_DIRECTORY_NAME: путь к каталогу в DBFS, куда было скопировано source_directory. (This parameter is only populated when `python_script_name` is used. See more details below.) При выполнении скрипта Python с локального компьютера в Databricks с помощью параметров DatabricksStep `source_directory` и `python_script_name`, source_directory копируется в DBFS, а путь к каталогу в DBFS передается в качестве параметра скрипту при начале выполнения. Этот параметр обозначен как –AZUREML_SCRIPT_DIRECTORY_NAME. Необходимо добавить к нему префикс со строкой "dbfs:/" or "/dbfs/" для получения доступа к каталогу в DBFS.
EstimatorStep	НЕ РЕКОМЕНДУЕТСЯ. Создает этап конвейера для выполнения Estimator для обучения модели Azure ML. Создайте шаг конвейера Машинного обучения Azure для запуска оценщика для обучения модели машинного обучения. НЕ РЕКОМЕНДУЕТСЯ. Вместо него используется CommandStep. Пример см. в статье о выполнении обучения ML в конвейерах с помощью CommandStep.
HyperDriveStep	Создает этап конвейера Azure ML для выполнения настройки гиперпараметров для обучения модели Машинного обучения. Пример использования HyperDriveStep см. в записной книжке: https://aka.ms/pl-hyperdrive. Создайте шаг конвейера машинного обучения Azure для запуска настройки гиперпараметров для обучения модели Машинного обучения.
HyperDriveStepRun	Управление, проверка состояния и получение сведений о выполнении для этапа конвейера HyperDriveStep. HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveStepRun позволяет контролировать, проверять состояние и получать сведения о выполнении HyperDrive и всех созданных дочерних выполнениях. Класс StepRun позволяет делать это после отправки родительского выполнения конвейера и отправки конвейером выполнения этапа. Инициализируйте HyperDriveStepRun. HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveRun позволяет управлять, проверка состоянием и получать сведения о выполнении для запуска HyperDrive и каждого из созданных дочерних запусков. Класс StepRun позволяет делать это после отправки родительского выполнения конвейера и отправки конвейером выполнения этапа.
KustoStep	KustoStep включает функциональные возможности выполнения запросов Kusto в целевом кластере Kusto в конвейерах Azure ML. Инициализация KustoStep.
ModuleStep	Создает этап конвейера Машинного обучения Azure для выполнения определенной версии класса Module. Объекты Module определяют многократно используемые вычисления, такие как скрипты или исполняемые файлы, которые могут использоваться в различных сценариях машинного обучения и разными пользователями. Чтобы использовать определенную версию класса Module в конвейере, создайте ModuleStep. ModuleStep — это этап в конвейере, который использует существующий класс ModuleVersion. Пример использования ModuleStep приведен в записной книжке: https://aka.ms/pl-modulestep. Создайте шаг конвейера Машинного обучения Azure, чтобы запустить определенную версию модуля.
MpiStep	Создает этап конвейера Azure ML для запуска задания MPI. Пример использования MpiStep приведен в записной книжке https://aka.ms/pl-style-trans. Создайте шаг конвейера Машинного обучения Azure для выполнения задания MPI. НЕ РЕКОМЕНДУЕТСЯ. Вместо него используется CommandStep. Пример см. в статье Запуск распределенного обучения в конвейерах с помощью CommandStep.
ParallelRunConfig	Определяет конфигурацию для объекта ParallelRunStep. Пример использования ParallelRunStep приведен в записной книжке: https://aka.ms/batch-inference-notebooks. Руководство по устранению неполадок приведено в https://aka.ms/prstsg. Там можно найти дополнительные ссылки. Инициализируйте объект конфигурации.
ParallelRunStep	Создает этап конвейера Машинного обучения Azure для асинхронной и параллельной обработки больших объемов данных. Пример использования ParallelRunStep приведен в записной книжке: https://aka.ms/batch-inference-notebooks. Руководство по устранению неполадок приведено в https://aka.ms/prstsg. Там можно найти дополнительные ссылки. Создайте шаг конвейера Машинного обучения Azure для асинхронной и параллельной обработки больших объемов данных. Пример использования ParallelRunStep см. по ссылке на записную книжку https://aka.ms/batch-inference-notebooks.
PythonScriptStep	Создает этап конвейера Azure ML, который выполняет скрипт Python. Пример использования PythonScriptStep приведен в записной книжке: https://aka.ms/pl-get-started. Создайте шаг конвейера Машинного обучения Azure, на котором выполняется скрипт Python.
RScriptStep	Примечание Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental. Создает этап конвейера Azure ML, который выполняет скрипт R. Создайте шаг конвейера Машинного обучения Azure, на котором выполняется скрипт R. НЕ РЕКОМЕНДУЕТСЯ. Вместо него используется CommandStep. Пример см. в статье о выполнении скриптов R в конвейерах с помощью CommandStep.
SynapseSparkStep	Примечание Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental. Создает этап Azure ML Synapse, который отправляет и выполняет скрипт Python. Создайте шаг конвейера Машинного обучения Azure, который запускает задание Spark в пуле Synapse Spark.

Поделиться через

steps Пакет

Модули

Классы

Обратная связь

Дополнительные ресурсы