Agendar trabalhos de pipeline de aprendizado de máquina

• A CLI do Azure e a extensão ml instalada seguindo as instruções em Instalar, configurar e usar a CLI (v2).
• Saiba como criar pipelines YAML do Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com a CLI do Azure Machine Learning.

• O SDK do Azure Machine Learning v2 para Python instalado.
• Saiba como criar pipelines do Python para o Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com o SDK do Azure Machine Learning.

• Saiba como criar pipelines no Estúdio do Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com o Estúdio do Azure Machine Learning.

Os exemplos de código neste artigo são de Trabalhar com Agendamento na CLI 2.0 do Azure Machine Learning.

Os exemplos de código neste artigo são trechos de Trabalhar com Agendamento em notebook do Azure Machine Learning. Execute o notebook para criar e gerenciar os agendamentos, conforme descrito.

Para criar um agendamento para um trabalho de pipeline do Azure Machine Learning na interface do usuário do estúdio, abra a página de detalhes do trabalho de pipeline.

O código YAML a seguir define um agendamento recorrente para um trabalho de pipeline. O parâmetro type obrigatório especifica que o tipo de trigger é recurrence.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

O código a seguir usa RecurrenceTrigger para fornecer uma melhor experiência de codificação.

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

Para abrir o assistente de criação do agendamento, selecione Agendar>Criar novo agendamento na parte superior da página.

Parâmetros

• frequency (obrigatório) é a unidade de tempo na qual o agendamento é acionado. Pode ser minutes, hours, days, weeks ou months.
• interval (obrigatório) é o número de unidades de tempo entre recorrências de agendamento.
• schedule (opcional) define o padrão de recorrência, que pode conter hours, minutes e weekdays. Se omitido, os trabalhos são disparados de acordo com a lógica de start_time, frequency e interval.
  • Quando frequency for day, o padrão pode especificar hours e minutes.
  • Quando frequency for week ou month, o padrão pode especificar hours, minutes e weekdays.
    • hours é um inteiro ou uma lista de 0 a 23.
    • minutes é um inteiro ou uma lista de 0 a 59.
    • weekdays é uma cadeia de caracteres ou uma lista de monday a sunday.
• start_time (opcional) é a data e a hora de início com fuso horário. Se omitido, o padrão será igual ao tempo de criação do agendamento. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
• end_time (opcional) é a data e a hora de término com fuso horário. Se omitido, o agendamento permanecerá ativo até ser desabilitado manualmente.
• time_zone (opcional) especifica o fuso horário do agendamento de recorrência. Se omitido, o padrão será UTC (Tempo Universal Coordenado). Para saber mais sobre valores de fuso horário, acesse o apêndice de valores de fuso horário.

Para definir um agendamento baseado em recorrência, na tela Configurações básicas, defina as seguintes propriedades. Somente a propriedade Nome requer que você insira um valor. Se você não especificar valores para as outras propriedades, o agendamento padrão será um padrão de Recorrência que começa na criação do agendamento e é executado de segunda a sexta-feira às 16h UTC.

• Nome: o identificador exclusivo do agendamento dentro do workspace.
• Descrição: a descrição do agendamento.
• Gatilho: padrão de recorrência do agendamento, incluindo as seguintes propriedades:
  • Fuso horário: fuso horário a ser usado para a hora de gatilho, UTC por padrão.
  • Selecione Recorrência e especifique um padrão de recorrência de minutos, horas, dias, semanas ou meses.
  • Início: data em que o agendamento se torna ativo, por padrão, a data criada.
  • Término: data em que o agendamento fica inativo. Por padrão, o valor é nulo e o agendamento permanecerá ativo até ser desabilitado manualmente.
  • Marcas: marcas no agendamento.

Depois de criar o YAML de agendamento, você pode usar o comando a seguir para criar um agendamento por meio da CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

O código Python a seguir cria o agendamento que você definiu:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Depois de definir as configurações básicas, selecione Examinar + Criar, examine as configurações e selecione Examinar + Criar novamente para criar o agendamento.

O código YAML a seguir define um agendamento recorrente para um trabalho de pipeline. O parâmetro type obrigatório especifica que o tipo de trigger é cron.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

O código a seguir usa CronTrigger para fornecer uma melhor experiência de codificação.

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

Para definir um agendamento baseado em cron, selecione Expressão cron em vez de Recorrência na tela Configurações básicas para o agendamento.

Parâmetros

• expression (obrigatório) é uma expressão crontab padrão que expressa um agendamento recorrente.
• start_time (opcional) é a data e a hora de início do agendamento com fuso horário. Por exemplo, start_time: "2022-05-10T10:15:00-04:00" significa que a programação começa às 10:15:00 do dia 10 de maio de 2022 no fuso horário UTC-4. Se omitido, o padrão será igual ao tempo de criação do agendamento. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
• end_time (opcional) é a data e a hora de término com fuso horário. Se omitido, o agendamento permanecerá ativo até ser desabilitado manualmente.
• time_zone (opcional) especifica o fuso horário do agendamento de recorrência. Se omitido, o padrão será UTC.

Somente a propriedade Nome requer que você insira um valor. Se você não especificar uma expressão cron, a expressão cron padrão criará um agendamento que é executado diariamente às 16:00 UTC.

• Nome: o identificador exclusivo do agendamento dentro do workspace.
• Descrição: descrição do agendamento.
• Gatilho: padrão de recorrência do agendamento, incluindo as seguintes propriedades:
  • Fuso horário: fuso horário a ser usado para a hora de gatilho, UTC (Tempo Universal Coordenado) por padrão.
  • Selecione Expressão cron e forneça uma expressão crontab padrão que expressa um agendamento recorrente.
  • Início: data em que o agendamento se torna ativo, por padrão, a data criada.
  • Término: data em que o agendamento fica inativo. Por padrão, o valor é nulo e um agendamento permanecerá ativo até você desabilitá-lo manualmente.
  • Marcas: marcas no agendamento.

Depois de criar o YAML de agendamento, você pode usar o comando a seguir para criar um agendamento por meio da CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

O código Python a seguir cria o agendamento que você definiu:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Depois de definir as configurações básicas, selecione Examinar + Criar, examine as configurações e selecione Examinar + Criar novamente para criar o agendamento.

Ao definir um agendamento, você pode alterar o settings, inputs ou outputs para ser usado ao executar o trabalho de pipeline. Você também pode alterar o experiment_name do trabalho disparado.

A definição do agendamento a seguir altera as configurações de um trabalho existente.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

Ao definir um agendamento, você pode alterar o settings, inputs ou outputs para ser usado ao executar o trabalho de pipeline. Você também pode alterar o experiment_name do trabalho disparado.

A definição do agendamento a seguir altera as configurações de um pipeline por trabalho.

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

Na interface do usuário do estúdio, você pode usar Configurações avançadas no assistente de criação do agendamento para modificar inputs, outputs e settings do runtime para um trabalho de pipeline. Não é possível alterar o experiment_name na interface do usuário do estúdio.

1. Em Entradas e saídas do trabalho, você pode modificar entradas e saídas para trabalhos futuros disparados por agendamento. Você pode usar expressões de macro para os caminhos de entradas e saídas.

   

2. Em Configurações de runtime do trabalho, você pode modificar a computação e outras configurações de runtime para trabalhos disparados pelo agendamento.

   

3. Selecione Examinar + Criar para examinar as configurações de agendamento configuradas e, em seguida, selecione Examinar + Criar novamente para criar o agendamento.

   

az ml schedule list

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Em Trabalhos no estúdio, selecione a guia Todos os agendamentos para ver uma lista de todos os agendamentos de trabalho v2 criados pelo SDK, CLI ou interface do usuário do estúdio nesse workspace.

az ml schedule show -n simple_cron_job_schedule

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Selecione um nome de agendamento para mostrar a página de detalhes do agendamento, que contém as seguintes guias:

• Visão geral apresenta informações básicas sobre o agendamento.

  

• Definição de trabalho define o trabalho disparado por esse agendamento.

  

• Histórico de trabalhos fornece uma lista de todos os trabalhos disparados por esse agendamento.

  

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Na página de detalhes do agendamento, você pode selecionar Atualizar configurações para atualizar as configurações do agendamento, incluindo as configurações de entrada/saída e runtime do trabalho.

Atualizar um pipeline de nova versão para um agendamento existente

Depois de configurar um agendamento para realizar o novo treinamento regular ou a inferência em lote na produção, você pode continuar ajustando ou otimizando o modelo. Quando você tiver um trabalho de pipeline de nova versão com desempenho otimizado, poderá atualizar o pipeline de nova versão para ser executado em um agendamento existente.

1. Na página de detalhes do trabalho do pipeline de nova versão, selecione Agendar>Atualizar para o agendamento existente.

   

2. Selecione um agendamento existente para atualizar sua definição de trabalho.

   

   Importante

   Selecione o agendamento correto que deseja atualizar.

3. Opcionalmente, selecione Avançar para modificar as entradas/saídas do trabalho e as configurações de runtime para os trabalhos futuros disparados pelo agendamento.

4. Selecione Examinar + Atualizar para examinar as configurações do agendamento e selecione Examinar + Atualizar novamente para concluir a atualização.

Depois que a atualização for concluída, você poderá ver a nova definição do trabalho na página de detalhes do agendamento. O agendamento agora dispara o novo trabalho.

az ml schedule disable -n simple_cron_job_schedule --no-wait

O seguinte código retorna False:

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Você pode desabilitar agendamentos da guia Todos os agendamentos ou desabilitar o agendamento atual na página de detalhes do agendamento.

az ml schedule enable -n simple_cron_job_schedule --no-wait

O seguinte código retorna True:

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

Você pode habilitar agendamentos da guia Todos os agendamentos ou habilitar o agendamento atual na página de detalhes do agendamento.

az ml schedule delete -n simple_cron_job_schedule

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Você pode excluir agendamentos da guia Todos os agendamentos ou excluir o agendamento atual na página de detalhes do agendamento.