Agendar trabalhos de importação de dados (visualização)

• Instale a CLI do Azure e a ml extensão. Siga as etapas de instalação em Instalar, configurar e usar a CLI (v2).

• Crie um espaço de trabalho do Azure Machine Learning se não tiver um. Para a criação de espaços de trabalho, consulte Instalar, configurar e usar a CLI (v2).

• Crie um espaço de trabalho do Azure Machine Learning se não tiver um.
• O SDK do Azure Machine Learning v2 para Python.

• Uma área de trabalho do Azure Machine Learning. Consulte Criar recursos do espaço de trabalho.
• Compreensão dos pipelines do Azure Machine Learning. Veja o que são pipelines de aprendizado de máquina e como criar trabalho de pipeline na CLI v2 ou SDK v2.

APLICA-SE A: Azure CLI ml extension v2 (atual)

YAML: Cronograma para importação de dados com padrão de recorrência

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Agendamento para definição de importação de dados em linha com o padrão de recorrência no armazenamento de dados gerenciado

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger contém estas propriedades:

• (Obrigatório) type Especifica o tipo de agenda, ou recurrence cron. A seção a seguir tem mais informações.

Em seguida, execute este comando na CLI:

> az ml schedule create -f <file-name>.yml

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger contém as seguintes propriedades:

• (Obrigatório) Para uma melhor experiência de codificação, use RecurrenceTrigger para o cronograma de recorrência.

Quando a importação de dados tiver desempenho e saídas satisfatórios, você poderá configurar um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione a URL de hiperlink mais recente do nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Criar nova agenda para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo da agenda dentro do espaço de trabalho.

• Descrição: a descrição do cronograma.

• Gatilho: o padrão de recorrência da programação, que inclui estas propriedades:

  • Fuso horário: o cálculo da hora do gatilho é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione recorrência para especificar o padrão recorrente. Em Recorrência, você pode especificar a frequência de recorrência - por minutos, horas, dias, semanas ou meses.
  • Início: o horário fica ativo pela primeira vez nesta data. Por padrão, a data de criação dessa agenda.
  • Fim: o horário ficará inativo após esta data. Por padrão, é NONE, o que significa que o agendamento permanece ativo até que você o desative manualmente.
  • Tags: as tags de programação selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Revisar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

YAML: Agendar uma importação de dados com expressão cron

APLICA-SE A: Azure CLI ml extension v2 (atual)

YAML: Agendamento para importação de dados com expressão cron (visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Agendamento para definição de importação de dados em linha com expressão cron (visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger seção define os detalhes da agenda e contém estas propriedades:

• (Obrigatório) type Especifica o tipo de cron agenda.

> az ml schedule create -f <file-name>.yml

A lista continua aqui:

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

A CronTrigger seção define os detalhes da agenda e contém estas propriedades:

• (Obrigatório) Para uma melhor experiência de codificação, use CronTrigger para o cronograma de recorrência.

A lista continua aqui:

Quando a importação de dados tiver desempenho e saídas satisfatórios, você poderá configurar um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione a URL de hiperlink mais recente do nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Criar nova agenda para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo da agenda dentro do espaço de trabalho.

• Descrição: a descrição do cronograma.

• Gatilho: o padrão de recorrência da programação, que inclui estas propriedades:

  • Fuso horário: o cálculo da hora do gatilho é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione recorrência para especificar o padrão recorrente. Com a expressão Cron, você pode especificar um padrão de recorrência mais flexível e personalizado.
  • Início: o horário fica ativo pela primeira vez nesta data. Por padrão, a data de criação dessa agenda.
  • Fim: o horário ficará inativo após esta data. Por padrão, é NONE, o que significa que o agendamento permanece ativo até que você o desative manualmente.
  • Tags: as tags de programação selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Revisar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule list

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

No portal do estúdio, na extensão Trabalhos , selecione a guia Todas as agendas . Essa guia mostra todas as suas agendas de trabalho criadas pelo SDK/cli/UI, em uma única lista. Na lista de agendas, você tem uma visão geral de todas as agendas neste espaço de trabalho, conforme mostrado nesta captura de tela:

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule show -n simple_cron_data_import_schedule

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Você pode selecionar um nome de agenda para mostrar a página de detalhes da agenda. A página de detalhes da agenda contém as seguintes guias, conforme mostrado nesta captura de tela:

• Visão geral: informações básicas para o cronograma especificado.

  

• Definição de trabalho: define o trabalho que a agenda especificada aciona, conforme mostrado nesta captura de tela:

  

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Atualizar uma definição de importação de dados para a agenda existente

Para alterar a frequência de importação ou criar uma nova associação para o trabalho de importação de dados, você pode atualizar a definição de importação de uma agenda existente.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione o link Importar nome do trabalho mais recente para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Atualizado para agendamento existente para abrir o assistente Selecionar agendamento, conforme mostrado nesta captura de tela:

   

5. Selecione uma agenda existente na lista, conforme mostrado nesta captura de tela:

   

   Importante

   Certifique-se de selecionar o agendamento correto para atualizar. Depois de concluir a atualização, o agendamento acionará diferentes importações de dados.

6. Você também pode modificar a origem, consultar e alterar o caminho de destino para futuras importações de dados acionadas pela agenda.

7. Selecione Rever + Atualizar para concluir o processo de atualização. A atualização concluída enviará uma notificação.

8. Você pode exibir a nova definição de importação de dados na página de detalhes da agenda quando a atualização for concluída.

Atualizar na página de detalhes do cronograma

Na página de detalhes da agenda, você pode selecionar Atualizar configurações para atualizar as configurações básicas e as configurações avançadas, incluindo as configurações de entrada/saída do trabalho e de tempo de execução da agenda, conforme mostrado nesta captura de tela:

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Você pode desativar a agenda atual na página de detalhes da agenda. Você também pode desativar agendas na guia Todas as agendas .

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Na página de detalhes da agenda, você pode habilitar a agenda atual. Você também pode habilitar agendamentos na guia Todas as agendas .

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule delete -n simple_cron_data_import_schedule

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Você pode excluir uma agenda da página de detalhes da agenda ou da guia todas as agendas.