Plánování úloh importu dat (Preview)

• Nainstalujte Azure CLI a ml rozšíření. Postupujte podle pokynů k instalaci v části Instalace, nastavení a používání rozhraní příkazového řádku (v2).

• Pokud ho nemáte, vytvořte pracovní prostor Azure Machine Learning. Informace o vytvoření pracovního prostoru najdete v tématu Instalace, nastavení a použití rozhraní příkazového řádku (v2).

• Pokud ho nemáte, vytvořte pracovní prostor Azure Machine Learning.
• Sada Azure Machine Learning SDK v2 pro Python

• Pracovní prostor služby Azure Machine Learning. Viz Vytvoření prostředků pracovního prostoru.
• Porozumění kanálům Azure Machine Learning Podívejte se , co jsou kanály strojového učení a jak vytvořit úlohu kanálu v cli v2 nebo sadě SDK v2.

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

YAML: Plán importu dat se vzorem opakování

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Naplánování vložené definice importu dat se vzorem opakování ve spravovaném úložišti dat

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger obsahuje tyto vlastnosti:

• (Povinné) type určuje typ plánu, buď recurrence nebo cron. Další informace najdete v následující části.

Pak v rozhraní příkazového řádku spusťte tento příkaz:

> az ml schedule create -f <file-name>.yml

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger obsahuje následující vlastnosti:

• (Povinné) Pro lepší kódování použijte RecurrenceTrigger plán opakování.

Pokud má import dat uspokojivý výkon a výstupy, můžete nastavit plán pro automatické aktivaci importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější adresu URL hypertextového odkazu na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Trigger: způsob opakování plánu, který zahrnuje tyto vlastnosti:

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. V části Opakování můžete určit frekvenci opakování – podle minut, hodin, dnů, týdnů nebo měsíců.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

YAML: Naplánování importu dat pomocí výrazu cron

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

YAML: Naplánování importu dat pomocí výrazu cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Plán definice importu dat vložený s výrazem cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Oddíl trigger definuje podrobnosti plánu a obsahuje tyto vlastnosti:

• (Povinné) type určuje cron typ plánu.

> az ml schedule create -f <file-name>.yml

Seznam pokračuje tady:

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Oddíl CronTrigger definuje podrobnosti plánu a obsahuje tyto vlastnosti:

• (Povinné) Pro lepší kódování použijte CronTrigger plán opakování.

Seznam pokračuje tady:

Pokud má import dat uspokojivý výkon a výstupy, můžete nastavit plán pro automatické aktivaci importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější adresu URL hypertextového odkazu na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Trigger: způsob opakování plánu, který zahrnuje tyto vlastnosti:

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. Pomocí výrazu Cron můžete zadat flexibilnější a přizpůsobený způsob opakování.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule list

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Na portálu studio v části Rozšíření Úlohy vyberte kartu Všechny plány . Na této kartě se zobrazí všechny plány úloh vytvořené sadou SDK, rozhraním příkazového řádku nebo uživatelským rozhraním v jednom seznamu. V seznamu plánů máte přehled všech plánů v tomto pracovním prostoru, jak je znázorněno na tomto snímku obrazovky:

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule show -n simple_cron_data_import_schedule

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Můžete vybrat název plánu, aby se zobrazila stránka s podrobnostmi plánu. Stránka s podrobnostmi plánu obsahuje následující karty, jak je znázorněno na tomto snímku obrazovky:

• Přehled: Základní informace pro zadaný plán

  

• Definice úlohy: definuje úlohu, kterou aktivuje zadaný plán, jak je znázorněno na tomto snímku obrazovky:

  

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Aktualizace definice importu dat na existující plán

Pokud chcete změnit frekvenci importu nebo vytvořit nové přidružení pro úlohu importu dat, můžete aktualizovat definici importu existujícího plánu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější odkaz na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu jakéhokoli importu dat vyberte Naplánovat ->Aktualizováno na existující plán. Otevře se průvodce výběrem plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Ze seznamu vyberte existující plán, jak je znázorněno na tomto snímku obrazovky:

   

   Důležité

   Ujistěte se, že jste vybrali správný plán, který chcete aktualizovat. Po dokončení aktualizace plán aktivuje různé importy dat.

6. Můžete také upravit zdroj, dotaz a změnit cílovou cestu pro budoucí importy dat, které plán aktivuje.

7. Proces aktualizace dokončíte výběrem možnosti Zkontrolovat a aktualizovat . Dokončená aktualizace odešle oznámení.

8. Novou definici importu dat můžete zobrazit na stránce s podrobnostmi plánu po dokončení aktualizace.

Aktualizace na stránce podrobností plánu

Na stránce s podrobnostmi plánu můžete vybrat aktualizovat nastavení aktualizace, abyste aktualizovali základní i upřesňující nastavení, včetně nastavení vstupu a výstupu úlohy a modulu runtime plánu, jak je znázorněno na tomto snímku obrazovky:

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Aktuální plán můžete zakázat na stránce s podrobnostmi plánu. Plány můžete také zakázat na kartě Všechny plány .

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Na stránce s podrobnostmi plánu můžete povolit aktuální plán. Plány můžete povolit také na kartě Všechny plány .

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule delete -n simple_cron_data_import_schedule

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Plán můžete odstranit ze stránky s podrobnostmi plánu nebo na kartě Všechny plány.