Planen Sie Pipeline-Jobs für maschinelles Lernen

• Die Azure CLI und ml-Erweiterung, die anhand der Anweisungen unter Installieren und Einrichten der CLI (v2) installiert wurden
• Kenntnisse im Erstellen von YAML-Pipelines in Azure Machine Learning. Weitere Informationen finden Sie unter Erstellen und Ausführen von Machine Learning-Pipelines mit Komponenten und der Azure Machine Learning CLI.

• Installiertes Azure Machine Learning SDK v2 für Python
• Kenntnisse im Erstellen von Python-Pipelines für Azure Machine Learning. Weitere Informationen finden Sie unter Erstellen und Ausführen von Machine Learning-Pipelines mit Komponenten und dem Azure Machine Learning SDK v2.

• Kenntnisse im Erstellen von Pipelines in Azure Machine Learning Studio. Weitere Informationen finden Sie unter Erstellen und Ausführen von Machine Learning-Pipelines mit Komponenten und Azure Machine Learning Studio.

Die Codebeispiele in diesem Artikel stammen aus Arbeiten mit Zeitplänen in Azure Machine Learning CLI 2.0.

Bei den Codebeispiele in diesem Artikel handelt es sich um Auszüge aus dem Azure Machine Learning-Notebook Arbeiten mit Zeitplänen. Führen Sie das Notebook aus, um die Zeitpläne wie beschrieben zu erstellen und zu verwalten.

Um einen Zeitplan für einen Azure Machine Learning-Pipelineauftrag auf der Studio-Benutzeroberfläche zu erstellen, öffnen Sie die Detailseite des Pipelineauftrags.

Der folgende YAML-Code definiert eine Zeitplanserie für einen Pipelineauftrag. Der erforderliche type-Parameter gibt an, dass es sich beim trigger-Typ um recurrence handelt.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

Geben Sie die folgenden Zeitplanparameter an:

Der folgende Code verwendet RecurrenceTrigger, um eine bessere Codierung zu ermöglichen.

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

Geben Sie die folgenden Zeitplanparameter an:

Zum Öffnen des Zeitplanerstellungs-Assistenten wählen Sie oben auf der Seite Zeitplan>Neuen Zeitplan erstellen aus.

Parameter

• frequency (erforderlich) ist die Zeiteinheit, auf deren Grundlage die Zeitpläne ausgelöst werden. Mögliche Werte: minutes, hours, days, weeks oder months.
• interval (erforderlich) ist die Anzahl der Zeiteinheiten zwischen Zeitplanserien.
• schedule (optional) definiert das Serienmuster, das hours, minutes und weekdays enthalten kann. Wird kein Wert angegeben, werden Aufträge gemäß der Logik von start_time, frequency und interval ausgelöst.
  • Handelt es sich bei frequency um day, kann das Muster hours und minutes angeben.
  • Handelt es sich bei frequency um week oder month, kann das Muster hours, minutes und weekdays angeben.
    • hours ist eine ganze Zahl oder eine Liste von 0 bis 23.
    • minutes ist eine ganze Zahl oder eine Liste von 0 bis 59.
    • weekdays ist eine Zeichenfolge oder eine Liste von monday bis sunday.
• start_time (optional) ist das Startdatum und die Uhrzeit mit Zeitzone. Wird kein Wert angegeben, entspricht der Standard der Zeitplanerstellungszeit. Wenn die Startzeit in der Vergangenheit liegt, wird der erste Job zur nächsten berechneten Laufzeit ausgeführt.
• end_time (optional) ist das Enddatum und die Uhrzeit mit Zeitzone. Wird kein Wert angegeben, bleibt der Zeitplan bis zur manuellen Deaktivierung aktiv.
• time_zone (optional) gibt die Zeitzone des Serienzeitplans an. Wird kein Wert angegeben, wird standardmäßig koordinierte Weltzeit (UTC) verwendet. Weitere Informationen zu Zeitzonenwerten finden Sie im Anhang zu Zeitzonenwerten.

Zum Definieren eines serienbasierten Zeitplans definieren Sie auf dem Bildschirm Basiseinstellungen die folgenden Eigenschaften. Nur die Eigenschaft Name erfordert die Eingabe eines Werts. Wenn Sie keine Werte für die anderen Eigenschaften angeben, entspricht der Standardzeitplan einem Serienmuster, das bei der Zeitplanerstellung beginnt und jeden Montag bis Freitag um 16:00 Uhr UTC ausgeführt wird.

• Name: Eindeutiger Bezeichner des Zeitplans im Arbeitsbereich
• Beschreibung: Beschreibung des Zeitplans
• Auslöser: Serienmuster des Zeitplans, einschließlich der folgenden Eigenschaften:
  • Zeitzone: Zeitzone, die für die Auslösezeit verwendet werden soll (Standardeinstellung: UTC)
  • Wählen Sie Serie aus, und geben Sie ein Serienmuster in Minuten, Stunden, Tagen, Wochen oder Monaten an.
  • Start: Datum, an dem der Zeitplan aktiv wird, standardmäßig am Erstellungsdatum
  • Ende: Datum, an dem der Zeitplan inaktiv wird. Der Standardwert ist „none“, und der Zeitplan bleibt bis zur manuellen Deaktivierung aktiv.
  • Tags: Tags im Zeitplan

Nachdem Sie den Zeitplan-YAML-Code erstellt haben, erstellen Sie mit folgendem Befehl einen Zeitplan über die CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Der folgende Python-Code erstellt den von Ihnen definierten Zeitplan:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Nachdem Sie die Grundeinstellungen konfiguriert haben, wählen Sie Überprüfen und erstellen aus, überprüfen Sie die Einstellungen, und wählen Sie dann erneut Überprüfen und erstellen aus, um den Zeitplan zu erstellen.

Der folgende YAML-Code definiert eine Zeitplanserie für einen Pipelineauftrag. Der erforderliche type-Parameter gibt an, dass es sich beim trigger-Typ um cron handelt.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

Geben Sie die folgenden Zeitplanparameter an:

Der folgende Code verwendet CronTrigger, um eine bessere Codierung zu ermöglichen.

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

Geben Sie die folgenden Zeitplanparameter an:

Um einen cron-basierten Zeitplan zu definieren, wählen Sie auf dem Bildschirm Basiseinstellungen für den Zeitplan die Option Cron-Ausdruck anstelle von Serienmuster aus.

Parameter

• expression (erforderlich) ist ein standardmäßiger Crontab-Ausdruck, der einen Serienzeitplan ausdrückt.
• start_time (optional) ist das Startdatum und die Uhrzeit mit Zeitzone des Zeitplans. Beispielsweise bedeutet start_time: "2022-05-10T10:15:00-04:00", dass der Zeitplan am 10. Mai 2022 um 10:15:00 Uhr in der Zeitzone UTC-4 beginnt. Wird kein Wert angegeben, entspricht der Standard der Zeitplanerstellungszeit. Wenn die Startzeit in der Vergangenheit liegt, wird der erste Job zur nächsten berechneten Laufzeit ausgeführt.
• end_time (optional) ist das Enddatum und die Uhrzeit mit Zeitzone. Wird kein Wert angegeben, bleibt der Zeitplan bis zur manuellen Deaktivierung aktiv.
• time_zone (optional) gibt die Zeitzone des Serienzeitplans an. Wenn dieser Wert nicht angegeben wird, wird standardmäßig UTC verwendet.

Nur die Eigenschaft Name erfordert die Eingabe eines Werts. Wenn Sie keinen Cron-Ausdruck angeben, erstellt der standardmäßige Cron-Ausdruck einen Zeitplan, der täglich um 16:00 Uhr UTC ausgeführt wird.

• Name: Eindeutiger Bezeichner des Zeitplans im Arbeitsbereich
• Beschreibung: Beschreibung des Zeitplans
• Auslöser: Serienmuster des Zeitplans, einschließlich der folgenden Eigenschaften:
  • Zeitzone: Zeitzone (UTC), die standardmäßig für die Auslösezeit verwendet werden soll.
  • Wählen Sie Cron-Ausdruck aus, und geben Sie einen standardmäßigen Crontab-Ausdruck an, der einen Serienzeitplan ausdrückt.
  • Start: Datum, an dem der Zeitplan aktiv wird, standardmäßig am Erstellungsdatum
  • Ende: Datum, an dem der Zeitplan inaktiv wird. Der Standardwert ist „none“, und der Zeitplan bleibt bis zur manuellen Deaktivierung aktiv.
  • Tags: Tags im Zeitplan

Nachdem Sie den Zeitplan-YAML-Code erstellt haben, erstellen Sie mit folgendem Befehl einen Zeitplan über die CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Der folgende Python-Code erstellt den von Ihnen definierten Zeitplan:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Nachdem Sie die Grundeinstellungen konfiguriert haben, wählen Sie Überprüfen und erstellen aus, überprüfen Sie die Einstellungen, und wählen Sie dann erneut Überprüfen und erstellen aus, um den Zeitplan zu erstellen.

Wenn Sie einen Zeitplan definieren, können Sie settings, inputs oder outputs ändern, die beim Ausführen des Pipelineauftrags verwendet werden sollen. Sie können auch experiment_name des ausgelösten Auftrags ändern.

Durch die folgende Zeitplandefinition werden die Einstellungen eines vorhandenen Auftrags geändert.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

Wenn Sie einen Zeitplan definieren, können Sie settings, inputs oder outputs ändern, die beim Ausführen des Pipelineauftrags verwendet werden sollen. Sie können auch experiment_name des ausgelösten Auftrags ändern.

Durch die folgende Zeitplandefinition werden die Einstellungen einer Pipeline pro Auftrag geändert.

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

Auf der Studio-Benutzeroberfläche können Sie unter Erweiterte Einstellungen im Assistenten zur Zeitplanerstellung inputs, outputs und settings für die Laufzeit eines Pipelineauftrags ändern. Sie können experiment_name auf der Studio-Benutzeroberfläche nicht ändern.

1. Unter Auftragseingaben und -ausgaben können Sie Eingaben und Ausgaben für zukünftige Aufträge ändern, die durch den Zeitplan ausgelöst werden. Sie können Makroausdrücke für die Eingabe- und Ausgabepfade verwenden.

   

2. Unter Laufzeiteinstellungen für Aufträge können Sie Compute- und andere Laufzeiteinstellungen für Aufträge ändern, die vom Zeitplan ausgelöst werden.

   

3. Wählen Sie Überprüfen und erstellen aus, um die konfigurierten Zeitplaneinstellungen zu überprüfen, und wählen Sie dann erneut Überprüfen und erstellen aus, um den Zeitplan zu erstellen.

   

az ml schedule list

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Wählen Sie in Studio unter Aufträge die Registerkarte Alle Zeitpläne aus, um eine Liste aller Zeitpläne mit v2-Aufträgen anzuzeigen, die vom SDK, von der CLI oder von der Studio-Benutzeroberfläche in diesem Arbeitsbereich erstellt wurden.

az ml schedule show -n simple_cron_job_schedule

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Wählen Sie einen Zeitplannamen aus, um die Detailseite des Zeitplans anzuzeigen. Diese enthält folgende Registerkarten:

• Übersicht enthält grundlegende Informationen zum Zeitplan.

  

• Auftragsdefinition definiert den Auftrag, der durch den Zeitplan ausgelöst wird.

  

• Auftragsverlauf enthält eine Liste aller Aufträge, die durch den Zeitplan ausgelöst werden.

  

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Auf der Detailseite des Zeitplans können Sie Einstellungen aktualisieren auswählen, um die Zeitplaneinstellungen, einschließlich Einstellungen für Auftragseingaben/-ausgaben und Laufzeiteinstellungen, zu aktualisieren.

Aktualisieren einer Pipeline der neuen Version auf einen vorhandenen Zeitplan

Nachdem Sie einen Zeitplan für die regelmäßige Durchführung von erneuten Trainings oder Batchrückschlüssen in der Produktion eingerichtet haben, können Sie das Modell weiter anpassen oder optimieren. Wenn Sie über einen Auftrag für eine Pipeline der neuen Version mit optimierter Leistung verfügen, können Sie die Pipeline der neuen Version so aktualisieren, dass sie nach einem vorhandenen Zeitplan ausgeführt wird.

1. Wählen Sie auf der Auftragsdetailseite für eine Pipeline der neuen Version Zeitplan>Aktualisieren auf vorhandenen Zeitplan aus.

   

2. Wählen Sie einen vorhandenen Zeitplan aus, um die Auftragsdefinition zu aktualisieren.

   

   Wichtig

   Stellen Sie sicher, dass Sie den richtigen zu aktualisierenden Zeitplan auswählen.

3. Sie können auch Weiter auswählen, um die Auftragseingaben und -ausgaben sowie die Laufzeiteinstellungen für die zukünftigen Aufträge zu ändern, die durch den Zeitplan ausgelöst werden.

4. Wählen Sie Überprüfen und aktualisieren aus, um die Zeitplaneinstellungen zu prüfen, und wählen Sie dann erneut Überprüfen und aktualisieren aus, um die Aktualisierung abzuschließen.

Nach Abschluss der Aktualisierung können Sie auf der Detailseite des Zeitplans die neue Auftragsdefinition anzeigen. Der Zeitplan löst jetzt den neuen Auftrag aus.

az ml schedule disable -n simple_cron_job_schedule --no-wait

Der folgende Code gibt False zurück:

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Sie können Zeitpläne auf der Registerkarte Alle Zeitpläne deaktivieren oder den aktuellen Zeitplan auf der Detailseite des Zeitplans deaktivieren.

az ml schedule enable -n simple_cron_job_schedule --no-wait

Der folgende Code gibt True zurück:

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

Sie können Zeitpläne auf der Registerkarte Alle Zeitpläne aktivieren oder den aktuellen Zeitplan auf der Detailseite des Zeitplans aktivieren.

az ml schedule delete -n simple_cron_job_schedule

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Sie können Zeitpläne auf der Registerkarte Alle Zeitpläne löschen oder den aktuellen Zeitplan auf der Detailseite des Zeitplans löschen.