MLflow ile ML denemelerini ve modellerini izleme

Jupyter not defteri gibi etkileşimli eğitimler için MLflow komutunu mlflow.set_experiment()kullanın. Örneğin, aşağıdaki kod parçacığı bir denemeyi yapılandırıyor:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

İşleri göndermek için Azure Machine Learning CLI veya SDK kullanırken işin özelliğini kullanarak experiment_name deneme adını ayarlayın. Eğitim betiğinizde yapılandırmanız gerekmez.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Etkileşimli olarak çalışırken, etkin bir çalıştırma gerektiren bilgileri günlüğe kaydetmeye çalıştığınızda MLflow eğitim yordamınızı izlemeye başlar. Örneğin, MLflow izlemesi bir ölçümü, parametreyi günlüğe kaydettiğinizde veya bir eğitim döngüsü başlattığınızda başlar ve Mlflow'un otomatik kaydetme işlevi etkinleştirilir. Ancak, özellikle Denemenizin toplam süresini Süre alanında yakalamak istiyorsanız, çalıştırmayı açıkça başlatmak genellikle yararlı olur. Çalıştırmayı açıkça başlatmak için kullanın mlflow.start_run().

Çalıştırmayı el ile başlatsanız da başlatmasanız da, MLflow'un deneme çalıştırmanızın tamamlandığını bilmesi ve çalıştırmanın durumunu Tamamlandı olarak işaretlemesi için çalıştırmayı durdurmanız gerekir. Çalıştırmayı durdurmak için kullanın mlflow.end_run().

Not defterlerinde çalışırken bunları sonlandırmayı unutmamak için çalıştırmaları el ile başlatmanızı kesinlikle öneririz.

• Bir çalıştırmayı el ile başlatmak ve not defterinde çalışmayı bitirdiğinizde sonlandırmak için:

  mlflow.start_run()
  
  # Your code
  
  mlflow.end_run()
  

• Çalıştırmayı sonlandırmayı hatırlamanıza yardımcı olması için bağlam yöneticisi paradigması kullanmak genellikle yararlıdır:

  with mlflow.start_run() as run:
      # Your code
  

• ile mlflow.start_run()yeni bir çalıştırma başlattığınızda parametresini run_name belirtmek yararlı olabilir. Bu parametre daha sonra Azure Machine Learning kullanıcı arabirimindeki çalıştırmanın adına çevrilir ve çalıştırmayı daha hızlı tanımlamanıza yardımcı olur:

  with mlflow.start_run(run_name="hello-world-example") as run:
      # Your code
  

Azure Machine Learning işleri, uzun süre çalışan eğitim veya çıkarım yordamlarını yalıtılmış ve yeniden üretilebilir yürütmeler olarak göndermenizi sağlar.

Eğitim yordamı oluşturma

İşlerle çalışırken, genellikle tüm eğitim mantığınızı bir klasörün içine dosya olarak yerleştirirsiniz; örneğin src. Bu dosyalardan biri, eğitim kodu giriş noktanızı içeren bir Python dosyasıdır. Aşağıdaki örnekte bir hello_world.py örnek gösterilmektedir:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

Önceki kod örneği kullanmaz mlflow.start_run() , ancak kullanılırsa MLflow geçerli etkin çalıştırmayı yeniden kullanır. Bu nedenle, kodu Azure Machine Learning'e geçiriyorsanız kullanılan mlflow.start_run() satırı kaldırmanız gerekmez.

Rutininize izleme ekleme

Tüm ölçümleri, parametreleri, yapıtları veya modelleri izlemek için MLflow SDK'sını kullanın. Bunların nasıl günlüğe kaydedildiğini gösteren örnekler için bkz . MLflow ile ölçümleri, parametreleri ve dosyaları günlüğe kaydetme.

İşinizin ortamında MLflow'un yüklü olduğundan emin olun

Tüm Azure Machine Learning ortamlarında sizin için zaten MLflow yüklü olduğundan, seçilmiş bir ortam kullanıyorsanız herhangi bir işlem yapmanız gerekmez. Ancak, özel bir ortam kullanmak istiyorsanız:

1. İhtiyacınız olan bağımlılıkları içeren bir conda.yaml dosya oluşturun:

   channels:
   - conda-forge
   dependencies:
   - python=3.8.5
   - pip
   - pip:
     - mlflow
     - azureml-mlflow
     - fastparquet
     - cloudpickle==1.6.0
     - colorama==0.4.4
     - dask==2023.2.0
   

2. Kullandığınız işteki ortama başvurun.

İşinizin adını yapılandırma

Çalıştırmanın adını yapılandırmak için Azure Machine Learning işleri parametresini display_name kullanın.

1. display_name İşi yapılandırmak için özelliğini kullanın.

   • Azure CLI
   • Python SDK'sı

   İşi göndermek için, dosyada iş tanımınızla birlikte bir job.yml YAML dosyası oluşturun. Bu dosya dizinin dışında src oluşturulmalıdır.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

2. Eğitim rutininizin içinde kullanmadığınızdan mlflow.start_run(run_name="") emin olun.

İşi gönderme

1. İlk olarak, çalışacağınız Azure Machine Learning çalışma alanına bağlanın.

   • Azure CLI
   • Python SDK'sı

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

2. İşi gönderme

   • Azure CLI
   • Python SDK'sı

   İşinizi göndermek için Azure Machine Learning CLI'sini kullanın. MLflow kullanan ve Azure Machine Learning'de çalışan işler, tüm izleme bilgilerini otomatik olarak çalışma alanına kaydeder. Terminalinizi açın ve işi göndermek için aşağıdaki kodu kullanın.

   az ml job create -f job.yml --web
   

3. Azure Machine Learning stüdyosu'da işin ilerleme durumunu izleyin.