Loggmått, parametrar och filer med MLflow

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

Azure Mašinsko učenje stöder loggnings- och spårningsexperiment med MLflow Tracking. Du kan logga modeller, mått, parametrar och artefakter med MLflow, antingen lokalt på datorn eller i en molnmiljö.

Med loggarna kan du diagnostisera fel och varningar, eller spåra prestandamått som parametrar och modellprestanda. I den här artikeln beskrivs hur du aktiverar loggning i följande scenarier:

Förutsättningar

• Du måste ha en Azure Mašinsko učenje-arbetsyta. Om du inte har någon läser du Skapa arbetsyteresurser.

• Du måste ha paketen mlflow och azureml-mlflow installerade. Om du inte gör det använder du följande kommando för att installera dem i utvecklingsmiljön:

  pip install mlflow azureml-mlflow
  

  Kommentar

  För asynkron loggning av mått måste du ha MLflow version 2.8.0+ och azureml-mlflow version 1.55+.

• Om du gör fjärrspårning (spårningsexperiment som körs utanför Azure Mašinsko učenje) konfigurerar du MLflow för att spåra experiment. Mer information finns i Konfigurera MLflow för Azure Mašinsko učenje.

• Om du vill logga mått, parametrar, artefakter och modeller i dina experiment i Azure Mašinsko učenje med MLflow importerar du bara MLflow till skriptet:

  import mlflow
  

Konfigurera experiment

MLflow organiserar informationen i experiment och körningar (i Azure Mašinsko učenje kallas körningar för jobb). Det finns vissa skillnader i hur du konfigurerar dem beroende på hur du kör koden:

import mlflow
# Set the experiment
mlflow.set_experiment("mlflow-experiment")

# Start the run
mlflow_run = mlflow.start_run()
# Log metrics or other information
mlflow.log_metric('mymetric', 1)
# End run 
mlflow.end_run()

import mlflow
mlflow.set_experiment("mlflow-experiment")

# Start the run, log metrics, end the run
with mlflow.start_run() as run:
    # Run started when context manager is entered, and ended when context manager exits
    mlflow.log_metric('mymetric', 1)
    mlflow.log_metric('anothermetric',1)
    pass

with mlflow.start_run(run_name="iris-classifier-random-forest") as run:
    mlflow.log_metric('mymetric', 1)
    mlflow.log_metric('anothermetric',1)

import mlflow

mlflow.autolog()

mlflow.log_metric('mymetric', 1)
mlflow.log_metric('anothermetric',1)

Loggparametrar

MLflow stöder de loggningsparametrar som används av experimenten. Parametrar kan vara av vilken typ som helst och kan loggas med hjälp av följande syntax:

mlflow.log_param("num_epochs", 20)

MLflow erbjuder också ett bekvämt sätt att logga flera parametrar genom att ange alla med hjälp av en ordlista. Flera ramverk kan också skicka parametrar till modeller med hjälp av ordlistor och därför är detta ett bekvämt sätt att logga dem i experimentet.

params = {
    "num_epochs": 20,
    "dropout_rate": .6,
    "objective": "binary_crossentropy"
}

mlflow.log_params(params)

Loggmått

Mått, till skillnad från parametrar, är alltid numeriska och kan loggas synkront eller asynkront. När mått loggas är de omedelbart tillgängliga för förbrukning vid anropsretur. I följande tabell beskrivs hur du loggar specifika numeriska typer:

Logga mått asynkront

MLflow tillåter också loggning av mått på ett asynkront sätt. Asynkron måttloggning är särskilt användbart i fall där stora träningsjobb med tiotals beräkningsnoder kan köras och försöker logga mått samtidigt. Det är också användbart när ett litet antal noder försöker logga ett stort antal mått.

Med asynkron måttloggning kan du logga mått omedelbart genom att undvika att vänta på att de ska materialiseras i serverdelstjänsten. Den här metoden skalar till stora träningsrutiner som loggar hundratusentals måttvärden och det är den rekommenderade metoden.

MLflow loggar mått synkront som standard, men du kan ändra det här beteendet när som helst:

import mlflow

mlflow.config.enable_async_logging()

Samma egenskap kan anges med hjälp av en miljövariabel:

export MLFLOW_ENABLE_ASYNC_LOGGING=True

Om du vill logga specifika mått asynkront använder du MLflow-loggnings-API:et som vanligt, men lägger till den extra parametern synchronous=False.

import mlflow

with mlflow.start_run():
    # (...)
    mlflow.log_metric("metric1", 9.42, synchronous=False)
    # (...)

När du använder log_metric(synchronous=False)returneras kontrollen automatiskt till anroparen när åtgärden har godkänts. Värdet är dock inte tillgängligt för att läsa omedelbart. Asynkron loggning av mått garanterar ordningen och de sparas med tidsstämpeln för när de loggades.

Om du behöver vänta på att ett visst värde ska sparas i serverdelen kan du använda måttåtgärden som returneras för att vänta på det, som du ser i följande exempel:

import mlflow

with mlflow.start_run():
    # (...)
    run_operation = mlflow.log_metric("metric1", 9.42, synchronous=False)
    # (...)
    run_operation.wait()
    # (...)

Du kan asynkront logga ett mått i taget eller logga en batch med mått, som du ser i följande exempel:

import mlflow
import time
from mlflow.entities import Metric

with mlflow.start_run() as current_run:
    mlflow_client = mlflow.tracking.MlflowClient()

    metrics = {"metric-0": 3.14, "metric-1": 6.28}
    timestamp = int(time.time() * 1000)
    metrics_arr = [Metric(key, value, timestamp, 0) for key, value in metrics.items()]

    run_operation = mlflow_client.log_batch(
        run_id=current_run.info.run_id,
        metrics=metrics_arr,
        synchronous=False,
    )

Åtgärden wait() är också tillgänglig när du loggar en batch med mått:

run_operation.wait()

Du behöver inte anropa wait() dina rutiner om du inte behöver omedelbar åtkomst till måttvärdena. Azure Mašinsko učenje väntar automatiskt när jobbet är på väg att slutföras för att se om det finns något väntande mått som ska sparas. När ett jobb har slutförts i Azure Mašinsko učenje kommer alla mått garanterat att sparas.

Loggkurvor eller lista med värden

Kurvor (eller en lista med numeriska värden) kan loggas med MLflow genom att logga samma mått flera gånger. I följande exempel visas hur du gör det:

list_to_log = [1, 2, 3, 2, 1, 2, 3, 2, 1]
from mlflow.entities import Metric
from mlflow.tracking import MlflowClient
import time

client = MlflowClient()
client.log_batch(mlflow.active_run().info.run_id, 
                 metrics=[Metric(key="sample_list", value=val, timestamp=int(time.time() * 1000), step=0) for val in list_to_log])

Loggbilder

MLflow stöder två sätt att logga bilder. Båda sätten bevarar den angivna avbildningen som en artefakt inuti körningen.

Loggfiler

I allmänhet kallas filer i MLflow artefakter. Du kan logga artefakter på flera sätt i Mlflow:

Loggmodeller

MLflow introducerar begreppet modeller som ett sätt att paketera alla artefakter som krävs för att en viss modell ska fungera. Modeller i MLflow är alltid en mapp med ett godtyckligt antal filer, beroende på vilket ramverk som används för att generera modellen. Loggningsmodeller har fördelen att spåra alla element i modellen som en enda entitet som kan registreras och sedan distribueras. Dessutom kan MLflow-modeller dra nytta av distribution utan kod och kan användas med instrumentpanelen Ansvarsfull AI i Studio. Mer information finns i Från artefakter till modeller i MLflow.

Om du vill spara modellen från en träningskörning använder du API:et log_model() för det ramverk som du arbetar med. Till exempel mlflow.sklearn.log_model(). Mer information finns i Loggning av MLflow-modeller. Information om hur du migrerar befintliga modeller till MLflow finns i Konvertera anpassade modeller till MLflow.

Automatisk loggning

Med Azure Mašinsko učenje och MLflow kan användarna logga mått, modellparametrar och modellartefakter automatiskt när de tränar en modell. Varje ramverk bestämmer vad du ska spåra automatiskt åt dig. En mängd populära maskininlärningsbibliotek stöds. Läs mer om automatisk loggning med MLflow.

Om du vill aktivera automatisk loggning infogar du följande kod före träningskoden:

mlflow.autolog()

Visa information om jobb eller körningar med MLflow

Du kan visa den loggade informationen med MLflow via objektet MLflow.entities.Run :

import mlflow

run = mlflow.get_run(run_id="<RUN_ID>")

Du kan visa mått, parametrar och taggar för körningen i datafältet för körningsobjektet.

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

MLflow kan köra frågor mot alla artefakter som loggas av en körning. Det går inte att komma åt artefakter med själva körningsobjektet och MLflow-klienten bör användas i stället:

client = mlflow.tracking.MlflowClient()
client.list_artifacts("<RUN_ID>")

Den här metoden visar alla artefakter som loggas i körningen, men de lagras fortfarande i artefaktarkivet (Azure Mašinsko učenje storage). Om du vill ladda ned någon av dem använder du metoden download_artifact:

file_path = client.download_artifacts("<RUN_ID>", path="feature_importance_weight.png")

Mer information finns i Hämta mått, parametrar, artefakter och modeller.

Visa information om jobb eller körningar i studion

Du kan bläddra bland slutförda jobbposter, inklusive loggade mått, i Azure Mašinsko učenje Studio.

Gå till fliken Jobb . Om du vill visa alla dina jobb på arbetsytan i experiment väljer du fliken Alla jobb . Du kan öka detaljnivån för jobb för specifika experiment genom att använda experimentfiltret i den översta menyraden. Välj det intressanta jobbet för att ange informationsvyn och välj sedan fliken Mått.

Välj de loggade måtten för att återge diagram till höger. Du kan anpassa diagrammen genom att använda utjämning, ändra färg eller rita flera mått i en enda graf. Du kan också ändra storlek på och ordna om layouten som du vill. När du har skapat önskad vy kan du spara den för framtida användning och dela den med dina teammedlemmar med hjälp av en direktlänk.

Visa och ladda ned diagnostikloggar

Loggfiler är en viktig resurs för felsökning av Azure Mašinsko učenje-arbetsbelastningar. När du har skickat ett träningsjobb kan du öka detaljnivån till en specifik körning för att visa loggar och utdata:

1. Gå till fliken Jobb .
2. Välj runID för en specifik körning.
3. Välj Utdata och loggar överst på sidan.
4. Välj Ladda ned alla för att ladda ned alla loggar till en zip-mapp.
5. Du kan också ladda ned enskilda loggfiler genom att välja loggfilen och välja Ladda ned

user_logs mapp

Den här mappen innehåller information om de användargenererade loggarna. Den här mappen är öppen som standard och std_log.txt loggen är markerad. Det std_log.txt är där kodens loggar (till exempel utskriftsuttryck) visas. Den här filen innehåller stdout loggar och stderr loggar från kontrollskriptet och träningsskriptet, en per process. I de flesta fall övervakar du loggarna här.

system_logs mapp

Den här mappen innehåller loggarna som genereras av Azure Mašinsko učenje och stängs som standard. Loggarna som genereras av systemet grupperas i olika mappar, baserat på fasen för jobbet i körningen.

Andra mappar

För jobbträning i kluster med flera beräkningsfunktioner finns loggar för varje IP-nod. Strukturen för varje nod är densamma som jobb med en enda nod. Det finns ytterligare en loggmapp för övergripande körning, stderr och stdout-loggar.

Azure Mašinsko učenje loggar information från olika källor under träningen, till exempel AutoML eller Docker-containern som kör träningsjobbet. Många av dessa loggar är inte dokumenterade. Om du stöter på problem och kontaktar Microsofts support kan de kanske använda dessa loggar under felsökningen.

Relaterat innehåll

• Träna ML-modeller med MLflow och Azure Mašinsko učenje
• Migrera från SDK v1-loggning till MLflow-spårning