Instalace a použití rozhraní příkazového řádku (v1)

PLATÍ PRO: Rozšíření Azure CLI ml v1

Azure Machine Learning CLI je rozšíření azure CLI, rozhraní příkazového řádku pro různé platformy pro platformu Azure. Toto rozšíření poskytuje příkazy pro práci se službou Azure Machine Learning. Umožňuje automatizovat aktivity strojového učení. Následující seznam obsahuje několik ukázkových akcí, které můžete provést s rozšířením rozhraní příkazového řádku:

• Spuštění experimentů pro vytváření modelů strojového učení

• Registrace modelů strojového učení pro využití zákazníků

• Balení, nasazování a sledování životního cyklu modelů strojového učení

Rozhraní příkazového řádku není náhradou za sadu Azure Machine Learning SDK. Jedná se o doplňkový nástroj, který je optimalizovaný pro zpracování vysoce parametrizovaných úloh, které se dobře hodí pro automatizaci.

Požadavky

• Pokud chcete použít rozhraní příkazového řádku, musíte mít předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte si bezplatnou nebo placenou verzi služby Azure Machine Learning ještě dnes.

• Pokud chcete použít příkazy rozhraní příkazového řádku v tomto dokumentu z místního prostředí, potřebujete Azure CLI.

  Pokud používáte Azure Cloud Shell, rozhraní příkazového řádku se přistupuje přes prohlížeč a žije v cloudu.

Dokumentace s úplnými referenčními informacemi

Vyhledejte kompletní referenční dokumentaci pro rozšíření Azure CLI azure-cli-ml.

Připojení rozhraní příkazového řádku k předplatnému Azure

Existuje několik způsobů, jak se můžete ověřit ve svém předplatném Azure z rozhraní příkazového řádku. Nejzásadnější je interaktivní ověřování pomocí prohlížeče. Pokud chcete provést ověření interaktivně, otevřete příkazový řádek nebo terminál a použijte následující příkaz:

az login

Pokud rozhraní příkazového řádku může spustit výchozí prohlížeč, udělá to a načte přihlašovací stránku. Jinak musíte otevřít prohlížeč a postupovat podle pokynů na příkazovém řádku. Pokyny zahrnují procházení https://aka.ms/devicelogin a zadávání autorizačního kódu.

Další metody ověřování najdete v tématu Přihlášení pomocí Azure CLI.

Instalace rozšíření

Instalace rozšíření rozhraní příkazového řádku (v1):

az extension add -n azure-cli-ml

Aktualizace rozšíření

Pokud chcete aktualizovat rozšíření Rozhraní příkazového řádku služby Machine Learning, použijte následující příkaz:

az extension update -n azure-cli-ml

Odebrání rozšíření

K odebrání rozšíření rozhraní příkazového řádku použijte následující příkaz:

az extension remove -n azure-cli-ml

Řízení zdrojů

Následující příkazy ukazují, jak pomocí rozhraní příkazového řádku spravovat prostředky používané službou Azure Machine Learning.

• Pokud ho ještě nemáte, vytvořte skupinu prostředků:

  az group create -n myresourcegroup -l westus2
  

• Vytvoření pracovního prostoru Azure Machine Learning:

  az ml workspace create -w myworkspace -g myresourcegroup
  

  Další informace najdete v tématu az ml workspace create.

• Připojte konfiguraci pracovního prostoru ke složce, která umožňuje rozpoznávání kontextu rozhraní příkazového řádku.

  az ml folder attach -w myworkspace -g myresourcegroup
  

  Tento příkaz vytvoří .azureml podadresář, který obsahuje ukázkové soubory prostředí runconfig a conda. Obsahuje také config.json soubor, který se používá ke komunikaci s pracovním prostorem Služby Azure Machine Learning.

  Další informace najdete v tématu az ml folder attach.

• Připojte kontejner objektů blob Azure jako úložiště dat.

  az ml datastore attach-blob  -n datastorename -a accountname -c containername
  

  Další informace najdete v tématu az ml datastore attach-blob.

• Nahrajte soubory do úložiště dat.

  az ml datastore upload  -n datastorename -p sourcepath
  

  Další informace najdete v tématu az ml datastore upload.

• Připojte cluster AKS jako cílový výpočetní objekt.

  az ml computetarget attach aks -n myaks -i myaksresourceid -g myresourcegroup -w myworkspace
  

  Další informace najdete v tématu az ml computetarget attach aks

Výpočetní clustery

• Vytvořte nový spravovaný výpočetní cluster.

  az ml computetarget create amlcompute -n cpu --min-nodes 1 --max-nodes 1 -s STANDARD_D3_V2
  

• Vytvoření nového spravovaného výpočetního clusteru se spravovanou identitou

  • Spravovaná identita přiřazená uživatelem

    az ml computetarget create amlcompute --name cpu-cluster --vm-size Standard_NC6 --max-nodes 5 --assign-identity '/subscriptions/<subcription_id>/resourcegroups/<resource_group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<user_assigned_identity>'
    

  • Spravovaná identita přiřazená systémem

    az ml computetarget create amlcompute --name cpu-cluster --vm-size Standard_NC6 --max-nodes 5 --assign-identity '[system]'
    

• Přidání spravované identity do existujícího clusteru:

  • Spravovaná identita přiřazená uživatelem

    az ml computetarget amlcompute identity assign --name cpu-cluster '/subscriptions/<subcription_id>/resourcegroups/<resource_group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<user_assigned_identity>'
    

  • Spravovaná identita přiřazená systémem

    az ml computetarget amlcompute identity assign --name cpu-cluster '[system]'
    

Další informace najdete v tématu az ml computetarget create amlcompute.

Výpočetní instance

Správa výpočetních instancí Ve všech níže uvedených příkladech je název výpočetní instance procesoru.

• Vytvořte novou výpočetnístanci.

  az ml computetarget create computeinstance -n cpu -s "STANDARD_D3_V2" -v
  

  Další informace najdete v tématu az ml computetarget create computeinstance.

• Zastavte výpočetní instance.

  az ml computetarget computeinstance stop -n cpu -v
  

  Další informace najdete v tématu az ml computetarget computeinstance stop.

• Spusťte výpočetní instance.

  az ml computetarget computeinstance start -n cpu -v
  

  Další informace najdete v tématu az ml computetarget computeinstance start.

• Restartujte výpočetní instance.

  az ml computetarget computeinstance restart -n cpu -v
  

  Další informace najdete v tématu az ml computetarget computeinstance restart.

• Odstraňte výpočetní instance.

  az ml computetarget delete -n cpu -v
  

  Další informace najdete v tématu az ml computetarget delete computeinstance.

Spouštění experimentů

• Spusťte spuštění experimentu. Při použití tohoto příkazu zadejte název souboru runconfig (text před *.runconfig, pokud se díváte na systém souborů) proti parametru -c.

  az ml run submit-script -c sklearn -e testexperiment train.py
  

  Tip

  Příkaz az ml folder attach vytvoří .azureml podadresář, který obsahuje dva příklady souborů runconfig.

  Pokud máte skript Pythonu, který vytvoří objekt konfigurace spuštění programově, můžete ho uložit jako soubor RunConfig.save().

  Úplné schéma runconfig najdete v tomto souboru JSON. Schéma je samodokumentování prostřednictvím description klíče každého objektu. Kromě toho existují výčty pro možné hodnoty a fragment šablony na konci.

  Další informace najdete v příkazu az ml run submit-script.

• Zobrazení seznamu experimentů:

  az ml experiment list
  

  Další informace najdete v tématu az ml experiment list.

Spuštění HyperDrivu

K ladění parametrů můžete použít HyperDrive s Azure CLI. Nejprve vytvořte konfigurační soubor HyperDrivu v následujícím formátu. Podrobnosti o parametrech ladění hyperparametrů najdete v článku o ladění hyperparametrů v článku o modelu .

# hdconfig.yml
sampling: 
    type: random # Supported options: Random, Grid, Bayesian
    parameter_space: # specify a name|expression|values tuple for each parameter.
    - name: --penalty # The name of a script parameter to generate values for.
      expression: choice # supported options: choice, randint, uniform, quniform, loguniform, qloguniform, normal, qnormal, lognormal, qlognormal
      values: [0.5, 1, 1.5] # The list of values, the number of values is dependent on the expression specified.
policy: 
    type: BanditPolicy # Supported options: BanditPolicy, MedianStoppingPolicy, TruncationSelectionPolicy, NoTerminationPolicy
    evaluation_interval: 1 # Policy properties are policy specific. See the above link for policy specific parameter details.
    slack_factor: 0.2
primary_metric_name: Accuracy # The metric used when evaluating the policy
primary_metric_goal: Maximize # Maximize|Minimize
max_total_runs: 8 # The maximum number of runs to generate
max_concurrent_runs: 2 # The number of runs that can run concurrently.
max_duration_minutes: 100 # The maximum length of time to run the experiment before cancelling.

Přidejte tento soubor spolu se spuštěným konfiguračním souborem. Pak odešlete spuštění HyperDrivu pomocí:

az ml run submit-hyperdrive -e <experiment> -c <runconfig> --hyperdrive-configuration-name <hdconfig> my_train.py

Všimněte si oddílu argumentů v konfiguraci runconfig a prostoru parametrů v konfiguraci HyperDrivu. Obsahují argumenty příkazového řádku, které se mají předat trénovacímu skriptu. Hodnota v runconfig zůstává stejná pro každou iteraci, zatímco rozsah v konfiguraci HyperDrivu je iterated over. V obou souborech nezadávejte stejný argument.

Správa datových sad

Následující příkazy ukazují, jak pracovat s datovými sadami ve službě Azure Machine Learning:

• Registrace datové sady:

  az ml dataset register -f mydataset.json
  

  Informace o formátu souboru JSON použitého k definování datové sady použijte az ml dataset register --show-template.

  Další informace najdete v tématu az ml dataset register.

• Zobrazení seznamu všech datových sad v pracovním prostoru:

  az ml dataset list
  

  Další informace najdete v tématu az ml dataset list.

• Získání podrobností o datové sadě:

  az ml dataset show -n dataset-name
  

  Další informace najdete v tématu az ml dataset show.

• Zrušení registrace datové sady:

  az ml dataset unregister -n dataset-name
  

  Další informace najdete v tématu az ml dataset unregister.

Správa prostředí

Následující příkazy ukazují, jak vytvořit, zaregistrovat a zobrazit seznam prostředí Služby Azure Machine Learning pro váš pracovní prostor:

• Vytvořte soubory generování uživatelského rozhraní pro prostředí:

  az ml environment scaffold -n myenv -d myenvdirectory
  

  Další informace najdete v tématu az ml environment scaffold.

• Registrace prostředí:

  az ml environment register -d myenvdirectory
  

  Další informace najdete v tématu az ml environment register.

• Výpis registrovaných prostředí:

  az ml environment list
  

  Další informace najdete v tématu az ml environment list.

• Stažení registrovaného prostředí:

  az ml environment download -n myenv -d downloaddirectory
  

  Další informace najdete v tématu az ml environment download.

Schéma konfigurace prostředí

Pokud jste tento příkaz použili az ml environment scaffold , vygeneruje soubor šablony azureml_environment.json , který je možné upravit a použít k vytvoření vlastních konfigurací prostředí pomocí rozhraní příkazového řádku. Objekt nejvyšší úrovně se volně mapuje na Environment třídu v sadě Python SDK.

{
    "name": "testenv",
    "version": null,
    "environmentVariables": {
        "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
    },
    "python": {
        "userManagedDependencies": false,
        "interpreterPath": "python",
        "condaDependenciesFile": null,
        "baseCondaEnvironment": null
    },
    "docker": {
        "enabled": false,
        "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210615.v1",
        "baseDockerfile": null,
        "sharedVolumes": true,
        "shmSize": "2g",
        "arguments": [],
        "baseImageRegistry": {
            "address": null,
            "username": null,
            "password": null
        }
    },
    "spark": {
        "repositories": [],
        "packages": [],
        "precachePackages": true
    },
    "databricks": {
        "mavenLibraries": [],
        "pypiLibraries": [],
        "rcranLibraries": [],
        "jarLibraries": [],
        "eggLibraries": []
    },
    "inferencingStackVersion": null
}

Následující tabulka podrobně popisuje jednotlivá pole nejvyšší úrovně v souboru JSON, jeho typ a popis. Pokud je typ objektu propojený s třídou ze sady Python SDK, je mezi každým polem JSON a názvem veřejné proměnné ve třídě Pythonu volná shoda 1:1. V některých případech se pole může mapovat na argument konstruktoru, nikoli na proměnnou třídy. Například environmentVariables pole se mapuje na proměnnou environment_variables Environment ve třídě.

Správa kanálů ML

Následující příkazy ukazují, jak pracovat s kanály strojového učení:

• Vytvoření kanálu strojového učení:

  az ml pipeline create -n mypipeline -y mypipeline.yml
  

  Další informace najdete v tématu az ml pipeline create.

  Další informace o souboru YAML kanálu najdete v tématu Definování kanálů strojového učení v YAML.

• Spuštění kanálu:

  az ml run submit-pipeline -n myexperiment -y mypipeline.yml
  

  Další informace najdete v tématu az ml run submit-pipeline.

  Další informace o souboru YAML kanálu najdete v tématu Definování kanálů strojového učení v YAML.

• Naplánování kanálu:

  az ml pipeline create-schedule -n myschedule -e myexperiment -i mypipelineid -y myschedule.yml
  

  Další informace najdete v tématu az ml pipeline create-schedule.

Registrace modelu, profilace, nasazení

Následující příkazy ukazují, jak zaregistrovat natrénovaný model a pak ho nasadit jako produkční službu:

• Registrace modelu ve službě Azure Machine Learning:

  az ml model register -n mymodel -p sklearn_regression_model.pkl
  

  Další informace najdete v tématu az ml model register.

• VOLITELNÉ Profilování modelu za účelem získání optimálních hodnot procesoru a paměti pro nasazení

  az ml model profile -n myprofile -m mymodel:1 --ic inferenceconfig.json -d "{\"data\": [[1,2,3,4,5,6,7,8,9,10],[10,9,8,7,6,5,4,3,2,1]]}" -t myprofileresult.json
  

  Další informace najdete v tématu az ml model profile.

• Nasazení modelu do AKS

  az ml model deploy -n myservice -m mymodel:1 --ic inferenceconfig.json --dc deploymentconfig.json --ct akscomputetarget
  

  Další informace o schématu konfiguračního souboru odvozování naleznete v tématu Odvozování konfiguračního schématu.

  Další informace o schématu konfiguračního souboru nasazení najdete v tématu Schéma konfigurace nasazení.

  Další informace najdete v tématu az ml model deploy.

Odvozování schématu konfigurace

Položky v inferenceconfig.json dokumentu mapují na parametry pro třídu InferenceConfig . Následující tabulka popisuje mapování mezi entitami v dokumentu JSON a parametry metody:

Do konfiguračního souboru odvozování můžete zahrnout úplné specifikace prostředí Azure Machine Learning. Pokud toto prostředí ve vašem pracovním prostoru neexistuje, Azure Machine Learning ho vytvoří. V opačném případě Azure Machine Learning v případě potřeby aktualizuje prostředí. Příkladem je následující JSON:

{
    "entryScript": "score.py",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/intelmpi2018.3-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [
                    "conda-forge"
                ],
                "dependencies": [
                    "python=3.7",
                    {
                        "pip": [
                            "azureml-defaults",
                            "azureml-telemetry",
                            "scikit-learn==0.22.1",
                            "inference-schema[numpy-support]"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "1"
    }
}

Můžete také použít existující prostředí Azure Machine Learning v oddělených parametrech rozhraní příkazového řádku a odebrat klíč prostředí z konfiguračního souboru odvozování. Pro název prostředí použijte -e a --ev pro verzi prostředí. Pokud nezadáte --ev, použije se nejnovější verze. Tady je příklad konfiguračního souboru odvozování:

{
    "entryScript": "score.py",
    "sourceDirectory": null
}

Následující příkaz ukazuje, jak nasadit model pomocí předchozího konfiguračního souboru odvozování (s názvem myInferenceConfig.json).

Používá také nejnovější verzi existujícího prostředí Azure Machine Learning (s názvem AzureML-Minimal).

az ml model deploy -m mymodel:1 --ic myInferenceConfig.json -e AzureML-Minimal --dc deploymentconfig.json

Schéma konfigurace nasazení

Schéma konfigurace místního nasazení

Položky v deploymentconfig.json dokumentu se mapují na parametry pro LocalWebservice.deploy_configuration. Následující tabulka popisuje mapování mezi entitami v dokumentu JSON a parametry metody:

Tento JSON je ukázková konfigurace nasazení pro použití s rozhraním příkazového řádku:

{
    "computeType": "local",
    "port": 32267
}

Uložte tento JSON jako soubor s názvem deploymentconfig.json.

Schéma konfigurace nasazení služby Azure Container Instance

Položky v deploymentconfig.json dokumentu se mapují na parametry pro AciWebservice.deploy_configuration. Následující tabulka popisuje mapování mezi entitami v dokumentu JSON a parametry metody:

Následující JSON je ukázková konfigurace nasazení pro použití s rozhraním příkazového řádku:

{
    "computeType": "aci",
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    },
    "authEnabled": true,
    "sslEnabled": false,
    "appInsightsEnabled": false
}

Schéma konfigurace nasazení služby Azure Kubernetes Service

Položky v deploymentconfig.json dokumentu se mapují na parametry pro AksWebservice.deploy_configuration. Následující tabulka popisuje mapování mezi entitami v dokumentu JSON a parametry metody:

Následující JSON je ukázková konfigurace nasazení pro použití s rozhraním příkazového řádku:

{
    "computeType": "aks",
    "autoScaler":
    {
        "autoscaleEnabled": true,
        "minReplicas": 1,
        "maxReplicas": 3,
        "refreshPeriodInSeconds": 1,
        "targetUtilization": 70
    },
    "dataCollection":
    {
        "storageEnabled": true
    },
    "authEnabled": true,
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    }
}

Další kroky

• Referenční informace k příkazům pro rozšíření Rozhraní příkazového řádku služby Machine Learning

• Trénování a nasazování modelů strojového učení pomocí Azure Pipelines