CLI'yi yükleme ve kullanma (v1)

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v1

Azure Machine Learning CLI, Azure platformu için platformlar arası bir komut satırı arabirimi olan Azure CLI'nın bir uzantısıdır. Bu uzantı, Azure Machine Learning ile çalışmaya yönelik komutlar sağlar. Makine öğrenmesi etkinliklerinizi otomatikleştirmenizi sağlar. Aşağıdaki liste, CLI uzantısıyla yapabileceğiniz bazı örnek eylemler sağlar:

• Makine öğrenmesi modelleri oluşturmak için deneme çalıştırma

• Makine öğrenmesi modellerini müşteri kullanımına kaydetme

• Makine öğrenmesi modellerinizin yaşam döngüsünü paketleme, dağıtma ve izleme

CLI, Azure Machine Learning SDK'sının yerine geçemez. Otomasyona en uygun yüksek parametreli görevleri işlemek için iyileştirilmiş tamamlayıcı bir araçtır.

Önkoşullar

• CLI'yı kullanmak için bir Azure aboneliğiniz olmalıdır. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü bugün deneyin.

• Bu belgedeki CLI komutlarını yerel ortamınızdan kullanmak için Azure CLI gerekir.

  Azure Cloud Shell kullanıyorsanız CLI'ya tarayıcı üzerinden erişilir ve bulutta bulunur.

Tam başvuru belgeleri

Azure CLI'nın azure-cli-ml uzantısı için tam başvuru belgelerini bulun.

CLI'yı Azure aboneliğinize bağlama

CLI'dan Azure aboneliğinizde kimlik doğrulaması yapmanın çeşitli yolları vardır. En temel olan, tarayıcı kullanarak etkileşimli kimlik doğrulaması yapmaktır. Etkileşimli kimlik doğrulaması yapmak için bir komut satırı veya terminal açın ve aşağıdaki komutu kullanın:

az login

CLI varsayılan tarayıcınızı açabiliyorsa, tarayıcıyı açar ve oturum açma sayfasını yükler. Aksi takdirde, bir tarayıcı açmanız ve komut satırındaki yönergeleri izlemeniz gerekir. Yönergeler, yetkilendirme koduna https://aka.ms/devicelogin göz atmayı ve bu kodu girmeyi içerir.

Diğer kimlik doğrulama yöntemleri için bkz . Azure CLI ile oturum açma.

Uzantıyı yükleme

CLI (v1) uzantısını yüklemek için:

az extension add -n azure-cli-ml

Uzantıyı güncelleştirme

Machine Learning CLI uzantısını güncelleştirmek için aşağıdaki komutu kullanın:

az extension update -n azure-cli-ml

Uzantıyı kaldırma

CLI uzantısını kaldırmak için aşağıdaki komutu kullanın:

az extension remove -n azure-cli-ml

Kaynak yönetimi

Aşağıdaki komutlar, Azure Machine Learning tarafından kullanılan kaynakları yönetmek için CLI'nin nasıl kullanılacağını gösterir.

• Henüz bir kaynak grubunuz yoksa bir kaynak grubu oluşturun:

  az group create -n myresourcegroup -l westus2
  

• Azure Machine Learning çalışma alanı oluşturma:

  az ml workspace create -w myworkspace -g myresourcegroup
  

  Daha fazla bilgi için bkz . az ml workspace create.

• CLI bağlamsal farkındalığını etkinleştirmek için bir klasöre çalışma alanı yapılandırması ekleyin.

  az ml folder attach -w myworkspace -g myresourcegroup
  

  Bu komut, örnek runconfig ve conda ortam dosyalarını içeren bir .azureml alt dizin oluşturur. Ayrıca Azure Machine Learning çalışma alanınızla iletişim kurmak için kullanılan bir config.json dosya içerir.

  Daha fazla bilgi için bkz . az ml folder attach.

• Azure blob kapsayıcılarını Veri deposu olarak ekleyin.

  az ml datastore attach-blob  -n datastorename -a accountname -c containername
  

  Daha fazla bilgi için bkz . az ml datastore attach-blob.

• Dosyaları Bir Veri Deposuna yükleyin.

  az ml datastore upload  -n datastorename -p sourcepath
  

  Daha fazla bilgi için bkz . az ml datastore upload.

• AKS kümesini İşlem Hedefi olarak ekleyin.

  az ml computetarget attach aks -n myaks -i myaksresourceid -g myresourcegroup -w myworkspace
  

  Daha fazla bilgi için bkz. az ml computetarget attach aks

İşlem kümeleri

• Yeni bir yönetilen işlem kümesi oluşturun.

  az ml computetarget create amlcompute -n cpu --min-nodes 1 --max-nodes 1 -s STANDARD_D3_V2
  

• Yönetilen kimlikle yeni bir yönetilen işlem kümesi oluşturma

  • Kullanıcı tarafından atanan yönetilen kimlik

    az ml computetarget create amlcompute --name cpu-cluster --vm-size Standard_NC6 --max-nodes 5 --assign-identity '/subscriptions/<subcription_id>/resourcegroups/<resource_group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<user_assigned_identity>'
    

  • Sistem tarafından atanan yönetilen kimlik

    az ml computetarget create amlcompute --name cpu-cluster --vm-size Standard_NC6 --max-nodes 5 --assign-identity '[system]'
    

• Mevcut kümeye yönetilen kimlik ekleme:

  • Kullanıcı tarafından atanan yönetilen kimlik

    az ml computetarget amlcompute identity assign --name cpu-cluster '/subscriptions/<subcription_id>/resourcegroups/<resource_group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<user_assigned_identity>'
    

  • Sistem tarafından atanan yönetilen kimlik

    az ml computetarget amlcompute identity assign --name cpu-cluster '[system]'
    

Daha fazla bilgi için bkz . az ml computetarget create amlcompute.

İşlem örneği

İşlem örneklerini yönetme. Aşağıdaki tüm örneklerde işlem örneğinin adı CPU'dur

• Yeni bir işlem gücü oluşturun.

  az ml computetarget create computeinstance -n cpu -s "STANDARD_D3_V2" -v
  

  Daha fazla bilgi için bkz . az ml computetarget create computeinstance.

• İşleminstance'ı durdurun.

  az ml computetarget computeinstance stop -n cpu -v
  

  Daha fazla bilgi için bkz . az ml computetarget computeinstance stop.

• İşlem başlangıcı.

  az ml computetarget computeinstance start -n cpu -v
  

  Daha fazla bilgi için bkz . az ml computetarget computeinstance start.

• İşleminstance'ı yeniden başlatın.

  az ml computetarget computeinstance restart -n cpu -v
  

  Daha fazla bilgi için bkz . az ml computetarget computeinstance restart.

• İşlem öğesini silin.

  az ml computetarget delete -n cpu -v
  

  Daha fazla bilgi için bkz . az ml computetarget delete computeinstance.

Deneme çalıştırma

• Denemenizin bir çalıştırması başlatın. Bu komutu kullanırken, -c parametresine karşı runconfig dosyasının adını (dosya sisteminize bakıyorsanız *.runconfig'in öncesi metin) belirtin.

  az ml run submit-script -c sklearn -e testexperiment train.py
  

  İpucu

  komutu az ml folder attach , iki örnek runconfig dosyası içeren bir .azureml alt dizin oluşturur.

  Program aracılığıyla bir çalıştırma yapılandırma nesnesi oluşturan bir Python betiğiniz varsa RunConfig.save() komutunu kullanarak runconfig dosyası olarak kaydedebilirsiniz.

  Tam runconfig şeması bu JSON dosyasında bulunabilir. Şema, her nesnenin description anahtarı aracılığıyla kendi kendine belgelemedir. Ayrıca, olası değerler için sabit listeleri ve sonunda bir şablon parçacığı vardır.

  Daha fazla bilgi için bkz . az ml run submit-script.

• Denemelerin listesini görüntüleyin:

  az ml experiment list
  

  Daha fazla bilgi için bkz . az ml experiment list.

HyperDrive çalıştırması

Parametre ayarlama çalıştırmaları gerçekleştirmek için Azure CLI ile HyperDrive'ı kullanabilirsiniz. İlk olarak, aşağıdaki biçimde bir HyperDrive yapılandırma dosyası oluşturun. Hiper parametre ayarlama parametreleriyle ilgili ayrıntılar için modeliniz için hiper parametreleri ayarlama makalesine bakın.

# hdconfig.yml
sampling: 
    type: random # Supported options: Random, Grid, Bayesian
    parameter_space: # specify a name|expression|values tuple for each parameter.
    - name: --penalty # The name of a script parameter to generate values for.
      expression: choice # supported options: choice, randint, uniform, quniform, loguniform, qloguniform, normal, qnormal, lognormal, qlognormal
      values: [0.5, 1, 1.5] # The list of values, the number of values is dependent on the expression specified.
policy: 
    type: BanditPolicy # Supported options: BanditPolicy, MedianStoppingPolicy, TruncationSelectionPolicy, NoTerminationPolicy
    evaluation_interval: 1 # Policy properties are policy specific. See the above link for policy specific parameter details.
    slack_factor: 0.2
primary_metric_name: Accuracy # The metric used when evaluating the policy
primary_metric_goal: Maximize # Maximize|Minimize
max_total_runs: 8 # The maximum number of runs to generate
max_concurrent_runs: 2 # The number of runs that can run concurrently.
max_duration_minutes: 100 # The maximum length of time to run the experiment before cancelling.

Bu dosyayı çalıştırma yapılandırma dosyalarının yanına ekleyin. Ardından şu komutu kullanarak bir HyperDrive çalıştırması gönderin:

az ml run submit-hyperdrive -e <experiment> -c <runconfig> --hyperdrive-configuration-name <hdconfig> my_train.py

Runconfig içindeki bağımsız değişkenler bölümüne ve HyperDrive yapılandırmasındaki parametre alanına dikkat edin. Eğitim betiğine geçirilecek komut satırı bağımsız değişkenlerini içerir. Runconfig içindeki değer her yineleme için aynı kalırken, HyperDrive yapılandırmasındaki aralık yinelenir. Her iki dosyada da aynı bağımsız değişkeni belirtmeyin.

Veri kümesi yönetimi

Aşağıdaki komutlar, Azure Machine Learning'de veri kümeleriyle çalışmayı gösterir:

• Veri kümesini kaydetme:

  az ml dataset register -f mydataset.json
  

  Veri kümesini tanımlamak için kullanılan JSON dosyasının biçimi hakkında bilgi için kullanın az ml dataset register --show-template.

  Daha fazla bilgi için bkz . az ml dataset register.

• Çalışma alanındaki tüm veri kümelerini listeleme:

  az ml dataset list
  

  Daha fazla bilgi için bkz . az ml dataset list.

• Veri kümesinin ayrıntılarını alın:

  az ml dataset show -n dataset-name
  

  Daha fazla bilgi için bkz . az ml dataset show.

• Veri kümesinin kaydını kaldırma:

  az ml dataset unregister -n dataset-name
  

  Daha fazla bilgi için bkz . az ml dataset unregister.

Ortam yönetimi

Aşağıdaki komutlar, çalışma alanınız için Azure Machine Learning ortamlarını oluşturmayı, kaydetmeyi ve listelemeyi gösterir:

• Bir ortam için yapı iskelesi dosyaları oluşturma:

  az ml environment scaffold -n myenv -d myenvdirectory
  

  Daha fazla bilgi için bkz . az ml environment yapı iskelesi.

• Ortamı kaydetme:

  az ml environment register -d myenvdirectory
  

  Daha fazla bilgi için bkz . az ml environment register.

• Kayıtlı ortamları listeleme:

  az ml environment list
  

  Daha fazla bilgi için bkz . az ml environment list.

• Kayıtlı bir ortamı indirin:

  az ml environment download -n myenv -d downloaddirectory
  

  Daha fazla bilgi için bkz . az ml environment download.

Ortam yapılandırma şeması

komutunu kullandıysanız az ml environment scaffold , değiştirilebilen ve CLI ile özel ortam yapılandırmaları oluşturmak için kullanılabilecek bir şablon azureml_environment.json dosyası oluşturur. Üst düzey nesne, Python SDK'sı sınıfıyla Environment gevşek bir şekilde eşler.

{
    "name": "testenv",
    "version": null,
    "environmentVariables": {
        "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
    },
    "python": {
        "userManagedDependencies": false,
        "interpreterPath": "python",
        "condaDependenciesFile": null,
        "baseCondaEnvironment": null
    },
    "docker": {
        "enabled": false,
        "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210615.v1",
        "baseDockerfile": null,
        "sharedVolumes": true,
        "shmSize": "2g",
        "arguments": [],
        "baseImageRegistry": {
            "address": null,
            "username": null,
            "password": null
        }
    },
    "spark": {
        "repositories": [],
        "packages": [],
        "precachePackages": true
    },
    "databricks": {
        "mavenLibraries": [],
        "pypiLibraries": [],
        "rcranLibraries": [],
        "jarLibraries": [],
        "eggLibraries": []
    },
    "inferencingStackVersion": null
}

Aşağıdaki tabloda, JSON dosyasındaki her üst düzey alan, türü ve açıklaması ayrıntılı olarak yer alır. Bir nesne türü Python SDK'sından bir sınıfa bağlıysa, her JSON alanı ile Python sınıfındaki ortak değişken adı arasında gevşek bir 1:1 eşleşmesi vardır. Bazı durumlarda, alan bir sınıf değişkeni yerine oluşturucu bağımsız değişkeniyle eşlenebilir. Örneğin, environmentVariables alan sınıfındaki environment_variables değişkenle Environment eşler.

ML işlem hattı yönetimi

Aşağıdaki komutlar, makine öğrenmesi işlem hatlarıyla çalışmayı gösterir:

• Makine öğrenmesi işlem hattı oluşturma:

  az ml pipeline create -n mypipeline -y mypipeline.yml
  

  Daha fazla bilgi için bkz . az ml pipeline create.

  İşlem hattı YAML dosyası hakkında daha fazla bilgi için bkz . YAML'de makine öğrenmesi işlem hatlarını tanımlama.

• İşlem hattı çalıştırma:

  az ml run submit-pipeline -n myexperiment -y mypipeline.yml
  

  Daha fazla bilgi için bkz . az ml run submit-pipeline.

  İşlem hattı YAML dosyası hakkında daha fazla bilgi için bkz . YAML'de makine öğrenmesi işlem hatlarını tanımlama.

• İşlem hattı zamanlayın:

  az ml pipeline create-schedule -n myschedule -e myexperiment -i mypipelineid -y myschedule.yml
  

  Daha fazla bilgi için bkz . az ml pipeline create-schedule.

Model kaydı, profil oluşturma, dağıtım

Aşağıdaki komutlar, eğitilmiş bir modeli kaydetmeyi ve ardından üretim hizmeti olarak dağıtmayı gösterir:

• Azure Machine Learning ile model kaydetme:

  az ml model register -n mymodel -p sklearn_regression_model.pkl
  

  Daha fazla bilgi için bkz . az ml model register.

• İsteğE BAĞLI Dağıtım için en uygun CPU ve bellek değerlerini elde etmek için modelinizin profilini oluşturma.

  az ml model profile -n myprofile -m mymodel:1 --ic inferenceconfig.json -d "{\"data\": [[1,2,3,4,5,6,7,8,9,10],[10,9,8,7,6,5,4,3,2,1]]}" -t myprofileresult.json
  

  Daha fazla bilgi için bkz . az ml model profile.

• Modelinizi AKS'ye dağıtma

  az ml model deploy -n myservice -m mymodel:1 --ic inferenceconfig.json --dc deploymentconfig.json --ct akscomputetarget
  

  Çıkarım yapılandırma dosyası şeması hakkında daha fazla bilgi için bkz . Çıkarım yapılandırma şeması.

  Dağıtım yapılandırma dosyası şeması hakkında daha fazla bilgi için bkz . Dağıtım yapılandırma şeması.

  Daha fazla bilgi için bkz . az ml model deploy.

Çıkarım yapılandırma şeması

Belgedeki inferenceconfig.json girdiler, InferenceConfig sınıfının parametreleriyle eşler . Aşağıdaki tabloda JSON belgesindeki varlıklar arasındaki eşleme ve yönteminin parametreleri açıklanmaktadır:

Çıkarım yapılandırma dosyasına Azure Machine Learning ortamının tam belirtimlerini ekleyebilirsiniz. Bu ortam çalışma alanınızda yoksa Azure Machine Learning ortamı oluşturur. Aksi takdirde Azure Machine Learning gerekirse ortamı güncelleştirir. Aşağıdaki JSON bir örnektir:

{
    "entryScript": "score.py",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/intelmpi2018.3-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [
                    "conda-forge"
                ],
                "dependencies": [
                    "python=3.7",
                    {
                        "pip": [
                            "azureml-defaults",
                            "azureml-telemetry",
                            "scikit-learn==0.22.1",
                            "inference-schema[numpy-support]"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "1"
    }
}

Ayrıca, ayrılmış CLI parametrelerinde mevcut bir Azure Machine Learning ortamını kullanabilir ve çıkarım yapılandırma dosyasından "ortam" anahtarını kaldırabilirsiniz. Ortam adı için -e ve ortam sürümü için --ev kullanın. --ev belirtmezseniz en son sürüm kullanılır. Çıkarım yapılandırma dosyası örneği aşağıda verilmiştir:

{
    "entryScript": "score.py",
    "sourceDirectory": null
}

Aşağıdaki komut, önceki çıkarım yapılandırma dosyasını (myInferenceConfig.json adlı) kullanarak modelin nasıl dağıtılacağı gösterilmektedir.

Ayrıca mevcut bir Azure Machine Learning ortamının (AzureML-Minimal adlı) en son sürümünü de kullanır.

az ml model deploy -m mymodel:1 --ic myInferenceConfig.json -e AzureML-Minimal --dc deploymentconfig.json

Dağıtım yapılandırma şeması

Yerel dağıtım yapılandırma şeması

Belgedeki deploymentconfig.json girdiler LocalWebservice.deploy_configuration parametreleriyle eşler. Aşağıdaki tabloda, JSON belgesindeki varlıklar ile yöntemi için parametreler arasındaki eşleme açıklanmaktadır:

Bu JSON, CLI ile kullanım için örnek bir dağıtım yapılandırmasıdır:

{
    "computeType": "local",
    "port": 32267
}

Bu JSON dosyasını adlı deploymentconfig.jsonbir dosya olarak kaydedin.

Azure Container Instance dağıtım yapılandırma şeması

Belgedeki deploymentconfig.json girdiler AciWebservice.deploy_configuration parametreleriyle eşler. Aşağıdaki tabloda, JSON belgesindeki varlıklar ile yöntemi için parametreler arasındaki eşleme açıklanmaktadır:

Aşağıdaki JSON, CLI ile kullanım için örnek bir dağıtım yapılandırmasıdır:

{
    "computeType": "aci",
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    },
    "authEnabled": true,
    "sslEnabled": false,
    "appInsightsEnabled": false
}

Azure Kubernetes Service dağıtım yapılandırma şeması

Belgedeki deploymentconfig.json girdiler AksWebservice.deploy_configuration parametreleriyle eşler. Aşağıdaki tabloda, JSON belgesindeki varlıklar ile yöntemi için parametreler arasındaki eşleme açıklanmaktadır:

Aşağıdaki JSON, CLI ile kullanım için örnek bir dağıtım yapılandırmasıdır:

{
    "computeType": "aks",
    "autoScaler":
    {
        "autoscaleEnabled": true,
        "minReplicas": 1,
        "maxReplicas": 3,
        "refreshPeriodInSeconds": 1,
        "targetUtilization": 70
    },
    "dataCollection":
    {
        "storageEnabled": true
    },
    "authEnabled": true,
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    }
}

Sonraki adımlar

• Machine Learning CLI uzantısı için komut başvurusu.

• Azure Pipelines kullanarak makine öğrenmesi modellerini eğitin ve dağıtın