Azure Machine Learning CLI, SDK ve REST API ile modelleri eğitin

SDK bilgilerini kullanmak için Python için Azure Machine Learning SDK v2'yi yükleyin.

CLI bilgilerini kullanmak için Makine öğrenmesi için Azure CLI ve uzantısını yükleyin.

REST API bilgilerini kullanmak için aşağıdaki öğelere ihtiyacınız vardır:

• Çalışma alanınızdaki bir hizmet sorumlusu. Yönetim REST istekleri hizmet sorumlusu kimlik doğrulaması kullanır.

• Hizmet sorumlusu kimlik doğrulama belirteci. Bu belirteci almak için Hizmet sorumlusu kimlik doğrulama belirtecini alma'daki adımları izleyin.

• Curl yardımcı programı. Curl programı Linux için Windows Alt Sistemi veya herhangi bir UNIX dağıtımında kullanılabilir.

  İpucu

  PowerShell'de için curl bir diğer addır Invoke-WebRequest ve curl -d "key=val" -X POST uri olur Invoke-WebRequest -Body "key=val" -Method POST -Uri uri.

  REST API'yi PowerShell'den çağırmak mümkün olsa da, bu makaledeki örneklerde Bash kullandığınız varsayılır.

• JSON işlemek için jq yardımcı programı. Bu yardımcı program, REST API çağrılarından döndürülen JSON belgelerindeki değerleri ayıklamak için kullanılır.

Çalışma alanına bağlanmak için tanımlayıcı parametrelerine (abonelik, kaynak grubu ve çalışma alanı adı) ihtiyacınız vardır. Gerekli Azure Machine Learning çalışma alanına bir tanıtıcı almak için ad alanında bu ayrıntıları MLClient azure.ai.ml kullanacaksınız. Kimlik doğrulaması yapmak için varsayılan Azure kimlik doğrulamasını kullanırsınız. Kimlik bilgilerini yapılandırma ve çalışma alanına bağlanma hakkında daha fazla bilgi için bu örneği gözden geçirin.

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Azure CLI'yı kullanırken tanımlayıcı parametrelerine (abonelik, kaynak grubu ve çalışma alanı adı) ihtiyacınız vardır. Her komut için bu parametreleri belirtebilirsiniz ancak tüm komutlar için kullanılacak varsayılanları da ayarlayabilirsiniz. Varsayılan değerleri ayarlamak için aşağıdaki komutları kullanın. , <Azure Machine Learning workspace name>ve <resource group> değerlerini yapılandırmanızın değerleriyle değiştirin<subscription ID>:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

Bu makaledeki REST API örnekleri , $RESOURCE_GROUP, $LOCATIONve $WORKSPACE yer tutucularını kullanır$SUBSCRIPTION_ID. Yer tutucuları aşağıdaki gibi kendi değerlerinizle değiştirin:

• $SUBSCRIPTION_ID: Azure abonelik kimliğiniz.
• $RESOURCE_GROUP: Çalışma alanınızı içeren Azure kaynak grubu.
• $LOCATION: Çalışma alanınızın bulunduğu Azure bölgesi.
• $WORKSPACE: Azure Machine Learning çalışma alanınızın adı.
• $COMPUTE_NAME: Azure Machine Learning işlem kümenizin adı.

Yönetim REST bir hizmet sorumlusu kimlik doğrulama belirteci istemektedir. Aşağıdaki komutla bir belirteç alabilirsiniz. Belirteç, ortam değişkeninde $TOKEN depolanır:

TOKEN=$(az account get-access-token --query accessToken -o tsv)

Hizmet sağlayıcısı, uyumluluğu sağlamak için bağımsız değişkenini api-version kullanır. Bağımsız api-version değişken hizmetten hizmete değişir. API sürümünü, gelecekteki sürümleri kapsayacak şekilde bir değişken olarak ayarlayın:

API_VERSION="2022-05-01"

REST API kullanarak eğitirken, veri ve eğitim betikleri çalışma alanının erişebileceği bir depolama hesabına yüklenmelidir. Aşağıdaki örnek, çalışma alanınızın depolama bilgilerini alır ve daha sonra kullanabilmemiz için bunları değişkenlere kaydeder:

# Get values for storage account
response=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/datastores?api-version=$API_VERSION&isDefault=true" \
--header "Authorization: Bearer $TOKEN")
AZUREML_DEFAULT_DATASTORE=$(echo $response | jq -r '.value[0].name')
AZUREML_DEFAULT_CONTAINER=$(echo $response | jq -r '.value[0].properties.containerName')
export AZURE_STORAGE_ACCOUNT=$(echo $response | jq -r '.value[0].properties.accountName')

from azure.ai.ml.entities import AmlCompute

# specify aml compute name.
cpu_compute_target = "cpu-cluster"

try:
    ml_client.compute.get(cpu_compute_target)
except Exception:
    print("Creating a new cpu compute target...")
    compute = AmlCompute(
        name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4
    )
    ml_client.compute.begin_create_or_update(compute).result()

az ml compute create -n cpu-cluster --type amlcompute --min-instances 0 --max-instances 4

curl -X PUT \
  "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME?api-version=$API_VERSION" \
  -H "Authorization:Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "location": "'$LOCATION'",
    "properties": {
        "computeType": "AmlCompute",
        "properties": {
            "vmSize": "Standard_D2_V2",
            "vmPriority": "Dedicated",
            "scaleSettings": {
                "maxNodeCount": 4,
                "minNodeCount": 0,
                "nodeIdleTimeBeforeScaleDown": "PT30M"
            }
        }
    }
}'

Bu betiği çalıştırmak için ./sdk/python/jobs/single-step/lightgbm/iris/src/ altında bulunan main.py Python betiğini yürüten bir command kullanacaksınız. Komut, Azure Machine Learning'e olarak job gönderilerek çalıştırılır.

from azure.ai.ml import command, Input

# define the command
command_job = command(
    code="./src",
    command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",
    environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",
    inputs={
        "iris_csv": Input(
            type="uri_file",
            path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",
        ),
        "learning_rate": 0.9,
        "boosting": "gbdt",
    },
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

Yukarıdaki örneklerde şunları yapılandırmışsınız:

• code - komutu çalıştıracak kodun bulunduğu yol
• command - çalıştırılması gereken komut
• environment - eğitim betiğini çalıştırmak için gereken ortam. Bu örnekte, Azure Machine Learning AzureML-lightgbm-3.2-ubuntu18.04-py37-cputarafından sağlanan adlı, seçilmiş veya hazır bir ortam kullanıyoruz. yönergesini kullanarak bu ortamın en son sürümünü kullanırız @latest . Temel bir docker görüntüsü belirterek ve üzerine bir conda yaml belirterek de özel ortamları kullanabilirsiniz.
• inputs - komutuna ad değer çiftleri kullanan girişlerin sözlüğü. anahtar, iş bağlamında girişin adı ve değer giriş değeridir. girişlerine ifadesi kullanılarak başvurulur command ${{inputs.<input_name>}} . Girdi olarak dosya veya klasör kullanmak için sınıfını Input kullanabilirsiniz. Daha fazla bilgi için bkz . SDK ve CLI v2 ifadeleri.

Daha fazla bilgi için başvuru belgelerine bakın.

İşi gönderdiğinizde, Azure Machine Learning stüdyosu iş durumuna bir URL döndürülür. İş ilerleme durumunu görüntülemek için stüdyo kullanıcı arabirimini kullanın. İşin geçerli durumunu denetlemek için de kullanabilirsiniz returned_job.status .

az ml job create Bu örnekte kullanılan komut bir YAML iş tanımı dosyası gerektirir. Bu örnekte kullanılan dosyanın içeriği şunlardır:

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python main.py
  --iris-csv ${{inputs.iris_csv}}
inputs:
  iris_csv:
    type: uri_file
    path: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv
environment: azureml:AzureML-lightgbm-3.3@latest
compute: azureml:cpu-cluster
display_name: lightgbm-iris-example
experiment_name: lightgbm-iris-example
description: Train a LightGBM model on the Iris dataset.

Yukarıdakilerde şunları yapılandırmışsınız:

• code - komutu çalıştıracak kodun bulunduğu yol
• command - çalıştırılması gereken komut
• inputs - komutuna ad değer çiftleri kullanan girişlerin sözlüğü. anahtar, iş bağlamında girişin adı ve değer giriş değeridir. girişlerine ifadesi kullanılarak başvurulur command ${{inputs.<input_name>}} . Daha fazla bilgi için bkz . SDK ve CLI v2 ifadeleri.
• environment - eğitim betiğini çalıştırmak için gereken ortam. Bu örnekte, Azure Machine Learning AzureML-lightgbm-3.3tarafından sağlanan adlı, seçilmiş veya hazır bir ortam kullanıyoruz. yönergesini kullanarak bu ortamın en son sürümünü kullanırız @latest . Temel bir docker görüntüsü belirterek ve üzerine bir conda yaml belirterek de özel ortamları kullanabilirsiniz. İşi göndermek için aşağıdaki komutu kullanın. Eğitim işinin çalıştırma kimliği (adı) değişkeninde $run_id depolanır:

run_id=$(az ml job create -f jobs/single-step/lightgbm/iris/job.yml --query name -o tsv)

İş hakkındaki bilgileri döndürmek için depolanan çalıştırma kimliğini kullanabilirsiniz. parametresi, --web işte ayrıntılarına inebileceğiniz Azure Machine Learning stüdyosu web kullanıcı arabirimini açar:

az ml job show -n $run_id --web

İş gönderimi kapsamında eğitim betiklerinin ve verilerin Azure Machine Learning çalışma alanınızın erişebileceği bir bulut depolama konumuna yüklenmesi gerekir.

1. Eğitim betiğini karşıya yüklemek için aşağıdaki Azure CLI komutunu kullanın. komutu, tek bir dosyayı değil eğitim için gereken dosyaları içeren dizini belirtir. Bunun yerine verileri karşıya yüklemek için REST kullanmak isterseniz Bkz . Put Blob başvurusu:

   az storage blob upload-batch -d $AZUREML_DEFAULT_CONTAINER/testjob -s cli/jobs/single-step/lightgbm/iris/src/ --account-name $AZURE_STORAGE_ACCOUNT
   

2. Eğitim verilerine sürümlenmiş bir başvuru oluşturun. Bu örnekte veriler zaten buluttadır ve konumundadır https://azuremlexamples.blob.core.windows.net/datasets/iris.csv. Verilere başvurma hakkında daha fazla bilgi için bkz . Azure Machine Learning'de veriler:

   DATA_VERSION=$RANDOM
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/data/iris-data/versions/$DATA_VERSION?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Iris dataset\",
           \"dataType\": \"uri_file\",
           \"dataUri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
       }
   }"
   

3. İşle kullanmak üzere eğitim betiğine sürümlü bir başvuru kaydedin. Bu örnekte betik konumu, 1. adımda karşıya yüklediğiniz varsayılan depolama hesabı ve kapsayıcıdır. Sürümlenmiş eğitim kodunun kimliği döndürülür ve değişkende $TRAIN_CODE depolanır:

   TRAIN_CODE=$(curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/codes/train-lightgbm/versions/1?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Train code\",
           \"codeUri\": \"https://$AZURE_STORAGE_ACCOUNT.blob.core.windows.net/$AZUREML_DEFAULT_CONTAINER/testjob\"
       }
   }" | jq -r '.id')
   

4. Kümenin eğitim betiğini çalıştırmak için kullanacağı ortamı oluşturun. Bu örnekte, Azure Machine Learning AzureML-lightgbm-3.2-ubuntu18.04-py37-cputarafından sağlanan adlı, seçilmiş veya hazır bir ortam kullanıyoruz. Aşağıdaki komut, ortam sürümlerinin listesini alır ve en yenisi koleksiyonun en üstünde yer alır. jq en son ([0]) sürümün kimliğini almak için kullanılır. Bu kimlik daha sonra değişkende $ENVIRONMENT depolanır.

   ENVIRONMENT=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/environments/AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu?api-version=$API_VERSION" --header "Authorization: Bearer $TOKEN" | jq -r .id)
   

5. Son olarak, işi gönderin. Aşağıdaki örnekte işin nasıl gönderilip eğitim kodu kimliğine, ortam kimliğine, giriş verilerinin URL'sine ve işlem kümesinin kimliğine nasıl başvuracakları gösterilmektedir. İş çıktı konumu şu değişkende $JOB_OUTPUT depolanır:

   İpucu

   İş adı benzersiz olmalıdır. Bu örnekte, uuidgen ad için benzersiz bir değer oluşturmak için kullanılır.

   Not

   Sunucusuz işlem kullanmak için bu koddaki \"computeId\": satırı silin.

   run_id=$(uuidgen)
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/jobs/$run_id?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
       \"properties\": {
           \"jobType\": \"Command\",
           \"codeId\": \"$TRAIN_CODE\",
           \"command\": \"python main.py --iris-csv \$AZURE_ML_INPUT_iris\",
           \"environmentId\": \"$ENVIRONMENT\",
           \"inputs\": {
               \"iris\": {
                   \"jobInputType\": \"uri_file\",
                   \"uri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
               }
           },
           \"experimentName\": \"lightgbm-iris\",
           \"computeId\": \"/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME\"
       }
   }"
   

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

run_model = Model(
    path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model)

az ml model create -n sklearn-iris-example -v 1 -p runs:/$run_id/model --type mlflow_model

curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/models/sklearn/versions/1?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{
    \"properties\": {
        \"modelType\": \"mlflow_model\",
        \"modelUri\":\"runs:/$run_id/model\"
    }
}"