Skapa en Azure Mašinsko učenje beräkningsinstans

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

Lär dig hur du skapar en beräkningsinstans i din Azure Mašinsko učenje-arbetsyta.

Använd en beräkningsinstans som din fullständigt konfigurerade och hanterade utvecklingsmiljö i molnet. För utveckling och testning kan du också använda instansen som träningsberäkningsmål. En beräkningsinstans kan köra flera jobb parallellt och har en jobbkö. Som utvecklingsmiljö kan en beräkningsinstans inte delas med andra användare på din arbetsyta.

I den här artikeln får du lära dig hur du skapar en beräkningsinstans. Se Hantera en Azure Mašinsko učenje beräkningsinstans för steg för att hantera start, stopp, omstart, borttagning av en beräkningsinstans.

Du kan också använda ett installationsskript för att skapa beräkningsinstansen med din egen anpassade miljö.

Beräkningsinstanser kan köra jobb på ett säkert sätt i en virtuell nätverksmiljö, utan att företag behöver öppna SSH-portar. Jobbet körs i en containerbaserad miljö och paketera dina modellberoenden i en Docker-container.

Förutsättningar

• En Azure Machine Learning-arbetsyta. Mer information finns i Skapa en Azure Mašinsko učenje-arbetsyta. I lagringskontot måste alternativet "Tillåt åtkomst till lagringskontonyckel" vara aktiverat för att skapandet av beräkningsinstansen ska lyckas.

Välj fliken för den miljö som du använder för andra krav.

# Enter details of your AML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

# get a handle to the workspace
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

Skapa

Tidsuppskattning: Cirka 5 minuter.

Att skapa en beräkningsinstans är en engångsprocess för din arbetsyta. Du kan återanvända beräkningen som en utvecklingsarbetsstation eller som beräkningsmål för träning. Du kan ha flera beräkningsinstanser kopplade till din arbetsyta.

De dedikerade kärnorna per region per VM-familjekvot och total regional kvot, som gäller för skapande av beräkningsinstanser, är enhetliga och delas med Azure Mašinsko učenje träningsberäkningsklusterkvot. Om du stoppar beräkningsinstansen frigörs inte kvoten för att säkerställa att du kan starta om beräkningsinstansen. Det går inte att ändra storleken på den virtuella datorn för beräkningsinstansen när den har skapats.

Det snabbaste sättet att skapa en beräkningsinstans är att följa de Skapa resurser som du behöver för att komma igång.

Eller använd följande exempel för att skapa en beräkningsinstans med fler alternativ:

# Compute Instances need to have a unique name across the region.
# Here we create a unique name with current datetime
from azure.ai.ml.entities import ComputeInstance, AmlCompute
import datetime

ci_basic_name = "basic-ci" + datetime.datetime.now().strftime("%Y%m%d%H%M")
ci_basic = ComputeInstance(name=ci_basic_name, size="STANDARD_DS3_v2")
ml_client.begin_create_or_update(ci_basic).result()

az ml compute create -f create-instance.yml

$schema: https://azuremlschemas.azureedge.net/latest/computeInstance.schema.json 
name: basic-example-i
type: computeinstance
size: STANDARD_DS3_v2

Du kan också skapa en beräkningsinstans med en Azure Resource Manager-mall.

Konfigurera inaktiv avstängning

För att undvika att debiteras för en beräkningsinstans som är påslagen men inaktiv kan du konfigurera när beräkningsinstansen ska stängas av på grund av inaktivitet.

En beräkningsinstans anses vara inaktiv om villkoren nedan uppfylls:

• Inga aktiva Jupyter-kernelsessioner (vilket innebär att det inte går att använda notebook-filer via Jupyter, JupyterLab eller interaktiva notebook-filer)
• Inga aktiva Jupyter-terminalsessioner
• Inga aktiva Azure Machine Learning-körningar eller experiment
• Inga VS Code-anslutningar; Du måste stänga din VS Code-anslutning för att beräkningsinstansen ska anses vara inaktiv. Sessioner avslutas automatiskt om VS Code inte identifierar någon aktivitet under tre timmar.
• Inga anpassade program körs på beräkningen

En beräkningsinstans anses inte vara inaktiv om det körs något anpassat program. Om du vill stänga av en beräkning med ett anpassat program automatiskt måste ett schema konfigureras eller så måste det anpassade programmet tas bort. Det finns också några grundläggande gränser kring inaktivitetsperioder – beräkningsinstansen måste vara inaktiv i minst 15 minuter och högst tre dagar. Vi spårar inte heller VS Code SSH-anslutningar för att fastställa aktivitet.

Om en beräkningsinstans redan har varit inaktiv under en viss tid, och om inställningarna för avstängning vid inaktivitet uppdateras till en tid som är kortare än den aktuella inaktivitetsvaraktigheten, återställs klockan för inaktivitet till 0. Om beräkningsinstansen exempelvis redan har varit inaktiv i 20 minuter och inställningarna för avstängning uppdateras till 15 minuter återställs klockan för inaktivitet till 0.

Inställningen kan konfigureras när beräkningsinstansen skapas eller för befintliga beräkningsinstanser via följande gränssnitt:

# Note that idle_time_before_shutdown has been deprecated.
ComputeInstance(name=ci_basic_name, size="STANDARD_DS3_v2", idle_time_before_shutdown_minutes="30")

# Note that this is just a snippet for the idle shutdown property. Refer to the "Create" Azure CLI section for more information.
# Note that idle_time_before_shutdown has been deprecated.
idle_time_before_shutdown_minutes: 30

Du kan också ändra inaktivitetstiden med hjälp av:

• REST-API

  Slutpunkt:

  POST https://management.azure.com/subscriptions/{SUB_ID}/resourceGroups/{RG_NAME}/providers/Microsoft.MachineLearningServices/workspaces/{WS_NAME}/computes/{CI_NAME}/updateIdleShutdownSetting?api-version=2021-07-01
  

  Brödtext:

  {
      "idleTimeBeforeShutdown": "PT30M" // this must be a string in ISO 8601 format
  }
  

• ARM-mallar: kan endast konfigureras när den nya beräkningsinstansen skapas

  // Note that this is just a snippet for the idle shutdown property in an ARM template
  {
      "idleTimeBeforeShutdown":"PT30M" // this must be a string in ISO 8601 format
  }
  

Schemalägg automatisk start och stopp

Definiera flera scheman för automatisk nedskalning och automatisk start. Skapa till exempel ett schema som börjar kl. 09.00 och stoppa kl. 18.00 från måndag till torsdag, och ett andra schema som börjar kl. 09.00 och stannar kl. 16.00 för fredag. Du kan skapa totalt fyra scheman per beräkningsinstans.

Scheman kan också definieras för att skapa för beräkningsinstanser. Du kan skapa ett schema som skapar beräkningsinstansen i ett stoppat tillstånd. Stoppade beräkningsinstanser är användbara när du skapar en beräkningsinstans åt en annan användare.

Innan en schemalagd avstängning visas ett meddelande om att beräkningsinstansen håller på att stängas av. Då kan användaren välja att stänga den kommande avstängningshändelsen. Om de till exempel är mitt uppe i att använda sin beräkningsinstans.

Skapa en tidsplan

from azure.ai.ml.entities import ComputeInstance, ComputeSchedules, ComputeStartStopSchedule, RecurrenceTrigger, RecurrencePattern
from azure.ai.ml.constants import TimeZone
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ci_minimal_name = "ci-name"
ci_start_time = "2023-06-21T11:47:00" #specify your start time in the format yyyy-mm-ddThh:mm:ss

rec_trigger = RecurrenceTrigger(start_time=ci_start_time, time_zone=TimeZone.INDIA_STANDARD_TIME, frequency="week", interval=1, schedule=RecurrencePattern(week_days=["Friday"], hours=15, minutes=[30]))
myschedule = ComputeStartStopSchedule(trigger=rec_trigger, action="start")
com_sch = ComputeSchedules(compute_start_stop=[myschedule])

my_compute = ComputeInstance(name=ci_minimal_name, schedules=com_sch)
ml_client.compute.begin_create_or_update(my_compute)

az ml compute create -f create-instance.yml

$schema: https://azuremlschemas.azureedge.net/latest/computeInstance.schema.json 
name: schedule-example-i
type: computeinstance
size: STANDARD_DS3_v2
schedules:
   compute_start_stop:
      - action: stop
        trigger:
         type: cron
         start_time: "2021-03-10T21:21:07"
         time_zone: Pacific Standard Time
         expression: 0 18 * * *

Skapa ett schema med en Resource Manager-mall

Du kan schemalägga automatisk start och stopp för en beräkningsinstans med hjälp av en Resource Manager-mall.

I Resource Manager-mallen lägger du till:

"schedules": "[parameters('schedules')]"

Använd sedan cron- eller LogicApps-uttryck för att definiera schemat som startar eller stoppar instansen i parameterfilen:

  "schedules": {
    "value": {
      "computeStartStop": [
        {
          "triggerType": "Cron",
          "cron": {
            "timeZone": "UTC",
            "expression": "0 18 * * *"
          },
          "action": "Stop",
          "status": "Enabled"
        },
        {
          "triggerType": "Cron",
          "cron": {
            "timeZone": "UTC",
            "expression": "0 8 * * *"
          },
          "action": "Start",
          "status": "Enabled"
        },
        {
          "triggerType": "Recurrence",
          "recurrence": {
            "frequency": "Day",
            "interval": 1,
            "timeZone": "UTC",
            "schedule": {
              "hours": [17],
              "minutes": [0]
            }
          },
          "action": "Stop",
          "status": "Enabled"
        }
      ]
    }
  }

• Åtgärden kan ha värdet Start eller Stop.

• För utlösartyp använder Recurrence du samma syntax som logikappen med det här upprepningsschemat.

• För utlösartyp av cronanvänder du standard cron-syntax:

  // Crontab expression format: 
  // 
  // * * * * * 
  // - - - - - 
  // | | | | | 
  // | | | | +----- day of week (0 - 6) (Sunday=0) 
  // | | | +------- month (1 - 12) 
  // | | +--------- day of month (1 - 31) 
  // | +----------- hour (0 - 23) 
  // +------------- min (0 - 59) 
  // 
  // Star (*) in the value field above means all legal values as in 
  // braces for that column. The value column can have a * or a list 
  // of elements separated by commas. An element is either a number in 
  // the ranges shown above or two numbers in the range separated by a 
  // hyphen (meaning an inclusive range). 
  

Azure Policy-stöd för standardschema

Använd Azure Policy för att framtvinga att det finns ett avstängningsschema för varje beräkningsinstans i en prenumeration eller som standard ett schema om ingenting finns. Följande är en exempelprincip som standard för ett avstängningsschema kl. 22.00 PST.

{
    "mode": "All",
    "policyRule": {
     "if": {
      "allOf": [
       {
        "field": "Microsoft.MachineLearningServices/workspaces/computes/computeType",
        "equals": "ComputeInstance"
       },
       {
        "field": "Microsoft.MachineLearningServices/workspaces/computes/schedules",
        "exists": "false"
       }
      ]
     },
     "then": {
      "effect": "append",
      "details": [
       {
        "field": "Microsoft.MachineLearningServices/workspaces/computes/schedules",
        "value": {
         "computeStartStop": [
          {
           "triggerType": "Cron",
           "cron": {
            "startTime": "2021-03-10T21:21:07",
            "timeZone": "Pacific Standard Time",
            "expression": "0 22 * * *"
           },
           "action": "Stop",
           "status": "Enabled"
          }
         ]
        }
       }
      ]
     }
    }
}

Skapa på uppdrag av

Som administratör kan du skapa en beräkningsinstans för en dataexperts räkning och tilldela instansen till dem med:

• Studio, med hjälp av säkerhetsinställningarna i den här artikeln.

• Azure Resource Manager-mall. Mer information om hur du hittar det TenantID och ObjectID som behövs i den här mallen finns i Hitta identitetsobjekt-ID för autentiseringskonfiguration. Du kan också hitta dessa värden i administrationscentret för Microsoft Entra.

För att ytterligare förbättra säkerheten inaktiveras enkel inloggning (SSO) när du skapar en beräkningsinstans för en dataexperts räkning och tilldelar instansen till dem när den skapas om beräkningsinstansen har ett installationsskript eller en anpassad app.

Den tilldelade användaren måste aktivera enkel inloggning på beräkningsinstansen själv när beräkningen har tilldelats dem genom att uppdatera inställningen för enkel inloggning på beräkningsinstansen. Den tilldelade användaren måste ha följande behörighet/åtgärd i sin roll MachineLearningServices/workspaces/computes/enableSso/action. Den tilldelade användaren behöver inte behörighet för beräkningsskrivning (skapa) för att aktivera enkel inloggning.

Här följer de steg som den tilldelade användaren behöver följa. Observera att skaparen av beräkningsinstansen inte tillåts att aktivera enkel inloggning på beräkningsinstansen på grund av säkerhetsskäl.

1. Klicka på beräkning i det vänstra navigeringsfönstret i Azure Machine Learning Studio.

2. Klicka på namnet på beräkningsinstansen där du behöver aktivera enkel inloggning.

3. Redigera avsnittet Information om enkel inloggning.

   

4. Aktivera enkel inloggningsväxling.

5. Spara. Det tar lite tid att uppdatera.

Tilldela hanterad identitet

Du kan tilldela en system- eller användartilldelad hanterad identitet till en beräkningsinstans för att autentisera mot andra Azure-resurser, till exempel lagring. Med hanterade identiteter för autentisering kan du förbättra säkerheten och hanteringen på arbetsytan. Du kan till exempel bara tillåta användare att komma åt träningsdata när de är inloggade på en beräkningsinstans. Eller använd en vanlig användartilldelad hanterad identitet för att tillåta åtkomst till ett visst lagringskonto.

from azure.ai.ml import MLClient
from azure.identity import ManagedIdentityCredential
client_id = os.environ.get("DEFAULT_IDENTITY_CLIENT_ID", None)
credential = ManagedIdentityCredential(client_id=client_id)
ml_client = MLClient(credential, subscription_id, resource_group, workspace)

from azureml.core.authentication import MsiAuthentication
from azureml.core import Workspace
client_id = os.environ.get("DEFAULT_IDENTITY_CLIENT_ID", None)
auth = MsiAuthentication(identity_config={"client_id": client_id})
workspace = Workspace.get("chrjia-eastus", auth=auth, subscription_id=subscription_id, resource_group=resource_group, location="East US")

az ml compute create --name myinstance --identity-type SystemAssigned --type ComputeInstance --resource-group my-resource-group --workspace-name my-workspace

Azure Machine Learning compute create --file compute.yaml --resource-group my-resource-group --workspace-name my-workspace

https://azuremlschemas.azureedge.net/latest/computeInstance.schema.json
name: myinstance
type: computeinstance
identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: identity_resource_id

När den hanterade identiteten har skapats kan du ge den hanterade identiteten minst rollen Storage Blob Data Reader i lagringskontot för datalagringen. Mer information finns i Åtkomst till lagringstjänster. När du sedan arbetar med beräkningsinstansen används den hanterade identiteten automatiskt för att autentisera mot datalager.

Du kan också använda den hanterade identiteten manuellt för att autentisera mot andra Azure-resurser. I följande exempel visas hur du använder den för att hämta en Azure Resource Manager-åtkomsttoken:

import requests

def get_access_token_msi(resource):
    client_id = os.environ.get("DEFAULT_IDENTITY_CLIENT_ID", None)
    resp = requests.get(f"{os.environ['MSI_ENDPOINT']}?resource={resource}&clientid={client_id}&api-version=2017-09-01", headers={'Secret': os.environ["MSI_SECRET"]})
    resp.raise_for_status()
    return resp.json()["access_token"]

arm_access_token = get_access_token_msi("https://management.azure.com")

Om du vill använda Azure CLI med den hanterade identiteten för autentisering anger du identitetsklient-ID:t som användarnamn när du loggar in:

az login --identity --username $DEFAULT_IDENTITY_CLIENT_ID

Aktivera SSH-åtkomst

SSH-åtkomst är inaktiverad som standard. SSH-åtkomst kan inte aktiveras eller inaktiveras när den har skapats. Se till att aktivera åtkomst om du planerar att felsöka interaktivt med VS Code Remote.

När du har valt Nästa: Avancerade inställningar:

1. Aktivera Aktivera SSH-åtkomst.
2. I den offentliga SSH-nyckelkällan väljer du något av alternativen i listrutan:
   • Om du genererar ett nytt nyckelpar:
     1. Ange ett namn för nyckeln i nyckelparets namn.
     2. Välj Skapa.
     3. Välj Ladda ned privat nyckel och skapa beräkning. Nyckeln laddas vanligtvis ned till mappen Nedladdningar .
   • Om du väljer Använd befintlig offentlig nyckel som lagras i Azure söker du efter och väljer nyckeln i Lagrad nyckel.
   • Om du väljer Använd befintlig offentlig nyckel anger du en offentlig RSA-nyckel i enkelradsformat (från och med "ssh-rsa") eller PEM-format med flera rader. Du kan generera SSH-nycklar med hjälp av ssh-keygen i Linux och OS X eller PuTTYGen i Windows.

Konfigurera en SSH-nyckel senare

SSH kan inte aktiveras eller inaktiveras när du har skapat den, men du har möjlighet att konfigurera en SSH-nyckel senare på en SSH-aktiverad beräkningsinstans. På så sätt kan du konfigurera SSH-nyckeln efter skapandet. Det gör du genom att välja att aktivera SSH på beräkningsinstansen och välja "Konfigurera en SSH-nyckel senare" som den offentliga SSH-nyckelkällan. När beräkningsinstansen har skapats kan du gå till sidan Information för beräkningsinstansen och välja att redigera dina SSH-nycklar. Därifrån kan du lägga till din SSH-nyckel.

Ett exempel på ett vanligt användningsfall för detta är när du skapar en beräkningsinstans åt en annan användare (se Skapa för) När du etablerar en beräkningsinstans åt en annan användare kan du aktivera SSH för den nya ägaren av beräkningsinstansen genom att välja Konfigurera en SSH-nyckel senare. Detta gör att den nya ägaren av beräkningsinstansen kan konfigurera sin SSH-nyckel för sin nyägda beräkningsinstans när den har skapats och tilldelats dem enligt föregående steg.

Ansluta med SSH

När du har skapat en beräkning med SSH-åtkomst aktiverad använder du de här stegen för åtkomst.

1. Hitta beräkningen i dina arbetsyteresurser:

   1. Välj Beräkning till vänster.
   2. Använd flikarna längst upp för att välja Beräkningsinstans eller Beräkningskluster för att hitta datorn.

2. Välj beräkningsnamnet i listan över resurser.

3. Hitta niska veze:

   • För en beräkningsinstans väljer du Anslut överst i avsnittet Information .

     

   • För ett beräkningskluster väljer du Noder överst och väljer sedan anslutningssträngen i tabellen för noden.

4. Kopiera niska veze.

5. Öppna PowerShell eller en kommandotolk för Windows:

   1. Gå till katalogen eller mappen där nyckeln lagras

   2. Lägg till flaggan -i till niska veze för att hitta den privata nyckeln och peka på den plats där den lagras:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. För Linux-användare följer du stegen från Skapa och använda ett SSH-nyckelpar för virtuella Linux-datorer i Azure

7. För SCP-användning:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

• REST-API

Dataexperten som du skapar beräkningsinstansen för behöver följande behörigheter för rollbaserad åtkomstkontroll i Azure (Azure RBAC ):

• Microsoft.MachineLearningServices/workspaces/computes/start/action
• Microsoft.MachineLearningServices/workspaces/computes/stop/action
• Microsoft.MachineLearningServices/workspaces/computes/restart/action
• Microsoft.MachineLearningServices/workspaces/computes/applicationaccess/action
• Microsoft.MachineLearningServices/workspaces/computes/updateSchedules/action

Dataexperten kan starta, stoppa och starta om beräkningsinstansen. De kan använda beräkningsinstansen för:

• Jupyter
• JupyterLab
• RStudio
• Posit Workbench (tidigare RStudio Workbench)
• Integrerade notebook-filer

Lägga till anpassade program som RStudio eller Posit Workbench

Du kan konfigurera andra program, till exempel RStudio eller Posit Workbench (tidigare RStudio Workbench), när du skapar en beräkningsinstans. Följ de här stegen i Studio för att konfigurera ett anpassat program på din beräkningsinstans

1. Fyll i formuläret för att skapa en ny beräkningsinstans
2. Välj program
3. Välj Lägg till program

Konfigurera Posit Workbench (tidigare RStudio Workbench)

RStudio är en av de mest populära IDE:erna bland R-utvecklare för ML- och datavetenskapsprojekt. Du kan enkelt konfigurera Posit Workbench, som ger åtkomst till RStudio tillsammans med andra utvecklingsverktyg, för att köra på din beräkningsinstans med din egen Posit-licens och få åtkomst till den omfattande funktionsuppsättningen som Posit Workbench erbjuder

1. Följ stegen ovan för att lägga till program när du skapar beräkningsinstansen.
2. Välj Posit Workbench (ta med din egen licens) i listrutan Program och ange din Posit Workbench-licensnyckel i fältet Licensnyckel . Du kan hämta din Posit Workbench-licens eller utvärderingslicens från posit.
3. Välj Skapa för att lägga till Posit Workbench-programmet i beräkningsinstansen.

Konfigurera RStudio (öppen källkod)

Om du vill använda RStudio konfigurerar du ett anpassat program på följande sätt:

1. Följ föregående steg för att lägga till program när du skapar beräkningsinstansen.

2. Välj Anpassat program i listrutan Program .

3. Konfigurera det programnamn som du vill använda.

4. Konfigurera programmet så att det körs på målporten 8787 – docker-avbildningen för RStudio-öppen källkod som anges nedan måste köras på den här målporten.

5. Konfigurera programmet som ska nås på publicerad port 8787 – du kan konfigurera att programmet ska nås på en annan publicerad port om du vill.

6. Peka Docker-avbildningen på ghcr.io/azure/rocker-rstudio-ml-verse:latest.

7. Välj Skapa för att konfigurera RStudio som ett anpassat program på beräkningsinstansen.

Konfigurera andra anpassade program

Konfigurera andra anpassade program på beräkningsinstansen genom att tillhandahålla programmet på en Docker-avbildning.

1. Följ föregående steg för att lägga till program när du skapar beräkningsinstansen.
2. Välj Anpassat program i listrutan Program .
3. Konfigurera programnamnet, målporten som du vill köra programmet på, den publicerade port som du vill komma åt programmet på och Docker-avbildningen som innehåller ditt program. Om din anpassade avbildning lagras i ett Azure Container Registry tilldelar du rollen Deltagare för programmets användare. Information om hur du tilldelar roller finns i Hantera åtkomst till en Azure Mašinsko učenje-arbetsyta.
4. Du kan också lägga till miljövariabler som du vill använda för ditt program.
5. Använd bindningsmonteringar för att lägga till åtkomst till filerna i ditt standardlagringskonto :
   • Ange /home/azureuser/cloudfiles för värdsökväg.
   • Ange /home/azureuser/cloudfiles för containersökvägen.
   • Välj Lägg till för att lägga till den här monteringen. Eftersom filerna är monterade är ändringar som du gör i dem tillgängliga i andra beräkningsinstanser och program.
6. Välj Skapa för att konfigurera det anpassade programmet på beräkningsinstansen.

Åtkomst till anpassade program i studio

Få åtkomst till de anpassade program som du har konfigurerat i studio:

1. Välj Beräkning till vänster.
2. På fliken Beräkningsinstans ser du dina program under kolumnen Program .

Relaterat innehåll

• Hantera en Azure Mašinsko učenje-beräkningsinstans
• Få åtkomst till terminalen för beräkningsinstansen
• Skapa och hantera filer
• Uppdatera beräkningsinstansen till den senaste VM-avbildningen
• Använd beräkningsinstansen i VS Code:
  • Självstudie: Modellutveckling på en molnarbetsstation
  • Arbeta i VS Code via fjärranslutning till en beräkningsinstans (förhandsversion)