Creare un cluster di elaborazione di Azure Machine Learning

• Se il codice non è in esecuzione in un'istanza di calcolo, installare Azure Machine Learning Python SDK. Questo SDK è già installato in un'istanza di ambiente di calcolo.

• Allegare all'area di lavoro nello script Python:

  Eseguire questo codice per connettersi all'area di lavoro di Azure Machine Learning.

  Sostituire l'ID sottoscrizione, il nome del gruppo di risorse e il nome dell'area di lavoro nel codice seguente. Per trovare questi valori:

  1. Accedere ad Azure Machine Learning Studio.
  2. Aprire l'area di lavoro che si vuole usare.
  3. Selezionare il nome dell'area di lavoro in alto a destra nella barra degli strumenti di Studio di Azure Machine Learning.
  4. Copiare i valori per l'area di lavoro, il gruppo di risorse e l'ID sottoscrizione nel codice.

  SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client è un gestore dell'area di lavoro che viene usato per gestire altre risorse e processi.

• Se questi comandi non vengono eseguiti in un'istanza di ambiente di calcolo, installare l'estensione dell'interfaccia della riga di comando di Azure per il servizio Machine Learning (v2). Questa estensione è già installata in un'istanza di ambiente di calcolo.

• Autenticare e impostare l'area di lavoro e il gruppo di risorse predefiniti. Lasciare aperto il terminale per eseguire il resto dei comandi in questo articolo.

  • Se si è in un'istanza di ambiente di calcolo:

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Se si eseguono i comandi in locale, omettere --identity e seguire le istruzioni per l'autenticazione. Sostituire inoltre $CI_RESOURCE_GROUP e $CI_WORKSPACE con i propri valori.

Iniziare da Studio di Azure Machine Learning.

Per creare una risorsa permanente di ambiente di calcolo di Machine Learning in Python, specificare le proprietà size e max_instances. Azure Machine Learning quindi usa valori predefiniti intelligenti per le altre proprietà.

• size: la famiglia di macchine virtuali dei nodi creati dall'ambiente di calcolo di Azure Machine Learning.
• max_instances: il numero massimo di nodi per la scalabilità automatica durante l'esecuzione di un processo in un ambiente di calcolo di Azure Machine Learning.

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Durante la creazione di un ambiente di calcolo di Machine Learning è anche possibile configurare diverse proprietà avanzate. Le proprietà consentono di creare un cluster permanente di dimensione fissa o all'interno di una Rete virtuale di Azure esistente nella sottoscrizione. Per informazioni dettagliate, consultare AmlCompute class (Classe AmlCompute).

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az ml compute create -f create-cluster.yml

Dove si trova il file create-cluster.yml:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Creare un cluster di elaborazione a nodo singolo o a più nodi per carichi di lavoro di training, inferenza batch o apprendimento per rinforzo.

1. Passare ad Azure Machine Learning Studio.

2. In Gestisci selezionare Calcolo.

3. Se non sono presenti risorse di calcolo, selezionare Nuovo nella parte centrale della pagina.

   

4. Se viene visualizzato un elenco delle risorse di calcolo, selezionare +Nuovo sopra l'elenco.

   

5. Nelle schede in alto selezionare Cluster di elaborazione.

6. Compilare il modulo come segue:

   Campo	Descrizione
   Ubicazione	L'area di Azure dove viene creato il cluster di elaborazione. Per impostazione predefinita, si trova nella stessa località dell'area di lavoro. Se la quota disponibile non è sufficiente nell'area predefinita, passare a un'area diversa per altre opzioni. Quando si usa un'area diversa rispetto all'area di lavoro o agli archivi dati dell'utente, si potrebbe riscontrare un aumento della latenza di rete e dei costi di trasferimento dei dati. La latenza e i costi possono verificarsi durante la creazione del cluster e durante l'esecuzione di processi in tale cluster.
   Tipo di macchina virtuale	Scegliere CPU o GPU. Questo tipo non può essere modificato dopo la creazione.
   Virtual machine priority	Scegliere Dedicato o Priorità bassa. Le macchine virtuali con priorità bassa sono più economiche, ma non garantiscono i nodi di calcolo. Il processo potrebbe essere annullato.
   Dimensioni della macchina virtuale	Le dimensioni di macchina virtuale supportate potrebbero essere limitate nella propria area. Controllare l'elenco di disponibilità.

7. Selezionare Avanti per passare a Impostazioni avanzate e compilare il modulo come indicato di seguito:

   Campo	Descrizione
   Nome del calcolo	* Il nome è obbligatorio e deve avere una lunghezza compresa tra tre e 24 caratteri. * I caratteri validi includono le lettere minuscole e maiuscole, le cifre e il carattere -. * Il nome deve iniziare con una lettera. * Il nome deve essere univoco in tutti gli ambienti di calcolo esistenti all'interno di un'area di Azure. Se il nome scelto non è univoco, verrà visualizzato un avviso. * Se si usa il carattere -, deve essere seguito da almeno una lettera nel nome.
   Numero minimo di nodi	Numero minimo di nodi di cui si vuole effettuare il provisioning. Se si vuole un numero dedicato di nodi, impostare qui il numero. Per risparmiare, impostare il valore minimo su zero in modo da non pagare per i nodi quando il cluster è inattivo.
   Maximum number of nodes	Numero massimo di nodi di cui si vuole effettuare il provisioning. Quando viene inviato un processo, per l'ambiente di calcolo verrà attivato automaticamente questo numero massimo di nodi.
   Secondi di inattività prima della riduzione	Tempo di inattività prima del ridimensionamento al numero minimo di nodi per il cluster.
   Abilitare l'accesso SSH	Usare le stesse istruzioni di Abilitare l'accesso SSH per un'istanza di ambiente di calcolo.
   Impostazioni avanzate	Facoltativo. Configurare le impostazioni di rete. * Se si tratta di una rete virtuale di Azure, specificare il gruppo di risorse, la rete virtuale e la subnet per creare l'istanza di ambiente di calcolo nella rete. Per altre informazioni, vedere Requisiti di rete. *Se si tratta di una rete gestita di Azure Machine Learning, il cluster di elaborazione viene visualizzato automaticamente nella rete gestita. Per altre informazioni, vedere Ambienti di calcolo gestiti con una rete gestita. * Non viene configurato alcun IP pubblico se per il cluster di calcolo esiste un IP pubblico quando si trova in una rete. * Assegnare un'identità gestita per concedere l'accesso alle risorse.

8. Seleziona Crea.

Abilitare l'accesso SSH

L'accesso SSH è disabilitato per impostazione predefinita. L'accesso SSH non può essere modificato dopo la creazione. Assicurarsi di abilitare l'accesso se si prevede di eseguire il debug in modo interattivo con VS Code da remoto.

Dopo aver selezionato Avanti: Impostazioni Avanzate:

1. Attivare Abilita l'accesso SSH.
2. In Origine chiave pubblica SSH selezionare una delle opzioni nell'elenco a discesa:
   • Se si genera una nuova coppia di chiavi:
     1. Immettere un nome per la chiave in Nome coppia di chiavi.
     2. Seleziona Crea.
     3. Selezionare Scarica la chiave privata e crea l'ambiente di calcolo. La chiave viene in genere scaricata nella cartella Download.
   • Se si seleziona Usa la chiave pubblica esistente archiviata in Azure, cercare e selezionare la chiave in Chiave archiviata.
   • Se si seleziona Usa chiave pubblica esistente, usare una chiave pubblica RSA in formato a una riga (che inizia con "ssh-rsa") oppure il formato PEM a più righe. È possibile generare le chiavi SSH con strumenti quali ssh-keygen in Linux o PuttYgen in Windows.

Connettersi tramite accesso SSH

Dopo aver creato un ambiente di calcolo con accesso SSH abilitato, seguire questa procedura per accedere.

1. Trovare l'ambiente di calcolo nelle risorse dell'area di lavoro:

   1. A sinistra selezionare Calcolo.
   2. Usare le schede in alto e selezionare Istanza di ambiente di calcolo o Cluster di elaborazione per trovare il computer.

2. Selezionare il nome dell'ambiente di calcolo nell'elenco delle risorse.

3. Trovare la stringa di connessione:

   • Per un'istanza di ambiente di calcolo selezionare Connetti in alto nella sezione Dettagli.

     

   • Per un cluster di elaborazione selezionare Nodi in alto e quindi selezionare Stringa di connessione nella tabella per il nodo.

4. Copiare la stringa di connessione.

5. Per Windows aprire PowerShell o un prompt dei comandi:

   1. Passare alla directory o alla cartella dove è archiviata la chiave

   2. Aggiungere il flag -i alla stringa di connessione per individuare la chiave privata e il punto di archiviazione:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Per gli utenti Linux: seguire la procedura da Creare e usare una coppia di chiavi SSH per le VM Linux in Azure

7. Per l'uso di SCP:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Impostare vm-priority:

az ml compute create -f create-cluster.yml

Dove si trova il file create-cluster.yml:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Nello studio scegliere Priorità bassa quando si crea una macchina virtuale.

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

In questo modo viene eliminato il cluster di elaborazione di base, creato dall'oggetto create_basic in precedenza in questo articolo.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

In questo modo viene eliminato un cluster di elaborazione denominato basic-example.

az ml compute delete --name basic-example 

1. Passare ad Azure Machine Learning Studio.
2. Nel menu a sinistra, in Gestisci, selezionare Calcolo.
3. Nella parte superiore della pagina Calcolo selezionare Cluster di elaborazione.
4. Selezionare il cluster da eliminare.
5. Nella parte superiore della pagina selezionare Elimina.