Créer un cluster de calcul Azure Machine Learning

• Si vous n’exécutez pas votre code sur une instance de calcul, installez le kit SDK Python Azure Machine Learning. Ce kit SDK est déjà installé pour vous sur une instance de calcul.

• Connectez-vous à l’espace de travail via votre script Python :

  Exécutez ce code pour vous connecter à votre espace de travail Azure Machine Learning.

  Remplacez votre ID d’abonnement, le nom du groupe de ressources et le nom de l’espace de travail dans le code suivant. Pour rechercher ces valeurs :

  1. Connectez-vous à Azure Machine Learning Studio.
  2. Ouvrez l’espace de travail que vous souhaitez utiliser.
  3. Sélectionnez le nom de votre espace de travail dans la barre d’outils Azure Machine Learning studio en haut à droite.
  4. Copiez la valeur de l’espace de travail, du groupe de ressources et de l’ID d’abonnement dans le code.

  S’APPLIQUE À : Kit de développement logiciel (SDK) Python azure-ai-mlv2 (préversion)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client est un gestionnaire de l’espace de travail, qui vous permet de gérer d’autres ressources et travaux.

• Si vous n’exécutez pas ces commandes sur une instance de calcul, installez l’extension Azure CLI pour Machine Learning service (v2). Cette extension est déjà installée pour vous sur une instance de calcul.

• Authentifiez-vous, puis définissez l’espace de travail et le groupe de ressources par défaut. Laissez le terminal ouvert pour exécuter les autres commandes de cet article.

  • Si vous êtes sur une instance de calcul :

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Si vous exécutez les commandes localement, omettez --identity, et suivez les instructions d’authentification. Remplacez également $CI_RESOURCE_GROUP et $CI_WORKSPACE par vos valeurs.

Commencez par accéder à Azure Machine Learning studio.

Pour créer une ressource Capacité de calcul Azure Machine Learning persistante en Python, spécifiez les propriétés size et max_instances. Azure Machine Learning utilise ensuite des valeurs calculées par défaut pour les autres propriétés.

• size : famille de machines virtuelles des nœuds créés par l’infrastructure Capacité de calcul Azure Machine Learning.
• max_instances : nombre maximal de nœuds pour la mise à l’échelle automatique quand vous exécutez un travail sur l’infrastructure Capacité de calcul Azure Machine Learning.

S’APPLIQUE À : Kit de développement logiciel (SDK) Python azure-ai-mlv2 (préversion)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Vous pouvez aussi configurer plusieurs propriétés avancées lors de la création d’une capacité de calcul Azure Machine Learning. Ces propriétés vous permettent de créer un cluster persistant de taille fixe, ou au sein d’un réseau virtuel Azure existant dans votre abonnement. Pour plus de détails, voir la classe AmlCompute.

S’APPLIQUE À : Extension ml Azure CLI v2 (actuelle)

az ml compute create -f create-cluster.yml

Où se trouve le fichier create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Créez un cluster de calcul mononœud ou multinœud pour vos charges de travail de formation, d’inférence par lots ou d’apprentissage par renforcement.

1. Accédez à Azure Machine Learning Studio.

2. Sous Gérer, sélectionnez Calcul.

3. Si vous ne disposez d’aucune ressource de calcul, sélectionnez Nouveau au milieu de la page.

   

4. Si vous voyez une liste de ressources de calcul, sélectionnez + Nouveau au-dessus de la liste.

   

5. Dans les onglets en haut, sélectionnez Cluster de calcul.

6. Renseignez le formulaire comme suit :

   Champ	Description
   Emplacement	La région Azure où le cluster de calcul est créé. Par défaut, il s’agit du même emplacement que l’espace de travail. Si vous ne disposez pas d’un quota suffisant dans la région par défaut, passez à une autre région pour avoir plus d’options. Quand vous utilisez une autre région que celle de votre espace de travail ou de vos magasins de données, vous pouvez constater une augmentation du temps de réponse du réseau et des coûts de transfert de données. La latence et les coûts peuvent survenir lors de la création du cluster et lors de l’exécution de travaux sur celui-ci.
   Type de machine virtuelle	Choisissez UC ou GPU. Ce type ne peut pas être changé après sa création.
   Priorité de machine virtuelle	Choisissez Dédié ou Basse priorité. Les machines virtuelles basse priorité sont moins chères, mais ne garantissent pas les nœuds de calcul. Votre travail peut être préempté.
   Taille de la machine virtuelle	Il se peut que les tailles de machines virtuelles prises en charge soient restreintes dans votre région. Vérifier la liste de disponibilité

7. Sélectionnez Suivant pour accéder aux Paramètres avancés et renseigner le formulaire comme suit :

   Champ	Description
   Nom du calcul	* Le nom est obligatoire et doit comprendre entre 3 et 24 caractères. * Les caractères valides sont les lettres majuscules et minuscules, les chiffres et le caractère -. * Le nom doit commencer par une lettre. * Le nom doit être unique parmi tous les calculs existants au sein d’une région Azure. Vous voyez une alerte si le nom que vous choisissez n’est pas unique. * Si le caractère - est utilisé, il doit être suivi d’au moins une lettre plus loin dans le nom.
   Nombre minimal de nœuds	Nombre minimal de nœuds que vous souhaitez provisionner. Si vous souhaitez un nombre dédié de nœuds, spécifiez-le ici. Faites des économies en affectant la valeur 0 comme minimum. Ainsi, vous ne payez aucun nœud lorsque le cluster est inactif.
   Nombre maximal de nœuds	Nombre maximal de nœuds que vous souhaitez provisionner. Le calcul se met automatiquement à l’échelle jusqu’à ce nombre maximal de nœuds lors de l’envoi d’un travail.
   Secondes d’inactivité avant le scale-down	Durée d'inactivité avant le scale-down du cluster jusqu'au nombre minimum de nœuds.
   Activer l’accès SSH	Utilisez les mêmes instructions qu’avec Activer l’accès SSH pour une instance de calcul.
   Paramètres avancés	facultatif. Configurer les paramètres réseau. * S’il s’agit d’un réseau virtuel Azure, spécifiez le Groupe de ressources, le réseau virtuel et le sous-réseau pour créer l’instance de calcul au sein du réseau. Pour plus d’informations, consultez Configuration exigée pour le réseau. * Si c’est un réseau managé Azure Machine Learning, le cluster de calcul se trouve automatiquement dans le réseau managé. Pour plus d’informations, consultez Calculs managés avec un réseau managé. * Aucune IP publique ne permet de déterminer si le cluster de calcul a une IP publique dans un réseau. * Attribuez une identité managée pour accorder l’accès aux ressources.

8. Cliquez sur Créer.

Activer l’accès SSH

L’accès SSH est désactivé par défaut. L’accès SSH ne peut pas être changé après la création. Veillez à activer l’accès si vous envisagez de déboguer de manière interactive avec VS Code Remote.

Une fois que vous avez sélectionné Suivant : Paramètres avancés :

1. Activez Activer l’accès SSH.
2. Dans la source de clé publique SSH, sélectionnez l’une des options de la liste déroulante :
   • Si vous Générez une nouvelle paire de clés :
     1. Tapez un nom pour la clé dans Nom de la paire de clés.
     2. Sélectionnez Create (Créer).
     3. Sélectionnez Télécharger la clé privée et créer une capacité de calcul. La clé est généralement téléchargée dans le dossier Téléchargements.
   • Si vous sélectionnez Utiliser la clé publique existante stockée dans Azure, recherchez et sélectionnez la clé dans Clé stockée.
   • Si vous sélectionnez Utiliser une clé publique existante, fournissez une clé publique RSA au format à une seule ligne (à partir de « SSH-RSA ») ou au format PEM multiligne. Vous pouvez générer des clés SSH à l’aide de ssh-keygen sur Linux et macOS, ou à l’aide de PuTTYGen sur Windows.

Se connecter avec accès SSH

Une fois que vous avez créé un calcul avec accès SSH activé, procédez comme suit pour l’accès.

1. Recherchez le calcul dans les ressources de l’espace de travail :

   1. Sur la gauche, sélectionnez Calcul.
   2. Utilisez les onglets situés en haut pour sélectionner Instance de calcul ou Cluster de calcul et rechercher votre machine.

2. Sélectionnez le nom du calcul dans la liste des ressources.

3. Recherchez la chaîne de connexion :

   • Pour une instance de calcul, sélectionnez Connecter en haut de la section Détails.

     

   • Pour un cluster de calcul, sélectionnez Nœuds dans la partie supérieure, puis sélectionnez la Chaîne de connexion dans la table pour votre nœud.

4. Copiez la chaîne de connexion.

5. Pour Windows, ouvrez PowerShell ou une invite de commandes :

   1. Accédez au répertoire ou au dossier où votre clé est stockée.

   2. Ajoutez l’indicateur -i à la chaîne de connexion pour rechercher la clé privée et pointer vers l’emplacement où elle est stockée :

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Pour les utilisateurs Linux, suivez les étapes de la section Créer et utiliser une paire de clés SSH pour les machines virtuelles Linux dans Azure.

7. Pour SCP, utilisez :

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

S’APPLIQUE À : Kit de développement logiciel (SDK) Python azure-ai-mlv2 (préversion)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

S’APPLIQUE À : Extension ML Azure CLI v2 (actuelle)

Définissez vm-priority :

az ml compute create -f create-cluster.yml

Emplacement du fichier create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Dans Studio, choisissez Basse priorité lorsque vous créez une machine virtuelle.

S’APPLIQUE À : Kit de développement logiciel (SDK) Python azure-ai-mlv2 (préversion)

Cette opération permet de supprimer le cluster de calcul de base, créé à partir de l’objet create_basic, évoqué plus haut dans cet article.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

S’APPLIQUE À : Extension ml Azure CLI v2 (actuelle)

Cette opération entraîne la suppression d’un cluster de calcul nommé basic-example.

az ml compute delete --name basic-example 

1. Accédez à Azure Machine Learning Studio.
2. Dans le menu de gauche, sous Gérer, sélectionnez Calcul.
3. En haut de la page Calcul, sélectionnez Cluster de calcul.
4. Sélectionnez le cluster à supprimer.
5. En haut de la page, sélectionnez Supprimer.