Creación de un clúster de proceso de Azure Machine Learning

• Si no ejecuta el código en una instancia de proceso, instale el SDK de Azure Machine Learning para Python. Este SDK ya está instalado para usted en una instancia de proceso.

• Adjunte al área de trabajo en el script de Python:

  Ejecute este código para conectarse al área de trabajo de Azure Machine Learning.

  Reemplace el identificador de suscripción, el nombre del grupo de recursos y el nombre del área de trabajo en el código siguiente. Para establecer estos valores:

  1. Inicie sesión en Azure Machine Learning Studio.
  2. Abra el área de trabajo que quiere usar.
  3. Seleccione el nombre del área de trabajo en la barra de herramientas de Estudio de Azure Machine Learning superior derecha.
  4. Copie el valor del área de trabajo, el grupo de recursos y el identificador de suscripción en el código.

  SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client es un controlador del área de trabajo que se usa para administrar otros recursos y trabajos.

• Si no ejecuta estos comandos en una instancia de proceso, instale la extensión de la CLI de Azure para Machine Learning Service (v2). Esta extensión ya está instalada para usted en una instancia de proceso.

• Autentíquese y establezca el área de trabajo y el grupo de recursos predeterminados. Deje abierto el terminal para ejecutar el resto de los comandos de este artículo.

  • Si está en una instancia de proceso:

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Si ejecuta los comandos localmente, omita --identity y siga las instrucciones para la autenticación. Reemplace también $CI_RESOURCE_GROUP y $CI_WORKSPACE por sus valores.

Comience en Estudio de Azure Machine Learning.

Para crear un recurso de Proceso de Azure Machine Learning persistente en Python, especifique las propiedades size y max_instances. Azure Machine Learning usará valores predeterminados inteligentes para las demás propiedades.

• size: la familia de máquinas virtuales de los nodos creados por el Proceso de Azure Machine Learning.
• max_instances: el número máximo de nodos hasta los que se escala automáticamente cuando ejecuta un trabajo en el Proceso de Azure Machine Learning.

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Cuando cree una instancia de Proceso de Azure Machine Learning, puede configurar también varias propiedades avanzadas. Estas propiedades permiten crear un clúster persistente de tamaño fijo o dentro de una instancia existente de Azure Virtual Network de su suscripción. Consulte la clase AmlCompute para más información.

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml compute create -f create-cluster.yml

Donde el archivo create-cluster.yml es:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Cree un clúster de proceso de uno o varios nodos para el entrenamiento, la inferencia por lotes o el refuerzo de las cargas de trabajo de aprendizaje.

1. Vaya a Azure Machine Learning Studio.

2. En Administrar, seleccione Proceso.

3. Si no tiene recursos de proceso, seleccione Nuevo en el área central de la página.

   

4. Si ve una lista de recursos de proceso, seleccione + Nuevo encima de la lista.

   

5. En las pestañas de la parte superior, seleccione Clúster de proceso.

6. Rellene el formulario de la manera siguiente:

   Campo	Descripción
   Location	Región de Azure donde se creará el clúster de proceso. De forma predeterminada, se trata de la misma ubicación que el área de trabajo. Si no tiene suficiente cuota en la región predeterminada, cambie a una región diferente para obtener más opciones. Al usar una región diferente a la del área de trabajo o los almacenes de datos, es posible que vea un aumento de los costos de transferencia de datos y latencia de red. La latencia y los costos pueden producirse al crear el clúster y al ejecutar trabajos en él.
   Tipo de máquina virtual	Elija CPU o GPU. Este tipo no se puede cambiar después de la creación.
   Prioridad de la máquina virtual	Elija Dedicado o Prioridad baja. Las máquinas virtuales de prioridad baja son más económicas, pero no garantizan nodos de proceso. Es posible que el trabajo se adelante.
   Tamaño de la máquina virtual	Los tamaños de máquina virtual admitidos podrían estar restringidos en su región. Comprobación de la lista de disponibilidad

7. Seleccione Siguiente para ir a la Configuración avanzada y rellene el formulario como se indica a continuación:

   Campo	Descripción
   Nombre del proceso	* El nombre es obligatorio y debe tener una longitud de entre 3 y 24 caracteres. * Los caracteres válidos son mayúsculas y minúsculas, dígitos y el carácter -. * El nombre debe empezar con una letra. * El nombre debe ser único en todos los procesos existentes dentro de una región de Azure. Verá una alerta si el nombre que elige no es único. * Si se usa el carácter -, debe ir seguido de al menos una letra más adelante en el nombre.
   Número mínimo de nodos	Número mínimo de nodos que quiere aprovisionar. Si quiere un número de nodos dedicado, establezca este número aquí. Ahorre dinero estableciendo el valor mínimo en 0, por lo que no pagará por ningún nodo cuando el clúster esté inactivo.
   Número máximo de nodos	Número máximo de nodos que quiere aprovisionar. El proceso se escala automáticamente hasta este número máximo de nodos cuando se envía un trabajo.
   Segundos de inactividad antes de la reducción vertical	Tiempo de inactividad antes de la reducción vertical del clúster al número mínimo de nodos.
   Habilitación del acceso SSH	Use las mismas instrucciones que Habilitación del acceso SSH para una instancia de proceso.
   Configuración avanzada	Opcional. Configuración de la red. * Si una instancia de Azure Virtual Network, especifique el grupo de recursos, la red virtual y la subred para crear la instancia de proceso dentro de la red. Para obtener más información, vea Requisitos de red. * Si es una red administrada Azure Machine Learning, el clúster de proceso se encuentra automáticamente en la red administrada. Para más información, vea Procesos administrados con una red administrada. * Ninguna dirección IP pública configura si el clúster de proceso tiene una dirección IP pública cuando está en una red. * Asigne una identidad administrada para conceder acceso a los recursos.

8. Seleccione Crear.

Habilitación del acceso SSH

El acceso SSH está deshabilitado de forma predeterminada. El acceso SSH no se puede cambiar después de la creación. Asegúrese de habilitar el acceso si tiene previsto depurar de forma interactiva con VS Code Remote

Después de seleccionar Siguiente: Configuración avanzada:

1. Active Habilitar acceso SSH.
2. En Origen de clave pública SSH, seleccione una de estas opciones en la lista desplegable:
   • Si Genera un par de claves nuevo:
     1. Escriba un nombre para la clave en el Nombre del par de claves.
     2. Seleccione Crear.
     3. Seleccione Download private key and create compute (Descargar clave privada y crear proceso). Normalmente, la clave se descarga en la carpeta Descargas.
   • Si selecciona Use existing public key stored in Azure (Usar clave pública existente almacenada en Azure), busque y seleccione la clave en Stored key (Clave almacenada).
   • Si selecciona Usar la clave pública existente, proporcione una clave pública RSA en el formato de una sola línea (empezando por "ssh-rsa") o en el formato PEM de varias líneas. Puede generar claves SSH mediante ssh-keygen en Linux y OS X, o PuTTYGen en Windows.

Conexión con acceso SSH

Después de crear un proceso con el acceso SSH habilitado, siga estos pasos para acceder.

1. Busque el proceso en los recursos del área de trabajo:

   1. Seleccione Proceso a la izquierda.
   2. Use las pestañas de la parte superior para seleccionar Instancia de proceso o Clúster de proceso para encontrar la máquina.

2. Seleccione el nombre del proceso en la lista de recursos.

3. Busque la cadena de conexión:

   • Para una Instancia de proceso, seleccione Conectar en la parte superior de la sección Detalles.

     

   • Para un clúster de proceso, seleccione Nodos en la parte superior y, a continuación, seleccione la Cadena de conexión en la tabla del nodo.

4. Copie la cadena de conexión.

5. Para Windows, abra PowerShell o un símbolo del sistema:

   1. Vaya al directorio o la carpeta donde se almacena la clave.

   2. Agregue la marca -i a la cadena de conexión para buscar la clave privada y apuntar a donde se almacena:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Para los usuarios de Linux, siga los pasos de Creación y uso de un par de claves SSH para máquinas virtuales Linux en Azure.

7. Para el uso de SCP:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

Establezca vm-priority:

az ml compute create -f create-cluster.yml

Donde el archivo create-cluster.yml es:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

En Studio, elija Prioridad baja al crear una máquina virtual.

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

Esto elimina el clúster de proceso básico, creado a partir del objeto create_basic anterior en este artículo.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

Esto elimina un clúster de proceso denominado basic-example.

az ml compute delete --name basic-example 

1. Vaya a Azure Machine Learning Studio.
2. En el menú de la izquierda, en Administrar, seleccione Proceso.
3. En la parte superior de la página Proceso, seleccione Clúster de proceso.
4. Seleccione el clúster que desea eliminar.
5. En la parte superior de la página, seleccione Eliminar.