Criar um cluster de computação do Azure Machine Learning

• Se você não estiver executando seu código em uma instância de computação, instale o SDK Python do Azure Machine Learning. Este SDK já está instalado para você em uma instância de computação.

• Anexe ao espaço de trabalho em seu script Python:

  Execute este código para se conectar ao seu espaço de trabalho do Azure Machine Learning.

  Substitua sua ID de assinatura, nome do grupo de recursos e nome do espaço de trabalho no código a seguir. Para encontrar estes valores:

  1. Entre no estúdio do Azure Machine Learning.
  2. Abra o espaço de trabalho que deseja usar.
  3. Selecione o nome do seu espaço de trabalho na barra de ferramentas do estúdio do Azure Machine Learning no canto superior direito.
  4. Copie o valor para espaço de trabalho, grupo de recursos e ID de assinatura para o código.

  APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client é um manipulador para o espaço de trabalho que você usa para gerenciar outros recursos e trabalhos.

• Se você não estiver executando esses comandos em uma instância de computação, instale a extensão da CLI do Azure para o serviço de Aprendizado de Máquina (v2). Esta extensão já está instalada para você em uma instância de computação.

• Autentique e defina o espaço de trabalho padrão e o grupo de recursos. Deixe o terminal aberto para executar o resto dos comandos neste artigo.

  • Se você estiver em uma instância de computação:

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Se você estiver executando os comandos localmente, omita --identity e siga as instruções para autenticação. Substitua $CI_RESOURCE_GROUP também e $CI_WORKSPACE com os seus valores.

Comece no estúdio do Azure Machine Learning.

Para criar um recurso de computação persistente do Azure Machine Learning em Python, especifique as size propriedades e max_instances . Em seguida, o Azure Machine Learning usa padrões inteligentes para as outras propriedades.

• size: A família VM dos nós criados pelo Azure Machine Learning Compute.
• max_instances: O número máximo de nós a serem dimensionados automaticamente até quando você executa um trabalho no Azure Machine Learning Compute.

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Você também pode configurar várias propriedades avançadas ao criar o Azure Machine Learning Compute. As propriedades permitem que você crie um cluster persistente de tamanho fixo ou dentro de uma Rede Virtual do Azure existente em sua assinatura. Consulte a classe AmlCompute para obter detalhes.

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml compute create -f create-cluster.yml

Onde o arquivo create-cluster.yml é:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Crie um cluster de computação de um ou vários nós para suas cargas de trabalho de treinamento, inferência em lote ou aprendizagem por reforço.

1. Navegue até o estúdio do Azure Machine Learning.

2. Em Gerir, selecione Computação.

3. Se você não tiver recursos de computação, selecione Novo no meio da página.

   

4. Se vir uma lista de recursos de computação, selecione +Novo acima da lista.

   

5. Nas guias na parte superior, selecione Cluster de computação.

6. Preencha o formulário da seguinte forma:

   Campo	Descrição
   Localização	A região do Azure onde o cluster de computação é criado. Por padrão, esse é o mesmo local do espaço de trabalho. Se você não tiver cota suficiente na região padrão, alterne para uma região diferente para obter mais opções. Ao usar uma região diferente do seu espaço de trabalho ou armazenamentos de dados, você pode ver maior latência de rede e custos de transferência de dados. A latência e os custos podem ocorrer ao criar o cluster e ao executar trabalhos nele.
   Tipo de máquina virtual	Escolha CPU ou GPU. Este tipo não pode ser alterado após a criação.
   Prioridade da máquina virtual	Escolha Dedicado ou Baixa prioridade. As máquinas virtuais de baixa prioridade são mais baratas, mas não garantem os nós de computação. O seu trabalho pode ser antecipado.
   Tamanho da máquina virtual	Os tamanhos de máquinas virtuais suportados podem ser restritos na sua região. Verifique a lista de disponibilidade

7. Selecione Avançar para prosseguir para Configurações avançadas e preencha o formulário da seguinte maneira:

   Campo	Descrição
   Nome da computação	* O nome é obrigatório e deve ter entre 3 a 24 caracteres. * Os caracteres válidos são letras maiúsculas e minúsculas, dígitos e o - caractere. * O nome deve começar com uma letra. * O nome precisa ser exclusivo em todos os cálculos existentes em uma região do Azure. Você verá um alerta se o nome escolhido não for exclusivo. * Se - o caractere for usado, então ele precisa ser seguido por pelo menos uma letra mais tarde no nome.
   Número mínimo de nós	Número mínimo de nós que você deseja provisionar. Se você quiser um número dedicado de nós, defina essa contagem aqui. Economize dinheiro definindo o mínimo como 0, para que você não pague por nenhum nó quando o cluster estiver ocioso.
   Número máximo de nós	Número máximo de nós que você deseja provisionar. A computação é dimensionada automaticamente para um máximo dessa contagem de nós quando um trabalho é enviado.
   Segundos ociosos antes de reduzir a escala	Tempo ocioso antes de reduzir o cluster para a contagem mínima de nós.
   Habilitar acesso SSH	Use as mesmas instruções de Habilitar acesso SSH para uma instância de computação.
   Definições avançadas	Opcional. Defina as configurações de rede. * Se for uma Rede Virtual do Azure, especifique o grupo de recursos, a rede virtual e a sub-rede para criar a instância de computação dentro da rede. Para obter mais informações, consulte Requisitos de rede. * Se uma rede gerenciada do Azure Machine Learning, o cluster de computação estará automaticamente na rede gerenciada. Para obter mais informações, consulte Computações gerenciadas com uma rede gerenciada. * Nenhum IP público configura se o cluster de computação tem um endereço IP público quando está em uma rede. * Atribua uma identidade gerenciada para conceder acesso aos recursos.

8. Selecione Criar.

Habilitar acesso SSH

O acesso SSH está desativado por padrão. O acesso SSH não pode ser alterado após a criação. Certifique-se de habilitar o acesso se você planeja depurar interativamente com o VS Code Remote.

Depois de selecionar Next: Advanced Settings:

1. Ative Ativar acesso SSH.
2. Na fonte de chave pública SSH, selecione uma das opções na lista suspensa:
   • Se você gerar um novo par de chaves:
     1. Insira um nome para a chave em Nome do par de chaves.
     2. Selecione Criar.
     3. Selecione Baixar chave privada e criar computação. A chave geralmente é baixada para a pasta Downloads .
   • Se você selecionar Usar chave pública existente armazenada no Azure, procure e selecione a chave em Chave armazenada.
   • Se você selecionar Usar chave pública existente, forneça uma chave pública RSA no formato de linha única (começando com "ssh-rsa") ou no formato PEM de várias linhas. Você pode gerar chaves SSH usando ssh-keygen no Linux e OS X, ou PuTTYGen no Windows.

Conecte-se com acesso SSH

Depois de criar uma computação com acesso SSH habilitado, use estas etapas para acesso.

1. Encontre a computação nos recursos do seu espaço de trabalho:

   1. À esquerda, selecione Computar.
   2. Use as guias na parte superior para selecionar Instância de computação ou Cluster de computação para localizar sua máquina.

2. Selecione o nome da computação na lista de recursos.

3. Encontre a cadeia de conexão:

   • Para uma instância de computação, selecione Conectar na parte superior da seção Detalhes .

     

   • Para um cluster de computação, selecione Nós na parte superior e, em seguida, selecione a Cadeia de conexão na tabela do nó.

4. Copie a cadeia de conexão.

5. Para Windows, abra o PowerShell ou um prompt de comando:

   1. Vá para o diretório ou pasta onde sua chave está armazenada

   2. Adicione o sinalizador -i à cadeia de conexão para localizar a chave privada e apontar para onde ela está armazenada:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Para usuários do Linux, siga as etapas de Criar e usar um par de chaves SSH para VMs Linux no Azure

7. Para utilização em SCP:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

APLICA-SE A: Azure CLI ml extension v2 (atual)

Defina o vm-priority:

az ml compute create -f create-cluster.yml

Onde o arquivo create-cluster.yml é:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

No estúdio, escolha Baixa prioridade ao criar uma VM.

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

Isso exclui o cluster de computação básico, criado a partir do create_basic objeto anteriormente neste artigo.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

APLICA-SE A: Azure CLI ml extension v2 (atual)

Isso exclui um cluster de computação chamado basic-example.

az ml compute delete --name basic-example 

1. Navegue até o estúdio do Azure Machine Learning.
2. No menu à esquerda, em Gerenciar, selecione Computação.
3. Na parte superior da página Computação, selecione Cluster de computação.
4. Selecione o cluster que deseja excluir.
5. Na parte superior da página, selecione Eliminar.