Vytvoření výpočetního clusteru Azure Machine Learning

• Pokud kód ve výpočetní instanci nespusíte, nainstalujte sadu Azure Machine Learning Python SDK. Tato sada SDK je už pro vás nainstalovaná ve výpočetní instanci.

• Připojte se k pracovnímu prostoru ve skriptu Pythonu:

  Spuštěním tohoto kódu se připojte k pracovnímu prostoru Služby Azure Machine Learning.

  V následujícím kódu nahraďte ID předplatného, název skupiny prostředků a název pracovního prostoru. Tyto hodnoty najdete takto:

  1. Přihlaste se k studio Azure Machine Learning.
  2. Otevřete pracovní prostor, který chcete použít.
  3. V pravém horním studio Azure Machine Learning panelu nástrojů vyberte název pracovního prostoru.
  4. Zkopírujte hodnotu pro pracovní prostor, skupinu prostředků a ID předplatného do kódu.

  PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client je obslužná rutina pracovního prostoru, který používáte ke správě jiných prostředků a úloh.

• Pokud tyto příkazy nespouštět ve výpočetní instanci, nainstalujte rozšíření Azure CLI pro službu Machine Learning (v2). Toto rozšíření je už pro vás nainstalované ve výpočetní instanci.

• Ověřte a nastavte výchozí pracovní prostor a skupinu prostředků. Nechte terminál otevřený a spusťte zbývající příkazy v tomto článku.

  • Pokud používáte výpočetní instanci:

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Pokud příkazy spouštíte místně, vymiďte --identity je a postupujte podle pokynů pro ověření. Nahraďte $CI_RESOURCE_GROUP je také $CI_WORKSPACE hodnotami.

Začněte v studio Azure Machine Learning.

Pokud chcete vytvořit trvalý výpočetní prostředek Služby Azure Machine Learning v Pythonu, zadejte vlastnosti size a max_instances vlastnosti. Azure Machine Learning pak pro ostatní vlastnosti používá inteligentní výchozí hodnoty.

• velikost: Řada uzlů virtuálních počítačů vytvořená službou Azure Machine Learning Compute.
• max_instances: Maximální počet uzlů pro automatické škálování při spuštění úlohy ve službě Azure Machine Learning Compute.

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Při vytváření výpočetních prostředků Azure Machine Learning můžete také nakonfigurovat několik pokročilých vlastností. Vlastnosti umožňují vytvořit trvalý cluster s pevnou velikostí nebo v rámci existující virtuální sítě Azure ve vašem předplatném. Podrobnosti najdete v třídě AmlCompute.

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml compute create -f create-cluster.yml

Kde je soubor create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Vytvořte výpočetní cluster s jedním nebo více uzly pro trénování, dávkové odvozování nebo úlohy učení s posílením.

1. Přejděte na studio Azure Machine Learning.

2. V části Spravovat vyberte Compute.

3. Pokud nemáte žádné výpočetní prostředky, vyberte Uprostřed stránky možnost Nový .

   

4. Pokud se zobrazí seznam výpočetních prostředků, vyberte nad seznamem +Nový .

   

5. Na kartách v horní části vyberte Výpočetní cluster.

6. Vyplňte formulář následujícím způsobem:

   Pole	Popis
   Location	Oblast Azure, ve které se výpočetní cluster vytvoří. Ve výchozím nastavení se jedná o stejné umístění jako pracovní prostor. Pokud ve výchozí oblasti nemáte dostatečnou kvótu, přejděte na jinou oblast, kde najdete další možnosti. Pokud používáte jinou oblast než pracovní prostor nebo úložiště dat, může se zobrazit vyšší latence sítě a náklady na přenos dat. Latence a náklady můžou nastat při vytváření clusteru a při spouštění úloh.
   Typ virtuálního počítače	Zvolte procesor nebo GPU. Tento typ nelze po vytvoření změnit.
   Priorita virtuálního počítače	Zvolte vyhrazenou nebo nízkou prioritu. Virtuální počítače s nízkou prioritou jsou levnější, ale nezaručují výpočetní uzly. Vaše práce může být předem zrušena.
   Velikost virtuálního počítače	Podporované velikosti virtuálních počítačů můžou být ve vaší oblasti omezené. Kontrola seznamu dostupnosti

7. Výběrem možnosti Další přejděte k rozšířenému nastavení a vyplňte formulář následujícím způsobem:

   Pole	Popis
   Název výpočetních prostředků	* Název je povinný a musí mít délku 3 až 24 znaků. * Platné znaky jsou velká a malá písmena, číslice a - znak. * Název musí začínat písmenem. * Název musí být jedinečný napříč všemi existujícími výpočetními prostředky v rámci oblasti Azure. Pokud zvolený název není jedinečný, zobrazí se upozornění. * Pokud - je použit znak, musí být za ním aspoň jedno písmeno později v názvu.
   Minimální počet uzlů	Minimální počet uzlů, které chcete zřídit. Pokud chcete mít vyhrazený počet uzlů, nastavte tento počet. Ušetřete peníze tím, že nastavíte minimum na 0, takže při nečinnosti clusteru neplatíte za žádné uzly.
   Maximální počet uzlů	Maximální počet uzlů, které chcete zřídit. Výpočetní prostředky se při odeslání úlohy automaticky škálují na maximální počet uzlů.
   Nečinné sekundy před vertikálním snížením kapacity	Doba nečinnosti před vertikálním snížením kapacity clusteru na minimální počet uzlů
   Povolení přístupu SSH	Použijte stejné pokyny jako Povolení přístupu SSH pro výpočetní instanci.
   Rozšířené nastavení	Nepovinné. Nakonfigurujte nastavení sítě. * Pokud se jedná o virtuální síť Azure, zadejte skupinu prostředků, virtuální síť a podsíť , abyste vytvořili výpočetní instanci v síti. Další informace najdete v požadavcích na síť. * Pokud je spravovaná síť Azure Machine Learning, výpočetní cluster se automaticky nachází ve spravované síti. Další informace najdete ve spravovaných výpočetních prostředcích se spravovanou sítí. * Žádná veřejná IP adresa nenakonfiguruje, jestli má výpočetní cluster veřejnou IP adresu, když je v síti. * Přiřaďte spravovanou identitu pro udělení přístupu k prostředkům.

8. Vyberte Vytvořit.

Povolení přístupu SSH

Přístup přes SSH je ve výchozím nastavení zakázaný. Po vytvoření není možné změnit přístup SSH. Pokud plánujete interaktivně ladit pomocí nástroje VS Code Remote, nezapomeňte povolit přístup.

Po výběru možnosti Další: Upřesnit nastavení:

1. Zapněte povolení přístupu SSH.
2. Ve zdroji veřejného klíče SSH vyberte jednu z možností z rozevíracího seznamu:
   • Pokud vygenerujete nový pár klíčů:
     1. Do názvu páru klíčů zadejte název klíče.
     2. Vyberte Vytvořit.
     3. Vyberte Stáhnout privátní klíč a vytvořte výpočetní prostředky. Klíč se obvykle stáhne do složky Stažené soubory .
   • Pokud vyberete Možnost Použít existující veřejný klíč uložený v Azure, vyhledejte a vyberte klíč v uloženém klíči.
   • Pokud vyberete Možnost Použít existující veřejný klíč, zadejte veřejný klíč RSA v jednořádkovém formátu (počínaje "ssh-rsa") nebo víceřádkový formát PEM. Klíče SSH můžete vygenerovat pomocí ssh-keygen v Linuxu a OS X nebo PuTTYGenu ve Windows.

Připojení s využitím přístupu SSH

Po vytvoření výpočetních prostředků s povoleným přístupem SSH použijte tento postup pro přístup.

1. Najděte výpočetní prostředky v prostředcích pracovního prostoru:

   1. Na levé straně vyberte Compute.
   2. Pomocí karet v horní části vyberte výpočetní instanci nebo výpočetní cluster a vyhledejte počítač.

2. V seznamu prostředků vyberte název výpočetních prostředků.

3. Vyhledejte připojovací řetězec:

   • Pro výpočetní instanci vyberte Připojit v horní části části Podrobnosti.

     

   • V případě výpočetního clusteru v horní části vyberte Uzly a pak v tabulce pro váš uzel vyberte připojovací řetězec .

4. Zkopírujte připojovací řetězec.

5. V případě Windows otevřete PowerShell nebo příkazový řádek:

   1. Přejděte do adresáře nebo složky, ve které je uložený klíč.

   2. Přidejte příznak -i do připojovací řetězec vyhledejte privátní klíč a přejděte na místo, kde je uložený:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Pro uživatele s Linuxem postupujte podle pokynů v tématu Vytvoření a použití páru klíčů SSH pro virtuální počítače s Linuxem v Azure.

7. Pro SCP použijte:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

Nastavte :vm-priority

az ml compute create -f create-cluster.yml

Kde je soubor create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

V sadě Studio zvolte při vytváření virtuálního počítače nízkou prioritu .

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

Tím se odstraní základní výpočetní cluster vytvořený z objektu create_basic výše v tomto článku.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

Tím se odstraní výpočetní cluster s názvem basic-example.

az ml compute delete --name basic-example 

1. Přejděte na studio Azure Machine Learning.
2. V nabídce vlevo v části Spravovat vyberte Compute.
3. V horní části stránky Compute vyberte Výpočetní cluster.
4. Vyberte cluster, který chcete odstranit.
5. V horní části stránky vyberte Odstranit.