HDInsightCompute Klass

Hanterar ett HDInsight-klusterberäkningsmål i Azure Machine Learning.

Azure HDInsight är en populär plattform för stordataanalys. Plattformen tillhandahåller Apache Spark, som kan användas för att träna din modell. Mer information finns i Vad är beräkningsmål i Azure Machine Learning?

Class ComputeTarget-konstruktor.

Hämta en molnrepresentation av ett Compute-objekt som är associerat med den angivna arbetsytan. Returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade beräkningsobjektet.

Arv
HDInsightCompute

Konstruktor

HDInsightCompute(workspace, name)

Parametrar

Name Description
workspace
Obligatorisk

Arbetsyteobjektet som innehåller HDInsightCompute-objektet som ska hämtas.

name
Obligatorisk
str

Namnet på det HDInsightCompute-objekt som ska hämtas.

workspace
Obligatorisk

Arbetsyteobjektet som innehåller compute-objektet som ska hämtas.

name
Obligatorisk
str

Namnet på det Compute-objekt som ska hämtas.

Kommentarer

Följande exempel visar hur du skapar ett Spark för HDInsight-kluster i Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Metoder

attach

DEPRECATED. attach_configuration Använd metoden i stället.

Associera en befintlig HDI-resurs med den angivna arbetsytan.

attach_configuration

Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål.

Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information finns i: https://aka.ms/azureml-compute-hdi

delete

Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället.

deserialize

Konvertera ett JSON-objekt till ett HDInsightCompute-objekt.

detach

Kopplar bort HDInsightCompute-objektet från dess associerade arbetsyta.

Underliggande molnobjekt tas inte bort, endast associationen tas bort.

get_credentials

Hämta autentiseringsuppgifterna för HDInsightCompute-målet.

refresh_state

Utför en uppdatering på plats av objektets egenskaper.

Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd.

serialize

Konvertera det här HDInsightCompute-objektet till en serialiserad JSON-ordlista.

attach

DEPRECATED. attach_configuration Använd metoden i stället.

Associera en befintlig HDI-resurs med den angivna arbetsytan.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametrar

Name Description
workspace
Obligatorisk

Det arbetsyteobjekt som beräkningsresursen ska associeras med.

name
Obligatorisk
str

Namnet som ska associeras med beräkningsresursen i den angivna arbetsytan. Behöver inte matcha namnet på den beräkningsresurs som ska kopplas.

username
Obligatorisk
str

Användarnamnet som behövs för att komma åt resursen.

address
Obligatorisk
str

Adressen till den resurs som ska kopplas.

ssh_port
int

Den exponerade porten för resursen. Standardvärdet är 22.

Standardvärde: 22
password
Obligatorisk
str

Lösenordet som behövs för att komma åt resursen.

private_key_file
Obligatorisk
str

Sökvägen till en fil som innehåller den privata nyckeln för resursen.

private_key_passphrase
Obligatorisk
str

Den privata nyckelfras som behövs för att komma åt resursen.

Returer

Typ Description

En HDInsightCompute-objektrepresentation av beräkningsobjektet.

Undantag

Typ Description

attach_configuration

Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål.

Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information finns i: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametrar

Name Description
username
Obligatorisk
str

Användarnamnet som behövs för att komma åt resursen.

subscription_id
str

Azure-prenumerations-ID:t

Standardvärde: None
resource_group
str

Namnet på resursgruppen där HDI-klustret finns.

Standardvärde: None
cluster_name
str

HDI-klusternamnet

Standardvärde: None
resource_id
str

Resurs-ID:t för Azure Resource Manager (ARM) för den resurs som ska kopplas.

Standardvärde: None
address
str

Adressen för resursen som ska kopplas.

Standardvärde: None
ssh_port
int

Den exponerade porten för resursen. Standardvärdet är 22.

Standardvärde: 22
password
Obligatorisk
str

Lösenordet som behövs för att komma åt resursen.

private_key_file
Obligatorisk
str

Sökvägen till en fil som innehåller den privata nyckeln för resursen.

private_key_passphrase
Obligatorisk
str

Den privata nyckelfras som behövs för att komma åt resursen.

Returer

Typ Description

Ett konfigurationsobjekt som ska användas när ett beräkningsobjekt kopplas.

Undantag

Typ Description

delete

Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället.

delete()

Undantag

Typ Description

deserialize

Konvertera ett JSON-objekt till ett HDInsightCompute-objekt.

static deserialize(workspace, object_dict)

Parametrar

Name Description
workspace
Obligatorisk

Arbetsyteobjektet som HDInsightCompute-objektet är associerat med.

object_dict
Obligatorisk

Ett JSON-objekt som ska konverteras till ett HDInsightCompute-objekt.

Returer

Typ Description

HDInsightCompute-representationen av det angivna JSON-objektet.

Undantag

Typ Description

Kommentarer

Genererar en ComputeTargetException om den angivna arbetsytan inte är den arbetsyta som beräkning är associerad med.

detach

Kopplar bort HDInsightCompute-objektet från dess associerade arbetsyta.

Underliggande molnobjekt tas inte bort, endast associationen tas bort.

detach()

Undantag

Typ Description

get_credentials

Hämta autentiseringsuppgifterna för HDInsightCompute-målet.

get_credentials()

Returer

Typ Description

Autentiseringsuppgifterna för HDInsightCompute-målet

Undantag

Typ Description

refresh_state

Utför en uppdatering på plats av objektets egenskaper.

Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd.

refresh_state()

Undantag

Typ Description

serialize

Konvertera det här HDInsightCompute-objektet till en serialiserad JSON-ordlista.

serialize()

Returer

Typ Description

JSON-representationen av det här HDICompute-objektet.

Undantag

Typ Description