HDInsightCompute Classe

Gestisce una destinazione di calcolo del cluster HDInsight in Azure Machine Learning.

Azure HDInsight è una piattaforma comune per l'analisi dei Big Data. La piattaforma include Apache Spark, che può essere usato per il training del modello. Per altre informazioni, vedere Che cosa sono le destinazioni di calcolo in Azure Machine Learning?

Costruttore ComputeTarget della classe.

Recuperare una rappresentazione cloud di un oggetto Compute associato all'area di lavoro specificata. Restituisce un'istanza di una classe figlio corrispondente al tipo specifico dell'oggetto Compute recuperato.

Ereditarietà
HDInsightCompute

Costruttore

HDInsightCompute(workspace, name)

Parametri

Nome Descrizione
workspace
Necessario

Oggetto workspace contenente l'oggetto HDInsightCompute da recuperare.

name
Necessario
str

Nome dell'oggetto HDInsightCompute da recuperare.

workspace
Necessario

Oggetto workspace contenente l'oggetto Compute da recuperare.

name
Necessario
str

Nome dell'oggetto Compute da recuperare.

Commenti

L'esempio seguente illustra come creare un cluster Spark per HDInsight in Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

L'esempio completo è disponibile da https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Metodi

attach

DEPRECATO. Al suo posto usa il metodo attach_configuration.

Associare una risorsa HDI esistente all'area di lavoro fornita.

attach_configuration

Creare un oggetto di configurazione per collegare una destinazione di calcolo HDInsight.

Il collegamento di un cluster HDInsight tramite l'indirizzo pubblico del cluster HDInsight non è più supportato. Usare invece resourceId del cluster HDInsight. Il resourceId del cluster HDInsight può essere costruito usando il formato stringa seguente: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

È anche possibile usare subscription_id, resource_group e cluster_name senza costruire resourceId. Per altri dettagli: https://aka.ms/azureml-compute-hdi

delete

L'eliminazione non è supportata per l'oggetto HDInsightCompute. Usare invece detach.

deserialize

Convertire un oggetto JSON in un oggetto HDInsightCompute.

detach

Scollega l'oggetto HDInsightCompute dall'area di lavoro associata.

Gli oggetti cloud sottostanti non vengono eliminati, ma viene rimossa solo l'associazione.

get_credentials

Recuperare le credenziali per la destinazione HDInsightCompute.

refresh_state

Eseguire un aggiornamento sul posto delle proprietà dell'oggetto .

Questo metodo aggiorna le proprietà in base allo stato corrente dell'oggetto cloud corrispondente. Viene usato principalmente per il polling manuale dello stato di calcolo.

serialize

Convertire questo oggetto HDInsightCompute in un dizionario serializzato JSON.

attach

DEPRECATO. Al suo posto usa il metodo attach_configuration.

Associare una risorsa HDI esistente all'area di lavoro fornita.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametri

Nome Descrizione
workspace
Necessario

Oggetto workspace a cui associare la risorsa di calcolo.

name
Necessario
str

Nome da associare alla risorsa di calcolo all'interno dell'area di lavoro specificata. Non deve corrispondere al nome della risorsa di calcolo da associare.

username
Necessario
str

Nome utente necessario per accedere alla risorsa.

address
Necessario
str

Indirizzo della risorsa da collegare.

ssh_port
int

Porta esposta per la risorsa. Il valore predefinito è 22.

Valore predefinito: 22
password
Necessario
str

Password necessaria per accedere alla risorsa.

private_key_file
Necessario
str

Percorso di un file contenente la chiave privata per la risorsa.

private_key_passphrase
Necessario
str

Frase chiave privata necessaria per accedere alla risorsa.

Restituisce

Tipo Descrizione

Rappresentazione dell'oggetto HDInsightCompute dell'oggetto di calcolo.

Eccezioni

Tipo Descrizione

attach_configuration

Creare un oggetto di configurazione per collegare una destinazione di calcolo HDInsight.

Il collegamento di un cluster HDInsight tramite l'indirizzo pubblico del cluster HDInsight non è più supportato. Usare invece resourceId del cluster HDInsight. Il resourceId del cluster HDInsight può essere costruito usando il formato stringa seguente: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

È anche possibile usare subscription_id, resource_group e cluster_name senza costruire resourceId. Per altri dettagli: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametri

Nome Descrizione
username
Necessario
str

Nome utente necessario per accedere alla risorsa.

subscription_id
str

ID sottoscrizione di Azure

Valore predefinito: None
resource_group
str

Nome del gruppo di risorse in cui si trova il cluster HDI.

Valore predefinito: None
cluster_name
str

Nome del cluster HDI

Valore predefinito: None
resource_id
str

ID risorsa azure Resource Manager (ARM) per la risorsa da collegare.

Valore predefinito: None
address
str

Indirizzo della risorsa da collegare.

Valore predefinito: None
ssh_port
int

Porta esposta per la risorsa. Il valore predefinito è 22.

Valore predefinito: 22
password
Necessario
str

Password necessaria per accedere alla risorsa.

private_key_file
Necessario
str

Percorso di un file contenente la chiave privata per la risorsa.

private_key_passphrase
Necessario
str

Frase chiave privata necessaria per accedere alla risorsa.

Restituisce

Tipo Descrizione

Oggetto di configurazione da utilizzare per il collegamento di un oggetto Compute.

Eccezioni

Tipo Descrizione

delete

L'eliminazione non è supportata per l'oggetto HDInsightCompute. Usare invece detach.

delete()

Eccezioni

Tipo Descrizione

deserialize

Convertire un oggetto JSON in un oggetto HDInsightCompute.

static deserialize(workspace, object_dict)

Parametri

Nome Descrizione
workspace
Necessario

L'oggetto workspace a cui è associato l'oggetto HDInsightCompute.

object_dict
Necessario

Oggetto JSON da convertire in un oggetto HDInsightCompute.

Restituisce

Tipo Descrizione

Rappresentazione HDInsightCompute dell'oggetto JSON fornito.

Eccezioni

Tipo Descrizione

Commenti

Genera un'eccezione ComputeTargetException se l'area di lavoro specificata non è l'area di lavoro a cui è associato l'ambiente di calcolo.

detach

Scollega l'oggetto HDInsightCompute dall'area di lavoro associata.

Gli oggetti cloud sottostanti non vengono eliminati, ma viene rimossa solo l'associazione.

detach()

Eccezioni

Tipo Descrizione

get_credentials

Recuperare le credenziali per la destinazione HDInsightCompute.

get_credentials()

Restituisce

Tipo Descrizione

Credenziali per la destinazione HDInsightCompute

Eccezioni

Tipo Descrizione

refresh_state

Eseguire un aggiornamento sul posto delle proprietà dell'oggetto .

Questo metodo aggiorna le proprietà in base allo stato corrente dell'oggetto cloud corrispondente. Viene usato principalmente per il polling manuale dello stato di calcolo.

refresh_state()

Eccezioni

Tipo Descrizione

serialize

Convertire questo oggetto HDInsightCompute in un dizionario serializzato JSON.

serialize()

Restituisce

Tipo Descrizione

Rappresentazione JSON di questo oggetto HDICompute.

Eccezioni

Tipo Descrizione