DatabricksCompute Classe

  • Riferimento

Gestisce una destinazione di calcolo di Databricks in Azure Machine Learning.

Azure Databricks è un ambiente basato su Apache Spark nel cloud di Azure. Può essere usata come destinazione di calcolo con una pipeline di Azure Machine Learning. Per altre informazioni, vedere Che cosa sono le destinazioni di calcolo in Azure Machine Learning?

Costruttore ComputeTarget della classe.

Recuperare una rappresentazione cloud di un oggetto Compute associato all'area di lavoro specificata. Restituisce un'istanza di una classe figlio corrispondente al tipo specifico dell'oggetto Compute recuperato.

Ereditarietà
ComputeTarget
DatabricksCompute

Costruttore

DatabricksCompute(workspace, name)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Oggetto workspace contenente l'oggetto DatabricksCompute da recuperare.
name
Necessario
str

Nome dell'oggetto DatabricksCompute da recuperare.
workspace
Necessario
Workspace

Oggetto workspace contenente l'oggetto Compute da recuperare.
name
Necessario
str

Nome dell'oggetto Compute da recuperare.

Commenti

L'esempio seguente illustra come collegare Azure Databricks come destinazione di calcolo.


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

L'esempio completo è disponibile da https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb

Metodi

attach

DEPRECATO. Al suo posto usa il metodo attach_configuration.

Associare una risorsa di calcolo Databricks esistente all'area di lavoro specificata.
attach_configuration

Creare un oggetto di configurazione per collegare una destinazione di calcolo di Databricks.
delete

L'eliminazione non è supportata per un oggetto DatabricksCompute. Usare invece detach.
deserialize

Convertire un oggetto JSON in un oggetto DatabricksCompute.
detach

Scollega l'oggetto Databricks dall'area di lavoro associata.

Gli oggetti cloud sottostanti non vengono eliminati, ma viene rimossa solo l'associazione.
get_credentials

Recuperare le credenziali per la destinazione Databricks.
refresh_state

Eseguire un aggiornamento sul posto delle proprietà dell'oggetto .

Questo metodo aggiorna le proprietà in base allo stato corrente dell'oggetto cloud corrispondente. Viene usato principalmente per il polling manuale dello stato di calcolo.
serialize

Convertire questo oggetto DatabricksCompute in un dizionario serializzato JSON.

attach

DEPRECATO. Al suo posto usa il metodo attach_configuration.

Associare una risorsa di calcolo Databricks esistente all'area di lavoro specificata.

static attach(workspace, name, resource_id, access_token)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Oggetto workspace a cui associare la risorsa di calcolo.
name
Necessario
str

Nome da associare alla risorsa di calcolo all'interno dell'area di lavoro specificata. Non deve corrispondere al nome della risorsa di calcolo da associare.
resource_id
Necessario
str

ID risorsa di Azure per la risorsa di calcolo da collegare.
access_token
Necessario
str

Token di accesso per la risorsa da collegare.

Restituisce

Tipo Descrizione
DatabricksCompute

Rappresentazione dell'oggetto DatabricksCompute dell'oggetto di calcolo.

Eccezioni

Tipo Descrizione
ComputeTargetException

attach_configuration

Creare un oggetto di configurazione per collegare una destinazione di calcolo di Databricks.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

Parametri

Nome Descrizione
resource_group
str

Nome del gruppo di risorse in cui si trova Databricks.

Valore predefinito: None
workspace_name
str

Nome dell'area di lavoro di Databricks.

Valore predefinito: None
resource_id
str

ID risorsa di Azure per la risorsa di calcolo da collegare.

Valore predefinito: None
access_token
Necessario
str

Token di accesso per la risorsa di calcolo da collegare.

Restituisce

Tipo Descrizione
DatabricksAttachConfiguration

Oggetto di configurazione da utilizzare per il collegamento di un oggetto Compute.

Eccezioni

Tipo Descrizione
ComputeTargetException

delete

L'eliminazione non è supportata per un oggetto DatabricksCompute. Usare invece detach.

delete()

Eccezioni

Tipo Descrizione
ComputeTargetException

deserialize

Convertire un oggetto JSON in un oggetto DatabricksCompute.

static deserialize(workspace, object_dict)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

L'oggetto workspace a cui è associato l'oggetto DatabricksCompute.
object_dict
Necessario
dict

Oggetto JSON da convertire in un oggetto DatabricksCompute.

Restituisce

Tipo Descrizione
DatabricksCompute

Rappresentazione di DatabricksCompute dell'oggetto JSON fornito.

Eccezioni

Tipo Descrizione
ComputeTargetException

Commenti

Genera un'eccezione ComputeTargetException se l'area di lavoro specificata non è l'area di lavoro a cui è associato l'ambiente di calcolo.

detach

Scollega l'oggetto Databricks dall'area di lavoro associata.

Gli oggetti cloud sottostanti non vengono eliminati, ma viene rimossa solo l'associazione.

detach()

Eccezioni

Tipo Descrizione
ComputeTargetException

get_credentials

Recuperare le credenziali per la destinazione Databricks.

get_credentials()

Restituisce

Tipo Descrizione
dict

Credenziali per la destinazione Databricks.

Eccezioni

Tipo Descrizione
ComputeTargetException

refresh_state

Eseguire un aggiornamento sul posto delle proprietà dell'oggetto .

Questo metodo aggiorna le proprietà in base allo stato corrente dell'oggetto cloud corrispondente. Viene usato principalmente per il polling manuale dello stato di calcolo.

refresh_state()

Eccezioni

Tipo Descrizione
ComputeTargetException

serialize

Convertire questo oggetto DatabricksCompute in un dizionario serializzato JSON.

serialize()

Restituisce

Tipo Descrizione
dict

Rappresentazione JSON di questo oggetto DatabricksCompute.

Eccezioni

Tipo Descrizione
ComputeTargetException