DatabricksCluster Classe

  • Referência

Define informações de cluster do Databricks para uso em um DatabricksSection.

Inicializar.

Herança
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Construtor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parâmetros

Nome Description
existing_cluster_id
str

Uma ID de um cluster interativo existente no workspace do Databricks. Se esse parâmetro for especificado, nenhum dos outros deverá ser.

Valor padrão: None
spark_version
str

A versão do Spark para o cluster de execução do Databricks. Exemplo: "10.4.x-scala2.12".

Valor padrão: None
node_type
str

Os tipos de nó de VM do Azure para o cluster de execução do Databricks. Exemplo: "Standard_D3_v2".

Valor padrão: None
instance_pool_id
str

A ID do pool de instâncias ao qual o cluster precisa ser anexado.

Valor padrão: None
num_workers
int

O número de trabalhadores para um cluster de execução do Databricks. Se esse parâmetro for especificado, os parâmetros min_workers e max_workers não deverão ser.

Valor padrão: None
min_workers
int

O número mínimo de trabalhadores para um cluster do Databricks com dimensionamento automático.

Valor padrão: None
max_workers
int

O número de trabalhadores para um cluster de execução do Databricks com dimensionamento automático.

Valor padrão: None
spark_env_variables
dict(<xref:{str:str}>)

As variáveis de ambiente do Spark para o cluster de execução do Databricks.

Valor padrão: None
spark_conf
dict(<xref:{str:str}>)

A configuração do Spark para o cluster de execução do Databricks.

Valor padrão: None
init_scripts
list[str]

Preterido. O Databricks anunciou que o script de inicialização armazenado no DBFS interromperá o trabalho após 1º de dezembro de 2023. Para atenuar o problema, use scripts de inicialização globais no databricks após https://video2.skills-academy.com/azure/databricks/init-scripts/global 2) comente a linha de init_scripts na etapa do AzureML databricks.

Valor padrão: None
cluster_log_dbfs_path
str

O caminho do DBFS para o qual os logs de clusters precisam ser entregues.

Valor padrão: None
permit_cluster_restart
bool

se existing_cluster_id for especificado, esse parâmetro informará se o cluster pode ser reiniciado em nome do usuário.

Valor padrão: None

Métodos

validate

Validar os detalhes do cluster do Databricks especificados.

Validar verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros foi fornecida. Por exemplo, você precisa especificar existing_cluster_id ou o restante dos parâmetros de cluster. Para saber mais, confira as definições de parâmetro do construtor.

validate

Validar os detalhes do cluster do Databricks especificados.

Validar verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros foi fornecida. Por exemplo, você precisa especificar existing_cluster_id ou o restante dos parâmetros de cluster. Para saber mais, confira as definições de parâmetro do construtor.

validate()

Exceções

Tipo Description
class:azureml.exceptions.UserErrorException