Usar XGBoost no Azure Databricks

  • Artigo

Este artigo fornece exemplos de treinamento de modelos de machine learning usando o XGBoost no Azure Databricks. O Databricks Runtime para Machine Learning inclui bibliotecas XGBoost para Python e Scala. Você pode treinar os modelos XGBoost em uma máquina individual ou de maneira distribuída.

Treinar modelos XGBoost em um único nó

Você pode treinar modelos usando o pacote do Python xgboost. Esse pacote oferece suporte apenas a cargas de trabalho de nó único. Para treinar um pipeline de ML do PySpark e aproveitar o treinamento distribuído, confira Treinamento distribuído de modelos XGBoost.

Notebook XGBoost Python

Obter notebook

Treinamento distribuído de modelos XGBoost

Para o treinamento distribuído de modelos XGBoost, o Databricks inclui avaliadores do PySpark com base no pacote xgboost. O Databricks também inclui o pacote xgboost-4j do Scala. Para obter detalhes e exemplos de notebooks, confira o seguinte:

Instalar o XGBoost no Azure Databricks

Se você precisar instalar o XGBoost no Databricks Runtime ou usar uma versão diferente da pré-instalada com o Databricks Runtime ML, siga estas instruções.

Instalar o XGBoost no ML Databricks Runtime

O XGBoost está incluído na Databricks Runtime ML. Você pode usar essas bibliotecas em Databricks Runtime ML sem instalar nenhum pacote.

Para a versão do XGBoost instalada na versão do Databricks Runtime ML que você está usando, confira as notas sobre a versão. Para instalar outras versões do Python no Databricks Runtime ML, instale o XGBoost como uma Biblioteca de databricks PyPI. Especifique-o como o seguinte e substitua <xgboost version> pela versão desejada.

xgboost==<xgboost version>

Instalar o XGBoost no ML Databricks Runtime

  • Pacote Python: execute o seguinte comando em uma célula do notebook:

    %pip install xgboost

Para instalar uma versão específica, substitua <xgboost version> pela versão desejada:

  %pip install xgboost==<xgboost version>