Databricks Runtime 12.2 LTS para Machine Learning:

O Databricks Runtime 12.2 LTS para Machine Learning fornece um ambiente pronto para uso no aprendizado de máquina e ciência de dados com base no Databricks Runtime 12.2 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e aprendizado de máquina no Databricks.

Novos recursos e aprimoramentos

O Databricks Runtime 12.2 LTS para ML foi criado com base no Databricks Runtime 12.2 LTS. Para obter informações sobre as novidades do Databricks Runtime 12.2 LTS, inclusive o MLlib e o SparkR do Apache Spark, consulte as notas da versão do Databricks Runtime 12.2 LTS.

AutoML do Mosaico

Você pode usar as tabelas de recursos existentes no Repositório de Recursos para aumentar o conjunto de dados de entrada original para os problemas de previsão do AutoML. Para obter detalhes, confira Integração do Repositório de Recursos.

Para obter mais informações sobre o Mosaic AutoML, consulte O que é o Mosaic AutoML?.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 12.2 LTS para ML difere do Databricks Runtime 12.2 LTS nestes pontos:

• DBUtils: o Databricks Runtime ML não inclui um Utilitário de biblioteca (dbutils.library) (herdado). Use os comandos %pip. Confira as bibliotecas Python no escopo do notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

O Databricks Runtime 12.2 LTS para ML inclui o XGBoost 1.7.2, que não tem suporte para os clusters de GPU com capacidade de computação 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 12.2 LTS para ML que diferem daquelas incluídas no Databricks Runtime 12.2 LTS.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 12.2 LTS para ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas do Python

O Databricks Runtime 12.2 LTS para ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 12.2 LTS para ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 2.3.0-db3
• automl 1.16.0

Para reproduzir o ambiente Python do Databricks Runtime ML no ambiente virtual Python local, baixe o arquivo requirements-12.2.txt e execute pip install -r requirements-12.2.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 12.2 LTS.

Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Além das bibliotecas do Java e do Scala no Databricks Runtime 12.2 LTS, o Databricks Runtime 12.2 LTS para ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU