Databricks Runtime 9.1 LTS pour le Machine Learning

Databricks a publié cette image et lui a attribué le statut Support à long terme (LTS) en septembre 2021.

Databricks Runtime 9.1 LTS pour le Machine Learning fournit un environnement prêt à l’emploi pour le Machine Learning et la science des données basé sur Databricks Runtime 9.1 LTS. Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Pour plus d’informations, notamment les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et Machine Learning sur Databricks.

Améliorations et nouvelles fonctionnalités

AutoML

Les améliorations suivantes sont disponibles dans Databricks Runtime 9.1 LTS ML et versions ultérieures.

AutoML prend en charge les jeux de données volumineux par échantillonnage

AutoML échantillonne désormais les jeux de données susceptibles de dépasser les contraintes de mémoire, ce qui lui permet de s’exécuter sur des jeux de données plus importants avec moins de risques d’erreurs de mémoire insuffisante. Pour plus d’informations, consultez Échantillonnage de jeux de données volumineux.

AutoML prétraite les colonnes en fonction du type de sémantique

AutoML détecte certaines colonnes dont le type de sémantique diffère de leur type de données Spark ou pandas. AutoML convertit et applique ensuite des étapes de prétraitement des données en fonction du type sémantique détecté. Plus précisément, AutoML effectue les conversions suivantes :

• Les colonnes de type STRING et INTEGER qui représentent des données de type DATE ou TIMESTAMP sont converties en type TIMESTAMP.
• Les colonnes de type STRING qui représentent des données numériques sont converties en un type numérique.

Améliorations apportées aux notebooks générés par AutoML

Les étapes de prétraitement pour les colonnes de type DATE et TIMESTAMP sont désormais incorporées dans le package databricks-automl-runtime, ce qui simplifie les notebooks générés par la formation AutoML. databricks-automl-runtime est inclus dans Databricks Runtime 9.1 LTS ML et versions ultérieures et est également disponible sur PyPI.

Magasin de fonctionnalités

Les améliorations suivantes sont disponibles dans Databricks Runtime 9.1 LTS ML et versions ultérieures.

• Lorsque vous créez un TrainingSet, vous pouvez désormais définir label=None pour prendre en charge les applications d’apprentissage non supervisé.
• Vous pouvez maintenant spécifier plusieurs fonctionnalités dans un seul FeatureLookup.
• Vous pouvez maintenant spécifier un chemin d’accès personnalisé pour les tables de fonctionnalités. Utilisez le paramètre path dans create_feature_table(). La valeur par défaut est l’emplacement de la base de données.
• Nouveaux types de données PySpark pris en charge : ArrayType et ShortType.

Mlflow

Les améliorations suivantes sont disponibles à partir de la version 1.20.2 de Mlflow, qui est incluse dans Databricks Runtime 9.1 LTS ML.

• La journalisation automatique pour scikit-learn enregistre désormais les métriques post-formation chaque fois qu’une API d’évaluation scikit-learn, telle que sklearn.metrics.mean_squared_error, est appelée.
• La journalisation automatique pour PySpark ML enregistre désormais les métriques post-formation chaque fois qu’une API d’évaluation de modèle, telle que Evaluator.evaluate(), est appelée.
• mlflow.*.log_model et mlflow.*.save_model ont maintenant des arguments pip_requirements et extra_pip_requirements afin que vous puissiez spécifier directement les exigences pip du modèle à enregistrer ou à sauvegarder.
• mlflow.*.log_model et mlflow.*.save_model déduisent maintenant automatiquement les exigences pip du modèle à enregistrer ou à sauvegarder en fonction de l’environnement logiciel actuel.
• Les entrées stdMetrics sont maintenant enregistrées comme métriques de formation pendant la journalisation automatique de PySpark CrossValidator.
• La journalisation automatique de PyTorch Lightning prend désormais en charge l’exécution distribuée.

Databricks Autologging (Préversion publique)

La Préversion publique de Databricks Autologging a été étendue à de nouvelles régions. Databricks Autologging est une solution sans code qui assure le suivi automatique des expériences pour les sessions de formation d'apprentissage automatique sur Azure Databricks. Avec Databricks Autologging, les paramètres des modèles, les métriques, les fichiers et les informations de lignage sont automatiquement capturés lorsque vous formez des modèles à partir d'une variété de bibliothèques d'apprentissage automatique populaires. Les sessions de formation sont enregistrées en tant qu’exécutions de suivi MLflow. Les fichiers de modèle sont également suivis afin que vous puissiez facilement les enregistrer dans le registre de modèles MLflow et les déployer pour un scoring en temps réel avec MLflow Model Serving.

Pour plus d’informations sur Databricks Autologging, consultez Databricks Autologging.

Changements importants apportés à l’environnement Python de Databricks Runtime ML

Mise à niveau des packages Python

• automl 1.1.1 => 1.2.1
• feature_store 0.3.3 => 0.3.4.1
• holidays 0.10.5.2 => 0.11.2
• keras 2.5.0 => 2.6.0
• mlflow 1.19.0 => 1.20.2
• petastorm 0.11.1 => 0.11.2
• plotly 4.14.3 => 5.1.0
• spark-tensorflow-distributor 0.1.0 => 1.0.0
• sparkdl 2.2.0_db1 => 2.2.0_db3
• tensorboard 2.5.0 => 2.6.0
• tensorflow 2.5.0 => 2.6.0

Ajout de packages Python

• databricks-automl-runtime 0.1.0

Environnement du système

L’environnement système de Databricks Runtime 9.1 LTS ML diffère de Databricks Runtime 9.1 LTS comme suit :

• DBUtils : Databricks Runtime ML n’inclut pas l’Utilitaire de bibliothèque (dbutils.library) (hérité). Utilisez les commandes %pip à la place. Consultez Bibliothèques Python délimitées à un notebook.
• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 9.1 LTS ML qui diffèrent de celles incluses dans Databricks Runtime 9.1 LTS.

Dans cette section :

• Bibliothèques de niveau supérieur
• Bibliothèques Python
• Bibliothèques R
• Bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 9.1 LTS ML comprend les bibliothèquesde niveau supérieur suivantes :

• AutoML
• GraphFrames
• Horovod et HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Bibliothèques Python

Databricks Runtime 9.1 LTS ML utilise Virtualenv pour la gestion des packages Python et comprend de nombreux packages de ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 9.1 LTS ML comprend également les packages suivants :

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db3
• feature_store 0.3.4.1
• automl 1.2.1

Bibliothèques Python sur les clusters UC

Bibliothèques Python sur les clusters GPU

Packages Spark contenant des modules Python

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 9.1 LTS.

Bibliothèques Java et Scala (cluster Scala 2.12)

En plus des bibliothèques Java et Scala dans Databricks Runtime 9.1 LTS, Databricks Runtime 9.1 LTS ML contient les fichiers JAR suivants :

Clusters UC

Clusters GPU