Exécuter des scripts Python et R avec Machine Learning Services sur des clusters Big Data SQL Server 2019

S’applique à : SQL Server 2019 (15.x)

Vous pouvez exécuter des scripts Python et R sur l’instance maître de clusters Big Data SQL Server avec Machine Learning Services.

Activer Machine Learning Services

Machine Learning Services est installé par défaut sur les clusters Big Data SQL Server 2019 et ne nécessite pas une installation distincte.

Pour activer Machine Learning Services, exécutez l’instruction suivante sur l’instance maître :

EXEC sp_configure 'external scripts enabled', 1
RECONFIGURE WITH OVERRIDE
GO

Vous êtes désormais prêt à exécuter les scripts Python et R sur l’instance maître de clusters Big Data. Consultez les guides de démarrage rapide sous Étapes suivantes pour exécuter votre premier script.

Activer sur un cluster haute disponibilité

Quand vous déployez un cluster Big Data SQL Server haute disponibilité, le déploiement crée un groupe de disponibilité pour l’instance maître. Pour activer Machine Learning Services, définissez external scripts enabled sur chaque instance du groupe de disponibilité. Pour un cluster Big Data, vous devez exécuter sp_configure sur chaque réplica de l’instance maître SQL Server.

La section suivante décrit comment activer des scripts externes sur chaque instance.

Créer un équilibreur de charge externe pour chaque instance

Pour chaque réplica du groupe de disponibilité, créez un équilibreur de charge pour vous permettre de vous connecter à l’instance.

kubectl expose pod <pod-name> --port=<connection port number> --name=<load-balancer-name> --type=LoadBalancer -n <kubernetes namespace>

Nous utilisons les valeurs suivantes dans les exemples de cet article :

• <pod-name> : master-#
• <connection port number> : 1533
• <load-balancer-name> : mymaster-#
• <kubernetes namespace> : mssql-cluster

Mettez à jour le script suivant en fonction de votre environnement et exécutez les commandes suivantes :

kubectl expose pod master-0 --port=1533 --name=mymaster-0 --type=LoadBalancer -n mssql-cluster
kubectl expose pod master-1 --port=1533 --name=mymaster-1 --type=LoadBalancer -n mssql-cluster
kubectl expose pod master-2 --port=1533 --name=mymaster-2 --type=LoadBalancer -n mssql-cluster

kubectl retourne la sortie suivante.

service/mymaster-0 exposed
service/mymaster-1 exposed
service/mymaster-2 exposed

Chaque équilibreur de charge est un point de terminaison de réplica maître.

Activer l’exécution du script sur chaque réplica

1. Obtenir l’adresse IP du point de terminaison de réplica maître.

   La commande suivante retourne l’adresse IP externe du point de terminaison de réplica.

   kubectl get services <load-balancer-name> -n <kubernetes namespace>

   Pour obtenir l’adresse IP externe de chaque réplica dans ce scénario, exécutez les commandes suivantes :

   kubectl get services mymaster-0 -n mssql-cluster
   kubectl get services mymaster-1 -n mssql-cluster
   kubectl get services mymaster-2 -n mssql-cluster
   

   Notes

   Vous devrez peut-être attendre un peu avant que l’adresse IP externe ne soit disponible. Exécutez le script précédent régulièrement jusqu’à ce que chaque point de terminaison retourne une adresse IP externe.

2. Connectez-vous au point de terminaison de réplica maître et activez l’exécution du script.

   Exécutez l’instruction suivante :

   EXEC sp_configure 'external scripts enabled', 1
   RECONFIGURE WITH OVERRIDE
   GO
   

   Par exemple, vous pouvez exécuter la commande précédente avec sqlcmd. L’exemple suivant se connecte au point de terminaison de réplica maître et permet l’exécution du script. Mettez à jour les valeurs du script en fonction de votre environnement.

   sqlcmd -S <IP address>,1533 -U <user name> -P <password> -Q "EXEC sp_configure 'external scripts enabled', 1; RECONFIGURE WITH OVERRIDE;"
   

   Répétez l’étape pour chaque réplica.

Démonstration

L’image suivante illustre ce processus.

Vous êtes désormais prêt à exécuter les scripts Python et R sur l’instance maître de clusters Big Data. Consultez les guides de démarrage rapide sous Étapes suivantes pour exécuter votre premier script.

Supprimer les points de terminaison de réplica maître

Sur le cluster Kubernetes, supprimez le point de terminaison de chaque réplica. Le point de terminaison est exposé dans Kubernetes en tant que service d’équilibrage de charge.

La commande suivante supprime le service d’équilibrage de charge.

kubectl delete svc <load-balancer-name> -n mssql-cluster

Pour les exemples de cet article, exécutez les commandes suivantes.

kubectl delete svc mymaster-0 -n mssql-cluster
kubectl delete svc mymaster-1 -n mssql-cluster
kubectl delete svc mymaster-2 -n mssql-cluster

Clusters Big Data SQL Server - Machine Learning - Démarrages rapides

Démarrages rapides Python

• Exécuter les scripts Python
• Objets et structures de données
• Fonctions Python
• Entraîner et scorer un modèle

Démarrages rapides R

• Exécuter des scripts R
• Types de données et objets
• Fonctions R
• Entraîner et scorer un modèle

Clusters Big Data SQL Server - Machine Learning - Tutoriels

Didacticiel Python

Location de ski (régression linéaire)

• 1 - Introduction
• 2 - Préparer les données
• 3 - Entraîner le modèle
• 4 - Déployer le modèle

Catégoriser les clients (clustering k-moyennes)

• 1 - Introduction
• 2 - Préparer les données
• 3 - Créer le modèle
• 4 - Déployer le modèle

Courses des taxis new-yorkais (classification)

• 1 - Introduction
• 2 - Exploration des données
• 3 - Ingénierie des caractéristiques
• 4 - Entraîner et déployer
• 5 - Prédictions

Tutoriels sur R

Location de ski (arbre de décision)

• 1 - Introduction
• 2 - Préparer les données
• 3 - Entraîner le modèle
• 4 - Déployer le modèle

Catégoriser les clients (clustering k-moyennes)

• 1 - Introduction
• 2 - Préparer les données
• 3 - Créer le modèle
• 4 - Déployer le modèle

Courses des taxis new-yorkais (classification)

• 1 - Introduction
• 2 - Exploration des données
• 3 - Ingénierie des caractéristiques
• 4 - Entraîner et déployer
• 5 - Prédictions

Clusters Big Data SQL Server - Machine Learning - Guides pratiques

Exploration et modélisation des données

• Tracer un histogramme en Python
• Importer des données dans un dataframe pandas
• Insérer un dataframe dans SQL

Conversions de type de données

• Python vers SQL
• R vers SQL

Déployer

• Opérationnaliser avec des procédures stockées
• Convertir le code R pour SQL Server

Prévisions

• Scoring natif avec PREDICT T-SQL

Gestion des packages

Installer de nouveaux packages Python

• Obtenir des informations sur les packages Python
• Installer avec sqlmlutils

Installer de nouveaux packages R

• Obtenir des informations sur les packages R
• Installer avec sqlmlutils
• Créer un dépôt miniCRAN
• Conseils pour l’utilisation de packages R

Surveillance

• Superviser avec des rapports SSMS

• Superviser en utilisant des vues DMV

• Superviser en utilisant des événements étendus

• Superviser PREDICT T-SQL

Sécurité

• Donner une autorisation à des utilisateurs

Spark Machine Learning

• Utiliser Spark Machine Learning
• Data wrangling avec l’accélérateur de code PROSE
• Modèles Machine Learning Spark avec MLeap

Étapes suivantes

• Exécuter des scripts Python simples
• Apprentissage et scoring d’un modèle prédictif en Python
• Exécuter des scripts R simples
• Apprentissage et scoring d’un modèle prédictif en R