Exécuter des requêtes fédérées sur Microsoft SQL Server

Cet article explique comment configurer Lakehouse Federation pour exécuter des requêtes fédérées sur des données SQL Server non gérées par Azure Databricks. Pour en savoir plus sur Lakehouse Federation, consultez l’article Qu’est-ce que Lakehouse Federation ?.

Pour vous connecter à votre base de données SQL Server à l’aide de Lakehouse Federation, vous devez créer les éléments suivants dans votre metastore Unity Catalog Azure Databricks :

• Une connexion à votre base de données SQL Server.
• Un catalogue étranger qui reflète votre base de données SQL Server dans Unity Catalog afin que vous puissiez utiliser la syntaxe de requête et les outils de gouvernance des données Unity Catalog pour gérer l’accès utilisateur Azure Databricks à la base de données.

Lakehouse Federation prend en charge SQL Server, Azure SQL Database et Azure SQL Managed Instance.

Avant de commencer

Conditions requises pour l’espace de travail :

• Espace de travail activé pour Unity Catalog.

Voici les exigences de calcul à respecter :

• Connectivité réseau de votre cluster Databricks Runtime ou de votre entrepôt SQL aux systèmes de base de données cibles. Consultez l’article Recommandations de mise en réseau pour Lakehouse Federation.
• Les clusters Azure Databricks doivent utiliser databricks Runtime 13.3 LTS ou version ultérieure et le mode d’accès partagé ou unique utilisateur.
• Les entrepôts SQL doivent être Pro ou Serverless et doivent utiliser la version 2023.40 ou ultérieure.

Autorisations requises :

• Pour créer une connexion, vous devez être un administrateur de metastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le metastore Unity Catalog attaché à l’espace de travail.
• Pour créer un catalogue étranger, vous devez disposer de l’autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Des exigences d’autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

• Si vous prévoyez de vous authentifier en utilisant OAuth, inscrivez une application dans Microsoft Entra ID pour Azure Databricks. Pour plus d’informations, consultez la section suivante.

(Facultatif) Inscrire une application dans Microsoft Entra ID pour Azure Databricks

Si vous souhaitez vous authentifier en utilisant OAuth, suivez cette étape avant de créer une connexion SQL Server. Pour vous authentifier à l’aide d’un nom d’utilisateur et d’un mot de passe, ignorez cette section.

1. Connectez-vous au portail Azure.
2. Dans la navigation de gauche, cliquez sur Microsoft Entra ID.
3. Cliquez sur Inscriptions des applications.
4. Cliquez sur Nouvelle inscription. Entrez un nom pour la nouvelle application et définissez l’URI de redirection sur https://<workspace-url>/login/oauth/azure.html.
5. Cliquez sur S'inscrire.
6. Dans la zone Essentials, copiez et stockez l’ID d’application (client). Vous utiliserez cette valeur pour configurer l’application.
7. Cliquez sur Certificats et secrets.
8. Sous l’onglet Clés secrètes client, cliquez sur Nouvelle clé secrète client.
9. Entrez une description pour le secret et une expiration (le paramètre par défaut est de 180 jours).
10. Cliquez sur Ajouter.
11. Copiez la valeur générée pour la clé secrète client.
12. Cliquez sur Autorisations d’API.
13. Cliquez sur Ajouter une autorisation.
14. Sélectionnez Azure SQL Database , puis cliquez sur user_impersonation sous autorisations déléguées.
15. Cliquez sur Ajouter des autorisations.

Créer une connexion

Une connexion spécifie un chemin d’accès et des informations d’identification pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser l’Explorateur de catalogues ou la commande SQL CREATE CONNECTION dans un notebook Azure Databricks ou l’éditeur de requête SQL Databricks.

Autorisations requises : administrateur de metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Explorateur de catalogues

1. Dans votre espace de travail Azure Databricks, cliquez sur Catalogue.

2. En haut du volet Catalogue, cliquez sur l’icône Ajouter, puis sélectionnez Ajouter une connexion dans le menu.

   Sinon, dans la page Accès rapide, cliquez sur le bouton Données externes , accédez à l’onglet Connexions, puis cliquez sur Créer une connexion.

3. Entrez un nom de connexion convivial.

4. Sélectionnez le type de connexionSQL Server.

5. Pour Type d’authentification, sélectionnez OAuth ou Nom d’utilisateur et mot de passe.

6. Entrez les propriétés de connexion suivantes pour votre instance SQL Server, en fonction de votre méthode d’authentification :

   • Hôte : votre serveur SQL.
   • (Authentification de base) Port
   • (Authentification de base) trustServerCertificate : la valeur par défaut est false. Quand la valeur est true, la couche de transport utilise SSL pour chiffrer le canal et contourne la chaîne de certificat pour valider l’approbation. Utilisez la valeur par défaut, sauf si vous avez besoin de contourner la validation d’approbation.
   • (Authentification de base) Utilisateur
   • (Authentification de base) Mot de passe
   • (OAuth) Point de terminaison d’autorisation : votre point de terminaison d’autorisation Azure Entra au format https://login.microsoftonline.com/<tenant-id>/oauth2/v2.0/authorize.
   • (OAuth) ID client de l’application que vous avez créée.
   • (OAuth) Clé secrète client de la clé secrète client que vous avez créée.
   • (OAuth) Étendue du client : entrez la valeur suivante sans aucune modification : https://database.windows.net/.default offline_access.
   • (OAuth) Vous êtes invité à vous connecter avec Azure Entra ID. Entrez votre nom d’utilisateur et votre mot de passe. Une fois que vous êtes redirigé vers la page de création de connexion, le code d’autorisation est renseigné dans l’interface utilisateur.

7. (Facultatif) Cliquez sur Tester la connexion pour vérifier qu’elle fonctionne.

8. (Facultatif) Ajoutez un commentaire.

9. Cliquez sur Créer.

SQL

Exécutez la commande suivante dans un notebook ou dans l’éditeur de requête SQL Databricks.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Nous vous recommandons d’utiliser des secrets Azure Databricks au lieu de chaînes de texte en clair pour les valeurs sensibles telles que les informations d’identification. Par exemple :

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Pour obtenir des informations sur la configuration des secrets, consultez l’article Gestion des secrets.

Créer un catalogue étranger

Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog. Pour créer un catalogue étranger, vous utilisez une connexion à la source de données qui a déjà été définie.

Pour créer un catalogue étranger, vous pouvez utiliser Catalog Explorer ou la commande SQL CREATE FOREIGN CATALOG dans un notebook Azure Databricks ou dans l’Éditeur de requête SQL.

Autorisations requises : autorisation CREATE CATALOG sur le metastore, et être propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Explorateur de catalogues

1. Dans votre espace de travail Azure Databricks, cliquez sur Catalogue pour ouvrir l’Explorateur de catalogue.

2. En haut du volet Catalogue, cliquez sur l’icône Ajouter, puis sélectionnez Ajouter un catalogue dans le menu.

   Sinon, dans la page Accès rapide, cliquez sur le bouton Catalogues, puis sur le bouton Créer un catalogue.

3. Suivez les instructions pour créer des catalogues étrangers dans Créer des catalogues.

SQL

Exécutez la commande SQL suivante dans un notebook ou dans l’éditeur de requête SQL. Les éléments entre chevrons sont optionnels. Remplacez les valeurs d’espace réservé :

• <catalog-name> : nom du catalogue dans Azure Databricks.
• <connection-name> : objet Connection qui spécifie la source de données, le chemin et les informations d’identification d’accès.
• <database-name> : nom de la base de données que vous souhaitez refléter en tant que catalogue dans Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdowns pris en charge

Les pushdowns suivants sont pris en charge sur tous les calculs :

• Filtres
• Projections
• Limite
• Fonctions : partielles, uniquement pour les expressions de filtre. (Fonctions de chaîne, fonctions mathématiques, données, fonctions Time et Timestamp, et autres fonctions diverses, telles que Alias, Cast, SortOrder)

Les pushdowns suivants sont pris en charge sur Databricks Runtime 13.3 LTS et ultérieur, et sur le calcul de l’entrepôt SQL :

• Agrégats
• Les opérateurs booléens suivants : =, <, <=, >, >=, <=>
• Les fonctions mathématiques suivantes (non prises en charge si ANSI est désactivée) : +, -, *, %, /
• Les divers opérateurs suivants : ^, |, ~
• Tri, lorsque l’utilisation est limitée

Les pushdowns suivants ne sont pas pris en charge :

• Jointures
• Fonctions Windows

Mappages de types de données

Quand vous lisez de SQL Server vers Spark, les types de données sont mappés comme suit :

* Quand vous lisez à partir de SQL Server, le type SQL Server datetimes est mappé au type Spark TimestampType si preferTimestampNTZ = false (valeur par défaut). Le type SQL Server datetimes est mappé à TimestampNTZType si preferTimestampNTZ = true.