Ejecución de consultas federadas en Microsoft SQL Server

En este artículo se describe cómo configurar Lakehouse Federation para ejecutar consultas federadas en datos de SQL Server no administrados por Azure Databricks. Para obtener más información sobre Lakehouse Federation, consulte ¿Qué es Lakehouse Federation?.

Para conectarse a su base de datos SQL Server mediante Lakehouse Federation, debe crear lo siguiente en su metastore Azure Databricks Unity Catalog:

• Una conexión a la base de datos de SQL Server.
• Un catálogo externo que refleje la base de datos SQL Server en Unity Catalog para que pueda usar la sintaxis de consulta y las herramientas de gobernanza de datos de Unity Catalog para administrar el acceso de usuario de Azure Databricks a la base de datos.

Lakehouse Federation admite SQL Server, Azure SQL Database y Azure SQL Instancia administrada.

Antes de empezar

Requisitos del área de trabajo:

• Área de trabajo habilitada para Unity Catalog.

Requisitos de proceso:

• Conectividad de red desde el clúster de Databricks Runtime o el almacén de SQL a los sistemas de base de datos de destino. Consulte Recomendaciones de redes para Lakehouse Federation.
• Los clústeres de Azure Databricks deben usar Databricks Runtime 13.3 LTS o superior y el modo de acceso compartido o de usuario único.
• Los almacenes de SQL deben ser Pro o Sin servidor y tienen que utilizar la versión 2023.40 o posteriores.

Permisos necesarios:

• Para crear una conexión, debe ser administrador del metastore o usuario con el privilegio CREATE CONNECTION en el metastore de Unity Catalog adjunto al área de trabajo.
• Para crear un catálogo externo, debe tener el permiso CREATE CATALOG en el metastore, y ser el propietario de la conexión o tener el privilegio CREATE FOREIGN CATALOG en la conexión.

Los requisitos de permisos adicionales se especifican en cada sección basada en tareas que se indica a continuación.

• Si tiene previsto autenticarse mediante OAuth, registre una aplicación en Microsoft Entra ID para Azure Databricks. Consulte la sección siguiente para obtener más información.

(Opcional) Registro de una aplicación en el Microsoft Entra ID para Azure Databricks

Si desea autenticarse mediante OAuth, siga este paso antes de crear una conexión de SQL Server. Para autenticarse mediante un nombre de usuario y una contraseña en su lugar, omita esta sección.

1. Inicie sesión en Azure Portal.
2. En el panel de navegación izquierdo, haga clic en Microsoft Entra ID.
3. Haga clic en Registros de aplicaciones.
4. Haga clic en Nuevo registro. Escriba un nombre para la nueva aplicación y establezca el URI de redirección en https://<workspace-url>/login/oauth/azure.html.
5. Haga clic en Registrar.
6. En el cuadro Essentials, copie y almacene el Identificador de aplicación (cliente). Usará este valor para configurar la aplicación.
7. Haga clic en Certificados y secretos.
8. En la pestaña Secretos de cliente, haga clic en Nuevo secreto de cliente.
9. Escriba una descripción para el secreto y una expiración (la configuración predeterminada es de 180 días).
10. Haga clic en Agregar.
11. Copie el valor generado para el secreto de cliente.
12. Haga clic en Permisos de API.
13. Haga clic en Agregar un permiso.
14. Seleccione Azure SQL Database y haga clic en user_impersonation en Permisos delegados.
15. Haga clic en Agregar permisos.

Crear una conexión

Una conexión especifica una ruta de acceso y las credenciales para acceder a un sistema de base de datos externo. Para crear una conexión, puede usar el Explorador de catálogos o el comando SQL CREATE CONNECTION en un cuaderno de Azure Databricks o el editor de consultas de Databricks SQL.

Permisos necesarios: administrador del metastore o usuario con el privilegio CREATE CONNECTION.

Explorador de catálogo

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo.

2. En la parte superior del panel Catálogo, haga clic en el icono Agregar y seleccione Agregar una conexión en el menú.

   Como alternativa, en la página de Acceso rápido, haga clic en el botón Datos externos, vaya a la pestaña Conexiones y haga clic en Crear conexión.

3. Escriba un Nombre de conexión descriptivo.

4. Seleccione un Tipo de conexión de SQL Server.

5. Seleccione un Tipo de autenticación de OAuth oNombre de usuario y contraseña.

6. Escriba las siguientes propiedades de conexión para la instancia de SQL Server, en función del método de autenticación:

   • Host: El servidor SQL Server.
   • (Autenticación básica) Puerto
   • (Autenticación básica) trustServerCertificate: El valor predeterminado es false. Cuando se establece en true, la capa de transporte utiliza SSL para cifrar el canal y omite la cadena de certificados para validar la confianza. Deje este conjunto en el valor predeterminado a menos que tenga una necesidad específica de omitir la validación de confianza.
   • (Autenticación básica) Usuario
   • (Autenticación básica) Contraseña
   • (OAuth) Punto de conexión de autorización: El punto de conexión de autorización de Azure Entra con el formato https://login.microsoftonline.com/<tenant-id>/oauth2/v2.0/authorize.
   • (OAuth) Id. de cliente desde la aplicación que creó.
   • (OAuth) Secreto de cliente del secreto de cliente que creó.
   • (OAuth) Ámbito de cliente: Escriba el siguiente valor sin modificaciones: https://database.windows.net/.default offline_access.
   • (OAuth) Se le pedirá que inicie sesión en Iniciar sesión con Azure Entra ID. Escriba el nombre de usuario y la contraseña de Azure. ’Después de redirigirse a la página de creación de la conexión, el código de autorización se rellena en la interfaz de usuario.

7. (Opcional) Haga clic en Probar conexión para confirmar que funcione.

8. (Opcional) Agregue un comentario.

9. Haga clic en Crear.

SQL

Ejecute el siguiente comando en un cuaderno o en el editor de consultas de Databricks SQL.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Se recomienda usar secretos de Azure Databricks en lugar de cadenas de texto no cifrado para valores confidenciales, como las credenciales. Por ejemplo:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Para obtener más información sobre la configuración de secretos, consulte Administración de secretos.

Creación de un catálogo externo

Un catálogo externo refleja una base de datos en un sistema de datos externo para que pueda consultar y administrar el acceso a los datos de esa base de datos mediante Azure Databricks y Unity Catalog. Para crear un catálogo externo, use una conexión al origen de datos que ya se ha definido.

Para crear un catálogo externo, puede usar Catalog Explorer o el comando SQL CREATE FOREIGN CATALOG en un cuaderno de Azure Databricks o el editor de consultas SQL.

Permisos necesarios: CREATE CATALOG permiso en el metastore y la propiedad de la conexión o el privilegio CREATE FOREIGN CATALOG en la conexión.

Explorador de catálogo

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo para abrir el Explorador de catálogos.

2. En la parte superior del panel Catálogo, haga clic en el icono Agregar y seleccione Agregar un catálogo en el menú.

   Como alternativa, en la página Acceso rápido, haga clic en el botón Catálogos y, a continuación, haga clic en el botón Crear catálogo.

3. Siga las instrucciones para crear catálogos externos en Crear catálogos.

SQL

Ejecute el siguiente comando SQL en un cuaderno o en un editor de consultas SQL. Los elementos entre corchetes son opcionales. Reemplace los valores de marcador de posición:

• <catalog-name>: nombre del catálogo en Azure Databricks.
• <connection-name>: El objeto de conexión que especifica el origen de datos, la ruta de acceso y las credenciales de acceso.
• <database-name>: nombre de la base de datos que desea reflejar como un catálogo en Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Delegaciones admitidas

Se admiten las siguientes delegaciones en todos los procesos:

• Filtros
• Proyecciones
• Límite
• Funciones: parcial, solo para expresiones de filtro. (Funciones de cadena, funciones matemáticas, funciones de datos, tiempo y marca de tiempo, y otras funciones diversas, como Alias, Cast, SortOrder)

Las siguientes delegaciones se admiten en Databricks Runtime 13.3 LTS y versiones posteriores, y en el proceso de SQL Warehouse:

• Agregados
• Los siguientes operadores booleanos: =, <, <=, >, >=, <=>
• Las siguientes funciones matemáticas (no se admiten si ANSI está deshabilitado): +, -, *, %, /
• Los siguientes operadores varios: ^, |, ~
• Ordenación, cuando se usa con límite

No se admiten las siguientes delegaciones:

• Combinaciones
• Funciones de Windows

Asignaciones de tipo de datos

Al leer de SQL Server a Spark, los tipos de datos se asignan de la siguiente manera:

*Cuando se lee desde SQL Server, SQL Server datetimes se asignan a Spark TimestampType si preferTimestampNTZ = false (valor predeterminado). SQL Server datetimes se asignan a TimestampNTZType si preferTimestampNTZ = true.