Registros de Delta Lake en Almacén en Microsoft Fabric

  • Artículo

Se aplica a: Almacén en Microsoft Fabric

Almacén en Microsoft Fabric se ha creado a partir de formatos de archivo abiertos. Las tablas de usuario se almacenan en formato de archivo Parquet y los registros de Delta Lake se publican para todas las tablas de usuario.

Los registros de Delta Lake abren acceso directo a las tablas de usuario del almacén para cualquier motor que pueda leer las tablas de Delta Lake. Este acceso se limita a solo lectura para asegurarse de que los datos del usuario mantengan el cumplimiento de las transacciones ACID. Todas las inserciones, actualizaciones y eliminaciones de los datos de las tablas deben ejecutarse a través del Almacén. Una vez confirmada una transacción, se inicia un proceso en segundo plano del sistema para publicar el registro actualizado de Delta Lake para las tablas afectadas.

Cómo obtener la ruta de acceso de OneLake

En los pasos siguientes, se detalla cómo obtener la ruta de acceso de OneLake desde una tabla de un almacén:

  1. Abra Almacén en el área de trabajo de Microsoft Fabric.

  2. En el Explorador de objetos, encontrará más opciones (...) en una tabla seleccionada en la carpeta Tablas. Seleccione el menú Propiedades.

    Captura de pantalla en la que se muestra dónde encontrar la opción Propiedades en una tabla seleccionada.

  3. En la selección, el panel Propiedades muestra la siguiente información:

    1. Nombre
    2. Formato
    3. Tipo
    4. URL
    5. Ruta de acceso relativa
    6. Ruta de acceso de ABFS

    Captura de pantalla del panel Propiedades.

Cómo obtener la ruta de acceso de los registros de Delta Lake

Puede encontrar los registros de Delta Lake a través de los métodos siguientes:

  • Los registros de Delta Lake se pueden consultar a través de accesos directos creados en una instancia de lago de datos. Puede ver los archivos mediante un cuaderno de Spark de Microsoft Fabric o el explorador de Lakehouse en Ingeniería de datos de Synapse en el portal de Microsoft Fabric.

  • Los registros de Delta Lake se pueden encontrar a través del Explorador de Azure Storage, a través de conexiones de Spark, como el modo de Direct Lake de Power BI, o mediante cualquier otro servicio que pueda leer tablas delta.

  • Los registros de Delta Lake se pueden encontrar en la carpeta _delta_log de cada tabla mediante el Explorador de OneLake en Windows, como se muestra en la captura de pantalla siguiente.

    Captura de pantalla del explorador de OneLake de Windows, en la que se muestra la ruta de acceso a la carpeta de registros Delta para la tabla call_center.

Pausar la publicación de registros de Delta Lake

La publicación de registros de Delta Lake se puede pausar y reanudar, si es necesario. Cuando se pausa la publicación, los motores de Microsoft Fabric que leen tablas fuera del almacén ven los datos tal como estaban antes de la pausa. Esto garantiza que los informes permanezcan estables y coherentes, lo que refleja los datos de todas las tablas según estaban antes de realizar los cambios en ellas. Una vez completadas las actualizaciones de datos, puede reanudar la publicación de registros de Delta Lake para hacer que todos los cambios de datos recientes sean visibles para otros motores analíticos. Otro caso de uso para pausar la publicación de registros de Delta Lake es cuando los usuarios no necesitan interoperabilidad con otros motores de proceso de Microsoft Fabric, ya que esto puede ayudar a ahorrar costes de proceso.

La sintaxis para pausar y reanudar la publicación de registros de Delta Lake es la siguiente:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Ejemplo: pausar y reanudar la publicación de registros de Delta Lake

Para pausar la publicación de registros de Delta Lake, utilice el siguiente fragmento de código:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Las consultas a las tablas de almacén en el almacén actual desde otros motores de Microsoft Fabric (por ejemplo, las consultas de una instancia de Lakehouse) ahora muestran una versión de los datos tal como estaba antes de pausar la publicación de registros de Delta Lake. Las consultas de almacén siguen mostrando la última versión de los datos.

Para reanudar la publicación de registros de Delta Lake, utilice el siguiente fragmento de código:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Cuando el estado se vuelve a cambiar a AUTO, el motor de Fabric Warehouse publica registros de todos los cambios recientes realizados en las tablas del almacén, lo que permite que otros motores analíticos de Microsoft Fabric lean la última versión de los datos.

Comprobación del estado de la publicación de registros de Delta Lake

Para comprobar el estado actual de la publicación de registros de Delta Lake en todos los almacenes del área de trabajo actual, utilice el siguiente fragmento de código:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Limitaciones

  • Spark y otros sistemas solo pueden usar nombres de tabla si solo contienen estos caracteres: A-Z, a-z, 0-9 y caracteres de subrayado.
  • Los nombres de columna que usará Spark y otros sistemas no pueden contener:
    • espacios
    • tabs
    • retornos de carro
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Contenido relacionado