Supervisión del estado y el rendimiento de un flujo de eventos

La característica de flujos de eventos de Microsoft Fabric permite supervisar fácilmente los datos de eventos de streaming, el estado de ingesta y el rendimiento de la ingesta. En este artículo, se explica cómo supervisar el estado del flujo de eventos, comprobar los registros, los errores y la información de datos con métricas.

En un flujo de eventos, hay dos tipos de experiencias de supervisión: Información de datos y Registros en tiempo de ejecución. Verá una o ambas vistas, según el origen o el destino que seleccione.

Requisitos previos

Antes de comenzar, debe tener:

  • Acceso a un área de trabajo premium con permisos de Espectador o superiores donde se encuentra el elemento Eventstream.
  • Un origen de Azure Event Hub o un destino Lakehouse agregado a su flujo de eventos.

Información de datos

La pestaña Información de datos aparece en el panel inferior del editor principal. La pestaña proporciona métricas que puede usar para supervisar el estado y el rendimiento de la secuencia de eventos, los orígenes y los destinos. Los distintos orígenes y destinos tienen métricas diferentes. Al seleccionar un nodo en el lienzo del editor principal, las métricas de ese nodo específico aparecen en la pestaña Información de datos.

Información de datos en un nodo eventstream

Aparecen las métricas siguientes para un nodo eventstream en la pestaña Información de datos:

Métrica Unidad Descripción
IncomingMessages Recuento El número de eventos o mensajes enviados a un flujo de eventos durante un período determinado.
OutgoingMessages Recuento El número de eventos o mensajes de salida de un flujo de eventos durante un período determinado.
IncomingBytes Bytes Bytes entrantes para un flujo de eventos durante un período especificado.
OutgoingBytes Bytes Bytes salientes para un flujo de eventos durante un período especificado.

Para ver la información de datos de una secuencia de eventos:

  1. Seleccione el nodo de flujo de eventos en el lienzo del editor principal.

  2. En el panel inferior, seleccione la pestaña Información de datos.

  3. Si hay datos dentro de la secuencia de eventos, el gráfico de métricas aparece en la pestaña Información de datos.

  4. En el lado derecho de la pestaña, active las casillas situadas junto a las métricas que desea mostrar.

Captura de pantalla que muestra las métricas del flujo de eventos.

Información de datos en los nodos de origen del centro de eventos Azure, origen de Azure IoT Hub, destino de Lakehouse y destino de base de datos KQL

Las siguientes métricas están disponibles en la pestaña Información de datos para los nodos de origen del centro de eventos Azure, origen de Azure IoT Hub, destino Lakehouse y destino de base de datos KQL (modo “procesamiento de eventos antes de la ingesta”):

Métrica Unidad Descripción
Eventos de entrada Count Número de datos de eventos que el motor de secuencia de eventos extrae de una secuencia de eventos (en un destino de Lakehouse o un destino de base de datos KQL) o de un origen del centro de eventos Azure (en un origen del centro de eventos de Azure).
Bytes del evento de entrada Bytes Cantidad de datos de eventos que el motor de eventstream extrae de una secuencia de eventos (en un destino de Lakehouse o destino de base de datos KQL) o de un origen del centro de eventos Azure (en un origen del centro de eventos de Azure).
Eventos de salida Count Número de datos de eventos que el motor de eventstream envía a una instancia de Lakehouse o base de datos KQL (en un destino de Lakehouse o base de datos KQL) o a una secuencia de eventos (en un origen del centro de eventos Azure).
Eventos de entrada pendientes Recuento Número de eventos de entrada que están pendientes en el motor de eventstream.
Errores en tiempo de ejecución Recuento Número total de errores relacionados con el procesamiento de eventos.
Errores de conversión de datos Recuento Número de eventos de salida que no se pudieron convertir al esquema de salida previsto.
Errores de deserialización Recuento Número de eventos de entrada que no se pudieron deserializar dentro del motor de eventstream.
Retraso de la marca de agua Second Retraso máximo de la marca de agua en todas las particiones de todas las salidas de este origen o destino. Se calcula como la hora del reloj menos la marca de agua más grande.

Para ver la siguiente información de datos para un origen de centro de eventos Azure, origen de Azure IoT Hub, destino Lakehouse y destino de base de datos KQL (modo “procesamiento de eventos antes de la ingesta”):

  1. Seleccione el nodo de origen del centro de eventos Azure, el origen de Azure IoT Hub, el nodo de destino Lakehouse o el nodo de destino de base de datos KQL en el lienzo del editor principal

  2. En el panel inferior, seleccione la pestaña Información de datos.

  3. Si hay datos dentro del origen del centro de eventos Azure, el destino de Lakehouse o el destino de base de datos KQL, el gráfico de métricas aparece en la pestaña Información de datos.

  4. En el lado derecho de la pestaña, active las casillas situadas junto a las métricas que desea mostrar.

Captura de pantalla en la que se muestran las métricas de origen y de destino.

Información de datos en los nodos de origen del conector de streaming

Los nodos de origen del conector de streaming incluyen los siguientes orígenes:

  • Captura de datos modificados (CDC) de la base de datos de Azure SQL
  • CDC de base de datos PostgreSQL
  • CDC de base de datos de MySQL
  • CDC de Azure Cosmos DB
  • SQL Server en la base de datos de máquina virtual (CDC)
  • CDC de Azure SQL Instancia administrada
  • Google Cloud Pub/Sub
  • Flujos de datos de Amazon Kinesis
  • Confluent Cloud Kafka
  • Apache Kafka
  • Amazon MSK Kafka

Las métricas siguientes están disponibles en la pestaña Información de datos para los nodos de origen del conector de streaming:

Métrica Unidad Descripción
Eventos salientes de origen Count Número de registros resultantes de las transformaciones (si las hay) y escritas en eventstream para la tarea que pertenece al conector de origen con nombre en el trabajo (ya que la tarea se reinició por última vez).
Eventos entrantes de origen Count Antes de aplicar las transformaciones, este es el número de registros generados o sondados por la tarea que pertenece al conector de origen con nombre en el trabajo (ya que la tarea se reinició por última vez).
Errores del conector registrados Count Número de errores registrados para esta tarea del conector.
Errores de procesamiento del conector Count Número de errores de procesamiento de registros en estas tareas del conector.
Errores de procesamiento del conector Count Número de errores de procesamiento de registros en estas tareas del conector, incluidos los errores de reintento.
Eventos de conector omitidos Count Número de registros omitidos debido a errores dentro de estas tareas del conector.

Para ver la información de datos de un origen de conector de streaming:

  1. Seleccione Usar origen externo y elija un origen del conector de streaming.
  2. Configure y publique el origen del conector de streaming.
  3. En el panel inferior de la vista activa, seleccione la pestaña Información de datos.
  4. Si hay datos dentro del origen del conector de streaming, el gráfico de métricas aparece en la pestaña Información de datos.
  5. En el lado derecho de la pestaña, active las casillas situadas junto a las métricas que desea mostrar.

Captura de pantalla que muestra las métricas de origen del conector.

Registros en tiempo de ejecución

La pestaña Registros en tiempo de ejecución permite comprobar los registros detallados que se producen en el motor de eventstream. Los registros en tiempo de ejecución tienen tres niveles de gravedad: advertencia, error e información.

Para ver los registros de runtime para un origen de centro de eventos Azure, origen de Azure IoT Hub, destino Lakehouse y destino de base de datos KQL (modo “procesamiento de eventos antes de la ingesta”):

  1. Seleccione el origen del centro de eventos Azure, el destino Lakehouse o el destino de base de datos KQL en el lienzo del editor principal.

  2. En el panel inferior, seleccione la pestaña Registros en tiempo de ejecución.

  3. Si hay datos dentro del origen del centro de eventos de Azure, el destino de lakehouse o el destino de la base de datos de KQL, los registros aparecen en la pestaña Registros en tiempo de ejecución.

  4. Busque los registros con la opción filtrar por palabra clave o filtre la lista cambiando la gravedad o el tipo.

  5. Para ver los registros más actuales, seleccione Actualizar.

Captura de pantalla en la que se muestran los registros en tiempo de ejecución de origen y destino.