Streaming de datos en Azure SQL Edge

Azure SQL Edge proporciona una implementación nativa de funcionalidades de streaming de datos denominada streaming de Transact-SQL (T-SQL). Proporciona streaming de datos en tiempo real, análisis y procesamiento de eventos para analizar y procesar grandes volúmenes de datos de streaming rápidos de varios orígenes simultáneamente. El streaming de T-SQL se crea con el mismo motor de streaming de alto rendimiento que potencia Azure Stream Analytics en Microsoft Azure. La característica admite un conjunto similar de funcionalidades ofrecidas por Azure Stream Analytics que se ejecuta en el borde.

Al igual que con Stream Analytics, el streaming de T-SQL reconoce patrones y relaciones en la información extraída de varios orígenes de entrada de IoT, incluidos dispositivos, sensores y aplicaciones. Puede usar estos patrones para desencadenar acciones e iniciar flujos de trabajo. Por ejemplo, puede crear alertas, suministrar información a una solución de informes o visualización, o almacenar los datos para un uso posterior.

El streaming de T-SQL puede ayudarle a lo siguiente:

• Análisis de los flujos de telemetría en tiempo real desde dispositivos IoT.
• Análisis en tiempo real de los datos generados a partir de vehículos autónomos y sin controlador.
• Uso de supervisión remota y mantenimiento predictivo de recursos industriales o de fabricación de gran valor.
• Uso de detección de anomalías y reconocimiento de patrones de lecturas del sensor de IoT en una granja agrícola o energética.

¿Cómo funciona el streaming de T-SQL?

El streaming de T-SQL funciona exactamente de la misma manera que Azure Stream Analytics. Por ejemplo, usa el concepto de trabajos de streaming para el procesamiento de streaming de datos en tiempo real.

Un trabajo de Stream Analytics consta de lo siguiente:

• Entrada de flujo: define las conexiones a un origen de datos del que se va a leer el flujo de datos. Actualmente Azure SQL Edge admite los siguientes tipos de entradas de flujo:

  • Centro de Microsoft Edge
  • Kafka (la compatibilidad con las entradas de Kafka solo está disponible actualmente en las versiones Intel/AMD64 de Azure SQL Edge).

• Salida de flujo: define las conexiones a un origen de datos en el que se va a escribir el flujo de datos. Azure SQL Edge actualmente admite los siguientes tipos de salidas de flujo:

  • Centro de Microsoft Edge
  • SQL (la salida de SQL puede ser una base de datos local dentro de la instancia de Azure SQL Edge, o una instancia remota de SQL Server o Azure SQL Database).

• Consulta de flujo: define la transformación, las agregaciones, el filtro, la ordenación y las combinaciones que se deben aplicar al flujo de entrada antes de que se escriba en la salida de flujo. La consulta de flujo se basa en el mismo lenguaje de consulta que el utilizado por Stream Analytics. Para más información, consulte Lenguaje de consulta de Stream Analytics.

Limitaciones

Las limitaciones y restricciones siguientes se aplican al streaming de T-SQL.

• Solo puede haber un trabajo de streaming activo en un momento específico. Los trabajos que ya se están ejecutando deben detenerse antes de iniciar otro trabajo.
• Cada ejecución de un trabajo de streaming tiene un único subproceso. Si el trabajo de streaming contiene varias consultas, cada consulta se evalúa en orden de serie.
• Al detener un trabajo de streaming en Azure SQL Edge, puede haber algún retraso al iniciar el siguiente. Este retraso se introduce porque el proceso de streaming subyacente debe detenerse en respuesta a la solicitud de detención del trabajo y después reiniciarse en respuesta a la solicitud de inicio del trabajo.
• Streaming de T-SQL hasta 32 particiones para un flujo de Kafka. Intentar configurar un número de particiones mayor hace que se produzca un error.

Contenido relacionado

• Creación de un trabajo de Stream Analytics en Azure SQL Edge
• Visualización de los metadatos asociados a los trabajos de streaming en Azure SQL Edge
• Creación de una transmisión externa