Tipos de datos (Análisis de transmisiones de Azure)

  • Artículo

En Azure Stream Analytics, cada registro tiene un tipo de datos relacionado. Un tipo de datos describe (y restringe) el conjunto de valores que un registro de ese tipo puede contener o una expresión de ese tipo puede producir.

Tenga en cuenta que son registros que tienen un tipo y no columnas. Cada registro de una columna puede tener un tipo diferente. Si esto es transparente para la mayoría de las aplicaciones, permite un control sencillo de escenarios de desfase de esquema y otros patrones de escritura inusuales.

Tipos de datos admitidos

A continuación se muestra la lista de los tipos de datos admitidos.

Tipo de datos Descripción
bigint Enteros en el intervalo -2^63 (-9,223,372,036,854,775,808) a 2^63-1 (9,223,372,036,854,775,807).
FLOAT Números de puntos flotantes en el intervalo - 1.79E+308 to -2.23E-308, 0, and 2.23E-308 to 1.79E+308. En general, los valores decimales de punto flotante no tienen una representación binaria exacta. La pérdida de precisión se puede experimentar. Esto no es específico de Azure Stream Analytics, pero se produce en todas las implementaciones de números de punto flotante.
nvarchar(max) Valores de texto, compuestos de caracteres Unicode. Nota: No se admite un valor distinto de max.
datetime Define una fecha que se combina con una hora del día con fracciones de segundos (7 dígitos, precisión de 100 nanosegundos) que se basa en un reloj de 24 horas y en relación con utc (desplazamiento de zona horaria 0).
bit Entero que puede tomar un valor de 1, 0 o NULL. Esto se admite en el nivel de compatibilidad 1.2 y versiones posteriores.
registro Conjunto de pares nombre-valor. Los valores deben ser del tipo de datos admitido.
array Colección ordenada de valores. Los valores deben ser del tipo de datos admitido.

Puede combinar en (o comparar) un bigint y un tipo de datos float. Funcionará correctamente en todos los casos, excepto en el caso de los valores bigint muy grandes que no se pueden representar.

Nota

Al leer tipos de datos bigint fuera del intervalo, Azure Stream Analytics admite, el trabajo de Stream Analytics no podría deserializar los eventos con el mensaje de error InputDeserializationError. Puede procesar previamente los datos y convertirlos en cadena. Una opción consiste en usar Azure Functions para procesar previamente los datos y convertir estos enteros grandes en cadena.

Conversiones de tipos

Estas son las reglas que rigen las conversiones de tipos de datos:

  • La conversión sin pérdida de precisión durante las operaciones de lectura y escritura de salida de entrada es implícita y siempre se realiza correctamente.
  • La pérdida de precisión y el desbordamiento dentro de las operaciones de escritura de salida se controlan mediante la directiva de error configurada (establecida en Drop o Retry)
  • La directiva de error controla los errores de conversión de tipos que se producen durante las operaciones de escritura de salida.
  • Los errores de conversión de tipos que se producen durante las operaciones de lectura de entrada hacen que el trabajo quite el evento.

Una pérdida de precisión puede producirse al convertir valores en float. No es específico de Azure Stream Analytics, sino del tipo de datos float en general. Por lo tanto, no se considera un error. En el caso de que sea necesario conservar cada dígito, los datos se deben leer como cadena.

Conversión de datos

Hay cuatro funciones en el lenguaje SQL de streaming que son útiles para observar y ajustar el tipo de datos de los datos.

  • CAST : convertir una sola columna en un tipo determinado: producirá un error en el trabajo en caso de error de conversión.
  • TRY_CAST : convierte una sola columna en un tipo determinado: los errores se permiten como NULL. Consulte la validación de entrada para obtener el mejor uso TRY_CAST
  • CREATE TABLE : defina un único esquema explícito en una entrada. Las filas con errores de conversión se quitan de la secuencia
  • GetType : devuelve el tipo de una columna.

Para la mayoría de los casos de uso, la opción recomendada es usar TRY_CAST. Esta función protege el procesamiento de bajada al garantizar el tipo de salida, a la vez que evita la pérdida de datos reemplazando el valor en error por NULL. La fila no se quita y ese valor original todavía se puede proyectar en otra columna.

Para obtener garantías seguras, la opción recomendada es usar CREATE TABLE. Este enfoque permite informar al trabajo del esquema de una entrada determinada, sin riesgo de desviación. El equilibrio es que solo se puede definir un único esquema en una entrada determinada y se quitarán las filas no compatibles.

Si es posible, todas las operaciones de conversión se deben realizar explícitamente a través de estas funciones, en lugar de implícitamente (silenciosamente) en otras funciones. Esto evita errores de coincidencia de tipos, comportamientos inesperados y errores de inserción para salidas fuertemente tipadas como bases de datos SQL. Consulte validación de entrada para obtener información sobre cómo proteger la lógica de consulta principal frente a estos errores.

Conversión a bit

Los valores se convertirán entre float y bit con las reglas siguientes:

De En
(BIT) 1 (FLOAT) 1.0
(BIT) 0 (FLOAT) 0.0
(BIT) NULL (FLOAT) NULL
(FLOAT) 0.0 (BIT) 0
(FLOAT) cualquier otro valor (BIT) 1
(FLOAT) NULL (BIT) NULL

Asignaciones de tipos y formatos de serialización

Tipo de datos CSV en SALIDA DE CSV JSON en JSON out Avro in Avro out
bigint cadena convertida en un entero firmado de 64 bits Entero de 64 bits con signo convertido en cadena mediante la referencia cultural del trabajo number: entero convertido a entero de 64 bits con signo;

Boolean: en el nivel de compatibilidad 1.1 y por debajo de "false" se convierte en 0, "true" se convierte en 1.		 number: integer long e int convertido en entero de 64 bits con signo;

Boolean: en el nivel de compatibilidad 1.1 y por debajo de false se convierte en 0, true se convierte en 1		 long
float cadena que se convierte a un número de punto flotante firmado de 64 bits Número de punto flotante con signo de 64 bits convertido en cadena mediante la referencia cultural del trabajo number: fraction converted to 64 bit signed float point number (número de punto flotante con signo de 64 bits) number: fraction double y float convertidos en número de punto flotante firmado de 64 bits  double
nvarchar(max) string string string string string string
datetime cadena convertida en datetime según norma ISO 8601 cadena que usa el estándar ISO 8601 cadena convertida en datetime según norma ISO 8601 datetime convertida en cadena con norma ISO 8601 cadena convertida en datetime según norma ISO 8601 datetime convertida en cadena con norma ISO 8601
bit (nivel de compatibilidad 1.2 y superior) string "true", "false" o "null" se convierte en el valor entero 1, 0 o null correspondientemente. convertido en la cadena "true" o "false" Boolean: "false" se convierte en 0, "true" se convierte en 1 Boolean: valor booleano Boolean: false se convierte en 0, true se convierte en 1 boolean
record N/D No se admite, se genera la cadena "Record" Objeto JSON Objeto JSON Avro record type Avro record type
array N/D No se admite, se genera la cadena "Array" Objeto JSON Objeto JSON Avro record type Avro record type

Nota:

No se necesita ninguna conversión de tipos de datos para Parquet.

Asignación de tipos al escribir en almacenes de datos estructurados

Tipo de datos SQL Power BI Azure Cosmos DB PostgreSQL Explorador de datos de Azure
bigint bigint, int, smallint, tinyint, todos los tipos de cadena (ntext, nvarchar, char, ...) sí numeric: entero bigint dynamic, int, long
float float, real, decimal, numeric, all string types ( ntext, nvarchar, char, ...) sí number: fraction precisión doble, numérica. Limitado a 1.78E+308 dinámico, real, double
nvarchar(max) Todos los tipos de cadena (ntext, nvarchar, char, uniqueidentifier...) yes string carácter variable, texto dynamic, string
datetime datetime, datetime2, datetimeoffset, todos los tipos de cadena ( ntext, nvarchar, char, ...) sí datetime convertida en cadena con norma ISO 8601 timestamp, time. Opción de zona horaria admitida, pero no se proporcionará ninguna zona horaria. dynamic, string, datetime
bit (nivel de compatibilidad 1.2 y superior) bigint, int, smallint, tinyint, bit, todos los tipos de cadena (ntext, nvarchar, char, ...) sí booleano: 1 se convierte en true, 0 convertido en false bit dynamic, bool
record No se admite, se genera la cadena "Record" No se admite, se genera la cadena "Record" Objeto JSON No compatible dynamic, bool, long, datetime, byte array, real, double, string
array No se admite, se genera la cadena "Array" No se admite, se genera la cadena "Array" Objeto JSON No compatible dynamic, string