Propiedades de la ingesta de datos

  • Artículo

Se aplica a: ✅Microsoft Fabric✅Azure Data Explorer

La ingesta de datos es el proceso por el que se agregan datos a una tabla y están disponibles para la consulta. Puede agregar propiedades al comando de ingesta después de la palabra clave with.

Propiedades de la ingesta

Importante

En los datos de ingesta en cola se procesan por lotes mediante propiedades de ingesta. Las propiedades de asignación de ingesta más distintas usadas, como los distintos valores de ConstValue, más fragmentados se convierten en la ingesta, lo que puede provocar una degradación del rendimiento.

En la tabla siguiente se enumeran y describen las propiedades admitidas y se proporcionan ejemplos:

Propiedad Descripción Ejemplo
ingestionMapping valor de cadena que indica cómo se asignan los datos del archivo de origen a las columnas reales de la tabla. Defina el valor format con el tipo de asignación pertinente. Vea Asignaciones de datos. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(en desuso: avroMapping, csvMapping y jsonMapping)
ingestionMappingReference valor de cadena que indica cómo se asignan los datos del archivo de origen a las columnas reales de la tabla mediante un objeto de directiva de asignación con nombre. Defina el valor format con el tipo de asignación pertinente. Vea Asignaciones de datos. with (format="csv", ingestionMappingReference = "Mapping1")
(en desuso: avroMappingReference, csvMappingReference y jsonMappingReference)
creationTime El valor de fecha y hora (con formato de cadena ISO8601) que se usa en el momento de la creación de las extensiones de los datos ingeridos. Si no se especifica, se usa el valor actual (now()). Invalidar el valor predeterminado es útil al ingerir datos más antiguos, de modo que la directiva de retención se aplique correctamente. Si se especifica, asegúrese de que la propiedad Lookback de la directiva de combinación de extensiones vigente de la tabla de destino esté en línea con el valor especificado. with (creationTime="2017-02-13")
extend_schema valor booleano que, si se especifica, indica al comando que extienda el esquema de la tabla (el valor predeterminado es false). Esta opción solo se aplica a los comandos .append y .set-or-append. Las únicas extensiones de esquema permitidas tienen más columnas agregadas a la tabla al final. Si el esquema de tabla original es (a:string, b:int), una extensión de esquema válida sería (a:string, b:int, c:datetime, d:string), pero (a:string, c:datetime) no lo sería.
folder En el caso de los comandos de ingesta desde consulta, la carpeta que se va a asignar a la tabla. Si la tabla ya existe, esta propiedad invalida la carpeta de la tabla. with (folder="Tables/Temporary")
format El formato de los datos (consulte los formatos de datos compatibles). with (format="csv")
ingestIfNotExists valor de cadena que, si se especifica, impide que la ingesta se realice correctamente si la tabla ya tiene datos con la etiqueta ingest-by: con el mismo valor. Esto garantiza la ingesta de datos idempotente. Para más información, consulte Etiquetas "ingerir por". Las propiedades with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') indican que, si ya existen datos con la etiqueta ingest-by:Part0001, no se completará la ingesta actual. Sin embargo, si aún no existen, esta nueva ingesta debería tener la etiqueta establecida (por si en el futuro se intentan ingerir de nuevo los mismos datos).
ignoreFirstRecord valor booleano que, si se establece en true, indica que la ingesta debe omitir el primer registro de cada archivo. Esta propiedad es útil para los archivos con formato CSV y formatos similares, si el primer registro del archivo son los nombres de columna. De manera predeterminada, se presupone que es false. with (ignoreFirstRecord=false)
policy_ingestiontime valor booleano que, si se especifica, describe si se habilita la directiva de tiempo de ingesta en una tabla que este comando crea. El valor predeterminado es true. with (policy_ingestiontime=false)
recreate_schema valor booleano que, si se especifica, describe si el comando puede volver a crear el esquema de la tabla. Esta propiedad solo se aplica al comando .set-or-replace. Esta propiedad tiene prioridad sobre la propiedad extend_schema si ambas están establecidas. with (recreate_schema=true)
tags Una lista de etiquetas que se asocian a los datos ingeridos, cuyo formato es una cadena JSON. with (tags="['Tag1', 'Tag2']")
TreatGzAsUncompressed Valor booleano que, si se establece en true, indica que los archivos con la extensión .gz no se comprimen. Esta marca a veces es necesaria al ingerir desde Amazon AWS S3. with (treatGzAsUncompressed=true)
validationPolicy Cadena JSON que indica qué validaciones se van a ejecutar durante la ingesta de datos representados mediante formato CSV. Consulte Ingesta de datos para una explicación de las distintas opciones. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (esta es la directiva predeterminada)
zipPattern Use esta propiedad al ingerir datos desde el almacenamiento que tiene un archivo ZIP. Se trata de un valor de cadena que indica la expresión regular que se va a usar al seleccionar los archivos del archivo ZIP que se van a ingerir. Se omiten todos los demás archivos del archivo. with (zipPattern="*.csv")

Contenido relacionado