Сопоставления приема

Область применения: ✅Microsoft Fabric✅Azure Data Explorer

Сопоставления приема используются во время приема для сопоставления входящих данных со столбцами в таблицах.

Обозреватель данных поддерживает различные типы сопоставлений, ориентированные на строки (CSV, JSON, AVRO и W3CLOGFILE), а также ориентированные на столбцы (Parquet и ORC).

Сопоставления приема могут быть предварительно созданы и можно ссылаться из команды приема с помощью ingestionMappingReference параметров. Прием возможен без указания сопоставления. Дополнительные сведения см. в разделе сопоставления удостоверений.

Каждый элемент в списке сопоставлений создается из трех полей:

Поддерживаемые типы сопоставлений

В следующей таблице определяются типы сопоставления, используемые при приеме или запросе внешних данных определенного формата.

Сопоставление удостоверений

Прием возможен без указания ingestionMapping или ingestionMappingReference свойств. Данные сопоставляются с помощью сопоставления данных удостоверений, производных от схемы таблицы. Схема таблицы остается той же. format необходимо указать свойство. См . форматы приема.

Преобразования сопоставлений

Некоторые сопоставления формата данных (Parquet, JSON и AVRO) поддерживают простые и полезные преобразования времени приема. Если сценарий требует более сложной обработки во время приема, используйте политику обновления, которая позволяет определить упрощенную обработку с помощью выражения KQL.

Примеры преобразования сопоставления

DropMappedFields преобразование:

Учитывая следующее содержимое JSON:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

Следующее сопоставление данных сопоставляет весь Props объект с динамическим столбцом Props , исключая уже сопоставленные столбцы (Props.EventName уже сопоставлены с столбцами EventName, поэтому они исключены).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

Данные приема выглядят следующим образом:

BytesAsBase64 преобразование

Учитывая следующее содержимое файла AVRO:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

Следующее сопоставление данных сопоставляет столбец идентификатора дважды и без преобразования.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

Данные приема выглядят следующим образом: