Mapeamentos de ingestão

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

Os mapeamentos de ingestão são usados durante a ingestão para mapear dados de entrada para colunas dentro de tabelas.

O Data Explorer dá suporte a diferentes tipos de mapeamentos, tanto orientados a linhas (CSV, JSON, AVRO e W3CLOGFILE) quanto orientados a colunas (Parquet e ORC).

Os mapeamentos de ingestão podem ser pré-criados e podem ser referenciados a partir do comando de ingestão usando ingestionMappingReference parâmetros. A ingestão é possível sem especificar um mapeamento. Para obter mais informações, consulte mapeamento de identidade.

Cada elemento na lista de mapeamento é construído a partir de três campos:

Tipos de mapeamento compatíveis

A tabela a seguir define os tipos de mapeamento a serem usados ao ingerir ou consultar dados externos de um formato específico.

Mapeamento de identidade

A ingestão é possível sem especificar ingestionMapping ou ingestionMappingReference propriedades. Os dados são mapeados usando um mapeamento de dados de identidade derivado do esquema da tabela. O esquema da tabela permanece o mesmo. format deve ser especificada. Consulte formatos de assimilação.

Transformações de mapeamento

Alguns dos mapeamentos de formato de dados (Parquet, JSON e AVRO) dão suporte a transformações de tempo de ingestão simples e úteis. Quando o cenário exigir um processamento mais complexo no momento da ingestão, use a política de atualização, que permite definir o processamento leve usando a expressão KQL.

Exemplos de transformação de mapeamento

DropMappedFields transformação:

Dado o seguinte conteúdo JSON:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

O mapeamento de dados a seguir mapeia todo o Props objeto em uma coluna Props dinâmica, excluindo colunas já mapeadas (Props.EventName já está mapeado em coluna EventName, portanto, está excluído).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

Os dados ingeridos têm a seguinte aparência:

BytesAsBase64 transformação

Dado o seguinte conteúdo do arquivo AVRO:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

O mapeamento de dados a seguir mapeia a coluna ID duas vezes, com e sem a transformação.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

Os dados ingeridos têm a seguinte aparência: