Mapowania pozyskiwania

Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer

Mapowania pozyskiwania są używane podczas pozyskiwania do mapowania danych przychodzących na kolumny wewnątrz tabel.

Eksplorator danych obsługuje różne typy mapowań, zarówno zorientowane na wiersz (CSV, JSON, AVRO i W3CLOGFILE) oraz zorientowane na kolumny (Parquet i ORC).

Mapowania pozyskiwania mogą być wstępnie tworzone i mogą być przywoływane z polecenia pozyskiwania przy użyciu ingestionMappingReference parametrów. Pozyskiwanie jest możliwe bez określania mapowania. Aby uzyskać więcej informacji, zobacz Mapowanie tożsamości.

Każdy element na liście mapowania jest konstruowany z trzech pól:

Obsługiwane typy mapowań

W poniższej tabeli zdefiniowano typy mapowań, które mają być używane podczas pozyskiwania lub wykonywania zapytań względem danych zewnętrznych określonego formatu.

Mapowanie tożsamości

Pozyskiwanie jest możliwe bez określania ingestionMapping lub ingestionMappingReference właściwości. Dane są mapowane przy użyciu mapowania danych tożsamości pochodzącego ze schematu tabeli. Schemat tabeli pozostaje taki sam. format należy określić właściwość . Zobacz formaty pozyskiwania.

Przekształcenia mapowania

Niektóre mapowania formatów danych (Parquet, JSON i AVRO) obsługują proste i przydatne przekształcenia czasu pozyskiwania. Jeśli scenariusz wymaga bardziej złożonego przetwarzania w czasie pozyskiwania, użyj zasad aktualizacji, które umożliwiają definiowanie uproszczonego przetwarzania przy użyciu wyrażenia KQL.

Przykłady przekształcania mapowania

DropMappedFields przekształcenie:

Biorąc pod uwagę następującą zawartość JSON:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

Poniższe mapowanie danych mapuje cały Props obiekt na kolumnę Props dynamiczną, a jednocześnie wyklucza już zamapowane kolumny (Props.EventName jest już mapowane na kolumnę EventName, więc jest wykluczone).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

Pozyskane dane wyglądają następująco:

BytesAsBase64 przekształcenie

Biorąc pod uwagę następującą zawartość pliku AVRO:

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

Następujące mapowanie danych mapuje kolumnę IDENTYFIKATORa dwa razy z transformacją i bez jej przekształcenia.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

Pozyskane dane wyglądają następująco: