Schema- och datatypsmappning i kopieringsaktivitet

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur Kopieringsaktiviteten i Azure Data Factory utför schemamappning och datatypsmappning från källdata till mottagardata.

Schemamappning

Standardmappning

Som standard mappar kopieringsaktivitet källdata till mottagare efter kolumnnamn på skiftlägeskänsligt sätt. Om mottagaren inte finns, till exempel om du skriver till filer, sparas källfältnamnen som mottagarnamn. Om mottagaren redan finns måste den innehålla alla kolumner som kopieras från källan. Sådan standardmappning stöder flexibla scheman och schemaavvikelser från källa till mottagare från körning till körning – alla data som returneras av källdatalagret kan kopieras till mottagare.

Om källan är textfil utan rubrikrad krävs explicit mappning eftersom källan inte innehåller kolumnnamn.

Explicit mappning

Du kan också ange explicit mappning för att anpassa kolumn-/fältmappningen från källa till mottagare baserat på dina behov. Med explicit mappning kan du bara kopiera partiella källdata till mottagare eller mappa källdata till mottagare med olika namn eller omforma tabell-/hierarkiska data. aktiviteten Kopiera:

1. Läser data från källan och fastställer källschemat.
2. Tillämpar din definierade mappning.
3. Skriver data till mottagare.

Läs mer om:

• Tabellkälla till tabellmottagare
• Hierarkisk källa till tabellmottagare
• Tabell-/hierarkisk källa till hierarkisk mottagare

Du kan konfigurera mappningen i användargränssnittet för redigering –> kopieringsaktivitet –> mappningsfliken eller programmatiskt ange mappningen i kopieringsaktiviteten –>translator egenskap. Följande egenskaper stöds i translator ->mappings matris -> objekt ->source och sink, som pekar på den specifika kolumnen/fältet för att mappa data.

Följande egenskaper stöds under translator utöver mappings:

Tabellkälla till tabellmottagare

Om du till exempel vill kopiera data från Salesforce till Azure SQL Database och uttryckligen mappa tre kolumner:

1. Vid kopieringsaktivitet –> mappningsfliken klickar du på knappen Importera scheman för att importera både käll- och mottagarscheman.

2. Mappa de fält som behövs och exkludera/ta bort resten.

Samma mappning kan konfigureras som följande i kopieringsaktivitetens nyttolast (se translator):

{
    "name": "CopyActivityTabularToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "SalesforceSource" },
        "sink": { "type": "SqlSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "name": "Id" },
                    "sink": { "name": "CustomerID" }
                },
                {
                    "source": { "name": "Name" },
                    "sink": { "name": "LastName" }
                },
                {
                    "source": { "name": "LastModifiedDate" },
                    "sink": { "name": "ModifiedDate" }
                }
            ]
        }
    },
    ...
}

Om du vill kopiera data från avgränsade textfiler utan rubrikrad representeras kolumnerna av ordningstal i stället för namn.

{
    "name": "CopyActivityTabularToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "DelimitedTextSource" },
        "sink": { "type": "SqlSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "ordinal": "1" },
                    "sink": { "name": "CustomerID" }
                }, 
                {
                    "source": { "ordinal": "2" },
                    "sink": { "name": "LastName" }
                }, 
                {
                    "source": { "ordinal": "3" },
                    "sink": { "name": "ModifiedDate" }
                }
            ]
        }
    },
    ...
}

Hierarkisk källa till tabellmottagare

När du kopierar data från hierarkisk källa till tabellmottagare stöder kopieringsaktiviteten följande funktioner:

• Extrahera data från objekt och matriser.
• Kors tillämpa flera objekt med samma mönster från en matris, i vilket fall för att konvertera ett JSON-objekt till flera poster i tabellresultatet.

För mer avancerad hierarkisk-till-tabelltransformering kan du använda Dataflöde.

Om du till exempel har MongoDB-källdokumentet med följande innehåll:

{
    "id": {
        "$oid": "592e07800000000000000000"
    },
    "number": "01",
    "date": "20170122",
    "orders": [
        {
            "prod": "p1",
            "price": 23
        },
        {
            "prod": "p2",
            "price": 13
        },
        {
            "prod": "p3",
            "price": 231
        }
    ],
    "city": [ { "name": "Seattle" } ]
}

Och du vill kopiera den till en textfil i följande format med rubrikrad genom att platta ut data i matrisen (order_pd och order_price) och korskoppling med den gemensamma rotinformationen (nummer, datum och stad):

Du kan definiera en sådan mappning i användargränssnittet för Data Factory-redigering:

1. Vid kopieringsaktivitet –> mappningsfliken klickar du på knappen Importera scheman för att importera både käll- och mottagarscheman. När tjänsten tar exempel på de översta objekten när du importerar schemat, om något fält inte visas, kan du lägga till det i rätt lager i hierarkin – hovra på ett befintligt fältnamn och välja att lägga till en nod, ett objekt eller en matris.

2. Välj den matris som du vill iterera och extrahera data från. Den fylls i automatiskt som samlingsreferens. Observera att endast en enskild matris stöds för en sådan åtgärd.

3. Mappa de fält som behövs för att mottagare. Tjänsten avgör automatiskt motsvarande JSON-sökvägar för den hierarkiska sidan.

Du kan också växla till Avancerad redigerare, i vilket fall du kan se och redigera fältens JSON-sökvägar direkt. Om du väljer att lägga till ny mappning i den här vyn anger du JSON-sökvägen.

Samma mappning kan konfigureras som följande i kopieringsaktivitetens nyttolast (se translator):

{
    "name": "CopyActivityHierarchicalToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "MongoDbV2Source" },
        "sink": { "type": "DelimitedTextSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "path": "$['number']" },
                    "sink": { "name": "orderNumber" }
                },
                {
                    "source": { "path": "$['date']" },
                    "sink": { "name": "orderDate" }
                },
                {
                    "source": { "path": "['prod']" },
                    "sink": { "name": "order_pd" }
                },
                {
                    "source": { "path": "['price']" },
                    "sink": { "name": "order_price" }
                },
                {
                    "source": { "path": "$['city'][0]['name']" },
                    "sink": { "name": "city" }
                }
            ],
            "collectionReference": "$['orders']"
        }
    },
    ...
}

Tabell-/hierarkisk källa till hierarkisk mottagare

Användarupplevelsens flöde liknar hierarkisk källa till tabellmottagare.

När du kopierar data från tabellkälla till hierarkisk mottagare stöds inte skrivning till matris inuti objekt.

När du kopierar data från hierarkisk källa till hierarkisk mottagare kan du dessutom bevara hela lagrets hierarki genom att välja objektet/matrisen och kartan som ska sjunka utan att röra de inre fälten.

För mer avancerad transformering av data kan du använda Dataflöde.

Parameterisera mappning

Om du vill skapa en templaterad pipeline för att kopiera ett stort antal objekt dynamiskt kan du avgöra om du kan använda standardmappningen eller om du behöver definiera explicit mappning för respektive objekt.

Om explicit mappning behövs kan du:

1. Definiera en parameter med objekttyp på pipelinenivå, till exempel mapping.

2. Parametrisera mappningen: vid kopieringsaktivitet –> mappningsfliken väljer du att lägga till dynamiskt innehåll och väljer parametern ovan. Aktivitetsnyttolasten skulle vara följande:

   {
       "name": "CopyActivityHierarchicalToTabular",
       "type": "Copy",
       "typeProperties": {
           "source": {...},
           "sink": {...},
           "translator": {
               "value": "@pipeline().parameters.mapping",
               "type": "Expression"
           },
           ...
       }
   }
   

3. Konstruera värdet som ska skickas till mappningsparametern. Det bör vara hela definitionsobjektet translator , se exemplen i avsnittet explicit mappning . För t.ex. tabellkälla till tabellmottagare ska värdet vara {"type":"TabularTranslator","mappings":[{"source":{"name":"Id"},"sink":{"name":"CustomerID"}},{"source":{"name":"Name"},"sink":{"name":"LastName"}},{"source":{"name":"LastModifiedDate"},"sink":{"name":"ModifiedDate"}}]}.

Mappningar av datatyp

aktiviteten Kopiera utför källtyper för mappning av mottagartyper med följande flöde:

1. Konvertera från källbaserade datatyper till mellanliggande datatyper som används av Azure Data Factory- och Synapse-pipelines.
2. Konvertera mellanliggande datatyp automatiskt efter behov för att matcha motsvarande mottagartyper, som gäller både för standardmappning och explicit mappning.
3. Konvertera från mellanliggande datatyper till inbyggda datatyper.

aktiviteten Kopiera stöder för närvarande följande interimdatatyper: Boolesk, Byte, Byte-matris, Datetime, DatetimeOffset, Decimal, Double, GUID, Int16, Int32, Int64, SByte, Single, String, Timespan, UInt16, UInt32 och UInt64.

Följande datatypkonverteringar stöds mellan interimstyperna från källa till mottagare.

(1) Datum/tid innehåller DateTime och DateTimeOffset.

(2) Float-point innehåller enkel och dubbel.

(3) Heltal innehåller SByte, Byte, Int16, UInt16, Int32, UInt32, Int64 och UInt64.

Följande egenskaper stöds i kopieringsaktivitet för datatypskonvertering (under translator avsnittet för programmatisk redigering):

Exempel:

{
    "name": "CopyActivity",
    "type": "Copy",
    "typeProperties": {
        "source": {
        	"type": "ParquetSource"
        },
        "sink": {
            "type": "SqlSink"
        },
        "translator": {
            "type": "TabularTranslator",
            "typeConversion": true,
            "typeConversionSettings": {
                "allowDataTruncation": true,
                "treatBooleanAsNumber": true,
                "dateTimeFormat": "yyyy-MM-dd HH:mm:ss.fff",
                "dateTimeOffsetFormat": "yyyy-MM-dd HH:mm:ss.fff zzz",
                "timeSpanFormat": "dd\.hh\:mm",
                "culture": "en-gb"
            }
        }
	},
    ...
}

Äldre modeller

Alternativ kolumnmappning (äldre modell)

Du kan ange kopieringsaktivitet –>translator –>columnMappings för att mappa mellan tabellformade data. I det här fallet krävs avsnittet "struktur" för både indata- och utdatauppsättningar. Kolumnmappning stöder mappning av alla eller delmängder av kolumner i källdatamängdens "struktur" till alla kolumner i mottagardatauppsättningens "struktur". Följande är felvillkor som resulterar i ett undantag:

• Frågeresultatet för källdatalager har inget kolumnnamn som anges i avsnittet "struktur" för indatauppsättningen.
• Datalagret för mottagare (om med fördefinierat schema) inte har ett kolumnnamn som anges i avsnittet "struktur" för utdatauppsättningen.
• Antingen färre kolumner eller fler kolumner i "strukturen" för mottagardatauppsättningen än vad som anges i mappningen.
• Duplicerad mappning.

I följande exempel har indatauppsättningen en struktur och pekar på en tabell i en lokal Oracle-databas.

{
    "name": "OracleDataset",
    "properties": {
        "structure":
         [
            { "name": "UserId"},
            { "name": "Name"},
            { "name": "Group"}
         ],
        "type": "OracleTable",
        "linkedServiceName": {
            "referenceName": "OracleLinkedService",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "SourceTable"
        }
    }
}

I det här exemplet har utdatauppsättningen en struktur och pekar på en tabell i Salesforce.

{
    "name": "SalesforceDataset",
    "properties": {
        "structure":
        [
            { "name": "MyUserId"},
            { "name": "MyName" },
            { "name": "MyGroup"}
        ],
        "type": "SalesforceObject",
        "linkedServiceName": {
            "referenceName": "SalesforceLinkedService",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "SinkTable"
        }
    }
}

Följande JSON definierar en kopieringsaktivitet i en pipeline. Kolumnerna från källan som mappas till kolumner i mottagare med hjälp av egenskapen translator ->columnMappings .

{
    "name": "CopyActivity",
    "type": "Copy",
    "inputs": [
        {
            "referenceName": "OracleDataset",
            "type": "DatasetReference"
        }
    ],
    "outputs": [
        {
            "referenceName": "SalesforceDataset",
            "type": "DatasetReference"
        }
    ],
    "typeProperties":    {
        "source": { "type": "OracleSource" },
        "sink": { "type": "SalesforceSink" },
        "translator":
        {
            "type": "TabularTranslator",
            "columnMappings":
            {
                "UserId": "MyUserId",
                "Group": "MyGroup",
                "Name": "MyName"
            }
        }
    }
}

Om du använder syntaxen "columnMappings": "UserId: MyUserId, Group: MyGroup, Name: MyName" för för att ange kolumnmappning stöds den fortfarande som den är.

Alternativ schemamappning (äldre modell)

Du kan ange kopieringsaktivitet –>translator –>schemaMapping för att mappa mellan hierarkisk-formade data och tabellformade data, till exempel kopiera från MongoDB/REST till textfil och kopiera från Oracle till Azure Cosmos DB för MongoDB. Följande egenskaper stöds i avsnittet kopieringsaktivitet translator :

Exempel: kopiera från MongoDB till Oracle:

Om du till exempel har MongoDB-dokument med följande innehåll:

{
    "id": {
        "$oid": "592e07800000000000000000"
    },
    "number": "01",
    "date": "20170122",
    "orders": [
        {
            "prod": "p1",
            "price": 23
        },
        {
            "prod": "p2",
            "price": 13
        },
        {
            "prod": "p3",
            "price": 231
        }
    ],
    "city": [ { "name": "Seattle" } ]
}

och du vill kopiera dem till en Azure SQL-tabell i följande format genom att platta ut data i matrisen (order_pd och order_price) och korskoppling med den gemensamma rotinformationen (nummer, datum och ort):

Konfigurera schemamappningsregeln som följande JSON-exempel för kopieringsaktivitet:

{
    "name": "CopyFromMongoDBToOracle",
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "MongoDbV2Source"
        },
        "sink": {
            "type": "OracleSink"
        },
        "translator": {
            "type": "TabularTranslator",
            "schemaMapping": {
                "$.number": "orderNumber",
                "$.date": "orderDate",
                "prod": "order_pd",
                "price": "order_price",
                "$.city[0].name": "city"
            },
            "collectionReference":  "$.orders"
        }
    }
}

Relaterat innehåll

Se de andra artiklarna om kopieringsaktivitet:

• aktiviteten Kopiera översikt