Mapování schématu a datového typu v aktivitě kopírování

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tento článek popisuje, jak aktivita kopírování služby Azure Data Factory provádí mapování schématu a mapování datového typu ze zdrojových dat na data jímky.

Schema mapping

Výchozí mapování

Ve výchozím nastavení aktivita kopírování mapuje zdrojová data na jímku podle názvů sloupců a rozlišují se malá a velká písmena. Pokud jímka neexistuje, například zápis do souborů, názvy zdrojových polí se zachovají jako názvy jímky. Pokud jímka již existuje, musí obsahovat všechny sloupce, které se kopírují ze zdroje. Takové výchozí mapování podporuje flexibilní schémata a posun schématu od zdroje k jímce od spuštění ke spuštění – všechna data vrácená zdrojovým úložištěm dat je možné zkopírovat do jímky.

Pokud je zdrojem textový soubor bez řádku záhlaví, explicitní mapování se vyžaduje, protože zdroj neobsahuje názvy sloupců.

Explicitní mapování

Můžete také určit explicitní mapování pro přizpůsobení mapování sloupců a polí ze zdroje na jímku podle potřeby. Pomocí explicitního mapování můžete zkopírovat pouze částečná zdrojová data do jímky nebo namapovat zdrojová data do jímky s různými názvy nebo změnit tvar tabulkových nebo hierarchických dat. aktivita Copy:

1. Načte data ze zdroje a určí zdrojové schéma.
2. Použije definované mapování.
3. Zapíše data do jímky.

Přečtěte si další informace:

• Tabulkový zdroj do tabulkové jímky
• Hierarchický zdroj do tabulkové jímky
• Tabulkový/hierarchický zdroj do hierarchické jímky

Mapování můžete nakonfigurovat v uživatelském rozhraní pro vytváření –> aktivita kopírování –> karta mapování nebo programově určit mapování v aktivitě kopírování –>translator vlastnost. Následující vlastnosti jsou podporovány v translator>mappings polích -> objekty ->source a sink, které odkazuje na konkrétní sloupec nebo pole pro mapování dat.

Kromě těchto vlastností jsou podporovány translator následující mappingsvlastnosti:

Tabulkový zdroj do tabulkové jímky

Pokud například chcete zkopírovat data ze Salesforce do Azure SQL Database a explicitně namapovat tři sloupce:

1. Při aktivitě kopírování –> karta mapování klikněte na tlačítko Importovat schémata a importujte schémata zdroje i jímky.

2. Namapujte potřebná pole a vyloučíte nebo odstraňte zbytek.

Stejné mapování lze nakonfigurovat jako následující v datové části aktivity kopírování (viz translator):

{
    "name": "CopyActivityTabularToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "SalesforceSource" },
        "sink": { "type": "SqlSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "name": "Id" },
                    "sink": { "name": "CustomerID" }
                },
                {
                    "source": { "name": "Name" },
                    "sink": { "name": "LastName" }
                },
                {
                    "source": { "name": "LastModifiedDate" },
                    "sink": { "name": "ModifiedDate" }
                }
            ]
        }
    },
    ...
}

Pokud chcete kopírovat data z textových souborů s oddělovači bez řádku záhlaví, sloupce jsou místo názvů reprezentovány pořadovým řádkem.

{
    "name": "CopyActivityTabularToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "DelimitedTextSource" },
        "sink": { "type": "SqlSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "ordinal": "1" },
                    "sink": { "name": "CustomerID" }
                }, 
                {
                    "source": { "ordinal": "2" },
                    "sink": { "name": "LastName" }
                }, 
                {
                    "source": { "ordinal": "3" },
                    "sink": { "name": "ModifiedDate" }
                }
            ]
        }
    },
    ...
}

Hierarchický zdroj do tabulkové jímky

Při kopírování dat z hierarchického zdroje do tabulkové jímky podporuje aktivita kopírování následující možnosti:

• Extrahujte data z objektů a polí.
• Křížové použití více objektů se stejným vzorem z pole, v takovém případě chcete převést jeden objekt JSON na více záznamů v tabulkovém výsledku.

K pokročilejší hierarchické a tabulkové transformaci můžete použít Tok dat.

Pokud máte například zdrojový dokument MongoDB s následujícím obsahem:

{
    "id": {
        "$oid": "592e07800000000000000000"
    },
    "number": "01",
    "date": "20170122",
    "orders": [
        {
            "prod": "p1",
            "price": 23
        },
        {
            "prod": "p2",
            "price": 13
        },
        {
            "prod": "p3",
            "price": 231
        }
    ],
    "city": [ { "name": "Seattle" } ]
}

A chcete ho zkopírovat do textového souboru v následujícím formátu s řádkem záhlaví tak, že zploštějí data uvnitř pole (order_pd a order_price) a kříží spojení s běžnými kořenovými informacemi (číslo, datum a město):<

Toto mapování můžete definovat v uživatelském rozhraní pro vytváření služby Data Factory:

1. Při aktivitě kopírování –> karta mapování klikněte na tlačítko Importovat schémata a importujte schémata zdroje i jímky. Vzhledem k tomu, že služba při importu schématu vzorkuje několik objektů, můžete ho přidat do správné vrstvy v hierarchii – najet myší na existující název pole a zvolit přidání uzlu, objektu nebo pole.

2. Vyberte pole, ze kterého chcete iterovat a extrahovat data. Automaticky se vyplní jako odkaz na kolekci. Všimněte si, že pro tuto operaci je podporováno pouze jedno pole.

3. Namapujte potřebná pole na jímku. Služba automaticky určí odpovídající cesty JSON pro hierarchickou stranu.

Můžete také přepnout do rozšířeného editoru, v takovém případě můžete přímo zobrazit a upravit cesty JSON polí. Pokud se rozhodnete přidat nové mapování v tomto zobrazení, zadejte cestu JSON.

Stejné mapování lze nakonfigurovat jako následující v datové části aktivity kopírování (viz translator):

{
    "name": "CopyActivityHierarchicalToTabular",
    "type": "Copy",
    "typeProperties": {
        "source": { "type": "MongoDbV2Source" },
        "sink": { "type": "DelimitedTextSink" },
        "translator": {
            "type": "TabularTranslator",
            "mappings": [
                {
                    "source": { "path": "$['number']" },
                    "sink": { "name": "orderNumber" }
                },
                {
                    "source": { "path": "$['date']" },
                    "sink": { "name": "orderDate" }
                },
                {
                    "source": { "path": "['prod']" },
                    "sink": { "name": "order_pd" }
                },
                {
                    "source": { "path": "['price']" },
                    "sink": { "name": "order_price" }
                },
                {
                    "source": { "path": "$['city'][0]['name']" },
                    "sink": { "name": "city" }
                }
            ],
            "collectionReference": "$['orders']"
        }
    },
    ...
}

Tabulkový/hierarchický zdroj do hierarchické jímky

Tok uživatelského prostředí je podobný hierarchickému zdroji jako tabulkové jímce.

Při kopírování dat z tabulkového zdroje do hierarchické jímky není zápis do pole uvnitř objektu podporován.

Při kopírování dat z hierarchického zdroje do hierarchické jímky můžete navíc zachovat hierarchii celé vrstvy výběrem objektu nebo pole a mapováním na jímku bez zásahu do vnitřních polí.

K pokročilejší transformaci transformace dat můžete použít Tok dat.

Mapování parametrizace

Pokud chcete vytvořit kanál s šablonou pro dynamické kopírování velkého počtu objektů, určete, jestli můžete využít výchozí mapování , nebo je potřeba definovat explicitní mapování pro příslušné objekty.

Pokud je potřeba explicitní mapování, můžete:

1. Definujte parametr s typem objektu na úrovni kanálu, mappingnapříklad .

2. Parametrizace mapování: při aktivitě kopírování –> karta mapování, zvolte přidání dynamického obsahu a vyberte výše uvedený parametr. Datová část aktivity by byla následující:

   {
       "name": "CopyActivityHierarchicalToTabular",
       "type": "Copy",
       "typeProperties": {
           "source": {...},
           "sink": {...},
           "translator": {
               "value": "@pipeline().parameters.mapping",
               "type": "Expression"
           },
           ...
       }
   }
   

3. Vytvořte hodnotu, která se má předat do parametru mapování. Měl by to být celý objekt translator definice, odkazovat na ukázky v explicitním mapování oddílu. Například pro tabulkový zdroj pro kopírování tabulkové jímky by měla být {"type":"TabularTranslator","mappings":[{"source":{"name":"Id"},"sink":{"name":"CustomerID"}},{"source":{"name":"Name"},"sink":{"name":"LastName"}},{"source":{"name":"LastModifiedDate"},"sink":{"name":"ModifiedDate"}}]}hodnota .

Mapování datového typu

aktivita Copy provádí mapování typů zdrojů na typy jímky s následujícím tokem:

1. Převod z nativních zdrojových datových typů na dočasné datové typy používané kanály Azure Data Factory a Synapse
2. Automaticky převést dočasný datový typ podle potřeby tak, aby odpovídal odpovídajícím typům jímky, které platí pro výchozí mapování i explicitní mapování.
3. Převod z dočasných datových typů na nativní datové typy jímky

aktivita Copy aktuálně podporuje následující dočasné datové typy: Boolean, Byte, Byte, Byte array, Datetime, Datetime, DatetimeOffset, Decimal, Double, GUID, Int16, Int32, Int64, SByte, Single, String, Timespan, UInt16, UInt32 a UInt64.

Mezi dočasnými typy ze zdroje do jímky jsou podporovány následující převody datových typů.

(1) Datum a čas zahrnuje DateTime a DateTimeOffset.

(2) Plovoucí desetiná čárka zahrnuje jednoduché a dvojité.

(3) Celé číslo zahrnuje SByte, Byte, Int16, UInt16, Int32, UInt32, Int64 a UInt64.

V aktivitě kopírování se podporují následující vlastnosti pro převod datového typu (v translator části pro programové vytváření):

Příklad:

{
    "name": "CopyActivity",
    "type": "Copy",
    "typeProperties": {
        "source": {
        	"type": "ParquetSource"
        },
        "sink": {
            "type": "SqlSink"
        },
        "translator": {
            "type": "TabularTranslator",
            "typeConversion": true,
            "typeConversionSettings": {
                "allowDataTruncation": true,
                "treatBooleanAsNumber": true,
                "dateTimeFormat": "yyyy-MM-dd HH:mm:ss.fff",
                "dateTimeOffsetFormat": "yyyy-MM-dd HH:mm:ss.fff zzz",
                "timeSpanFormat": "dd\.hh\:mm",
                "culture": "en-gb"
            }
        }
	},
    ...
}

Starší modely

Alternativní mapování sloupců (starší model)

Můžete zadat aktivitu kopírování –>translator pro>columnMappings mapování mezi tabulkovými daty ve tvaru. V tomto případě se pro vstupní i výstupní datové sady vyžaduje oddíl "struktura". Mapování sloupců podporuje mapování všech sloupců nebo podmnožinu sloupců ve zdrojové datové sadě "struktura" na všechny sloupce v datové sadě jímky "structure". Následují chybové podmínky, které vedou k výjimce:

• Výsledek dotazu zdrojového úložiště dat neobsahuje název sloupce zadaný v části struktura vstupní datové sady.
• Úložiště dat jímky (pokud s předdefinovaným schématem) neobsahuje název sloupce, který je zadaný v části struktura "struktury" výstupní datové sady.
• Buď méně sloupců nebo více sloupců v "struktuře" datové sady jímky, než je uvedeno v mapování.
• Duplicitní mapování

V následujícím příkladu má vstupní datová sada strukturu a odkazuje na tabulku v místní databázi Oracle.

{
    "name": "OracleDataset",
    "properties": {
        "structure":
         [
            { "name": "UserId"},
            { "name": "Name"},
            { "name": "Group"}
         ],
        "type": "OracleTable",
        "linkedServiceName": {
            "referenceName": "OracleLinkedService",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "SourceTable"
        }
    }
}

V této ukázce má výstupní datová sada strukturu a odkazuje na tabulku v Salesforce.

{
    "name": "SalesforceDataset",
    "properties": {
        "structure":
        [
            { "name": "MyUserId"},
            { "name": "MyName" },
            { "name": "MyGroup"}
        ],
        "type": "SalesforceObject",
        "linkedServiceName": {
            "referenceName": "SalesforceLinkedService",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "SinkTable"
        }
    }
}

Následující JSON definuje aktivitu kopírování v kanálu. Sloupce ze zdroje mapované na sloupce v jímce pomocí vlastnosti translator ->columnMappings .

{
    "name": "CopyActivity",
    "type": "Copy",
    "inputs": [
        {
            "referenceName": "OracleDataset",
            "type": "DatasetReference"
        }
    ],
    "outputs": [
        {
            "referenceName": "SalesforceDataset",
            "type": "DatasetReference"
        }
    ],
    "typeProperties":    {
        "source": { "type": "OracleSource" },
        "sink": { "type": "SalesforceSink" },
        "translator":
        {
            "type": "TabularTranslator",
            "columnMappings":
            {
                "UserId": "MyUserId",
                "Group": "MyGroup",
                "Name": "MyName"
            }
        }
    }
}

Pokud k určení mapování sloupců používáte syntaxi "columnMappings": "UserId: MyUserId, Group: MyGroup, Name: MyName" , je stále podporována tak, jak je.

Alternativní mapování schématu (starší verze modelu)

Můžete zadat aktivitu kopírování –>translator mapování>schemaMapping mezi hierarchickými daty a tabulkovými daty ve tvaru tabulky, například kopírování z MongoDB/REST do textového souboru a kopírování z Oracle do Azure Cosmos DB for MongoDB. V části aktivity translator kopírování jsou podporovány následující vlastnosti:

Příklad: kopírování z MongoDB do Oracle:

Pokud máte například dokument MongoDB s následujícím obsahem:

{
    "id": {
        "$oid": "592e07800000000000000000"
    },
    "number": "01",
    "date": "20170122",
    "orders": [
        {
            "prod": "p1",
            "price": 23
        },
        {
            "prod": "p2",
            "price": 13
        },
        {
            "prod": "p3",
            "price": 231
        }
    ],
    "city": [ { "name": "Seattle" } ]
}

a chcete ho zkopírovat do tabulky Azure SQL v následujícím formátu tak, že zploštějí data uvnitř pole (order_pd a order_price) a křížově spojíte s běžnými kořenovými informacemi (číslo, datum a město):

Nakonfigurujte pravidlo mapování schématu jako následující ukázku JSON aktivity kopírování:

{
    "name": "CopyFromMongoDBToOracle",
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "MongoDbV2Source"
        },
        "sink": {
            "type": "OracleSink"
        },
        "translator": {
            "type": "TabularTranslator",
            "schemaMapping": {
                "$.number": "orderNumber",
                "$.date": "orderDate",
                "prod": "order_pd",
                "price": "order_price",
                "$.city[0].name": "city"
            },
            "collectionReference":  "$.orders"
        }
    }
}

Související obsah

Podívejte se na další články o aktivitě kopírování:

• přehled aktivita Copy