Common Data Model-format i Azure Data Factory och Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Cdm-metadatasystemet (Common Data Model) gör det möjligt för data och dess betydelse att enkelt delas mellan program och affärsprocesser. Mer information finns i Översikt över Common Data Model .

I Azure Data Factory- och Synapse-pipelines kan användare transformera data från CDM-entiteter i både model.json- och manifestformulär som lagras i Azure Data Lake Store Gen2 (ADLS Gen2) med hjälp av mappning av dataflöden. Du kan också hämta data i CDM-format med cdm-entitetsreferenser som landar dina data i CSV- eller Parquet-format i partitionerade mappar.

Mappa dataflödesegenskaper

Common Data Model är tillgänglig som en infogad datauppsättning i mappning av dataflöden som både en källa och en mottagare.

Källegenskaper

Tabellen nedan visar de egenskaper som stöds av en CDM-källa. Du kan redigera dessa egenskaper på fliken Källalternativ .

När du väljer "Entitetsreferens" både i käll- och mottagartransformeringar kan du välja bland dessa tre alternativ för platsen för entitetsreferensen:

• Lokal använder entiteten som definierats i manifestfilen som redan används av tjänsten
• Custom ber dig att peka på en entitetsmanifestfil som skiljer sig från manifestfilen som tjänsten använder
• Standard använder en entitetsreferens från standardbiblioteket för CDM-entiteter som underhålls i GitHub.

Inställningar för mottagare

• Peka på referensfilen för CDM-entiteten som innehåller definitionen av den entitet som du vill skriva.

• Definiera partitionssökvägen och formatet för de utdatafiler som du vill att tjänsten ska använda för att skriva dina entiteter.

• Ange platsen för utdatafilen och platsen och namnet på manifestfilen.

Importera schema

CDM är endast tillgängligt som en infogad datauppsättning och har som standard inget associerat schema. Om du vill hämta kolumnmetadata klickar du på knappen Importera schema på fliken Projektion . På så sätt kan du referera till kolumnnamnen och datatyperna som anges av corpus. Om du vill importera schemat måste en dataflödesbugingsession vara aktiv och du måste ha en befintlig CDM-entitetsdefinitionsfil att peka på.

När du mappar dataflödeskolumner till entitetsegenskaper i sinktransformeringen klickar du på fliken Mappning och väljer "Importera schema". Tjänsten läser entitetsreferensen som du pekade på i alternativen för mottagare, så att du kan mappa till mål-CDM-schemat.

1. Öppna filen model.json i en textredigerare
2. Hitta partitionerna. Platsegenskap
3. Ändra "blob.core.windows.net" till "dfs.core.windows.net"
4. Åtgärda eventuella %2F-kodningar i URL:en till "/"
5. Om du använder ADF-dataflöden måste specialtecken i partitionsfilens sökväg ersättas med alfanumeriska värden eller växla till Azure Synapse Data Flows

Exempel på CDM-källdataflödesskript

source(output(
        ProductSizeId as integer,
        ProductColor as integer,
        CustomerId as string,
        Note as string,
        LastModifiedDate as timestamp
    ),
    allowSchemaDrift: true,
    validateSchema: false,
    entity: 'Product.cdm.json/Product',
    format: 'cdm',
    manifestType: 'manifest',
    manifestName: 'ProductManifest',
    entityPath: 'Product',
    corpusPath: 'Products',
    corpusStore: 'adlsgen2',
    adlsgen2_fileSystem: 'models',
    folderPath: 'ProductData',
    fileSystem: 'data') ~> CDMSource

Egenskaper för mottagare

Tabellen nedan visar de egenskaper som stöds av en CDM-mottagare. Du kan redigera de här egenskaperna på fliken Inställningar .

Exempel på cdm-mottagardataflödesskript

Det associerade dataflödesskriptet är:

CDMSource sink(allowSchemaDrift: true,
    validateSchema: false,
    entity: 'Product.cdm.json/Product',
    format: 'cdm',
    entityPath: 'ProductSize',
    manifestName: 'ProductSizeManifest',
    corpusPath: 'Products',
    partitionPath: 'adf',
    folderPath: 'ProductSizeData',
    fileSystem: 'cdm',
    subformat: 'parquet',
    corpusStore: 'adlsgen2',
    adlsgen2_fileSystem: 'models',
    truncate: true,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> CDMSink

Relaterat innehåll

Skapa en källtransformering i dataflödet för mappning.