Azure Data Factory veya Azure Synapse Analytics kullanarak Microsoft Fabric Lakehouse'da verileri kopyalama ve dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Microsoft Fabric Lakehouse, yapılandırılmış ve yapılandırılmamış verileri tek bir konumda depolamak, yönetmek ve analiz etmek için kullanılan bir veri mimarisi platformudur. Microsoft Fabric'teki tüm işlem altyapılarında sorunsuz veri erişimi elde etmek için Daha fazla bilgi edinmek için Lakehouse ve Delta Tables'a gidin. Varsayılan olarak, veriler V-Order'da Lakehouse Tablosu'na yazılır ve daha fazla bilgi için Delta Lake tablo iyileştirme ve V-Order'a gidebilirsiniz.

Bu makalede, Microsoft Fabric Lakehouse'dan ve Microsoft Fabric Lakehouse'a veri kopyalamak için Kopyalama etkinliği kullanma ve Microsoft Fabric Lakehouse'da verileri dönüştürmek için Veri Akışı kullanma adımları açıklanmaktadır. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun.

Desteklenen özellikler

Bu Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki özellikler için desteklenir:

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Microsoft Fabric Lakehouse bağlı hizmeti oluşturma

Azure portalı kullanıcı arabiriminde bir Microsoft Fabric Lakehouse bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine gidin ve Bağlı Hizmetler'i ve ardından Yeni'yi seçin:

   • Azure Data Factory
   • Azure Synapse

   

2. Microsoft Fabric Lakehouse'u arayın ve bağlayıcıyı seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Microsoft Fabric Lakehouse'a özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:

• Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için aşağıdaki adımları izleyin.

1. Bir uygulamayı Microsoft Identity platformuna kaydedin ve bir istemci gizli dizisi ekleyin. Daha sonra, bağlı hizmeti tanımlamak için kullandığınız bu değerleri not edin:

   • Bağlı hizmetteki hizmet sorumlusu kimliği olan uygulama (istemci) kimliği.
   • Bağlı hizmetteki hizmet sorumlusu anahtarı olan istemci gizli anahtarı.
   • Kiracı kimliği

2. Hizmet sorumlusuna en azından Microsoft Fabric çalışma alanında Katkıda Bulunan rolü verin. Şu adımları izleyin:

   1. Microsoft Fabric çalışma alanınıza gidin, üst çubukta Erişimi yönet'i seçin. Ardından Kişi veya grup ekle'yi seçin.

      

      

   2. Kişi ekle bölmesinde hizmet asıl adınızı girin ve açılan listeden hizmet sorumlunuzu seçin.

      Not

      Power BI kiracı ayarları Hizmet sorumlularının Doku API'lerine erişimini etkinleştirmediği sürece hizmet sorumlusu Kişi ekle listesinde görünmez.

   3. Rolü Katkıda Bulunan veya üzeri (Yönetici, Üye) olarak belirtin ve ekle'yi seçin.

      

   4. Hizmet sorumlunuz Erişimi yönet bölmesinde görüntülenir.

Bu özellikler bağlı hizmet için desteklenir:

Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma

Hizmet sorumlusu anahtarını Azure Key Vault'ta da depolayabilirsiniz.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Microsoft Fabric Lakehouse bağlayıcısı, Microsoft Fabric Lakehouse Files veri kümesi ve Microsoft Fabric Lakehouse Tablo veri kümesi olmak üzere iki tür veri kümesini destekler. Ayrıntılar için ilgili bölümlere bakın.

• Microsoft Fabric Lakehouse Files veri kümesi
• Microsoft Fabric Lakehouse Tablo veri kümesi

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . Veri kümeleri.

Microsoft Fabric Lakehouse Files veri kümesi

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Aşağıdaki özellikler, biçim tabanlı Microsoft Fabric Lakehouse Files veri kümesindeki ayarlar altında location desteklenir:

Örnek:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Microsoft Fabric Lakehouse Tablo veri kümesi

Microsoft Fabric Lakehouse Tablo veri kümesi için aşağıdaki özellikler desteklenir:

Örnek:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "schema": "<schema_name>",
            "table": "<table_name>"   
        },
        "schema": [< physical schema, optional, retrievable during authoring >]
    } 
}

Kopyalama etkinliğinin özellikleri

Microsoft Fabric Lakehouse Files veri kümesi ve Microsoft Fabric Lakehouse Tablo veri kümesi için kopyalama etkinliği özellikleri farklıdır. Ayrıntılar için ilgili bölümlere bakın.

• Kopyalama etkinliği'da Microsoft Fabric Lakehouse Dosyaları
• Kopyalama etkinliği'de Microsoft Fabric Lakehouse Tablosu

Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için bkz. Kopyalama etkinliği yapılandırmaları ve İşlem hatları ve etkinlikler.

Kopyalama etkinliği'da Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse Files veri kümesi türünü Kopyalama etkinliği kaynak veya havuz olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Microsoft Fabric Lakehouse Files veri kümesini kullanarak Microsoft Fabric Lakehouse'dan veri kopyalamaya ilişkin çeşitli seçenekleriniz vardır:

• Veri kümesinde belirtilen yoldan kopyalayın.
• Klasör yoluna veya dosya adına göre joker karakter filtresi, bkz wildcardFolderPath . ve wildcardFileName.
• Belirli bir metin dosyasında tanımlanan dosyaları dosya kümesi olarak kopyalayın, bkz fileListPath. .

Aşağıdaki özellikler, Microsoft Fabric Lakehouse Files veri kümesi kullanılırken biçim tabanlı kopyalama kaynağı ayarları altındadır storeSettings :

Örnek:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Aşağıdaki özellikler, Microsoft Fabric Lakehouse Files veri kümesi kullanılırken biçim tabanlı kopyalama havuzu ayarları altındadır storeSettings :

Örnek:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Klasör ve dosya filtresi örnekleri

Bu bölümde, joker karakter filtreleriyle klasör yolunun ve dosya adının elde edilen davranışı açıklanmaktadır.

Dosya listesi örnekleri

Bu bölümde, kopyalama etkinliği kaynağında dosya listesi yolunu kullanmanın elde edilen davranışı açıklanmaktadır.

Aşağıdaki kaynak klasör yapısına sahip olduğunuzu ve dosyaları kalın yazıyla kopyalamak istediğinizi varsayarsak:

Bazı özyinelemeli ve copyBehavior örnekleri

Bu bölümde özyinelemeli ve copyBehavior değerlerinin farklı birleşimleri için kopyalama işleminin sonuç davranışı açıklanmaktadır.

Kopyalama etkinliği'de Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini Kopyalama etkinliği kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini kullanarak Microsoft Fabric Lakehouse'dan veri kopyalamak için Kopyalama etkinliği kaynağındaki type özelliğini LakehouseTableSource olarak ayarlayın. aşağıdaki özellikler Kopyalama etkinliği kaynak bölümünde desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini kullanarak Verileri Microsoft Fabric Lakehouse'a kopyalamak için Kopyalama Etkinliği havuzundaki type özelliğini LakehouseTableSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Eşleme veri akışı özellikleri

Eşleme veri akışındaki verileri dönüştürürken, Microsoft Fabric Lakehouse'daki dosyaları veya tabloları okuyup yazabilirsiniz. Ayrıntılar için ilgili bölümlere bakın.

• Eşleme veri akışında Microsoft Fabric Lakehouse Dosyaları
• Eşleme veri akışında Microsoft Fabric Lakehouse Tablosu

Daha fazla bilgi için bkz . Eşleme veri akışlarında kaynak dönüştürme ve havuz dönüşümü .

Eşleme veri akışında Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse Files veri kümesini eşleme veri akışında kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak veya havuz türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Doku Lakehouse dosya tabanlı bağlayıcıyı satır içi veri kümesi türünde kullanmak için verileriniz için doğru Satır İçi veri kümesi türünü seçmeniz gerekir. Veri biçiminize bağlı olarak DelimitedText, Avro, JSON, ORC veya Parquet kullanabilirsiniz.

Eşleme veri akışında Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini eşleme veri akışında kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Tablosu

Kaynak seçenekleri altında yapılandırılabilir özellik yoktur.

Havuz türü olarak Microsoft Fabric Lakehouse Tablosu

Eşleme Veri Akışı havuzu bölümünde aşağıdaki özellikler desteklenir:

Örnek: Microsoft Fabric Lakehouse Tablo havuzu

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Satır içi veri kümesi türündeki Fabric Lakehouse tablo tabanlı bağlayıcı için yalnızca veri kümesi türü olarak Delta kullanmanız gerekir. Bu, Fabric Lakehouse tablolarından veri okumanızı ve yazmanızı sağlar.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Etkinlik özelliklerini silme

Özellikler hakkında ayrıntılı bilgi edinmek için Silme etkinliği'ne bakın

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.