Копирование и преобразование данных в Microsoft Fabric Lakehouse с помощью Фабрика данных Azure или Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Чтобы обеспечить простой доступ к данным во всех вычислительных модулях в Microsoft Fabric, перейдите в Lakehouse и Delta Tables , чтобы узнать больше. По умолчанию данные записываются в таблицу Lakehouse в V-Order, и вы можете перейти к оптимизации таблиц Delta Lake и V-Order для получения дополнительных сведений.

В этой статье описывается, как использовать действие Copy для копирования данных из Microsoft Fabric Lakehouse и использования Поток данных для преобразования данных в Microsoft Fabric Lakehouse. Дополнительные сведения см. в вводной статье о Фабрике данных Azure или Azure Synapse Analytics.

Поддерживаемые возможности

Этот соединитель Microsoft Fabric Lakehouse поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы Microsoft Fabric Lakehouse с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу Microsoft Fabric Lakehouse в пользовательском интерфейсе портал Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрика данных Azure или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Microsoft Fabric Lakehouse и выберите соединитель.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к Microsoft Fabric Lakehouse.

Свойства связанной службы

Соединитель Microsoft Fabric Lakehouse поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах:

• Проверка подлинности субъекта-службы

Аутентификация субъекта-службы

Чтобы использовать аутентификацию на основе субъекта-службы, выполните следующие действия.

1. Зарегистрируйте приложение на платформе удостоверений Майкрософт и добавьте секрет клиента. Затем запишите эти значения, которые используются для определения связанной службы:

   • Идентификатор приложения (клиента), который является идентификатором субъекта-службы в связанной службе.
   • Значение секрета клиента, являющееся ключом субъекта-службы в связанной службе.
   • Идентификатор клиента

2. Предоставьте субъекту-службе по крайней мере роль участника в рабочей области Microsoft Fabric. Выполните следующие действия:

   1. Перейдите в рабочую область Microsoft Fabric, выберите "Управление доступом" на верхней панели. Затем выберите "Добавить людей или группы".

      

      

   2. В области "Добавление людей" введите имя субъекта-службы и выберите субъект-службу в раскрывающемся списке.

      Примечание.

      Субъект-служба не будет отображаться в списке "Добавление людей" , если параметры клиента Power BI не позволяют субъектам-службам получать доступ к API Fabric.

   3. Укажите роль участника или более поздней версии (администратор, член), а затем нажмите кнопку "Добавить".

      

   4. Субъект-служба отображается на панели управления доступом .

Приведенные ниже свойства поддерживаются в связанной службе.

Пример: использование проверки подлинности с помощью ключа субъекта-службы

Вы также можете хранить ключ субъекта-службы в Azure Key Vault.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Соединитель Microsoft Fabric Lakehouse поддерживает два типа наборов данных, которые являются набором данных Microsoft Fabric Lakehouse Files и набором данных таблицы Microsoft Fabric Lakehouse. Дополнительные сведения см. в соответствующих разделах.

• Набор данных Microsoft Fabric Lakehouse Files
• Набор данных таблицы Microsoft Fabric Lakehouse

Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных в фабрике данных Azure.

Набор данных Microsoft Fabric Lakehouse Files

Соединитель Microsoft Fabric Lakehouse поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат JSON
• Формат ORC
• Формат Parquet

Следующие свойства поддерживаются в location параметрах в наборе данных Microsoft Fabric Lakehouse Files на основе формата:

Пример:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Набор данных таблицы Microsoft Fabric Lakehouse

Следующие свойства поддерживаются для набора данных таблицы Microsoft Fabric Lakehouse:

Пример:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "schema": "<schema_name>",
            "table": "<table_name>"   
        },
        "schema": [< physical schema, optional, retrievable during authoring >]
    } 
}

Свойства действия копирования

Свойства действия копирования для набора данных Microsoft Fabric Lakehouse Files и набора данных таблицы Microsoft Fabric Lakehouse отличаются. Дополнительные сведения см. в соответствующих разделах.

• Файлы Microsoft Fabric Lakehouse в действие Copy
• Таблица Microsoft Fabric Lakehouse в действие Copy

Полный список разделов и свойств, используемых для определения действий, доступен в разделах Действие копирования в фабрике данных Azure и Конвейеры и действия в фабрике данных Azure.

Файлы Microsoft Fabric Lakehouse в действие Copy

Чтобы использовать тип набора данных Microsoft Fabric Lakehouse Files в качестве источника или приемника в действие Copy, перейдите к следующим разделам для подробных конфигураций.

Файлы Microsoft Fabric Lakehouse в качестве исходного типа

Соединитель Microsoft Fabric Lakehouse поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат JSON
• Формат ORC
• Формат Parquet

У вас есть несколько вариантов копирования данных из Microsoft Fabric Lakehouse с помощью набора данных Microsoft Fabric Lakehouse Files:

• копирование из указанного пути в наборе данных;
• фильтр с подстановочными знаками для пути к папке или имени файла (см. сведения в разделах wildcardFolderPath и wildcardFileName);
• копирование набора файлов, определенных в заданном текстовом файле (см. сведения в разделе fileListPath).

Следующие свойства находятся storeSettings в параметрах в источнике копирования на основе формата при использовании набора данных Microsoft Fabric Lakehouse Files:

Пример:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Файлы Microsoft Fabric Lakehouse в качестве типа приемника

Соединитель Microsoft Fabric Lakehouse поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат JSON
• Формат ORC
• Формат Parquet

Следующие свойства находятся storeSettings в параметрах приемника копирования на основе формата при использовании набора данных Microsoft Fabric Lakehouse Files:

Пример:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Примеры фильтров папок и файлов

В этом разделе описываются результаты применения фильтров с подстановочными знаками к пути папки и имени файла.

Примеры списков файлов

В этом разделе описывается поведение, возникающее при указании пути к списку файлов в качестве источника для действия копирования.

Предположим, что у вас есть следующая исходная структура папок и вы хотите скопировать файлы, выделенные полужирным шрифтом:

Некоторые примеры recursive и copyBehavior

В данном разделе описываются результаты выполнения операции копирования при использовании различных сочетаний значений recursive и copyBehavior.

Таблица Microsoft Fabric Lakehouse в действие Copy

Чтобы использовать набор данных Таблицы Microsoft Fabric Lakehouse в качестве источника или приемника в действие Copy, перейдите к следующим разделам для подробных конфигураций.

Таблица Microsoft Fabric Lakehouse в качестве исходного типа

Чтобы скопировать данные из Microsoft Fabric Lakehouse с помощью набора данных таблицы Microsoft Fabric Lakehouse, задайте свойство типа в источнике действие Copy в LakehouseTableSource. Следующие свойства поддерживаются в разделе источника действие Copy:

Пример:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Таблица Microsoft Fabric Lakehouse в качестве типа приемника

Чтобы скопировать данные в Microsoft Fabric Lakehouse с помощью набора данных таблицы Microsoft Fabric Lakehouse, задайте для свойства type в приемнике действия копирования значение LakehouseTableSink. Следующие свойства поддерживаются в разделе приемника действие Copy:

Пример:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Свойства потока данных для сопоставления

При преобразовании данных в потоке данных сопоставления можно читать и записывать в файлы или таблицы в Microsoft Fabric Lakehouse. Дополнительные сведения см. в соответствующих разделах.

• Файлы Microsoft Fabric Lakehouse в потоке данных сопоставления
• Таблица Microsoft Fabric Lakehouse в потоке данных сопоставления

Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления.

Файлы Microsoft Fabric Lakehouse в потоке данных сопоставления

Чтобы использовать набор данных Microsoft Fabric Lakehouse Files в качестве источника или приемника в потоке данных сопоставления, перейдите к следующим разделам для подробных конфигураций.

Файлы Microsoft Fabric Lakehouse в качестве источника или приемника

Соединитель Microsoft Fabric Lakehouse поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Формат текста с разделителями
• Формат JSON
• Формат ORC
• Формат Parquet

Чтобы использовать соединитель на основе файлов Fabric Lakehouse в встроенном типе набора данных, необходимо выбрать правильный тип встроенного набора данных для данных. Вы можете использовать РазделителиText, Avro, JSON, ORC или Parquet в зависимости от формата данных.

Таблица Microsoft Fabric Lakehouse в потоке данных сопоставления

Чтобы использовать набор данных таблицы Microsoft Fabric Lakehouse в качестве источника или приемника в потоке данных сопоставления, перейдите к следующим разделам для подробных конфигураций.

Таблица Microsoft Fabric Lakehouse в качестве исходного типа

Настраиваемые свойства в параметрах источника отсутствуют.

Таблица Microsoft Fabric Lakehouse в качестве типа приемника

Следующие свойства поддерживаются в разделе приемника сопоставления Поток данных s:

Пример: приемник таблицы Microsoft Fabric Lakehouse

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Для соединителя на основе таблиц Fabric Lakehouse в встроенном типе набора данных необходимо использовать только разностный тип набора данных. Это позволит считывать и записывать данные из таблиц Fabric Lakehouse.

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Свойства действия GetMetadata

Подробные сведения об этих свойствах см. в статье Действие GetMetadata.

Свойства действия удаления

Подробные сведения об этих свойствах см. в статье Действие удаления.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.