Copie e transforme dados no Microsoft Fabric Lakehouse usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

O Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local. Para obter acesso contínuo aos dados em todos os mecanismos de computação no Microsoft Fabric, acesse Lakehouse e Delta Tables para saber mais. Por padrão, os dados são gravados na Lakehouse Table em V-Order, e você pode ir para Delta Lake table optimization e V-Order para obter mais informações.

Este artigo descreve como usar a atividade de cópia para copiar dados de e para o Microsoft Fabric Lakehouse e usar o fluxo de dados para transformar dados no Microsoft Fabric Lakehouse. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Capacidades suportadas

Este conector Microsoft Fabric Lakehouse é suportado para os seguintes recursos:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Começar agora

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• A ferramenta Copiar dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• Azure PowerShell
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado do Microsoft Fabric Lakehouse usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado do Microsoft Fabric Lakehouse na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e, em seguida, selecione Novo:

   • Fábrica de Dados do Azure
   • Azure Synapse

   

2. Procure o Microsoft Fabric Lakehouse e selecione o conector.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas do Microsoft Fabric Lakehouse.

Propriedades do serviço vinculado

O conector do Microsoft Fabric Lakehouse suporta os seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes:

• Autenticação do principal de serviço

Autenticação do principal de serviço

Para usar a autenticação da entidade de serviço, siga estas etapas.

1. Registre um aplicativo na plataforma Microsoft Identity e adicione um segredo do cliente. Depois, anote esses valores, que você usa para definir o serviço vinculado:

   • ID do aplicativo (cliente), que é o ID da entidade de serviço no serviço vinculado.
   • Valor secreto do cliente, que é a chave principal do serviço no serviço vinculado.
   • ID de Inquilino do

2. Conceda à entidade de serviço pelo menos a função de Colaborador no espaço de trabalho do Microsoft Fabric. Siga estes passos:

   1. Vá para o espaço de trabalho do Microsoft Fabric, selecione Gerenciar acesso na barra superior. Em seguida, selecione Adicionar pessoas ou grupos.

      

      

   2. No painel Adicionar pessoas , insira o nome da entidade de serviço e selecione a entidade de serviço na lista suspensa.

      Nota

      A entidade de serviço não aparecerá na lista Adicionar pessoas, a menos que as configurações de locatário do Power BI habilitem o acesso das entidades de serviço às APIs de malha.

   3. Especifique a função como Colaborador ou superior (Administrador, Membro) e selecione Adicionar.

      

   4. A entidade de serviço é exibida no painel Gerenciar acesso .

Estas propriedades são suportadas para o serviço vinculado:

Exemplo: usando a autenticação de chave da entidade de serviço

Você também pode armazenar a chave principal do serviço no Cofre de Chaves do Azure.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

O conector Microsoft Fabric Lakehouse suporta dois tipos de conjuntos de dados, que são o conjunto de dados Microsoft Fabric Lakehouse Files e o conjunto de dados Microsoft Fabric Lakehouse Table. Consulte as seções correspondentes para obter detalhes.

• Conjunto de dados Microsoft Fabric Lakehouse Files
• Conjunto de dados Microsoft Fabric Lakehouse Table

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

Conjunto de dados Microsoft Fabric Lakehouse Files

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

As seguintes propriedades são suportadas em location configurações no conjunto de dados Microsoft Fabric Lakehouse Files baseado em formato:

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Conjunto de dados Microsoft Fabric Lakehouse Table

As seguintes propriedades são suportadas para o conjunto de dados Microsoft Fabric Lakehouse Table:

Exemplo:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "schema": "<schema_name>",
            "table": "<table_name>"   
        },
        "schema": [< physical schema, optional, retrievable during authoring >]
    } 
}

Propriedades da atividade Copy

As propriedades da atividade de cópia para o conjunto de dados Microsoft Fabric Lakehouse Files e o conjunto de dados Microsoft Fabric Lakehouse Table são diferentes. Consulte as seções correspondentes para obter detalhes.

• Arquivos do Microsoft Fabric Lakehouse na atividade Copiar
• Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Copiar configurações de atividade e Pipelines e atividades.

Arquivos do Microsoft Fabric Lakehouse na atividade Copiar

Para usar o tipo de conjunto de dados do Microsoft Fabric Lakehouse Files como fonte ou coletor na atividade Copiar, vá para as seções a seguir para obter as configurações detalhadas.

Arquivos do Microsoft Fabric Lakehouse como um tipo de origem

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

Você tem várias opções para copiar dados do Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Files:

• Copie do caminho especificado no conjunto de dados.
• Filtro curinga em relação ao caminho da pasta ou nome do arquivo, consulte wildcardFolderPath e wildcardFileName.
• Copie os arquivos definidos em um determinado arquivo de texto como conjunto de arquivos, consulte fileListPath.

As propriedades a seguir estão em storeSettings configurações na fonte de cópia baseada em formato ao usar o conjunto de dados Microsoft Fabric Lakehouse Files:

Exemplo:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Files como um tipo de coletor

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

As propriedades a seguir estão em storeSettings configurações no coletor de cópia baseado em formato ao usar o conjunto de dados Microsoft Fabric Lakehouse Files:

Exemplo:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do caminho da pasta e do nome do arquivo com filtros curinga.

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso do caminho da lista de arquivos na fonte de atividade de cópia.

Supondo que você tenha a seguinte estrutura de pastas de origem e queira copiar os arquivos em negrito:

Alguns exemplos recursivos e copyBehavior

Esta seção descreve o comportamento resultante da operação de cópia para diferentes combinações de valores recursivo e copyBehavior.

Tabela do Microsoft Fabric Lakehouse na atividade Copiar

Para usar o conjunto de dados Microsoft Fabric Lakehouse Table como um conjunto de dados de origem ou coletor na atividade Copiar, vá para as seções a seguir para obter as configurações detalhadas.

Microsoft Fabric Lakehouse Table como um tipo de origem

Para copiar dados do Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Table, defina a propriedade type na fonte de atividade Copy como LakehouseTableSource. As seguintes propriedades são suportadas na seção Copiar fonte de atividade:

Exemplo:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Table como um tipo de pia

Para copiar dados para o Microsoft Fabric Lakehouse usando o conjunto de dados Microsoft Fabric Lakehouse Table, defina a propriedade type no coletor Copy Activity como LakehouseTableSink. As seguintes propriedades são suportadas na seção Copiar coletor de atividade:

Exemplo:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Mapeando propriedades de fluxo de dados

Ao transformar dados em mapeamento de fluxo de dados, você pode ler e gravar em arquivos ou tabelas no Microsoft Fabric Lakehouse. Consulte as seções correspondentes para obter detalhes.

• Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados
• Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para obter mais informações, consulte a transformação de origem e a transformação de coletor no mapeamento de fluxos de dados.

Arquivos do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para usar o conjunto de dados do Microsoft Fabric Lakehouse Files como um conjunto de dados de origem ou coletor no fluxo de dados de mapeamento, vá para as seções a seguir para obter as configurações detalhadas.

Arquivos do Microsoft Fabric Lakehouse como um tipo de fonte ou coletor

O conector Microsoft Fabric Lakehouse suporta os seguintes formatos de arquivo. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

Para usar o conector baseado em arquivo Fabric Lakehouse no tipo de conjunto de dados embutido, você precisa escolher o tipo de conjunto de dados embutido certo para seus dados. Você pode usar DelimitedText, Avro, JSON, ORC ou Parquet, dependendo do seu formato de dados.

Tabela do Microsoft Fabric Lakehouse no mapeamento do fluxo de dados

Para usar o conjunto de dados Microsoft Fabric Lakehouse Table como um conjunto de dados de origem ou coletor no fluxo de dados de mapeamento, vá para as seções a seguir para obter as configurações detalhadas.

Microsoft Fabric Lakehouse Table como um tipo de origem

Não há propriedades configuráveis nas opções de origem.

Microsoft Fabric Lakehouse Table como um tipo de pia

As seguintes propriedades são suportadas na seção Coletor de Fluxos de Dados de Mapeamento:

Exemplo: Microsoft Fabric Lakehouse Pia de mesa

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Para o conector baseado em tabela Fabric Lakehouse no tipo de conjunto de dados embutido, você só precisa usar Delta como tipo de conjunto de dados. Isso permitirá que você leia e escreva dados de tabelas Fabric Lakehouse.

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, verifique a atividade GetMetadata

Excluir propriedades de atividade

Para saber detalhes sobre as propriedades, marque Excluir atividade

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.