Copiar dados de uma tabela SAP usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory e do Azure Synapse Analytics para copiar dados de uma tabela SAP. Para obter mais informações, confira Visão geral da atividade de cópia.

Funcionalidades com suporte

Há suporte para este conector de tabela SAP para as seguintes funcionalidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para obter a lista de armazenamentos de dados que têm suporte como fontes ou coletores da Atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Especificamente, este conector da tabela SAP dá suporte à:

• Copiando dados de uma tabela SAP em:

  • Componente central SAP ERP (SAP ECC) versão 7.01 ou posterior (em uma pilha recente de pacotes de suporte SAP lançada após 2015).
  • SAP Business Warehouse (SAP BW) versão 7.01 ou superior (em uma Pilha de Pacote de Suporte SAP recente lançada após 2015).
  • SAP S/4HANA.
  • Outros produtos em SAP Business Suit versão 7.01 ou superior (em uma Pilha de Pacote de Suporte SAP recente lançada após 2015).

• Copiar dados de uma tabela transparente do SAP, uma tabela em pool, uma tabela clusterizada e uma exibição.

• Copiar dados usando a autenticação básica ou a SNC (comunicações de rede segura) se a SNC estiver configurada.

• Conexão com um servidor de aplicativos ou um servidor de mensagens SAP.

• Recuperando dados por meio da RFC padrão ou personalizada.

A versão 7.01 ou posterior refere-se à versão do SAP NetWeaver em vez da versão do SAP ECC. Por exemplo, o SAP ECC 6.0 EHP 7 em geral tem a versão do NetWeaver >= 7.4. Caso você não tenha certeza sobre o seu ambiente, aqui estão as etapas para confirmar a versão do seu sistema SAP:

1. Use a GUI do SAP para se conectar ao sistema SAP.
2. Acesse Sistema ->Status.
3. Verifique o lançamento do SAP_BASIS, confira se ele é igual ou maior que 701.
   

Pré-requisitos

Para usar esse conector da tabela SAP, é necessário:

• Configurar um Integration Runtime auto-hospedado (versão 3.17 ou superior). Para obter mais informações, confira Criar e configurar um runtime de integração auto-hospedada.

• Baixe o Conector SAP de 64 bits para Microsoft .NET 3.0 do site da SAP e instale-o no computador do runtime de integração auto-hospedada. Durante a instalação, lembre-se de selecionar a opção Instalar Assemblies no GAC na janela Etapas de instalação opcionais.

  

• O usuário SAP que está sendo usado no conector Tabela SAP deve ter as seguintes permissões:

  • Autorização para usar destinos de chamada de função remota (RFC).
  • Permissões para a atividade Executar do objeto de autorização S_SDSAUTH. É possível consultar o SAP Note 460089 na maioria dos objetos de autorização. Determinadas RFCs são exigidas pelo conector NCo subjacente, por exemplo RFC_FUNCTION_SEARCH.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado para uma tabela SAP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado para uma tabela SAP na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Procure SAP e selecione o conector Tabela SAP.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir as entidades específicas ao conector Tabela SAP.

Propriedades do serviço vinculado

Há suporte para as seguintes propriedades no serviço vinculado do SAP BW Open Hub:

Exemplo 1: Conecte a um servidor de aplicativos SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: Conecte a um servidor de mensagens SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "messageServer": "<message server name>",
            "messageServerService": "<service name or port>",
            "systemId": "<system ID>",
            "logonGroup": "<logon group>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 3: conecte usando o SNC

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            },
            "sncMode": 1,
            "sncMyName": "<SNC myname>",
            "sncPartnerName": "<SNC partner name>",
            "sncLibraryPath": "<SNC library path>",
            "sncQop": "8"
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e das propriedades para definir os conjuntos de dados, confira Conjuntos de dados. A seção a seguir fornece uma lista das propriedades compatíveis pelo conjunto de dados da tabela do SAP.

Para copiar dados de e para o SAP BW serviço vinculado de Hub aberto, há suporte para as seguintes propriedades:

Exemplo

{
    "name": "SAPTableDataset",
    "properties": {
        "type": "SapTableResource",
        "typeProperties": {
            "tableName": "<SAP table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<SAP table linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e das propriedades para definir as atividades, confira Pipelines. A seção a seguir fornece uma lista das propriedades compatíveis pelo origem da tabela do SAP.

Tabela SAP como origem

Para copiar dados da tabela SAP, há suporte para as seguintes propriedades:

No rfcTableOptions, você pode usar os seguintes operadores de consulta SAP comuns para filtrar as linhas:

Exemplo

"activities":[
    {
        "name": "CopyFromSAPTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SAP table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SapTableSource",
                "partitionOption": "PartitionOnInt",
                "partitionSettings": {
                     "partitionColumnName": "<partition column name>",
                     "partitionUpperBound": "2000",
                     "partitionLowerBound": "1",
                     "maxPartitionsNumber": 500
                 }
            },
            "sink": {
                "type": "<sink type>"
            },
            "parallelCopies": 4
        }
    }
]

Unir tabelas SAP

Atualmente, o conector de tabela SAP dá suporte apenas a uma única tabela com o módulo de função padrão. Para obter os dados associados de várias tabelas, você pode aproveitar a propriedade customRfcReadTableFunctionModule no conector de tabela do SAP seguindo as etapas abaixo:

• Escreva um módulo de função personalizada, que pode fazer uma consulta como opções e aplicar sua própria lógica para recuperar os dados.
• Para o "módulo de função personalizada", insira o nome do seu módulo de função personalizada.
• Para as "opções de tabela da RFC", especifique a instrução de junção de tabela a ser alimentada em seu módulo de função como opções, como " <TABLE1> junção interna <TABLE2> em COLUMN0".

Veja um exemplo:

Criar o módulo função personalizada

Para a tabela SAP, atualmente damos suporte à propriedade customRfcReadTableFunctionModule na fonte de cópia, que permite aproveitar seus próprios dados de lógica e de processo.

Como uma orientação rápida, aqui estão alguns requisitos para começar a usar o "módulo de função personalizada":

• Definição:

  

• Exporte dados em uma das tabelas abaixo:

  

  

Veja abaixo as ilustrações de como o conector de tabela SAP funciona com o módulo de função personalizada:

1. Crie conexão com o servidor SAP via SAP NCO.

2. Invoque "módulo de função personalizada" com os parâmetros definidos como abaixo:

   • QUERY_TABLE: o nome da tabela que você definiu no conjunto de uma Tabela SAP;
   • Delimitador: o delimitador definido na origem da Tabela SAP;
   • NÚMERO de linhas/opção/campos: a opção de número de linhas/campos agregados que você definiu na origem da tabela.

3. Obtenha o resultado e analise os dados das maneiras abaixo:

   1. Analise o valor na tabela campos para obter os esquemas.

      

   2. Obtenha os valores da tabela de saída para ver qual tabela contém esses valores.

      

   3. Obtenha os valores no OUT_TABLE, analise os dados e grave-os no coletor.

Mapeamentos de tipo de dados para uma tabela SAP

Ao copiar dados de uma Tabela SAP, os seguintes mapeamentos são usados de tipos de dados da Tabela SAP para tipos de dados provisórios usados dentro do serviço. Para saber mais sobre como a atividade de cópia mapeia o tipo de dados e esquema de origem para o coletor, consulte Mapeamentos de tipo de dados e esquema.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Conteúdo relacionado

Para obter uma lista dos armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os Armazenamentos de dados com suporte.