Copie dados do SAP Business Warehouse via Open Hub usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia no Azure Data Factory e os pipelines do Synapse Analytics para copiar dados de um SAP Business Warehouse (BW) via Open Hub. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Capacidades suportadas

Este conector SAP Business Warehouse Open Hub é suportado para os seguintes recursos:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes/coletores pela atividade de cópia, consulte a tabela Armazenamentos de dados suportados.

Especificamente, este conector SAP Business Warehouse Open Hub suporta:

• SAP Business Warehouse versão 7.01 ou superior (em uma pilha recente de pacotes de suporte SAP lançada após o ano de 2015). O SAP BW/4HANA não é suportado por este conector.
• Cópia de dados através da tabela local Open Hub Destination, que por baixo pode ser DSO, InfoCube, MultiProvider, DataSource, etc.
• Cópia de dados usando autenticação básica.
• Conectando-se a um servidor de aplicativos SAP ou servidor de mensagens SAP.
• Recuperação de dados via RFC.

Integração SAP BW Open Hub

O SAP BW Open Hub Service é uma maneira eficiente de extrair dados do SAP BW. O diagrama a seguir mostra um dos fluxos típicos que os clientes têm em seu sistema SAP, caso em que os fluxos de dados do SAP ECC -> PSA -> DSO -> Cube.

O SAP BW Open Hub Destination (OHD) define o destino para o qual os dados SAP são retransmitidos. Todos os objetos suportados pelo SAP Data Transfer Process (DTP) podem ser usados como fontes de dados de hub aberto, por exemplo, DSO, InfoCube, DataSource, etc. O tipo Open Hub Destination - onde os dados retransmitidos são armazenados - pode ser tabelas de banco de dados (locais ou remotas) e arquivos simples. Este conector SAP BW Open Hub suporta a cópia de dados da tabela local OHD no BW. Caso você esteja usando outros tipos, você pode se conectar diretamente ao banco de dados ou sistema de arquivos usando outros conectores.

Fluxo de extração delta

O SAP BW Open Hub Connector oferece duas propriedades opcionais: excludeLastRequest e baseRequestId que podem ser usadas para lidar com a carga delta do Open Hub.

• excludeLastRequestId: se os registros da última solicitação devem ser excluídos. O valor predefinido é verdadeiro.
• baseRequestId: A ID da solicitação para carregamento delta. Uma vez definido, somente os dados com requestId maior que o valor dessa propriedade serão recuperados.

No geral, a extração do SAP InfoProviders consiste em duas etapas:

1. Processo de transferência de dados (DTP) do SAP BW Esta etapa copia os dados de um SAP BW InfoProvider para uma tabela do SAP BW Open Hub

2. Cópia de dados Nesta etapa, a tabela Open Hub é lida pelo conector

Na primeira etapa, um DTP é executado. Cada execução cria um novo ID de solicitação SAP. O ID da solicitação é armazenado na tabela Open Hub e, em seguida, é usado pelo conector para identificar o delta. As duas etapas são executadas de forma assíncrona: o DTP é acionado pelo SAP e a cópia de dados é acionada por meio do serviço.

Por padrão, o serviço não está lendo o delta mais recente da tabela Open Hub (a opção "excluir última solicitação" é true). Assim, os dados no serviço não estão 100% atualizados com os dados na tabela Open Hub (o último delta está faltando). Em troca, esse procedimento garante que nenhuma linha seja perdida causada pela extração assíncrona. Ele funciona bem mesmo quando o serviço está lendo a tabela Open Hub enquanto o DTP ainda está gravando na mesma tabela.

Normalmente, você armazena a ID máxima de solicitação copiada na última execução pelo serviço em um armazenamento de dados de preparo (como o Blob do Azure no diagrama acima). Portanto, a mesma solicitação não é lida uma segunda vez pelo serviço na execução subsequente. Enquanto isso, observe que os dados não são excluídos automaticamente da tabela Open Hub.

Para o tratamento delta adequado, não é permitido ter IDs de solicitação de DTPs diferentes na mesma tabela Open Hub. Portanto, você não deve criar mais de um DTP para cada Open Hub Destination (OHD). Ao precisar de extração completa e delta do mesmo InfoProvider, você deve criar dois OHDs para o mesmo InfoProvider.

Pré-requisitos

Para usar esse conector SAP Business Warehouse Open Hub, você precisa:

• Configure um Self-hosted Integration Runtime com a versão 3.13 ou superior. Consulte o artigo Self-hosted Integration Runtime para obter detalhes.

• Faça o download do SAP .NET Connector 3.0 de 64 bits do site da SAP e instale-o na máquina IR auto-hospedada. Ao instalar, na janela de etapas de configuração opcional, certifique-se de selecionar a opção Instalar assemblies para GAC , conforme mostrado na imagem a seguir.

  

• O usuário SAP que está sendo usado no conector BW precisa ter as seguintes permissões:

  • Autorização para RFC e SAP BW.
  • Permissões para a atividade "Executar" do objeto de autorização "S_SDSAUTH".

• Crie o tipo de destino do SAP Open Hub como tabela de banco de dados com a opção "Chave técnica" marcada. Também é recomendável deixar a opção Excluindo dados da tabela como desmarcada, embora não seja necessária. Use o DTP (executar ou integrar diretamente na cadeia de processos existente) para transferir dados do objeto de origem (como cubo) que você escolheu para a tabela de destino do hub aberto.

Introdução

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• A ferramenta Copiar dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• Azure PowerShell
• A API REST
• O modelo do Azure Resource Manager

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas para o conector do SAP Business Warehouse Open Hub.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado SAP Business Warehouse Open Hub:

Exemplo:

{
    "name": "SapBwOpenHubLinkedService",
    "properties": {
        "type": "SapOpenHub",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client id>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados do SAP BW Open Hub.

Para copiar dados de e para o SAP BW Open Hub, defina a propriedade type do conjunto de dados como SapOpenHubTable. As seguintes propriedades são suportadas.

Se você estava definindo excludeLastRequest e baseRequestId no conjunto de dados, ele ainda é suportado como está, enquanto você é sugerido para usar o novo modelo na fonte de atividade no futuro.

Exemplo:

{
    "name": "SAPBWOpenHubDataset",
    "properties": {
        "type": "SapOpenHubTable",
        "typeProperties": {
            "openHubDestinationName": "<open hub destination name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<SAP BW Open Hub linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pelo código-fonte do SAP BW Open Hub.

SAP BW Open Hub como fonte

Para copiar dados do SAP BW Open Hub, as seguintes propriedades são suportadas na seção Copiar fonte de atividade:

Para acelerar o carregamento de dados, você pode definir parallelCopies a atividade de cópia para carregar dados do SAP BW Open Hub em paralelo. Por exemplo, se você definir parallelCopies como quatro, o serviço executará simultaneamente quatro chamadas RFC e cada chamada RFC recuperará uma parte dos dados da tabela do SAP BW Open Hub particionada pelo ID da solicitação DTP e pela ID do pacote. Isso se aplica quando o número de ID de solicitação DTP exclusiva + ID do pacote é maior do que o valor de parallelCopies. Ao copiar dados para o armazenamento de dados baseado em arquivo, ele também é recomendado para gravar em uma pasta como vários arquivos (especifique apenas o nome da pasta), caso em que o desempenho é melhor do que gravar em um único arquivo.

Exemplo:

"activities":[
    {
        "name": "CopyFromSAPBWOpenHub",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SAP BW Open Hub input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SapOpenHubSource",
                "excludeLastRequest": true
            },
            "sink": {
                "type": "<sink type>"
            },
            "parallelCopies": 4
        }
    }
]

Mapeamento de tipo de dados para SAP BW Open Hub

Ao copiar dados do SAP BW Open Hub, os mapeamentos a seguir são usados de tipos de dados SAP BW para tipos de dados provisórios usados internamente no serviço. Consulte Mapeamentos de esquema e tipo de dados para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o coletor.

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Sugestões de resolução de problemas

Sintomas: Se você estiver executando o SAP BW no HANA e observar que apenas o subconjunto de dados é copiado usando a atividade de cópia (1 milhão de linhas), a possível causa é que você ativa a opção "Execução do SAP HANA" em seu DTP, caso em que o serviço só pode recuperar o primeiro lote de dados.

Resolução: desative a opção "SAP HANA Execution" no DTP, reprocesse os dados e tente executar a atividade de cópia novamente.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.