Rocket® Data Replicate and Sync (RDRS), anteriormente tcVISION, é uma solução de replicação de dados desenvolvida pela Rocket Software. O RDRS fornece uma solução de integração de mainframe IBM para replicação de dados de mainframe, sincronização de dados, migração de dados e captura de dados de alteração (CDC) para vários serviços da plataforma de dados do Azure.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de Trabalho
A solução de replicação de dados RDRS suporta CDC de muitos bancos de dados baseados em mainframe, incluindo IBM DB2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom e Computer Associates Integrated Data Management System (CA IDMS). O RDRS fornece agentes CDC baseados em log para capturar os dados de alteração no nível de registro. Esse CDC baseado em log coloca uma sobrecarga insignificante nos bancos de dados de origem de produção.
O RDRS suporta CDC a partir de ficheiros VSAM (Virtual Storage Access Method).
Uma tarefa começa no mainframe. As tarefas iniciadas, ou STCs, são criadas no mainframe como parte da instalação do software RDRS. Duas CCT vitais são:
- Agente de captura, que captura dados alterados da fonte.
- Aplique o agente, que usa APIs específicas do sistema de gerenciamento de banco de dados (DBMS) para gravar dados alterados de forma eficiente no destino.
Nota
Para o Db2 z/OS, o RDRS também oferece uma solução CDC sem agente por meio de um tipo definido pelo usuário (UDT) do DB2 que não precisa de STCs.
O open platform manager (OPM) atua como um servidor de replicação. Este servidor contém utilitários para mapeamento automático de dados para gerar metadados para fontes e destinos. Ele também contém o conjunto de regras para extrair dados da fonte. O servidor transforma e processa os dados para os sistemas de destino e grava os dados nos destinos. Você pode instalar este componente nos sistemas operacionais Linux, Unix e Windows.
O painel RDRS fornece administração, revisão, operação, controle e monitoramento dos processos de troca de dados. Os utilitários de linha de comando RDRS automatizam os processos de troca de dados e gerenciam operações autônomas do processo de sincronização de dados.
O agente de aplicação RDRS usa APIs específicas do DBMS. Essas APIs implementam com eficiência alterações de dados em tempo real em combinação com a tecnologia CDC na origem dos serviços de dados do Azure de destino, ou seja, o banco de dados e os arquivos.
O RDRS dá suporte ao streaming direto dos dados alterados nos Hubs de Eventos do Azure ou no Kafka. Em seguida, os Aplicativos Lógicos do Azure, uma função ou uma solução personalizada na máquina virtual (VM) processam esses eventos.
Os destinos da plataforma de dados do Azure que são suportados pelo RDRS incluem o Banco de Dados SQL do Azure, o Banco de Dados do Azure para PostgreSQL, o Banco de Dados do Azure para MySQL, o Azure Cosmos DB, o Armazenamento do Azure Data Lake e outros.
Os dados que chegam à plataforma de dados do Azure são consumidos pelos serviços do Azure ou por outras plataformas que têm permissão para vê-los. Os exemplos incluem Power BI, Azure Synapse Analytics ou aplicativos personalizados.
O RDRS pode reverter as alterações de captura sincronizadas de uma plataforma de banco de dados do Azure (como Banco de Dados SQL, Banco de Dados do Azure para MySQL, Banco de Dados do Azure para PostgreSQL ou Armazenamento Data Lake) e gravá-las de volta na camada de dados de mainframe.
Os arquivos de backup e descarregamento do banco de dados de mainframe são copiados para uma VM do Azure usando RDRS para processamento de carga em massa.
A carga em massa do RDRS executa uma carga inicial do banco de dados de destino usando dados de origem do mainframe. Os dados de origem podem ser lidos diretamente do armazenamento de dados de mainframe ou de um arquivo de backup ou descarregamento de mainframe. A carga em massa fornece uma tradução automática de tipos de dados de mainframe, como campos embalados com código de intercâmbio decimal codificado binário estendido (EBCDIC). Use o backup ou descarregar dados para obter o melhor desempenho em vez de uma leitura direta do banco de dados de mainframe. Você não deve ler o banco de dados diretamente porque mover dados de descarga ou backup para a VM do Azure RDRS necessária e usar carregadores de banco de dados nativos minimiza a entrada/saída (E/S) da rede e reduz o tempo de carregamento.
Componentes
A solução usa os seguintes componentes.
Componentes de rede e identidade
- Azure ExpressRoute: o ExpressRoute permite estender suas redes locais para a Microsoft Cloud por meio de uma conexão privada manipulada por um provedor de conectividade. Você pode usar a Rota Expressa para estabelecer conexões com serviços de nuvem, como o Microsoft Azure e o Microsoft 365.
- Gateway de VPN do Azure: um gateway VPN é um tipo específico de gateway de rede virtual que envia tráfego criptografado entre uma rede virtual do Azure e um local local pela Internet pública.
- Microsoft Entra ID: O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que você pode sincronizar com um diretório local.
Componentes de aplicações
- Aplicativos lógicos: os aplicativos lógicos ajudam a criar e executar tarefas e processos recorrentes automatizados em um cronograma. Você pode chamar serviços dentro e fora do Azure, como pontos de extremidade HTTP ou HTTPS, postar mensagens nos serviços do Azure, como o Armazenamento do Azure e o Barramento de Serviço do Azure, ou carregar arquivos em um compartilhamento de arquivos.
- Azure Functions: o Azure Functions permite executar pequenos pedaços de código, chamados funções, sem se preocupar com a infraestrutura do aplicativo. Quando você usa o Functions, a infraestrutura de nuvem fornece os servidores atualizados de que você precisa para manter seu aplicativo em execução em escala.
- Máquinas Virtuais do Azure: as VMs do Azure são recursos de computação escalonáveis e sob demanda. Uma VM do Azure fornece a flexibilidade da virtualização e elimina as demandas de manutenção do hardware físico. As VMs do Azure operam em sistemas Windows e Linux.
Componentes de armazenamento
- Armazenamento: o armazenamento oferece soluções de armazenamento não gerenciado, como o Armazenamento de Blob do Azure, o Armazenamento de Tabela do Azure, o Armazenamento de Filas do Azure e os Arquivos do Azure. O Azure Files é especialmente útil para soluções de mainframe reprojetadas e fornece um complemento eficaz com armazenamento SQL gerenciado.
- Azure SQL: O Azure SQL é uma plataforma como serviço (PaaS) totalmente gerenciada para SQL Server a partir do Azure. Os dados relacionais podem ser migrados e usados de forma eficiente com outros componentes do Azure, como a Instância Gerenciada do SQL do Azure, as VMs SQL do Azure, o Banco de Dados do Azure para PostgreSQL, o Banco de Dados do Azure para MariaDB e o Banco de Dados do Azure para MySQL.
- Azure Cosmos DB: O Azure Cosmos DB é uma oferta no-SQL que você pode usar para migrar dados não tabulares do mainframe.
Componentes de monitorização
- Azure Monitor: o Azure Monitor oferece uma solução abrangente para coletar, analisar e agir em telemetria de ambientes locais e na nuvem.
- Application Insights: O Application Insights analisa e apresenta a telemetria de aplicativos.
- Azure Monitor Logs: Os Logs do Azure Monitor são um recurso do Monitor que coleta e organiza dados de log e desempenho de recursos monitorados. Você pode consolidar dados de várias fontes, como logs de plataforma de serviços do Azure, dados de log e desempenho de agentes de VM e dados de uso e desempenho de aplicativos, em um único espaço de trabalho a ser analisado em conjunto usando uma linguagem de consulta sofisticada capaz de analisar rapidamente milhões de registros.
- Log Analytics: o Log Analytics é uma ferramenta no portal do Azure. Você pode usar consultas de log para obter informações dos dados coletados nos Logs do Azure Monitor. O Log Analytics usa uma linguagem de consulta poderosa para que você possa unir dados de várias tabelas, agregar grandes conjuntos de dados e executar operações complexas com código mínimo.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos. Use a calculadora de preços do Azure para estimar o custo de implementação dessa solução.
Fiabilidade
A confiabilidade garante que seu aplicativo possa atender aos compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.
- Configure o RDRS OPM em VMs do Azure que são implantadas em zonas de disponibilidade separadas para fornecer alta disponibilidade. Em caso de falhas, um OPM RDRS secundário é ativado e o OPM RDRS secundário comunica seu endereço IP ao Gerenciador de Mainframe RDRS. Em seguida, o mainframe se comunica com o novo OPM RDRS que continua a ser processado em seu próximo ponto de reinicialização lógico usando uma combinação de unidade lógica de trabalho (LUW) e arquivos de reinicialização.
- Projete os serviços de banco de dados do Azure para dar suporte à redundância de zona para que eles possam fazer failover para um nó secundário se houver uma interrupção ou uma janela de manutenção planejada.
- Use os Logs do Azure Monitor e o Application Insights para monitorar a integridade de um recurso do Azure. Você pode definir alertas para gerenciamento proativo.
Escalabilidade
- Configure o dimensionamento RDRS para processamento CDC executando vários fluxos de replicação paralela. Primeiro, analise os arquivos incluídos nas transações lógicas. Esses arquivos devem ser processados juntos em sequência. O processo RDRS CDC garante a integridade de cada transação lógica. Por exemplo, conjuntos de tabelas que não participam de transações comuns podem ser divididos em tarefas paralelas criando vários scripts de processamento.
- O RDRS pode executar o processamento de carga em massa simultâneo paralelo simultaneamente em uma única VM do Azure ou em várias VMs do Azure, o que fornece escalabilidade horizontal. Execute operações rápidas de carregamento em massa para tabelas grandes dividindo o processo em várias tarefas, usando intervalos arbitrários ou filtragem de linha. A filtragem de linhas pode usar uma chave, chave de partição, data e outros filtros.
- A camada de computação sem servidor do Banco de dados SQL fornece uma opção de dimensionamento automático com base na carga de trabalho. Outros bancos de dados do Azure podem ser dimensionados e reduzidos usando automação para atender às demandas de carga de trabalho.
- Para obter mais informações, consulte Práticas recomendadas de dimensionamento automático no Azure.
Segurança
A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.
- Controle a autenticação e o acesso para RDRS usando o Microsoft Entra ID.
- Criptografe transferências de dados entre produtos RDRS (mainframe para Azure) usando TLS (Transport Layer Security).
- Use a Rota Expressa ou uma VPN site a site para uma conexão privada e eficiente com o Azure a partir de um ambiente local.
- Autentique recursos do Azure usando o Microsoft Entra ID e gerencie permissões com RBAC (controle de acesso baseado em função).
- Use os serviços de banco de dados no Azure para dar suporte a várias opções de segurança, como criptografia de dados em repouso (TDE), criptografia de dados em trânsito (TLS) e criptografia de dados durante o processamento, para que seus dados sejam sempre criptografados.
- Para obter diretrizes sobre como projetar soluções seguras, consulte a documentação de segurança do Azure.
- Para descobrir sua linha de base de segurança, consulte Linhas de base de segurança para o Azure.
Detalhes do cenário
Mainframes são servidores que processam um grande número de transações. Os aplicativos de mainframe produzem e consomem grandes quantidades de dados todos os dias. As nuvens públicas oferecem elasticidade, otimização de custos, facilidade de uso e fácil integração. Muitos aplicativos x86 e mainframe estão migrando para a nuvem, portanto, as organizações devem ter uma estratégia de integração e migração de dados de mainframe para nuvem bem projetada.
Este cenário integra uma camada de dados IBM Z (mainframe) com a plataforma de dados em nuvem do Azure usando RDRS fornecido pela Rocket Software.
Potenciais casos de utilização
Esta solução é ideal para migrações de dados em grande escala para a plataforma de dados do Azure. Considere este cenário para os seguintes casos de uso:
- Migração completa de uma camada de dados de mainframe: neste caso de uso, um cliente deseja mover todos os seus dados DB2, IMS, IDMS, arquivos e outros de um mainframe para a plataforma de dados do Azure.
- Coexistência de aplicativos baseados em mainframe e Azure: neste caso de uso, um cliente precisa de suporte para uma sincronização bidirecional entre um mainframe e a plataforma de dados do Azure.
- Arquivamento: neste caso de uso, um cliente deseja armazenar dados para fins de auditoria e conformidade, mas não deseja acessar esses dados com frequência. O armazenamento fornece uma solução de baixo custo para armazenar dados de arquivamento.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Principais autores:
- Sandip Khandelwal - Brasil | Arquiteto de Engenharia Sénior
Outros contribuidores:
- Liz Casey - Brasil | Desenvolvedor de Conteúdo Sênior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Formação: Arquitete uma plataforma de dados no Azure
- Entre em contato com a Equipe de Engenharia de Dados do Azure.
- Guias de migração de banco de dados do Azure
- Treinamento: Projetar uma estratégia de migração do SQL Server
- Guia de migração: SQL Server para o Banco de Dados SQL do Azure