Apache®, Spark и логотип пламени являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.
В этой статье описывается комплексный план модернизации для мейнфреймов и источников данных среднего порядка.
Архитектура
Скачайте файл Visio для этой архитектуры.
Поток данных
Следующий поток данных описывает процесс модернизации уровня данных мейнфрейма. Он соответствует предыдущей схеме.
Мейнфреймы и системы среднего порядка хранят данные в источниках данных, таких как файловые системы (VSAM, плоский файл, LTFS), реляционные базы данных (Db2 for z/OS, Db2 for IBM i, Db2 for Linux UNIX и Windows), или нереляционные базы данных (IMS, ADABAS, IDMS).
Процесс преобразования объектов извлекает определения объектов из исходных объектов. Затем определения преобразуются в соответствующие объекты в целевом хранилище данных.
- Помощник по миграции SQL Server (SSMA) для Db2 переносит схемы и данные из баз данных IBM Db2 в базы данных Azure.
- Поставщик управляемых данных для файлов узлов преобразует объекты по следующим причинам:
- Синтаксический анализ макетов записей COBOL и RPG или книги копирования.
- Сопоставление книг копирования с объектами C#, которые используют приложения .NET.
- Используйте пользовательское средство для преобразования объектов базы данных из Db2 в База данных Azure для PostgreSQL. Обратите внимание, что может потребоваться запросить доступ к этому средству.
- Сторонние средства выполняют автоматическое преобразование объектов в нереляционных базах данных, файловых системах и других хранилищах данных.
Данные приема и преобразования. Мейнфреймы и системы среднего порядка хранят данные файловой системы в формате с кодировкой EBCDIC в таких форматах файлов, как:
- Индексированные ФАЙЛЫ VSAM
- Неиндексированные файлы GDG
- Неструктурированные файлы
Книги копирования на языке COBOL, PL/I и языка сборки определяют структуру данных этих файлов.
a. FTP передает мейнфреймы и наборы данных файловой системы по середине с одним макетом и распаковывать поля в двоичном формате и соответствующей книге копирования в Azure.
b. Данные преобразуются. Фабрика данных Azure настраиваемый соединитель — это решение, разработанное с помощью компонента клиента файла узла сервера интеграции узла для преобразования наборов данных мейнфрейма.
Сервер интеграции узла интегрирует существующие системы узлов IBM, программы, сообщения и данные с приложениями Azure. Сервер интеграции узла — это клиентский компонент файла узла, который можно использовать для разработки пользовательского решения для преобразования набора данных.
Фабрика данных Azure настраиваемый соединитель основан на платформе Spark с открытым исходным кодом и выполняется в Azure Synapse Analytics. Как и другие решения, он может анализировать книгу копирования и преобразовывать данные. Управление службой преобразования данных с помощью соединителя "Анализ содержимого файлов узла Azure Logic Apps ".
c. Данные реляционной базы данных переносятся.
Мейнфрейм IBM и системы среднего порядка хранят данные в реляционных базах данных следующим образом:
Эти службы переносятся данные базы данных:
- Фабрика данных использует соединитель Db2 для извлечения и интеграции данных из баз данных.
- Службы SQL Server Integration Services обрабатывают различные задачи ETL данных.
d. Данные нереляционной базы данных переносятся.
Мейнфрейм IBM и системы среднего порядка хранят данные в нереляционных базах данных следующим образом:
- IDMS, система управления базами данных сетевой модели (СУБД)
- IMS, иерархическая субД модели
- Адабас
- Datacom
Сторонние продукты интегрируют данные из этих баз данных.
Службы Azure, такие как Фабрика данных и AzCopy , загружают данные в базы данных Azure и хранилище данных Azure. Для загрузки данных можно также использовать сторонние решения и пользовательские решения загрузки.
Azure предоставляет множество решений для хранения управляемых данных:
Службы Azure используют обновленный уровень данных для вычислений, аналитики, хранилища и сети.
Клиентские приложения также используют обновленный уровень данных.
Компоненты
Хранилище данных
- База данных SQL входит в семейство SQL Azure. Он создан для облака и предоставляет все преимущества полностью управляемой и вечной платформы в качестве службы. База данных SQL также предоставляет автоматизированные функции СИ, которые оптимизируют производительность и устойчивость. Параметры бессерверных вычислений и хранилища гипермасштабирования автоматически масштабируйте ресурсы по требованию.
- База данных Azure для PostgreSQL — это полностью управляемая служба реляционных баз данных на основе СУБД PostgreSQL с открытым кодом (Community Edition).
- Azure Cosmos DB — это глобально распределенная многомодельная база данных NoSQL.
- База данных Azure для MySQL — это полностью управляемая служба реляционной базы данных, основанная на выпуске сообщества ядра СУБД MySQL с открытым исходным кодом.
- Управляемый экземпляр SQL — это интеллектуальная масштабируемая облачная служба базы данных, которая предлагает все преимущества полностью управляемой и вечной платформы в качестве службы. Управляемый экземпляр SQL имеет почти 100% совместимость с последним ядром СУБД SQL Server Enterprise. Она также предоставляет собственную реализацию виртуальной сети, которая решает распространенные проблемы безопасности.
- Azure Data Lake Storage — это репозиторий хранилища, в котором хранятся большие объемы данных в собственном, необработанном формате. Хранилища Data Lake оптимизированы для масштабирования до нескольких терабайт и даже петабайт данных. Данные обычно берутся из нескольких разнородных источников. Она может быть структурирована, полуструктурирована или неструктурирована.
Службы вычислений
- Фабрика данных интегрирует данные в разных сетевых средах с помощью среды выполнения интеграции (IR), которая является вычислительной инфраструктурой. Фабрика данных копирует данные между облачными хранилищами данных и хранилищами данных в локальных сетях с помощью локальных IR.
- Azure Виртуальные машины предоставляет масштабируемые вычислительные ресурсы по запросу. Виртуальная машина Azure обеспечивает гибкость виртуализации, но устраняет требования к обслуживанию физического оборудования. Виртуальные машины Azure предусматривают варианты выбора операционных систем, которые включают в себя Windows и Linux.
Интеграторы данных
- Фабрика данных Azure — это гибридная служба интеграции данных. В этом решении Фабрика данных Azure настраиваемый соединитель использует компонент клиента файла узла сервера интеграции узла для преобразования наборов данных мейнфрейма. При минимальной настройке можно использовать настраиваемый соединитель для преобразования набора данных мейнфрейма так же, как и любой другой соединитель Фабрика данных Azure.
- AzCopy — это программа командной строки, которая перемещает большие двоичные объекты или файлы в учетные записи хранения и из нее.
- Службы SQL Server Integration Services — это платформа для создания решений интеграции данных корпоративного уровня и преобразования. Его можно использовать для решения сложных бизнес-задач следующими способами:
- Копирование или скачивание файлов.
- Загрузка хранилищ данных.
- Очистка и интеллектуальный анализ данных.
- Управление объектами и данными SQL Server.
- Технологии и средства сервера интеграции узлов позволяют интегрировать существующие системы узлов IBM, программы, сообщения и данные с приложениями Azure. Компонент клиента файла узла обеспечивает гибкость данных, преобразованных из EBCDIC в ASCII. Например, можно создать JSON/XML из преобразованных данных.
- Azure Synapse объединяет интеграцию данных, хранение корпоративных данных и аналитику больших данных. Решение преобразования Azure Synapse, используемое в этой архитектуре, основано на Apache Spark и является хорошим кандидатом для преобразования рабочих нагрузок с большим набором данных мейнфрейма. Он поддерживает широкий спектр структур данных и целевых объектов мейнфрейма и требует минимальных усилий по программированию.
Другие средства
- Помощник по миграции SQL Server для Db2 автоматизирует миграцию из Db2 в службы баз данных Майкрософт. При запуске на виртуальной машине это средство преобразует объекты базы данных Db2 в объекты базы данных SQL Server и создает эти объекты в SQL Server.
- Поставщик данных для файлов узлов — это компонент сервера интеграции узла, который использует автономные подключения, SNA или TCP/IP.
- При использовании автономных подключений поставщик данных считывает и записывает записи в локальный двоичный файл.
- При подключении SNA и TCP/IP поставщик данных считывает и записывает записи, хранящиеся в удаленных наборах данных z/OS (IBM Z Series Mainframe) или удаленных i5/OS (IBM AS/400 и iSeries) физических файлов. Только системы i5/OS используют TCP/IP.
- Службы Azure предоставляют среды, инструменты и процессы для разработки и масштабирования новых приложений в общедоступном облаке.
Подробности сценария
Современные решения для хранения данных, такие как платформа данных Azure, обеспечивают лучшую масштабируемость и производительность, чем мейнфреймы и системы среднего порядка. Модернизируя системы, вы можете воспользоваться этими преимуществами. Однако обновление технологий, инфраструктуры и практик является сложным. Процесс включает в себя исчерпывающее исследование бизнес-и инженерных мероприятий. Управление данными является одним из соображений при модернизации систем. Кроме того, необходимо ознакомиться с визуализацией и интеграцией данных.
Успешные модернизации используют стратегию обработки данных. При использовании этого подхода основное внимание уделяется данным, а не новой системе. Управление данными больше не является элементом контрольного списка модернизации. Вместо этого данные являются центральным элементом. Согласованные, ориентированные на качество решения данных заменяют фрагментированные, плохо управляемые.
Это решение использует компоненты платформы данных Azure в первом подходе. В частности, решение включает в себя:
- Преобразование объектов. Преобразование определений объектов из исходного хранилища данных в соответствующие объекты в целевом хранилище данных.
- Прием данных. Подключение к исходному хранилищу данных и извлечение данных.
- Преобразование данных. Преобразование извлеченных данных в соответствующие структуры целевого хранилища данных.
- Хранилище данных. Загрузка данных из исходного хранилища данных в целевое хранилище данных как первоначально, так и постоянно.
Потенциальные варианты использования
Организации, использующие системы мейнфрейма и среднего уровня, могут воспользоваться этим решением, особенно если они хотят достичь этих целей:
- Модернизация критически важных рабочих нагрузок.
- Получение бизнес-аналитики для улучшения операций и получения конкурентного преимущества.
- Удалите высокие затраты и жесткость, связанные с мейнфреймом и хранилищами данных среднего уровня.
Рекомендации
Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, набор руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework. При использовании поставщика данных для клиента host Files для преобразования данных включите пул подключений для уменьшения времени запуска подключения. При использовании фабрики данных для извлечения данных настройте производительность действия копирования.
Безопасность
Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".
- Обратите внимание на различия между локальными удостоверениями клиентов и удостоверениями клиентов в Azure. Вам нужно компенсировать любые различия.
- Используйте управляемые удостоверения для потоков данных между компонентами .
- При использовании поставщика данных для файлов узлов для преобразования данных следуйте рекомендациям в разделе "Поставщики данных" для безопасности и защиты файлов узлов.
Оптимизация затрат
Оптимизация затрат заключается в сокращении ненужных расходов и повышении эффективности работы. Дополнительные сведения см. в разделе "Обзор основы оптимизации затрат".
- Помощник по миграции SQL Server — это бесплатное поддерживаемое средство, упрощающее миграцию базы данных из Db2 в SQL Server, База данных SQL и Управляемый экземпляр SQL. Помощник по миграции SQL Server автоматизирует все аспекты миграции, включая анализ оценки миграции, преобразование схем и инструкций SQL и миграцию данных.
- Решение на основе Azure Synapse Spark создается из библиотек с открытым кодом. Это устраняет финансовое бремя средств преобразования лицензий.
- Чтобы оценить затраты на реализацию этого решения, используйте Калькулятор цен Azure.
Уровень производительности
Эффективность производительности — это возможность масштабирования рабочей нагрузки в соответствии с требованиями, заданными пользователями. Дополнительные сведения см. в разделе "Общие сведения о эффективности производительности".
- Ключевыми аспектами эффективности производительности являются управление производительностью, планирование емкости, масштабируемость и выбор подходящего шаблона производительности.
- Вы можете масштабировать локальную среду ir , связав логический экземпляр с несколькими локальными компьютерами в активном режиме.
- База данных SQL Azure предоставляет возможность динамического масштабирования баз данных. На бессерверном уровне он может автоматически масштабировать вычислительные ресурсы. Эластичные пулы, которые позволяют базам данных совместно использовать ресурсы в пуле, можно масштабировать только вручную.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Автор субъекта:
- Эшиш Хандельвал | Главный менеджер по проектированию архитекторов
Другие участники:
- Нитиш Арульдосс | Инженер-архитектор
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
Ознакомьтесь с руководствами по миграции базы данных Azure. Чтобы получить дополнительные сведения, обратитесь к Azure Инжиниринг данных — Мейнфрейм и Midrange Модернизация.
См. следующие статьи:
- Рабочие нагрузки IBM в Azure
- Повторное размещение мейнфреймов на виртуальных машинах Azure
- Рабочие нагрузки мейнфреймов, поддерживаемые в Azure
- Перемещение вычислений мейнфреймов в Azure