В этой эталонной архитектуре показано, как перемещать данные из мейнфреймов и систем среднего порядка в Azure. В этой архитектуре архивные данные обслуживаются и используются только в системе мейнфрейма. Azure используется только в качестве носителя хранилища.
Архитектура
Скачайте файл Visio для этой архитектуры.
Чтобы решить, какой метод следует использовать для перемещения данных между системой мейнфрейма и хранилищем Azure, рассмотрите частоту извлечения данных и объем данных. Доступны решения Майкрософт и сторонние решения:
Решения Майкрософт.
- Соединитель FTP Фабрика данных Azure.
- Действие копирования фабрики данных, которое может копировать данные в любое решение службы хранилища Azure.
- Мейнфрейм JCL в BLOB-объект Azure с помощью Java— пользовательское решение для перемещения данных из системы мейнфреймов в Azure с помощью языка управления заданиями (JCL). Для получения дополнительной информации обратитесь по адресу datasqlninja@microsoft.com.
Сторонние решения для архивирования. Решения, которые можно легко интегрировать с системами мейнфреймов, системами среднего порядка и службами Azure.
Рабочий процесс
Соединитель FTP Фабрика данных Azure перемещает данные из системы мейнфрейма в Хранилище BLOB-объектов Azure. Для этого решения требуется промежуточная виртуальная машина, на которой установлена локальная среда выполнения интеграции.
Действие копирования фабрики данных подключается к базе данных Db2 для копирования данных в хранилище Azure. Для этого решения также требуется промежуточная виртуальная машина, на которой установлена локальная среда выполнения интеграции.
JCL Microsoft Mainframe в BLOB-объект Azure с помощью пользовательского решения Java перемещает данные между системой мейнфреймов и хранилищем BLOB-объектов и наоборот. Это решение основано на Java и выполняется в службах Unix System Services на мейнфрейме. Это решение можно получить, связався datasqlninja@microsoft.com.
Необходимо выполнить однократную настройку решения. Эта конфигурация включает получение ключей доступа к хранилищу BLOB-объектов и перемещение необходимых артефактов в систему мейнфрейма.
Отправка JCL перемещает файлы в мейнфрейм и хранилище BLOB-объектов.
Файлы хранятся в двоичном формате в Azure. Настраиваемое решение можно настроить для преобразования EBCDIC в ASCII для простых типов данных.
При необходимости Azure Data Box может помочь физически перенести данные мейнфрейма в Azure. Этот параметр подходит, если требуется перенести большое количество данных, а сетевые методы передачи занимает слишком много времени. (Например, если миграция занимает несколько недель.)
Простое взаимодействие с мейнфреймом или средой среднего порядка обеспечивается сторонними решениями архива.
Эти решения взаимодействуют с мейнфреймом и обрабатывают различные параметры мейнфрейма, такие как типы данных, типы записей, типы хранения и методы доступа. Они служат мостом между Azure и мейнфреймом. Некоторые сторонние решения подключают диск хранилища к мейнфрейму и помогают передавать данные в Azure.
Данные периодически синхронизируются и архивируются с помощью стороннего решения архива. После того как данные будут доступны через стороннее решение, решение может легко отправить его в Azure с помощью доступных соединителей.
Данные хранятся в Azure.
По мере необходимости данные отзываются из Azure обратно в мейнфрейм или системы среднего порядка.
Компоненты
- Хранилище Azure предоставляет масштабируемое, высокобезопасное облачное хранилище для данных, приложений и рабочих нагрузок. Файлы Azure предоставляет простые и безопасные облачные общие папки без сервера. Эти компоненты используются для синхронизации и хранения данных.
- Фабрика данных Azure — это гибридная служба интеграции данных, которую можно использовать для создания, планирования и оркестрации рабочих процессов ETL и ELT.
- Azure Data Box — это физическое устройство, которое можно использовать для перемещения локальных данных в Azure.
Альтернативные варианты
Классический метод перемещения данных из мейнфрейма или системы среднего порядка можно использовать через FTP. Фабрика данных предоставляет соединитель FTP, который можно использовать для архивации данных в Azure.
Подробности сценария
Мейнфреймы и системы среднего порядка создают, обрабатывают и хранят огромные объемы данных. Когда эти данные стареют, обычно это не полезно. Однако для соблюдения и нормативных правил иногда требуется хранить эти данные в течение определенного количества лет, поэтому архивация очень важна. Архивируя эти данные, вы можете сократить затраты и оптимизировать ресурсы. Архивация данных также помогает с помощью аналитики данных и предоставляет журнал данных.
Потенциальные варианты использования
Архивация данных в облако поможет вам:
- Освободите ресурсы хранилища в системах мейнфрейма и среднего порядка.
- Оптимизируйте производительность запросов, сохраняя только соответствующие данные в активной системе.
- Сокращение эксплуатационных затрат путем хранения данных более экономичным способом.
- Используйте архивные данные для аналитики, чтобы создавать новые возможности и принимать лучшие бизнес-решения.
Рекомендации
В зависимости от способа использования данных может потребоваться преобразовать его в ASCII из двоичного файла, а затем передать его в Azure. Это упрощает аналитику в Azure.
Рекомендации
- Сложные типы данных на мейнфрейме должны обрабатываться во время архива.
- Эксперты по темам приложений могут определить, какие данные необходимо архивировать.
- Чтобы определить время между синхронизацией, рассмотрите такие факторы, как критически важное значение для бизнеса, требования соответствия требованиям и частота доступа к данным.
Сторонние решения для архивирования
Некоторые сторонние решения доступны в Azure Marketplace. Для каждого из этих решений требуется уникальная конфигурация. Настройка этих решений является одной из основных задач реализации этой архитектуры.
Служба хранилища Azure
Azure имеет различные варианты для различных приложений и технических требований, таких как частый и редкий доступ, а также структурированные и неструктурированные данные. Вы можете настроить различные конфигурации жизненного цикла хранилища в хранилище Azure. Вы можете определить правила для управления жизненным циклом. Общие сведения см. в разделе "Настройка политики управления жизненным циклом".
Отзыв данных
Отзыв архивных данных является важным аспектом архивных решений. Некоторые сторонние решения обеспечивают простой интерфейс для отзыва архивированных данных. Это так же просто, как выполнение команды в локальной среде. Сторонний агент автоматически получает данные из Azure и получает их обратно в систему мейнфрейма.
Оптимизация затрат
Чтобы оценить затраты на реализацию этого решения, используйте Калькулятор цен Azure.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Автор субъекта:
- Pratim Dasgupta | Инженер-архитектор
Другие участники:
- Мик Альбертс | Технический писатель
- Эшиш Хандельвал | Старший инженер-архитектор
- Раманат Наяк | Инженер-архитектор
Следующие шаги
Дополнительные сведения см. в Инжиниринг данных Azure — Mainframe/Midrange Модернизация.
См. следующие ресурсы:
- Руководства по переносу баз данных Azure
- Что такое Фабрика данных Azure?
- Введение в хранилище Azure
- Что такое Файлы Azure?
- Что такое Azure Data Box?
- Изучение служб служба хранилища Azure