Modernisieren von Mainframe- und Midrangedaten

Azure Cosmos DB
Azure Data Lake
Azure SQL-Datenbank
Verwaltete Azure SQL-Instanz
Azure Storage

Apache®, Spark und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

In diesem Artikel wird ein End-to-End-Modernisierungsplan für Mainframe- und Midrangedatenquellen beschrieben.

Aufbau

Architekturdiagramm: Modernisierung von Mainframe- und Midrangesystemen durch Migration von Daten zu Azure

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

Der folgende Dataflow zeigt einen Prozess zum Modernisieren einer Mainframedatenschicht. Er entspricht dem vorherigen Diagramm.

  1. Mainframe- und Midrangesysteme speichern Daten in Datenquellen, wie z. B. in Dateisystemen (VSAM, Flatfile, LTFS), relationalen Datenbanken (Db2 for z/OS, Db2 for IBM i, Db2 for Linux UNIX und Windows) oder nicht relationalen Datenbanken (IMS, ADABAS, IDMS).

  2. Bei der Objektkonvertierung werden Objektdefinitionen aus Quellobjekten extrahiert. Die Definitionen werden dann in entsprechende Objekte im Zieldatenspeicher konvertiert.

    • SQL Server Migration Assistant (SSMA) für Db2 migriert Schemas und Daten von IBM Db2-Datenbanken zu Azure-Datenbanken.
    • Der verwaltete Datenanbieter für Hostdateien konvertiert Objekte folgendermaßen:
      • COBOL- und RPG-Datensatzlayouts werden geparst, oder Copybooks.
      • Copybooks werden C#-Objekten zugeordnet, die .NET-Anwendungen nutzen.
    • Verwenden Sie für die Konvertierung von Datenbankobjekten von Db2 in Azure Database for PostgreSQL ein benutzerdefiniertes Tool. Beachten Sie, dass Sie möglicherweise Zugriff auf dieses Tool anfordern müssen.
    • Drittanbietertools führen automatisierte Objektkonvertierungen für nicht relationale Datenbanken, Dateisysteme und andere Datenspeicher durch.

  3. Daten werden erfasst und transformiert. Mainframe- und Midrangesysteme speichern ihre Dateisystemdaten im EBCDIC-codierten Format in Dateiformaten wie:

    • Indizierte VSAM-Dateien
    • Nicht indizierte GDG-Dateien
    • Flatfiles

    Copybooks in COBOL, PL/I und Assemblysprache definieren die Datenstruktur dieser Dateien.

    a. FTP überträgt Mainframe- und Midrange-Dateisystemdatasets mit einzelnen Layouts und nicht gepackten Feldern im Binärformat und im entsprechenden Copybook an Azure.

    b. Daten werden konvertiert. Der benutzerdefinierte Azure Data Factory-Connector ist eine Lösung, die unter Verwendung der Hostdatei-Clientkomponente von Host Integration Server entwickelt wurde, um Mainframedatasets zu konvertieren.

    Host Integration Server integriert vorhandene IBM-Hostsysteme, -Programme, -Nachrichten und -Daten in Azure-Anwendungen. Host Integration Server ist eine Hostdatei-Clientkomponente, mit der Sie eine benutzerdefinierte Lösung für die Datasetkonvertierung entwickeln können.

    Der benutzerdefinierte Azure Data Factory-Connector basiert auf dem Open-Source-Spark-Framework und wird auf Azure Synapse Analytics ausgeführt. Wie andere Lösungen kann er das Copybook analysieren und Daten konvertieren. Verwalten Sie den Dienst für die Datenkonvertierung mithilfe des Connectors zum Parsen von Hostdateiinhalten in Azure Logic Apps .

    c. Daten aus relationalen Datenbanken werden migriert.

    Mainframe- und Midrangesysteme von IBM speichern Daten in relationalen Datenbanken wie den folgenden:

    Die Datenbankdaten werden von folgenden Diensten migriert:

    • Data Factory verwendet einen Db2-Connector, um Daten aus den Datenbanken zu extrahieren und zu integrieren.
    • SQL Server Integration Services verarbeitet verschiedene Datenaufgaben vom Typ ETL.

    d. Daten aus nicht relationalen Datenbanken werden migriert.

    Mainframe- und Midrangesysteme von IBM speichern Daten in nicht relationalen Datenbanken wie den folgenden:

    Drittanbieterprodukte integrieren Daten aus diesen Datenbanken.

  4. Azure-Dienste wie Data Factory und AzCopy laden Daten in Azure-Datenbanken und -Datenspeicher. Zum Laden von Daten können auch Drittanbieterlösungen und benutzerdefinierte Ladelösungen verwendet werden.

  5. Azure bietet zahlreiche Speicherlösungen für verwaltete Daten:

  6. Azure-Dienste verwenden die modernisierte Datenschicht für Computing, Analysen, Speicher und Netzwerke.

  7. Clientanwendungen verwenden ebenfalls die modernisierte Datenschicht.

Komponenten

Datenspeicher

  • SQL-Datenbank ist Teil der Azure SQL-Familie. Es ist für die Cloud konzipiert und bietet alle Vorteile einer vollständig verwalteten und stets aktuellen PaaS-Lösung (Platform-as-a-Service). SQL-Datenbank bietet außerdem KI-gestützte, automatisierte Features zur Optimierung der Leistung und Dauerhaftigkeit. Serverloses Computing und Hyperscale-Speicheroptionen skalieren Ressourcen bei Bedarf automatisch.
  • Azure Database for PostgreSQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der PostgreSQL-Datenbank-Engine (Community Edition) basiert.
  • Azure Cosmos DB ist eine global verteilte, von mehreren Modellen unterstützte NoSQL Datenbank.
  • Azure Database for MySQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community Edition der Open-Source-MySQL-Datenbank-Engine basiert.
  • SQL Managed Instance ist ein intelligenter, skalierbarer und cloudbasierter Datenbankdienst, der alle Vorzüge einer vollständig verwalteten und stets aktuellen PaaS-Lösung (Platform-as-a-Service) bietet. SQL Managed Instance ist nahezu uneingeschränkt mit der Enterprise Edition der aktuellen SQL Server-Datenbank-Engine kompatibel. Er bietet auch eine native Implementierung virtueller Netzwerke, die Lösungen für allgemeine Sicherheitsprobleme bereitstellt.
  • Azure Data Lake Storage ist ein Repository zur Speicherung großer Datenmengen in ihrem nativen Rohformat. Data Lake-Speicher sind für die Skalierung auf Terabytes und Petabytes von Daten optimiert. Die Daten stammen in der Regel aus mehreren heterogenen Quellen. Sie können strukturiert, halbstrukturiert oder unstrukturiert sein.

Compute

  • Data Factory integriert Daten über verschiedene Netzwerkumgebungen hinweg, indem eine Integration Runtime (IR) verwendet wird, bei der es sich um eine Computeinfrastruktur handelt. Data Factory kopiert Daten zwischen Clouddatenspeichern und Datenspeichern in lokalen Netzwerken mithilfe von selbstgehosteten IRs.
  • Azure Virtual Machines bietet skalierbare Computingressourcen nach Bedarf. Ein virtueller Azure-Computer (virtual machine, VM) bietet die Flexibilität der Virtualisierung. Gleichzeitig entfällt der Wartungsaufwand von physischer Hardware. Azure-VMs bieten Ihnen bei Betriebssystemen die Wahl, einschließlich Windows und Linux.

Datenintegratoren

  • Azure Data Factory ist ein hybrider Datenintegrationsdienst. In dieser Lösung verwendet ein benutzerdefinierter Azure Data Factory-Connector die Hostdatei-Clientkomponente von Host Integration Server, um Mainframedatasets zu konvertieren. Mit minimalem Einrichtungsaufwand können Sie Ihr Mainframedataset mithilfe eines benutzerdefinierten Connectors auf die gleiche Weise konvertieren wie bei der Verwendung eines anderen Azure Data Factory-Connectors.
  • AzCopy ist ein Befehlszeilenhilfsprogramm, das Blobs oder Dateien in und aus Speicherkonten verschiebt.
  • SQL Server Integration Services ist eine Plattform für die Erstellung von Datenintegrations- und Datentransformationslösungen für Unternehmen. Sie ermöglicht die Lösung komplexer Unternehmensprobleme durch Folgendes:
    • Kopieren oder Herunterladen von Dateien
    • Laden von Data Warehouses
    • Bereinigen von Daten und Durchführen von Data Mining
    • Verwalten von SQL Server-Objekten und -Daten
  • Die Technologien und Tools von Host Integration Server ermöglichen die Integration bereits vorhandener IBM-Hostsysteme, -Programme, -Nachrichten und -Daten in Azure-Anwendungen. Die Hostdatei-Clientkomponente bietet Flexibilität für Daten, die von EBCDIC in ASCII konvertiert werden. Aus den konvertierten Daten kann beispielsweise JSON/XML-Code generiert werden.
  • Azure Synapse vereint Datenintegration und Data Warehousing für Unternehmen mit Big Data-Analysen. Die in dieser Architektur verwendete Azure Synapse-Konvertierungslösung basiert auf Apache Spark und ist ein guter Kandidat für die Konvertierung großer Mainframedataset-Workloads. Sie unterstützt ein breites Spektrum an Mainframedatenstrukturen und -zielen und erfordert minimalen Programmieraufwand.

Weitere Tools

  • SQL Server Migration Assistant für Db2 automatisiert die Migration von Db2 zu Microsoft-Datenbankdiensten. Bei Ausführung auf einem virtuellen Computer konvertiert dieses Tool Db2-Datenbankobjekte in SQL Server-Datenbankobjekte und erstellt diese Objekte in SQL Server.
  • Der Datenanbieter für Hostdateien ist eine Komponente von Host Integration Server, die Offlineverbindungen, SNA-Verbindungen oder TCP/IP-Verbindungen verwendet.
    • Bei Offlineverbindungen liest und schreibt der Datenanbieter Datensätze in einer lokalen Binärdatei.
    • Bei SNA- und TCP/IP-Verbindungen liest und schreibt der Datenanbieter Datensätze, die in z/OS-Remotedatasets (IBM Z Series-Mainframe) oder physischen i5/OS-Remotedateien (IBM AS/400- und iSeries-Systeme) gespeichert sind. Nur i5/OS-Systeme verwenden TCP/IP.
  • Azure-Dienste bieten Umgebungen, Tools und Prozesse für die Entwicklung und Skalierung neuer Anwendungen in der öffentlichen Cloud.

Szenariodetails

Moderne Datenspeicherlösungen wie die Azure-Datenplattform bieten eine bessere Skalierbarkeit und Leistung als Mainframe- und Midrangesysteme. Durch eine Modernisierung Ihrer Systeme können Sie diese Vorteile nutzen. Das Aktualisieren von Technologie, Infrastruktur und Vorgehensweisen ist jedoch komplex. Der Prozess umfasst eine umfassende Untersuchung der Geschäfts- und Entwicklungsaktivitäten. Die Datenverwaltung ist nur einer der Aspekte, die bei der Modernisierung Ihrer Systeme berücksichtigt werden müssen. Sie müssen sich auch mit der Datenvisualisierung und -integration befassen.

Bei erfolgreichen Modernisierungen wird eine Strategie verwendet, bei der die Daten an erster Stelle stehen. Bei diesem Ansatz liegt der Fokus auf den Daten und nicht auf dem neuen System. Die Datenverwaltung ist nicht mehr nur ein Punkt auf der Checkliste für eine Modernisierung. Stattdessen stehen die Daten im Mittelpunkt. Fragmentierte Lösungen mit mangelhafter Governance werden durch koordinierte, qualitätsorientierte Datenlösungen ersetzt.

Für diese Lösung werden die Komponenten der Azure-Datenplattform im Rahmen eines Ansatzes verwendet, bei dem der Fokus auf den Daten liegt. Die Lösung umfasst insbesondere Folgendes:

  • Konvertierung von Objekten: Hierbei werden Objektdefinitionen vom Quelldatenspeicher in entsprechende Objekte im Zieldatenspeicher konvertiert.
  • Datenerfassung. Hierbei wird eine Verbindung zum Quelldatenspeicher hergestellt, und Daten werden extrahiert.
  • Datentransformation Hierbei werden extrahierte Daten in entsprechende Zieldatenspeicherstrukturen transformiert.
  • Datenspeicherung: Hierbei werden Daten – sowohl zu Beginn als auch fortlaufend – vom Quelldatenspeicher in den Zieldatenspeicher geladen.

Mögliche Anwendungsfälle

Organisationen, die Mainframe- und Midrangesysteme verwenden, können von dieser Lösung profitieren – insbesondere, wenn sie die folgenden Ziele erreichen möchten:

  • Modernisieren unternehmenskritischer Workloads
  • Anwenden von Business Intelligence zur Verbesserung von Vorgängen und Erreichung eines Wettbewerbsvorteils
  • Beseitigen der hohen Kosten und der fehlenden Flexibilität von Mainframe- und Midrangedatenspeichern

Überlegungen

Diese Überlegungen setzen die Säulen des Azure Well-Architected Framework um, das aus einer Reihe von Leitprinzipien besteht, die zur Verbesserung der Qualität einer Workload verwendet werden können. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework. Wenn Sie den Client des Datenanbieters für Hostdateien zum Konvertieren von Daten verwenden, aktivieren Sie Verbindungspooling, um die Startzeit für Verbindungen zu senken. Wenn Sie Data Factory zum Extrahieren von Daten verwenden, sollten Sie die Leistung der Kopieraktivität optimieren.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Übersicht über die Säule „Sicherheit“.

  • Beachten Sie die Unterschiede zwischen lokalen Clientidentitäten und Clientidentitäten in Azure. Sie müssen etwaige Unterschiede ausgleichen.
  • Verwenden Sie verwaltete Identitäten für Komponenten-zu-Komponenten-Datenflüsse.
  • Wenn Sie den Datenanbieter für Hostdateien verwenden, um Daten zu konvertieren, halten Sie sich an die Empfehlungen unter Data Providers for Host Files security and protection (Sicherheit und Schutz für Datenanbieter für Hostdateien).

Kostenoptimierung

Bei der Kostenoptimierung geht es darum, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Überblick über die Säule „Kostenoptimierung“.

  • SQL Server Migration Assistant ist ein kostenloses, unterstütztes Tool, das die Datenbankmigration von Db2 zu SQL Server, SQL-Datenbank und SQL Managed Instance vereinfacht. SQL Server Migration Assistant automatisiert sämtliche Aspekte der Migration, einschließlich Migrationsbewertungsanalyse, Schema- und SQL-Anweisungskonvertierung und Datenmigration.
  • Der auf Azure Synapse Spark basierenden Lösung liegen Open-Source-Bibliotheken zugrunde. Sie beseitigt die finanzielle Belastung der Lizenzierung von Konvertierungstools.
  • Verwenden Sie den Azure-Preisrechner, um die Kosten für die Implementierung dieser Lösung abschätzen zu können.

Effiziente Leistung

Die Leistungseffizienz ist die Fähigkeit Ihrer Workload, auf effiziente Weise eine den Anforderungen der Benutzer entsprechende Skalierung auszuführen. Weitere Informationen finden Sie in der Übersicht über die Säule „Leistungseffizienz“.

  • Die wichtigsten Säulen der Leistungseffizienz sind Leistungsverwaltung, Kapazitätsplanung, Skalierbarkeit und die Auswahl eines geeigneten Leistungsmusters.
  • Sie können die selbstgehostete IR aufskalieren, indem Sie die logische Instanz mehreren lokalen Computern im Aktiv/Aktiv-Modus zuordnen.
  • Azure SQL-Datenbank ermöglicht ein dynamisches Skalieren Ihrer Datenbanken. In einer serverlosen Ebene können die Computeressourcen automatisch skaliert werden. Pools für elastische Datenbanken, mit denen Datenbanken Ressourcen in einem Pool gemeinsam nutzen können, können nur manuell skaliert werden.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Andere Mitwirkende:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte

Lesen Sie die Leitfäden zur Azure-Datenbankmigration. Wenden Sie sich an das Team Azure Data Engineering – Mainframe & Midrange Modernization, um weitere Informationen zu erhalten.

Weitere Informationen finden Sie in folgenden Artikeln: