Přesun archivových dat z sálových systémů do Azure

Azure Data Factory
Azure Storage
Azure Files
Azure Blob Storage
Azure Data Box

Tato referenční architektura ukazuje, jak přesunout data z sálových a středních systémů do Azure. V této architektuře se archivovaná data obsluhují a používají pouze v sálovém systému. Azure se používá jenom jako médium úložiště.

Architektura

Diagram znázorňující architekturu pro archivaci mainframových dat do Azure

Stáhněte si soubor aplikace Visio s touto architekturou.

Pokud se chcete rozhodnout, jakou metodu použít k přesouvání dat mezi sálovým systémem a úložištěm Azure, zvažte frekvenci načítání dat a množství dat. K dispozici jsou řešení microsoftu a třetích stran:

  • Řešení Microsoftu.

    • Konektor FTP služby Azure Data Factory.
    • Aktivita kopírování služby Data Factory, která může kopírovat data do libovolného řešení úložiště Azure.
    • Mainframe JCL do Azure Blob pomocí Javy, vlastní řešení pro přesun dat z sálového systému do Azure prostřednictvím jazyka JCL (Job Control Language). Pokud potřebujete další informace, odešlete e-mail na adresu datasqlninja@microsoft.com.

  • Archivní řešení třetích stran. Řešení, která můžete snadno integrovat s sálovými systémy, středními systémy a službami Azure.

Workflow

  1. Konektor FTP služby Azure Data Factory přesune data ze systému sálového počítače do služby Azure Blob Storage. Toto řešení vyžaduje zprostředkující virtuální počítač, na kterém je nainstalovaný místní prostředí Integration Runtime.

  2. Aktivita kopírování služby Data Factory se připojí k databázi Db2 a zkopíruje data do úložiště Azure. Toto řešení také vyžaduje zprostředkující virtuální počítač, na kterém je nainstalovaný místní prostředí Integration Runtime.

  3. Microsoft Mainframe JCL do Azure Blob pomocí vlastního řešení v Javě přesouvá data mezi sálovým systémem a službou Blob Storage a naopak. Toto řešení je založené na Javě a běží na systémových službách Unix v sálovém počítači. Toto řešení můžete získat kontaktováním datasqlninja@microsoft.com.

    1. Musíte dokončit jednorázovou konfiguraci řešení. Tato konfigurace zahrnuje získání přístupových klíčů služby Blob Storage a přesun požadovaných artefaktů do systému sálových počítačů.

    2. Odeslání seznamu JCL přesune soubory do a z sálového počítače a ze služby Blob Storage.

    3. Soubory se ukládají v binárním formátu v Azure. Pro jednoduché datové typy můžete nakonfigurovat vlastní řešení pro převod EBCDIC na ASCII.

  4. Volitelně vám může Azure Data Box pomoct fyzicky přenášet data mainframů do Azure. Tato možnost je vhodná, pokud je potřeba migrovat velké množství dat a online metody přenosu trvá příliš dlouho. (Například pokud migrace trvá týdny.)

  5. Jednoduchá interakce s sálovým nebo středním prostředím je poskytována archivními řešeními třetích stran.

    Tato řešení pracují s sálovým rámcem a zpracovávají různé parametry sálového počítače, jako jsou datové typy, typy záznamů, typy úložiště a metody přístupu. Slouží jako most mezi Azure a sálovým rámcem. Některá řešení třetích stran připojují jednotku úložiště k sálovém počítači a pomáhají přenášet data do Azure.

  6. Data se pravidelně synchronizují a archivují prostřednictvím archivačního řešení třetí strany. Jakmile jsou data dostupná prostřednictvím řešení třetí strany, může je řešení snadno odeslat do Azure pomocí dostupných konektorů.

  7. Data se ukládají v Azure.

  8. Podle potřeby se data z Azure znovu odvolají do sálových nebo středně uspořádaných systémů.

Komponenty

  • Azure Storage poskytuje široce škálovatelné a vysoce zabezpečené cloudové úložiště pro vaše data, aplikace a úlohy. Azure Files poskytuje jednoduché a zabezpečené cloudové sdílené složky bez serveru. Tyto komponenty se používají k synchronizaci a uchovávání dat.
  • Azure Data Factory je služba hybridní integrace dat, kterou můžete použít k vytváření, plánování a orchestraci pracovních postupů ETL a ELT.
  • Azure Data Box je fyzické zařízení, které můžete použít k přesunu místních dat do Azure.

Alternativy

Můžete použít klasickou metodu přesunu dat z sálového nebo středního systému přes FTP. Data Factory poskytuje konektor FTP, který můžete použít k archivaci dat v Azure.

Podrobnosti scénáře

Sálové a střední uspořádání systémů generují, zpracovávají a ukládají obrovské objemy dat. Když se tato data zestárnou, obvykle to není užitečné. Pravidla dodržování předpisů a dodržování právních předpisů ale někdy vyžadují, aby se tato data ukládaly na určitý počet let, takže archivace je důležitá. Archivací těchto dat můžete snížit náklady a optimalizovat prostředky. Archivace dat také pomáhá s analýzou dat a poskytuje historii vašich dat.

Potenciální případy použití

Archivace dat do cloudu vám může pomoct:

  • Uvolněte prostředky úložiště v sálových a středně uspořádacích systémech.
  • Optimalizujte výkon dotazů uložením jenom relevantních dat do aktivního systému.
  • Snížení provozních nákladů díky úspornějšímu ukládání dat.
  • Archivovaná data můžete použít k analýze k vytvoření nových příležitostí a k lepšímu obchodnímu rozhodování.

Doporučení

V závislosti na tom, jak data používáte, můžete je z binárního souboru převést na ASCII a pak je nahrát do Azure. Díky tomu je analýza v Azure jednodušší.

Důležité informace

  • Složité datové typy na sálovém počítači musí být zpracovány během archivace.
  • Odborníci na danou problematiku aplikací můžou určit, která data je potřeba archivovat.
  • Pokud chcete určit dobu mezi synchronizacemi, zvažte faktory, jako jsou obchodní důležitost, potřeby dodržování předpisů a frekvence přístupu k datům.

Archivní řešení třetích stran

Některá řešení třetích stran jsou k dispozici na Azure Marketplace. Každé z těchto řešení vyžaduje jedinečnou konfiguraci. Nastavení těchto řešení je jednou z hlavních úloh implementace této architektury.

Úložiště Azure

Azure nabízí celou řadu možností pro různé požadavky na aplikace a technické požadavky, jako je častý a občasný přístup a strukturovaná a nestrukturovaná data. V úložišti Azure můžete nastavit různé konfigurace životního cyklu úložiště. Můžete definovat pravidla pro správu životního cyklu. Přehled najdete v tématu Konfigurace zásad správy životního cyklu.

Odvolání dat

Úplnost archivovaných dat je důležitým aspektem řešení archivace. Několik řešení třetích stran poskytuje bezproblémové prostředí pro odvolání archivovaných dat. Stačí spustit příkaz místně. Agent třetí strany automaticky získá data z Azure a ingestuje je zpět do systému sálových počítačů.

Optimalizace nákladů

K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Další přispěvatelé:

Další kroky

Pokud potřebujete další informace, kontaktujte Azure Datoví technici ing – modernizace mainframů nebo midrange.

Projděte si tyto zdroje informací: