Použití služby Azure Data Factory k migraci dat z data lake nebo datového skladu do Azure

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Pokud chcete migrovat datové jezero nebo podnikový datový sklad (EDW) do Microsoft Azure, zvažte použití služby Azure Data Factory. Služba Azure Data Factory je vhodná pro následující scénáře:

  • Migrace úloh s velkými objemy dat ze služby Amazon Simple Storage Service (Amazon S3) nebo místního systému souborů Hadoop Distributed File System (HDFS) do Azure
  • Migrace EDW z Oracle Exadata, Netezza, Teradata nebo Amazon Redshiftu do Azure

Azure Data Factory může přesunout petabajty (PB) dat pro migraci data lake a desítky terabajtů (TB) dat pro migraci datového skladu.

Proč je možné službu Azure Data Factory použít k migraci dat

  • Azure Data Factory dokáže snadno vertikálně navýšit kapacitu výpočetního výkonu a přesouvat data bezserverovým způsobem s vysokým výkonem, odolností a škálovatelností. A platíte jen za to, co používáte. Všimněte si také těchto věcí:
    • Azure Data Factory nemá žádná omezení objemu dat ani počtu souborů.
    • Azure Data Factory může plně využívat šířku pásma sítě a úložiště k dosažení nejvyššího objemu propustnosti přesunu dat ve vašem prostředí.
    • Azure Data Factory používá metodu průběžných plateb, takže platíte jenom za čas, který skutečně používáte ke spuštění migrace dat do Azure.
  • Azure Data Factory může provádět jednorázové historické načtení i naplánované přírůstkové načítání.
  • Azure Data Factory používá prostředí Azure Integration Runtime (IR) k přesunu dat mezi veřejně přístupnými koncovými body data lake a skladu. K přesunu dat pro koncové body data lake a skladu uvnitř virtuální sítě Azure nebo za bránou firewall může také použít místní prostředí IR.
  • Azure Data Factory má zabezpečení na podnikové úrovni: Ke správě přihlašovacích údajů můžete použít Instalační službu systému Windows (MSI) nebo identitu služby.
  • Azure Data Factory poskytuje prostředí pro vytváření bez kódu a bohatý integrovaný řídicí panel monitorování. 

Online versus offline migrace dat

Azure Data Factory je standardní online nástroj pro migraci dat pro přenos dat přes síť (internet, ER nebo VPN). Zatímco při offline migraci dat uživatelé fyzicky dodávají zařízení pro přenos dat ze své organizace do datového centra Azure.

Při výběru mezi přístupem k online a offline migraci existují tři klíčové aspekty:

  • Velikost migrovaných dat
  • Šířka pásma sítě
  • Okno migrace

Předpokládejme například, že plánujete použít Azure Data Factory k dokončení migrace dat do dvou týdnů ( okno migrace). Všimněte si růžové/modré čáry řezu v následující tabulce. Nejnižší růžová buňka pro libovolný sloupec zobrazuje dvojici velikosti dat a šířky pásma sítě, jejíž okno migrace je nejblíže, ale méně než dva týdny. (Jakékoli párování velikosti a šířky pásma v modré buňce má okno online migrace s více než dvěma týdny.)

online vs. offline Tato tabulka vám pomůže určit, jestli můžete splnit zamýšlené okno migrace prostřednictvím online migrace (Azure Data Factory) na základě velikosti dat a dostupné šířky pásma sítě. Pokud je online okno migrace delší než dva týdny, budete chtít offline migraci použít.

Poznámka:

Pomocí online migrace můžete dosáhnout jak historického načítání dat, tak přírůstkových informačních kanálů prostřednictvím jediného nástroje. Díky tomuto přístupu je možné data synchronizovat mezi existujícím úložištěm a novým úložištěm během celého okna migrace. To znamená, že logiku ETL můžete znovu sestavit v novém úložišti s obnovenými daty.

Související obsah