Migrace Azure Data Lake Analytics do Azure Synapse Analytics

  • Článek

Azure Data Lake Analytics bude vyřazena 29. února 2024. Další informace najdete v tomto oznámení.

Pokud už používáte Azure Data Lake Analytics, můžete vytvořit plán migrace pro Azure Synapse Analytics pro vaši organizaci.

Společnost Microsoft spustila Azure Synapse Analytics, jejímž cílem je spojit datová jezera a datový sklad pro jedinečné prostředí analýzy velkých objemů dat. Pomůže vám shromáždit a analyzovat data, abyste vyřešili neefektivitu dat, a pomůže vašim týmům spolupracovat. Integrace Synapse se službami Azure Machine Learning a Power BI navíc organizacím umožní získat přehledy z dat a spouštět strojové učení do všech svých inteligentních aplikací.

V dokumentu se dozvíte, jak provést migraci z Azure Data Lake Analytics do Azure Synapse Analytics.

  • Krok 1: Posouzení připravenosti
  • Krok 2: Příprava na migraci
  • Krok 3: Migrace úloh dat a aplikací
  • Krok 4: Přímé přechodu z Azure Data Lake Analytics na Azure Synapse Analytics

Krok 1: Posouzení připravenosti

  1. Podívejte se na Apache Spark na Azure Synapse Analytics a seznamte se s klíčovými rozdíly mezi Azure Data Lake Analytics a Sparkem v Azure Synapse Analytics.

    Položka Azure Data Lake Analytics Spark v Synapse
    Ceny Za analytickou jednotkovou hodinu Za hodinu virtuálních jader
    Modul Azure Data Lake Analytics Apache Spark
    Výchozí programovací jazyk U-SQL T-SQL, Python, Scala, Spark SQL a .NET
    Zdroje dat Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage

  2. Projděte si dotazník pro posouzení migrace a uveďte seznam možných rizik, která je potřeba zvážit.

Krok 2: Příprava na migraci

  1. Identifikujte úlohy a data, která budete migrovat.

    • Využijte tuto příležitost k vyčištění úloh, které už nepoužíváte. Pokud neplánujete migrovat všechny úlohy najednou, využijte tuto dobu k identifikaci logických skupin úloh, které můžete migrovat ve fázích.
    • Vyhodnoťte velikost dat a seznamte se s formátem dat Apache Sparku. Zkontrolujte skripty U-SQL a vyhodnoťte úsilí o přepsání skriptů a seznamte se s konceptem kódu Apache Sparku.

  2. Zjistěte, jaký dopad bude mít migrace na vaši firmu. Například jestli si můžete dovolit jakýkoli výpadek během migrace.

  3. Vytvořte plán migrace.

Krok 3: Migrace dat a úloh aplikací

  1. Migrace dat z Azure Data Lake Storage Gen1 do Azure Data Lake Storage Gen2

    Azure Data Lake Storage vyřazení Gen1 bude v únoru 2024, podívejte se na oficiální oznámení. Doporučujeme nejprve migrovat data do Gen2. Přečtěte si článek Principy datových formátů Apache Sparku pro vývojáře Azure Data Lake Analytics U-SQL a přesunutí souboru i dat uložených v tabulkách U-SQL, aby byly přístupné pro Azure Synapse Analytics. Další podrobnosti o průvodci migrací najdete tady.

  2. Transformujte skripty U-SQL na Spark. Informace o transformaci skriptů U-SQL na Spark najdete v tématu Principy konceptů kódu Apache Sparku pro vývojáře Azure Data Lake Analytics U-SQL.

  3. Transformujte nebo znovu vytvořte kanály orchestrace úloh do nového programu Spark.

Krok 4: Přejděte z Azure Data Lake Analytics na Azure Synapse Analytics

Jakmile budete mít jistotu, že vaše aplikace a úlohy jsou stabilní, můžete začít používat Azure Synapse Analytics, abyste uspokojili své obchodní scénáře. Vypněte všechny zbývající kanály spuštěné v Azure Data Lake Analytics a vyřaďte účty Azure Data Lake Analytics.

Dotazník pro posouzení migrace

Kategorie Dotazy Reference
Vyhodnocení velikosti migrace Kolik účtů Azure Data Lake Analytics máte? Kolik kanálů se používá? Kolik skriptů U-SQL se používá? Čím více dat a skriptů se má migrovat, tím více se ve skriptech používá UDO/UDF, tím obtížnější je migrace. Čas a prostředky potřebné k migraci je potřeba dobře naplánovat podle rozsahu projektu.
Zdroj dat Jaká je velikost zdroje dat? Jaké typy formátu dat se mají zpracovávat? Principy datových formátů Apache Sparku pro vývojáře Azure Data Lake Analytics U-SQL
Výstup dat Ponecháte si výstupní data pro pozdější použití? Pokud jsou výstupní data uložená v tabulkách U-SQL, jak je zpracovat? Pokud se budou výstupní data často používat a ukládat do tabulek U-SQL, budete muset změnit skripty a změnit výstupní data na formát dat podporovaný sparkem.
Migrace dat Vytvořili jste plán migrace úložiště? Migrace Azure Data Lake Storage z Gen1 na Gen2
Transformace skriptů U-SQL Používáte UDO/UDF (.NET, python atd.)? Pokud je výše uvedená odpověď ano, který jazyk používáte v UDO/UDF a jaké problémy s transformací během transformace máte? Používá se v U-SQL federovaný dotaz? Principy konceptů kódu Apache Sparku pro vývojáře Azure Data Lake Analytics U-SQL

Další kroky