Migrieren von Azure Synapse Spark zu Fabric

  • Artikel

Vergewissern Sie sich vor Beginn der Migration, dass Fabric-Datentechnik die beste Lösung für Ihre Workload ist. Fabric-Datentechnik unterstützt Elemente vom Typ Lakehouse, Notebook, Umgebung, Spark-Auftragsdefinition (Spark Job Definition, SJD) und Datenpipeline sowie unterschiedliche Runtime- und Spark-Funktionen.

Wichtige Aspekte

Der erste Schritt bei der Entwicklung einer Migrationsstrategie besteht darin, die Eignung zu bewerten. Wichtig: Bestimmte Fabric-Features im Zusammenhang mit Spark befinden sich derzeit in der Entwicklung oder Planung. Weitere Details und Updates finden Sie in der Fabric-Roadmap.

Für Spark finden Sie einen detaillierten Vergleich unter Unterschiede zwischen Azure Synapse Spark und Fabric.

Migrationsszenarios

Wenn Sie zu dem Ergebnis kommen, dass Fabric-Datentechnik die richtige Wahl für die Migration Ihrer vorhandenen Spark-Workloads ist, kann der Migrationsprozess mehrere Szenarien und Phasen umfassen:

  • Elemente: Die Migration von Elementen umfasst die Übertragung eines oder mehrerer Elemente aus Ihrem vorhandenen Azure Synapse-Arbeitsbereich in Fabric. Informieren Sie sich ausführlicher über die Migration von Spark-Pools, Spark-Konfigurationen, Spark-Bibliotheken und Notebooks sowie über die Migration der Spark-Auftragsdefinition.
  • Daten und Pipelines: Mithilfe von OneLake-Verknüpfungen können Sie ADLS Gen2-Daten (die mit einem Azure Synapse-Arbeitsbereich verknüpft sind) in Fabric Lakehouse verfügbar machen. Die Pipelinemigration umfasst das Verschieben vorhandener Datenpipelines nach Fabric (einschließlich Pipelineaktivitäten für Notebooks und die Spark-Auftragsdefinition). Weitere Informationen zur Migration von Daten und Pipelines finden Sie hier.
  • Metadaten: Die Migration von Metadaten umfasst das Verschieben von Spark-Katalogmetadaten (Datenbanken, Tabellen und Partitionen) aus einem vorhandenen Hive-Metastore (HMS) in Azure Synapse nach Fabric Lakehouse. Weitere Informationen zur Migration von HMS-Metadaten finden Sie hier.
  • Arbeitsbereich: Benutzer*innen können einen vorhandenen Azure Synapse-Arbeitsbereich migrieren, indem sie in Microsoft Fabric einen neuen Arbeitsbereich (einschließlich Metadaten) erstellen. Die Arbeitsbereichsmigration wird in dieser Anleitung nicht behandelt. Es wird davon ausgegangen, dass Benutzer*innen einen neuen Arbeitsbereich erstellen müssen oder über einen bereits vorhandenen Fabric-Arbeitsbereich verfügen. Hier finden Sie weitere Informationen zu Arbeitsbereichsrollen in Fabric.

Screenshot der Migrationsszenarien.

Die Umstellung von Azure Synapse Spark auf Fabric Spark erfordert ein umfassendes Verständnis Ihrer aktuellen Architektur und der Unterschiede zwischen Azure Synapse Spark und Fabric. Der erste entscheidende Schritt ist eine Bewertung, gefolgt von der Erstellung eines detaillierten Migrationsplans. Dieser Plan kann an die individuellen Merkmale, Phasenabhängigkeiten und Workloadkomplexitäten Ihres Systems angepasst werden.

Zugehöriger Inhalt