Azure Synapse Spark から Fabric への移行

移行を開始する前に、Fabric Data Engineering がご自分のワークロードに最適なソリューションであることを確認する必要があります。 Fabric Data Engineering では、さまざまなランタイム機能と Spark 機能のサポートを含む、レイクハウス、ノートブック、環境、Spark ジョブ定義 (SJD) とデータ パイプライン項目がサポートされます。

重要な考慮事項

移行戦略を立てるための最初の手順は、適合性を評価することです。 Spark に関連する特定の Fabric 機能は、現在開発中または計画中であることにご注意ください。 詳細と更新内容については、Fabric のロードマップに関するページを参照してください。

Spark については、Azure Synapse Spark と Fabric の違いの詳しい比較に関するページを参照してください。

移行シナリオ

既存の Spark ワークロードを移行するための適切な選択肢が Fabric Data Engineering であると判断した場合、その移行プロセスには複数のシナリオとフェーズが含まれる場合があります。

• 項目: 項目の移行では、既存の Azure Synapse ワークスペースから Fabric に 1 つまたは複数の項目を転送します。 移行の詳細については、Spark プール、Spark の構成、Spark のライブラリ、ノートブック、および Spark ジョブ定義を参照してください。
• データとパイプライン: OneLake ショートカットを使用することで、ADLS Gen2 データ (Azure Synapse ワークスペースにリンクされています) を Fabric レイクハウスで使用できるようにできます。 パイプラインの移行では、ノートブックや Spark ジョブ定義パイプライン アクティビティなど、既存のデータ パイプラインを Fabric に移動します。 詳細については、データとパイプラインの移行に関するページを参照してください。
• メタデータ: メタデータの移行では、Azure Synapse の既存の Hive MetaStore (HMS) から Fabric lakehouse に、Spark カタログ メタデータ (データベース、テーブル、パーティション) を移動します。 詳細については、HMS メタデータの移行を参照してください。
• ワークスペース: ユーザーは、メタデータを含む新しいワークスペースを Microsoft Fabric に作成することで、既存の Azure Synapse ワークスペースを移行できます。 ワークスペースの移行については、このガイダンスでは説明しません。ここでは、ユーザーが新しいワークスペースを作成するか、既存の Fabric ワークスペースを持っていることを前提とします。 詳細については、Fabric のワークスペース ロールに関する記事を参照してください。

Azure Synapse Spark から Fabric Spark に移行するには、現在のアーキテクチャについて、および Azure Synapse Spark と Fabric の違いについて深く理解する必要があります。 最初の重要な手順は評価すること、そしてその後に詳細な移行計画を作成することです。 この計画は、システム固有の特性、フェーズの依存関係、ワークロードの複雑さに合わせてカスタマイズできます。

関連するコンテンツ

• Fabric とAzure Synapse Spark
• 詳細については、Spark プール、構成、ライブラリ、ノートブック、および Spark ジョブ定義の移行オプションを参照してください
• データとパイプラインを移行する
• Hive メタストア メタデータの移行