Spark ジョブ定義アクティビティを実行してデータを変換する

Microsoft Fabric 用の Data Factory の Spark ジョブ定義アクティビティを使用すると、Spark ジョブ定義への接続を作成し、データ パイプラインから実行できます。

前提条件

開始するには、次の前提条件を満たしている必要があります。

• アクティブなサブスクリプションが含まれるテナント アカウント。 無料でアカウントを作成できます。
• ワークスペースが作成されている。

UI を使用したパイプラインへの Spark ジョブ定義アクティビティの追加

1. ワークスペースに新しいデータ パイプラインを作成します。

2. ホーム画面カードから Spark ジョブ定義を検索して選択するか、[アクティビティ] バーからアクティビティを選択してパイプライン キャンバスに追加します。

   • ホーム画面のカードからアクティビティを作成:

     

   • アクティビティバーからのアクティビティの作成:

     

3. まだ選択されていない場合は、パイプライン エディター キャンバスで新しい Spark ジョブ定義アクティビティを選択します。

   

   [全般設定] タブにあるオプションを構成するには、[全般設定] のガイダンスを参照してください。

Spark ジョブ定義アクティビティの設定

アクティビティのプロパティ ウィンドウで [設定] タブを選択し、実行する Spark ジョブ定義を含むファブリック ワークスペースを選択します。

既知の制限事項

Fabric Data Factory の Spark ジョブ定義アクティビティの現在の制限事項を次に示します。 このセクションは変更することがあります。

• 現在、アクティビティ内での新しい Spark ジョブ定義アクティビティの作成はサポートされていません ([設定] の下)
• パラメーター化のサポートは利用できません。
• 出力タブを使用したアクティビティの監視はサポートされていますが、Spark ジョブ定義をより詳細なレベルで監視することはできません。 たとえば、監視ページ、状態、期間、および以前の Spark ジョブ定義の実行へのリンクは、Data Factory では直接使用できません。 ただし、「Spark ジョブ定義の監視ページ」では、より詳細な詳細を確認できます。

パイプラインを保存して実行またはスケジュールする

パイプラインに必要なその他のアクティビティを構成したら、パイプライン エディターの上部にある [ホーム] タブに切り替え、[保存] ボタンを選択してパイプラインを保存します。 [実行] を選択して直接実行するか、[スケジュール] を選択してスケジュールを設定します。 ここで実行履歴を表示したり、他の設定を構成したりすることもできます。

関連するコンテンツ

パイプラインの実行を監視する方法