Azure Data Lake Analytics を Azure Synapse Analytics に移行する
Azure Data Lake Analytics は 2024 年 2 月 29 日に廃止されます。 詳細については、このお知らせを参照してください。
Azure Data Lake Analytics を既に使用している場合は、組織で Azure Synapse Analytics への移行計画を作成する必要があります。
Microsoft は、データ レイクとデータ ウェアハウスの両方を統合して独自のビッグ データ分析エクスペリエンスを実現することを目的とした Azure Synapse Analytics の提供を開始しました。 これを利用することで、データを収集して分析し、データの非効率性を解決し、チームの共同作業を支援します。 さらに、Synapse は Azure Machine Learning および Power BI と統合されているので、組織がデータから分析情報を取得し、すべてのスマート アプリに機械学習を実行する能力が高まります。
このドキュメントでは、Azure Data Lake Analytics から Azure Synapse Analytics への移行方法について説明します。
推奨される方法
- 手順 1:適応性を評価する
- 手順 2:移行を準備する
- 手順 3: データとアプリケーション ワークロードを移行する
- 手順 4: Azure Data Lake Analytics を Azure Synapse Analytics に切り替える
手順 1:適応性を評価する
「Azure Synapse Analytics での Apache Spark」を参照し、Azure Data Lake Analytics と Azure Synapse Analytics 上の Spark の主な違いを理解してください。
Item Azure Data Lake Analytics Synapse 上の Spark 価格 分析ユニット時間あたり 仮想コア時間あたり エンジン Azure Data Lake Analytics Apache Spark 既定のプログラミング言語 U-SQL T-SQL、Python、Scala、Spark SQL、.NET ソリューション エクスプローラー Azure Data Lake Storage Azure Blob Storage、Azure Data Lake Storage 「移行評価のためのアンケート」を確認し、検討対象として考えられるリスクを列挙します。
手順 2:移行を準備する
移行するジョブとデータを特定します。
- この機会を利用して、使用しなくなったジョブをクリーンアップします。 すべてのジョブを一度に移行することを計画しているのでない限り、この時間を使って、段階的に移行できるジョブの論理グループを明らかにします。
- データのサイズを評価し、Apache Spark のデータ形式を把握します。 U-SQL スクリプトを確認し、スクリプトの書き換え作業を評価し、Apache Spark コードの概念を理解します。
移行がビジネスに与える影響を決定します。 たとえば、移行の実行中にダウンタイムを許容できるかどうかなどです。
移行計画を作成します。
手順 3: データとアプリケーション ワークロードを移行する
Azure Data Lake Storage Gen1 から Azure Data Lake Storage Gen2 にデータを移行します。
Azure Data Lake Storage Gen1 は 2024 年 2 月に廃止される予定です。公式発表のページをご覧ください。 まず Gen2 にデータを移行することをお勧めします。 Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark データ形式の概要に関するページを参照し、ファイルと U-SQL テーブルに格納されているデータの両方を移動して、Azure Synapse Analytics からアクセスできるようにします。 移行ガイドの詳細についてはこちらを参照してください。U-SQL スクリプトを Spark に変換します。 Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark コードの概念の概要に関するページを参照し、U-SQL スクリプトを Spark に変換します。
ジョブ オーケストレーション パイプラインを新しい Spark プログラムに変換するか、作成し直します。
手順 4: Azure Data Lake Analytics を Azure Synapse Analytics に切り替える
アプリケーションとワークロードが安定していることを確認したら、Azure Synapse Analytics を使用してビジネス シナリオに対応できるようになります。 Azure Data Lake Analytics で実行されている残りのパイプラインをすべてオフにし、Azure Data Lake Analytics アカウントを削除します。
移行評価のためのアンケート
| カテゴリ | 質問 | リファレンス |
|---|---|---|
| 移行のサイズを評価する | Azure Data Lake Analytics アカウントはいくつありますか。 使用しているパイプライン数はいくつですか。 使用している U-SQL スクリプト数はいくつですか。 | 移行するデータとスクリプトが多いほど、またスクリプトに使用されている UDO または UDF が多いほど、移行は難しくなります。 移行に必要な時間とリソースは、プロジェクトの規模に応じて適切に計画する必要があります。 |
| データ ソース | データ ソースのサイズはどのくらいですか。 どのような種類のデータ形式を処理しますか。 | Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark データ形式の概要 |
| データ出力 | 出力データは後で使用するために保持しますか。 出力データが U-SQL テーブルに保存されている場合、それをどのように処理しますか。 | 出力データが頻繁に使用され、U-SQL テーブルに保存される場合は、スクリプトを変更し、出力データを Spark がサポートするデータ形式に変更する必要があります。 |
| データ移行 | ストレージの移行計画は立てましたか。 | Azure Data Lake Storage を Gen1 から Gen2 に移行する |
| U-SQL スクリプトの変換 | UDO または UDF (.NET、python など) を使用していますか。この答えが "はい" の場合、UDO または UDF でどの言語を使用していますか。また、変換中に変換に関する問題はありますか。フェデレーション クエリは U-SQL で使用されていますか。 | Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark コードの概念 |