プライベートエンドポイントを使用して Azure Blob Storage から SQL データベースに安全にデータをコピーする

[アーティクル]
10/03/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

このチュートリアルでは、Azure Data Factory ユーザーインターフェイス (UI) を使用してデータファクトリを作成します。このデータファクトリのパイプラインでは、Azure Data Factory マネージド仮想ネットワークのプライベートエンドポイントを使用して、Azure Blob Storage から Azure SQL データベースに安全にデータをコピーします (どちらも、選択したネットワークへのアクセスのみを許可します)。このチュートリアルの構成パターンは、ファイルベースのデータストアからリレーショナルデータストアへのコピーに適用されます。ソースおよびシンクとしてサポートされているデータストアの一覧については、「サポートされるデータストアと形式」の表を参照してください。プライベートエンドポイント機能は Azure Data Factory のすべてのサービスレベルで使用できるので、それらを利用するために特定のサービスレベルは必要ありません。価格とサービスレベルについて詳しくは、Azure Data Factory の価格のページをご覧ください。

Note

Data Factory を初めて使用する場合は、「Azure Data Factory の概要」を参照してください。

このチュートリアルでは、次の手順を実行します。

データファクトリを作成します。
コピーアクティビティを含むパイプラインを作成します。

前提条件

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料の Azure アカウントを作成してください。
Azure ストレージアカウント。 Blob Storage を "ソース" データストアとして使用します。ストレージアカウントがない場合の作成手順については、Azure のストレージアカウントの作成に関するページを参照してください。 ストレージアカウントで、選択したネットワークからのアクセスのみが許可されていることを確認します。
Azure SQL データベース。データベースを "シンク" データストアとして使用します。 Azure SQL データベースがない場合の作成手順については、SQL データベースの作成に関するページを参照してください。 SQL Database アカウントで、選択したネットワークからのアクセスのみが許可されていることを確認します。

BLOB と SQL テーブルを作成する

ここからは、次の手順を実行して、チュートリアル用の Blob Storage と SQL データベースを準備します。

ソース BLOB を作成する

メモ帳を開きます。次のテキストをコピーし、emp.txt ファイルとしてディスクに保存します。
```
FirstName,LastName
John,Doe
Jane,Doe
```
Blob Storage に adftutorial という名前のコンテナーを作成します。このコンテナーに input という名前のフォルダーを作成します。次に、input フォルダーに emp.txt ファイルをアップロードします。 Azure Portal を使用するか、または Azure Storage Explorer などのツールを使用して、これらのタスクを実行します。

シンク SQL テーブルを作成する

次の SQL スクリプトを使用して、dbo.emp テーブルを SQL データベースに作成します。

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Data Factory の作成

この手順では、データファクトリを作成するほか、Data Factory UI を起動してそのデータファクトリにパイプラインを作成します。

Microsoft Edge または Google Chrome を開きます。現在、Data Factory UI をサポートしている Web ブラウザーは Microsoft Edge と Google Chrome のみです。
左側のメニューで、 [リソースの作成]>[分析]>[Data Factory] の順に選択します。
[新しいデータファクトリ] ページで、 [名前] に「ADFTutorialDataFactory」と入力します。

Azure データファクトリの名前は グローバルに一意にする必要があります。データファクトリの名前の値に関するエラーメッセージが表示された場合は、別の名前を入力してください(yournameADFTutorialDataFactory など)。 Data Factory アーティファクトの名前付け規則については、Data Factory の名前付け規則に関するページを参照してください。
データファクトリを作成する Azure サブスクリプションを選択します。
[リソースグループ] で、次の手順のいずれかを行います。
- [Use existing (既存のものを使用)] を選択し、ドロップダウンリストから既存のリソースグループを選択します。
- [新規作成] を選択し、リソースグループの名前を入力します。
リソースグループの詳細については、リソースグループを使用した Azure のリソースの管理に関するページを参照してください。
[バージョン] で、 [V2] を選択します。
[場所] で、データファクトリの場所を選択します。サポートされている場所のみがドロップダウンリストに表示されます。データファクトリによって使用されるデータストア (Azure Storage、SQL Database など) やコンピューティング (Azure HDInsight など) は、他のリージョンに存在していてもかまいません。
［作成］ を選択します
作成が完了すると、その旨が通知センターに表示されます。 [リソースに移動] を選択して、 [Data Factory] ページに移動します。
[開く] を [Open Azure Data Factory Studio] タイルで選択して、別のタブで Azure Data Factory UI を起動します。

Data Factory マネージド仮想ネットワークに Azure 統合ランタイムを作成する

この手順では、Azure 統合ランタイムを作成し、Data Factory マネージド仮想ネットワークを有効にします。

Data Factory ポータルで、 [管理] に移動し、 [新規] を選択して新しい Azure 統合ランタイムを作成します。
[Integration runtime setup](統合ランタイムのセットアップ) ページで、必要な機能に基づいて作成する統合ランタイムを選択します。このチュートリアルでは、 [Azure、セルフホステッド] を選択し、 [続行] をクリックします。
[Azure] を選択し、 [続行] をクリックして、Azure Integration ランタイムを作成します。
[仮想ネットワークの構成 (プレビュー)] で、 [有効化] を選択します。
［作成］ を選択します

パイプラインを作成する

この手順では、コピーアクティビティが含まれたパイプラインをデータファクトリに作成します。コピーアクティビティによって、Blob Storage から SQL Database にデータがコピーされます。クイックスタートチュートリアルでは、次の手順でパイプラインを作成しました。

リンクされたサービスを作成します。
入力データセットと出力データセットを作成します。
パイプラインを作成します。

このチュートリアルでは、最初にパイプラインを作成します。その後、パイプラインの構成に必要な場合にリンクされたサービスとデータセットを作成します。

ホームページで [調整] を選択します。
パイプラインの [プロパティ] ペインで、パイプライン名として「CopyPipeline」と入力します。
[アクティビティ] ツールボックスで [Move and Transform](移動と変換) カテゴリを展開し、ツールボックスからパイプラインデザイナー画面に [データのコピー] アクティビティをドラッグします。名前に「CopyFromBlobToSql」と入力します。

ソースを構成する

ヒント

このチュートリアルでは、ソースデータストアの認証の種類として "アカウントキー" を使用します。また、必要に応じて、SAS URI、サービスプリンシパル、マネージド ID など、サポートされている他の認証方法を選ぶこともできます。詳細については、「Azure Data Factory を使用して Azure BLOB ストレージのデータをコピーおよび変換する」の対応するセクションを参照してください。

さらに、データストアのシークレットを安全に格納するために、Azure Key Vault の使用をお勧めします。詳細な説明と図解については、「Azure Key Vault への資格情報の格納」を参照してください。

ソースデータセットおよびリンクされたサービスを作成する

[ソース] タブに移動します。 [+ 新規] を選択して、ソースデータセットを作成します。
[新しいデータセット] ダイアログボックスで [Azure Blob Storage] を選択し、 [続行] をクリックします。ソースデータは Blob Storage にあるので、ソースデータセットには Azure Blob Storage を選択します。
[形式の選択] ダイアログボックスで、データの形式の種類を選択して、 [続行] を選択します。
[プロパティの設定] ダイアログボックスで、 [名前] に「SourceBlobDataset」を入力します。 [First row as header](先頭の行を見出しとして使用) のチェックボックスをオンにします。 [リンクされたサービス] ボックスの下にある [+ 新規] を選択します。
[New linked service (Azure Blob Storage)](新しいリンクされたサービス (Azure Blob Storage)) ダイアログボックスで、 [名前] として「AzureStorageLinkedService」と入力し、 [ストレージアカウント名] の一覧からご自身のストレージアカウントを選択します。
[Interactive authoring](インタラクティブな作成) を必ず有効にしてください。これは有効になるまでに 1 分程かかる場合があります。
[接続テスト] を選択します。これは、ストレージアカウントが、選択したネットワークからのアクセスのみを許可していて、Data Factory に、使用する前に承認が必要なプライベートエンドポイントの作成を要求する場合、失敗します。エラーメッセージ内に、プライベートエンドポイントを作成するためのリンクが表示されます。それをたどることで、マネージドプライベートエンドポイントを作成できます。代わりに、 [管理] タブに直接移動し、次のセクションの指示に従って、マネージドプライベートエンドポイントを作成する方法もあります。

Note

データファクトリインスタンスでは、そのすべてで [管理] タブを使用できない場合があります。表示されない場合は、 [作成者]>[接続]>[プライベートエンドポイント] を選択して、プライベートエンドポイントにアクセスできます。
ダイアログボックスは開いたままにして、ストレージアカウントに移動します。
このセクションの手順に従って、プライベートリンクを承認します。
ダイアログボックスに戻ります。もう一度 [接続テスト] を選択し、 [作成] を選択して、リンクされたサービスをデプロイします。
リンクされたサービスが作成されると、 [プロパティの設定] ページに戻ります。 [ファイルパス] の横にある [参照] を選択します。
adftutorial/input フォルダーに移動して emp.txt ファイルを選択し、 [OK] を選択します。
[OK] を選択します。自動的にパイプラインページに移動します。 [ソース] タブで、 [SourceBlobDataset] が選択されていることを確認します。このページのデータをプレビューするには、 [データのプレビュー] を選択します。

マネージドプライベートエンドポイントを作成する

接続をテストした際にハイパーリンクを選択しなかった場合は、パスに従います。次に、作成済みのリンクされたサービスに接続するマネージドプライベートエンドポイントを作成する必要があります。

[管理] タブに移動します。

Note

Data Factory インスタンスでは、そのすべてで [管理] タブを使用できない場合があります。表示されない場合は、 [作成者]>[接続]>[プライベートエンドポイント] を選択して、プライベートエンドポイントにアクセスできます。
[マネージドプライベートエンドポイント] セクションに移動します。
[マネージドプライベートエンドポイント] で、 [+ 新規] を選択します。
一覧から [Azure Blob Storage] タイルを選択し、 [続行] を選択します。
作成したストレージアカウントの名前を入力します。
［作成］ を選択します
数秒後に、作成されたプライベートリンクに承認が必要であることが表示されます。
作成したプライベートエンドポイントを選択します。ストレージアカウントレベルでプライベートエンドポイントを承認できるハイパーリンクが表示されます。

ストレージアカウントでプライベートリンクを承認する

ストレージアカウントで、 [設定] セクションの [プライベートエンドポイント接続] に移動します。
作成したプライベートエンドポイントのチェックボックスをオンにし、 [承認] を選択します。
説明を追加し、 [はい] を選択します。
Data Factory の [管理] タブにある [マネージドプライベートエンドポイント] セクションに戻ります。
約 1 分から 2 分後に、Data Factory UI にプライベートエンドポイントの承認が表示されます。

シンクを構成する

ヒント

このチュートリアルでは、シンクデータストアの認証の種類として SQL 認証を使用します。また、必要に応じて、サービスプリンシパル、マネージド ID など、サポートされている他の認証方法を選ぶこともできます。詳細については、「Azure Data Factory を使用して Azure SQL Database のデータをコピーおよび変換する」の対応するセクションを参照してください。

シンクデータセットおよびリンクされたサービスを作成する

[シンク] タブに移動し、 [+ 新規] を選択してシンクデータセットを作成します。
[新しいデータセット] ダイアログボックスで、検索ボックスに「SQL」と入力して、コネクタをフィルター処理します。 [Azure SQL Database] を選び、 [続行] を選びます。このチュートリアルでは、SQL データベースにデータをコピーします。
[プロパティの設定] ダイアログボックスで、 [名前] に「OutputSqlDataset」を入力します。 [リンクされたサービス] ドロップダウンリストから [+ 新規] を選択します。データセットをリンクされたサービスに関連付ける必要があります。リンクされたサービスには、Data Factory が実行時に SQL データベースに接続するために使用する接続文字列が含まれています。データセットは、コンテナー、フォルダー、データのコピー先のファイル (オプション) を指定します。
[New Linked Service (Azure SQL Database)](新しいリンクされたサービス (Azure SQL Database)) ダイアログボックスで、次の手順を実行します。
1. [名前] に「AzureSqlDatabaseLinkedService」と入力します。
2. [サーバー名] で、使用する SQL Server インスタンスを選択します。
3. [Interactive authoring](インタラクティブな作成) を必ず有効にしてください。
4. [データベース名] で、使用する SQL データベースを選択します。
5. [ユーザー名] に、ユーザーの名前を入力します。
6. [パスワード] に、ユーザーのパスワードを入力します。
7. [接続テスト] を選択します。これは失敗します。SQL サーバーが、選択したネットワークからのアクセスのみを許可し、Data Factory に、使用する前に承認が必要なプライベートエンドポイントの作成を要求するためです。エラーメッセージ内に、プライベートエンドポイントを作成するためのリンクが表示されます。それをたどることで、マネージドプライベートエンドポイントを作成できます。代わりに、 [管理] タブに直接移動し、次のセクションの指示に従って、マネージドプライベートエンドポイントを作成する方法もあります。
8. ダイアログボックスは開いたままにして、選択した SQL サーバーに移動します。
9. このセクションの手順に従って、プライベートリンクを承認します。
10. ダイアログボックスに戻ります。もう一度 [接続テスト] を選択し、 [作成] を選択して、リンクされたサービスをデプロイします。
[プロパティの設定] ダイアログボックスに自動的に移動します。 [テーブル] で [dbo].[emp] を選択します。 [OK] をクリックします。
パイプラインがあるタブに移動し、 [シンクデータセット] で OutputSqlDataset が選択されていることを確認します。

必要に応じて「コピーアクティビティでのスキーママッピング」に従い、コピー元のスキーマをコピー先の対応するスキーマにマッピングすることができます。

マネージドプライベートエンドポイントを作成する

[管理] タブに移動します。
[マネージドプライベートエンドポイント] セクションに移動します。
[マネージドプライベートエンドポイント] で、 [+ 新規] を選択します。
一覧から [Azure SQL Database] タイルを選択し、 [続行] を選択します。
選択した SQL サーバーの名前を入力します。
［作成］ を選択します
数秒後に、作成されたプライベートリンクに承認が必要であることが表示されます。
作成したプライベートエンドポイントを選択します。 SQL サーバーレベルでプライベートエンドポイントを承認できるハイパーリンクが表示されます。

SQL サーバーでのプライベートリンクの承認

SQL サーバーで、 [設定] セクションの [プライベートエンドポイント接続] に移動します。
作成したプライベートエンドポイントのチェックボックスをオンにし、 [承認] を選択します。
説明を追加し、 [はい] を選択します。
Data Factory の [管理] タブにある [マネージドプライベートエンドポイント] セクションに戻ります。
プライベートエンドポイントの承認が表示されるまでに 1 分から 2 分かかります。

パイプラインをデバッグして発行する

Data Factory または独自の Azure Repos Git リポジトリにアーティファクト (リンクされたサービス、データセット、パイプライン) を発行する前に、パイプラインをデバッグできます。

パイプラインをデバッグするには、ツールバーで [デバッグ] を選択します。ウィンドウ下部の [出力] タブにパイプラインの実行の状態が表示されます。
パイプラインを適切に実行できたら、上部のツールバーで [すべて発行] を選択します。これにより、作成したエンティティ (データセットとパイプライン) が Data Factory に発行されます。
[正常に発行されました] というメッセージが表示されるまで待機します。通知メッセージを表示するには、右上隅にある [通知の表示] (ベルボタン) を選択ます。

まとめ

このサンプルのパイプラインでは、Data Factory マネージド仮想ネットワークのプライベートエンドポイントを使用して、Blob Storage から SQL Database にデータをコピーします。以下の方法を学習しました。

データファクトリを作成します。
コピーアクティビティを含むパイプラインを作成します。

次の方法で共有

プライベートエンドポイントを使用して Azure Blob Storage から SQL データベースに安全にデータをコピーする