コピー アクティビティで Azure Blob Storage を構成する
この記事では、データ パイプラインでのコピー アクティビティを使用して、Azure Blob Storage 間でデータをコピーする方法について説明します。
サポートされている形式
Azure Blob Storage では、次のファイル形式がサポートされています。 形式ベースの設定については、各記事を参照してください。
サポートされている構成
Copy アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。
全般
[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。
ソース
コピー アクティビティの [ソース] タブの Azure Blob Storage では、次のプロパティがサポートされています。
次のプロパティは必須です。
- [データ ストアの種類]: [外部] を選択します。
- [接続]: 接続リストから Azure Blob Storage の接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Blob Storage 接続を作成します。
- [ファイル パス]: [参照] を選択して、コピーするファイルを選択するか、パスを手動で入力します。
- [ファイル設定]: [ファイル設定] を選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」の各記事を参照してください。
[詳細設定] では、次のフィールドを指定できます。
[ファイル パスの種類]: ファイル パスの種類として、[ファイル パス]、[プレフィックス]、[ワイルドカード ファイル パス]、[ファイルの一覧] を選択できます。 各設定の構成は次のとおりです。
[ファイル パス]: この種類を選択した場合は、以前指定した特定のコンテナーまたはフォルダー/ファイル パスからデータをコピーできます。
[プレフィックス]: ソース オブジェクトをフィルター処理するために構成されている、特定のコンテナー下の BLOB 名のプレフィックス。 名前が
container/this_prefixで始まる BLOB が選択されます。 BLOB ストレージにはサービス側フィルターが利用されます。プレフィックス を使用して階層を保持した状態でファイルベースのコピー先にコピーする場合は、プレフィックスの最後の "/" の後のサブパスが保持されます。 たとえば、ソース
container/folder/subfolder/file.txtがあり、プレフィックスをfolder/subとして構成した場合、保持されるファイル パスはsubfolder/file.txtです。
[ワイルドカード ファイル パス]: ソース フォルダーまたはファイルをフィルター処理するために、特定の BLOB コンテナーの下にワイルドカード文字を含むフォルダーまたはファイル パスを指定します。
使用できるワイルドカードは、
*(ゼロ文字以上の文字に一致) と?(ゼロ文字または 1 文字に一致) です。 フォルダー名にワイルドカードまたはこのエスケープ文字が含まれている場合は、^を使用してエスケープします。 他の例については、「フォルダーとファイル フィルターの例」をご覧ください。
[ワイルドカード フォルダー パス]: ソース フォルダーをフィルター処理するために、特定のコンテナーの下のワイルドカード文字を含むフォルダーのパスを指定します。
[ワイルドカード ファイル名]: 特定のコンテナーおよびフォルダー パス (またはワイルドカード フォルダー パス) の下にあるファイル名をワイルドカード文字を使って指定し、ソース ファイルをフィルター処理します。
[ファイルの一覧]: コピーするファイル セットを示します。 [ファイル リストへのパス] で、コピーするファイルの一覧を含むテキスト ファイルを入力するか参照します。テキスト ファイルでは、各ファイルの相対パスを 1 行につき 1 つずつ指定します。
このオプションを使用する場合は、ファイル名を指定しないでください。 その他の例については、「ファイル リストの例」をご覧ください。
[再帰的]: このチェック ボックスをオンにすると、入力フォルダーとそのサブフォルダー内のすべてのファイルが再帰的に処理されます。 チェック ボックスをオフにすると、選択したフォルダー内のファイルだけが処理されます。 この設定は、1 つのファイルが選択されている場合は無効になります。
[完了後にファイルを削除]: このチェック ボックスをオンにすると、コピー先ストアに正常に移動したバイナリ ファイルがソース ストアから削除されます。 ファイルの削除はファイルごとに行われるので、コピー操作が失敗した場合、一部のファイルは既に宛先にコピーされてソースから削除されているが、他のファイルはまだソース ストアに残っていることがわかります。
Note
このプロパティは、バイナリ ファイルのコピー シナリオでのみ有効です。
[最大コンカレント接続数]: このプロパティは、アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限を示します。 コンカレント接続を制限する場合にのみ、値を指定します。
宛先
コピー アクティビティの [コピー先] タブの Azure Blob Storage では、次のプロパティがサポートされています。
次のプロパティは必須です。
- [データ ストアの種類]: [外部] を選択します。
- [接続]: 接続リストから Azure Blob Storage の接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Azure Blob Storage 接続を作成します。
- [ファイル パス]: [参照] を選択してコピーするファイルを選択するか、パスを手動で入力します。
- [ファイル設定]: [ファイル設定] を選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」の各記事を参照してください。
[詳細設定] では、次のフィールドを指定できます。
[コピー動作]: ソースがファイルベース データ ストアのファイルの場合のコピー動作を定義します。 ドロップダウン リストから、[動的なコンテンツの追加]、[なし]、[階層のフラット化]、[階層の保持] のいずれかを選択できます。
[動的なコンテンツの追加]: プロパティ値に式を指定するには、[動的なコンテンツの追加] を選択します。 これを選択すると、式ビルダーが開き、サポートされているシステム変数、アクティビティの出力、関数、およびユーザー指定の変数またはパラメーターを使って式を作成できます。 式言語について詳しくは、式と関数に関するページを参照してください。
[なし]: コピー動作を使用しないようにするには、これを選択します。
[階層のフラット化]: ソース フォルダーのすべてのファイルがコピー先フォルダーの最初のレベルに配置されます。 コピー先のファイルは、自動生成された名前になります。
[階層の保持]: ターゲット フォルダー内でファイル階層を保持します。 ソース フォルダーに対するソース ファイルの相対パスと、ターゲット フォルダーに対するターゲット ファイルの相対パスが一致します。
[最大コンカレント接続数]: アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。
[ブロック サイズ (MB)]: ブロック BLOB にデータを書き込むために使用するブロック サイズを MB 単位で指定します。 詳細については、「ブロック BLOB について」を参照してください。
[メタデータ]: コピー先にコピーするときのカスタム メタデータを設定します。
metadata配列の各オブジェクトは追加列を表します。nameではメタデータ キー名を定義し、valueでは、そのキーのデータ値を指定します。 属性の保持機能が使用されている場合は、ソース ファイルのメタデータを使用して、指定されたメタデータの和集合の作成や上書きが行われます。使用できるデータ値:
$$LASTMODIFIED: 予約済みの変数によって、ソース ファイルの最終更新時刻を格納することを指定します。 バイナリ形式のファイルベースのソースにのみ適用されます。Expression
静的な値
マッピング
[マッピング] タブの構成については、「[マッピング] タブでマッピングを構成する」を参照してください。ファイル形式としてバイナリを選択した場合、マッピングはサポートされません。
設定
[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。
テーブルの概要
次の表に、Azure Blob Storage のコピー アクティビティの詳細を示します。
ソース情報
| 名前 | Description | Value | 必須 | JSON スクリプト プロパティ |
|---|---|---|---|---|
| データ ストアの種類 | データ ストアの種類。 | 外部品目番号 | はい | / |
| 接続 | ソース データ ストアへの実際の接続。 | <接続> | はい | つながり |
| ファイル パス | ソース データのファイル パス。 | <ソースのファイル パス> | はい | container fileName |
| ファイル パスの種類 | 使用するファイル パスの種類。 | • ファイル パス • プレフィックス • ワイルドカード フォルダー パス、ワイルドカード ファイル名 • ファイルの一覧 |
いいえ | • prefix • wildcardFolderPath、wildcardFileName • fileListPath |
| Recursively | 入力フォルダーとそのサブフォルダー内のすべてのファイルを再帰的に処理するか、選択したフォルダー内のファイルだけを処理します。 この設定は、1 つのファイルが選択されている場合は無効になります。 | 選択または選択解除 | いいえ | recursive |
| 完了後にファイルを削除 | ソース データ ストア内のファイルは、コピー先ストアに移動した直後に削除されます。 ファイルの削除はファイルごとに行われるので、コピー操作が失敗した場合、一部のファイルは既に宛先にコピーされてソースから削除されているが、他のファイルはまだソース ストアにあることがわかります。 | 選択または選択解除 | いいえ | deleteFilesAfterCompletion |
| 最大コンカレント接続数 | アクティビティの実行中にデータ ストアに対して確立されたコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。 | <最大コンカレント接続数> | いいえ | maxConcurrentConnections |
コピー先の情報
| 名前 | Description | Value | 必須 | JSON スクリプト プロパティ |
|---|---|---|---|---|
| データ ストアの種類 | データ ストアの種類。 | 外部品目番号 | はい | / |
| 接続 | コピー先データ ストアへの接続。 | <接続> | はい | つながり |
| ファイル パス | コピー先データのファイル パス。 | ソースのファイル パス | はい | container fileName |
| コピー動作 | ストレージなどのファイル システム間 (たとえば、ある BLOB ストレージから別の BLOB ストレージ) にファイルをコピーするときの動作を定義します。 | • なし • 動的なコンテンツの追加 • 階層のフラット化 • 階層の保持 |
いいえ | copyBehavior |
| 最大コンカレント接続数 | アクティビティの実行中にデータ ストアに対して確立されたコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。 | <最大コンカレント接続数> | いいえ | maxConcurrentConnections |
| ブロック サイズ (MB) | Azure Blob Storage にデータを書き込む際のブロック サイズを MB 単位で指定します。 指定できる値は、4 MB から 100 MB です。 | <ブロック サイズ> | いいえ | blockSizeInMB |
| Metadata | コピー先にコピーするときのカスタム メタデータを設定します。 | • $$LASTMODIFIED• 式 • 静的な値 |
いいえ | metadata |