Copy アクティビティで Oracle Cloud Storage を構成する

この記事では、データ パイプラインでの Copy アクティビティを使用して、Oracle Cloud Storage からデータをコピーする方法について説明します。

前提条件

Oracle Cloud Storage からデータをコピーするには、前提条件と必要なアクセス許可については、「Object Storage Amazon S3 Compatibility API」を参照してください。

サポートされる形式

Oracle Cloud Storage では、次のファイル形式がサポートされています。 形式ベースの設定については、各記事を参照してください。

• Avro 形式
• バイナリ形式
• 区切りテキスト形式
• Excel 形式
• JSON 形式
• ORC 形式
• Parquet 形式
• XML 形式

サポートされている構成

Copy アクティビティの各タブの構成については、それぞれ次のセクションを参照してください。

• 全般
• ソース
• マッピング
• [設定]

全般

[全般] タブの構成で、[全般] に移動します。

ソース

Copy アクティビティの [ソース] タブの Oracle Cloud Storage では、次のプロパティがサポートされています。

次のプロパティは必須です。

• [データ ストアの種類]: [外部] を選択します。

• [接続]: 接続リストから [Oracle Cloud Storage] 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい Oracle Cloud Storage 接続を作成します。

• [ファイル パスの種類]: ファイル パスの種類として、[ファイル パス]、[プレフィックス]、[ワイルドカード ファイル パス]、または [ファイルの一覧] を選択できます。 これらの各設定の構成は次のとおりです。

  • [ファイル パス]: [ファイル パス] で指定されたバケットまたはフォルダー/ファイル パスからデータをコピーできます。

  • プレフィックス: バケットとプレフィックスを指定します。

    • バケット: Oracle Cloud Storage バケット名を指定します。 これは必須です。

    • プレフィックス: 指定されたバケットの下にある Oracle クラウド ストレージ キー名のプレフィックスを指定して、ソースの Oracle Cloud Storage ファイルをフィルター処理します。 名前が given_bucket/this_prefix で始まる Oracle Cloud Storage キーが選択されます。 ワイルドカード フィルターより優れたパフォーマンスを提供する Oracle Cloud Storage のサービス側フィルターを利用します。

      

  • [ワイルドカード ファイル パス]: バケットとワイルドカード パスを指定します。

    • バケット: Oracle Cloud Storage バケット名を指定します。 これは必須です。

    • [ワイルドカード パス]: ソース フォルダーまたはファイルをフィルター処理するために、指定したバケットの下の、ワイルドカード文字を含むフォルダーまたはファイル パスを指定します。

      使用できるワイルドカードは、* (ゼロ文字以上の文字に一致) と ? (ゼロ文字または 1 文字に一致) です。 フォルダー名にワイルドカードまたはこのエスケープ文字が含まれている場合は、^ を使用してエスケープします。 他の例については、「フォルダーとファイル フィルターの例」をご覧ください。

      

      • [ワイルドカード フォルダー パス]: ソース フォルダーをフィルター処理するために、指定したバケットの下のワイルドカード文字を含むフォルダーのパスを指定します。
      • [ワイルドカード ファイル名]: ソース ファイルをフィルター処理するため、指定したバケットおよびフォルダー パス (またはワイルドカード フォルダー パス) の下のワイルドカード文字を含むファイル名を指定します。

  • [ファイルの一覧]: [フォルダー パス] と [ファイル リストへのパス] を指定して、指定したファイル セットをコピーします。 コピーするファイルの一覧を含むテキスト ファイルをポイントします。構成されているパスへの相対パスであるファイルを 1 行につき 1 つずつ指定します。 その他の例については、「ファイル リストの例」をご覧ください。

    

    • [フォルダー パス]: 指定されたバケットの下のフォルダーへのパスを指定します。 これは必須です。
    • [ファイル リストへのパス]: コピーするファイルの一覧を含むテキスト ファイルのパスを指定します。

• [再帰的]: データをサブフォルダーから再帰的に読み取るか、指定したフォルダーからのみ読み取るかを指定します。 このチェックボックスが選択され、読み取り先がファイルベースのストアである場合、空のフォルダーまたはサブフォルダーは読み取り先でコピーも作成もされません。

• [ファイル形式]: ドロップダウン リストから適用されるファイル形式を選択します。 [設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、「サポートされている形式」を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• 最終更新日でフィルター処理: 指定した最終更新日に基づいてファイルがフィルター処理されます。 ファイル パスの種類を [ファイルの一覧] として構成する場合、このプロパティは適用されません。

  • 開始時刻 (UTC): 最終変更時刻が構成された時刻以降のファイルが選択されます。
  • 終了時刻 (UTC): 最終変更時刻が構成された時刻未満のファイルが選択されます。

  [開始時刻 (UTC)] に datetime 値を設定し、[終了時刻 (UTC)] を NULL にした場合は、最終変更日時属性が datetime 値以上であるファイルが選択されることを意味します。 [終了時刻 (UTC)] に datetime 値を設定し、[開始時刻 (UTC)] を NULL にした場合は、最終変更日時属性が datetime 値未満であるファイルが選択されることを意味します。 各プロパティには NULL を指定できます。これは、ファイル属性フィルターをデータセットに適用しないことを意味します。

• パーティション検出を有効にする: ファイル パスのパーティションを解析し、それをその他のソース列として追加するかどうかを指定します。 既定では選択されず、バイナリ ファイル形式を使用する場合はサポートされません。

  • [パーティションのルート パス]: パーティション検出が有効になっている場合は、パーティション分割されたフォルダーをデータ列として読み取るための絶対ルート パスを指定します。

    これが指定されていない場合は、既定で次のようになります。

    • ソースでファイル パスまたはファイルの一覧を使用する場合、パーティションのルート パスは、構成したパスです。
    • ワイルドカード フォルダー フィルターを使用する場合、パーティションのルート パスは最初のワイルドカードの前のサブパスです。
    • プレフィックスを使用する場合、パーティションのルート パスは最後の "/" の前のサブパスです。

    たとえば、パスを root/folder/year=2020/month=08/day=27 として構成するとします。

    • パーティション ルート パスを root/folder/year=2020 のように指定すると、Copy アクティビティによって月と日の 2 つの列が生成されます。 これらの列には、ファイル内の列に加えて、それぞれ値 "08" と "27" があります。
    • パーティションのルート パスを指定しない場合、追加の列は生成されません。

    

• [最大コンカレント接続数]: アクティビティの実行中にデータ ストアに対して確立されるコンカレント接続数の上限。 コンカレント接続を制限する場合にのみ、値を指定します。

• [追加の列]: ソース ファイルの相対パスまたは静的な値を格納するため、データ列をさらに追加します。 後者では式がサポートされています。

マッピング

[マッピング] タブの構成については、「[マッピング] タブでマッピングを構成する」を参照してください。ファイル形式としてバイナリを選択した場合、マッピングはサポートされません。

設定

[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。

表の概要

次の表に、Oracle Cloud Storage での Copy アクティビティの詳細を示します。

ソース情報

関連するコンテンツ

• Oracle Cloud Storage コネクタの概要