HDFSOutputDatasetConfig クラス

  • リファレンス

HDFS パスに出力し、FileDataset として昇格させる方法を表します。

HDFSOutputDatasetConfig を初期化します。

継承
OutputDatasetConfig
HDFSOutputDatasetConfig
TransformationMixin
HDFSOutputDatasetConfig

コンストラクター

HDFSOutputDatasetConfig(name=None, destination=None)

パラメーター

名前 説明
name
必須
str

この実行に固有の出力の名前。 一般に経路追跡の目的で使用されます。 None に設定すると、名前が自動的に生成されます。
destination
必須
tuple

出力先。 None に設定すると、パス /dataset/{run-id}/{output-name}の下にある workspaceblobstore データストアに出力されます。ここで、 run-id は Run の ID、 output-name は上記の name パラメーターからの出力名です。 変換先はタプルであり、最初の項目はデータストア、2 番目の項目はデータストア内のパスです。

注釈

実行の引数として HDFSOutputDatasetConfig を渡すと、HDFS パスに自動的に変換されます。

メソッド

as_input

出力を後続のパイプライン ステップで入力として使用する方法を指定します。

as_input

出力を後続のパイプライン ステップで入力として使用する方法を指定します。

as_input(name=None)

パラメーター

名前 説明
name
必須
str

実行に固有の入力の名前。

戻り値

型 説明
DatasetConsumptionConfig

入力データを配信する方法を示す DatasetConsumptionConfig インスタンス。