TabularDataset クラス

データセットによって定義されたファイル ストリームをローカル パスにダウンロードします。

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

パラメーター

戻り値

指定した列をデータセットから削除します。

timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。

drop_columns(columns)

パラメーター

戻り値

データをフィルター処理して、指定された式に一致するレコードのみを残します。

filter(expression)

パラメーター

戻り値

注釈

式は、列の名前を使用してデータセットにインデックスを付けることによって開始されます。 さまざまな関数や演算子がサポートされており、論理演算子を使用して組み合わせることができます。 結果として得られる式は、定義されている場所ではなく、データ プルが発生したときに、各レコードに対して遅延評価されます。

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

このデータセットまたはワークスペース内の同じデータセットに対して送信された最新のプロファイル実行からデータ プロファイルを取得します。

get_profile(workspace=None)

パラメーター

戻り値

このデータセットまたはワークスペース内の同じデータセットに関連付けられている以前のプロファイル実行を返します。

get_profile_runs(workspace=None)

パラメーター

戻り値

指定された列を残し、その他すべての列をデータセットから削除します。

timeseries 列が削除されると、返されるデータセットでも対応する機能が削除されます。

keep_columns(columns, validate=False)

パラメーター

戻り値

データセットによって定義されたファイル ストリームをローカル ファイルとしてマウントするためのコンテキスト マネージャーを作成します。

mount(stream_column, mount_point=None)

パラメーター

戻り値

パーティション分割されたデータはコピーされ、ターゲットによって指定されたコピー先に出力されます。

出力されたデータ パスからデータセットをパーティション形式で作成します。名前が指定されている場合はデータセットを登録し、パーティションを含む新しいデータ パスのデータセットを返します

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

パラメーター

戻り値

データセット内のレコードを、指定したおおよその割合でランダムに 2 つの部分に分割します。

最初のデータセットには合計レコード数のおよそ percentage が含まれ、2 番目のデータセットには残りのレコードが含まれます。

random_split(percentage, seed=None)

パラメーター

戻り値

データセットの先頭から指定したカウントまでレコードをスキップします。

skip(count)

パラメーター

戻り値

実験実行を送信してデータ プロファイルを計算します。

データ プロファイルは、列の型や欠損値などのデータに関する有用な情報を提供するものであり、入力データを理解し、異常や欠損値を特定するために大いに役立ちます。

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

パラメーター

戻り値

データセットの先頭から指定したカウントまでレコードのサンプルを取得します。

take(count)

パラメーター

戻り値

データセット内のレコードのランダム サンプルを、指定したおおよその確率で取得します。

take_sample(probability, seed=None)

パラメーター

戻り値

指定した開始時刻の後のタイム スタンプ列で TabularDataset をフィルター処理します。

time_after(start_time, include_boundary=True, validate=True)

パラメーター

戻り値

指定した終了時刻より前のタイム スタンプ列で TabularDataset をフィルター処理します。

time_before(end_time, include_boundary=True, validate=True)

パラメーター

戻り値

指定した開始時刻と終了時刻の間の TabularDataset をフィルター処理します。

time_between(start_time, end_time, include_boundary=True, validate=True)

パラメーター

戻り値

指定した期間 (量) の最近のデータのみを含むように TabularDataset をフィルター処理します。

time_recent(time_delta, include_boundary=True, validate=True)

パラメーター

戻り値

現在のデータセットを、CSV ファイルを含む FileDataset に変換します。

結果のデータセットには、1 つ以上の CSV ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。

to_csv_files(separator=',')

パラメーター

戻り値

データセット内のデータを遅延読み取りできる Dask データフレームを返します。

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

パラメーター

戻り値

データセットから pandas データフレームにすべてのレコードを読み込みます。

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

パラメーター

戻り値

現在のデータセットを、Parquet ファイルを含む FileDataset に変換します。

結果のデータセットには、1 つ以上の Parquet ファイルが含まれ、それぞれが現在のデータセットのデータのパーティションに対応しています。 これらのファイルは、ダウンロードまたは読み取りが行われるまで、具体化されません。

to_parquet_files()

戻り値

データセットから Spark データフレームにすべてのレコードを読み込みます。

to_spark_dataframe()

戻り値

データセットの timestamp 列を定義します。

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

パラメーター

戻り値

注釈

このメソッドは、timestamp として使用される列を定義します。 データセットの timestamp 列を使用すると、データを時系列データとして扱うことができ、追加の機能を有効にできます。 データセットに timestamp (used to be referred as fine_grain_timestamp) と partition_timestamp (used to be referred as coarse grain timestamp) の両方を指定した場合、2 つの列は同じタイムラインを表す必要があります。

timestamp 列を返します。

戻り値