Dataset クラス

アクティブまたは非推奨のデータセットをアーカイブします。

archive()

戻り値

注釈

アーカイブ後にデータセットを使用しようとすると、エラーが発生します。 誤ってアーカイブされた場合は、再アクティブ化によってアクティブ化されます。

指定したパスにあるファイルを分析し、新しいデータセットを返します。

static auto_read_files(path, include_path=False, partition_format=None)

パラメーター

戻り値

注釈

ファイル形式と区切り記号が自動的に検出されるようにする場合は、このメソッドを使用します。

データセットを作成した後、get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されるデータセットはワークスペースに登録されていません。

現在のデータセットのプロファイルを別のデータセット プロファイルと比較します。

これは、2 つのデータセット間の概要統計の違いを示しています。 パラメーター 'rhs_dataset' は "右辺" を表し、単に 2 番目のデータセットです。 最初のデータセット (現在のデータセット オブジェクト) は、"左辺" と見なされます。

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

パラメーター

戻り値

注釈

これは、登録済みのデータセット専用です。 現在のデータセットのプロファイルが存在しない場合は、例外を発生させます。 登録されていないデータセットの場合は、profile.compare メソッドを使用します。

登録されているデータセットのスナップショットを作成します。

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

パラメーター

戻り値

注釈

スナップショットは、基になるデータの特定の時点の概要統計情報と、データ自体のオプションのコピーがキャプチャします。 スナップショットの作成の詳細については、「https://aka.ms/azureml/howto/createsnapshots」を参照してください。

データセットのスナップショットを名前別に削除します。

delete_snapshot(snapshot_name)

パラメーター

戻り値

注釈

これを使用すると、不要になったスナップショットに保存されたデータによって消費されるストレージを解放できます。

ワークスペース内のアクティブなデータセットを別のデータセットで非推奨にします。

deprecate(deprecate_by_dataset_id)

パラメーター

戻り値

注釈

非推奨のデータセットは、使用時に警告をログに記録します。 データセットを非推奨とすると、そのすべての定義が非推奨になります。

非推奨のデータセットは引き続き使用できます。 データセットの使用を完全にブロックするには、データセットをアーカイブします。

誤って非推奨化された場合は、再アクティブ化によってアクティブ化されます。

現在のデータセットと rhs_dataset を比較します。

diff(rhs_dataset, compute_target=None, columns=None)

パラメーター

戻り値

バイナリ ファイルから、登録されていないメモリ内のデータセットを作成します。

static from_binary_files(path)

パラメーター

戻り値

注釈

バイナリ データのストリームとしてファイルを読み取るには、このメソッドを使用します。 ファイルの読み取りごとに 1 つのファイル ストリーム オブジェクトを返します。 画像、ビデオ、オーディオ、またはその他のバイナリ データを読み取る場合は、このメソッドを使用します。

get_profile と create_snapshot は、このメソッドによって作成されたデータセットに対しては想定どおりに動作しません。

返されるデータセットはワークスペースに登録されていません。

区切られたファイルから、登録されていないメモリ内のデータセットを作成します。

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

パラメーター

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

戻り値

注釈

このメソッドは、使用するオプションを制御する場合に、区切られたテキスト ファイルを読み取るために使用します。

データセットを作成した後、get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されるデータセットはワークスペースに登録されていません。

Excel ファイルから、登録されていないメモリ内のデータセットを作成します。

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

パラメーター

戻り値

注釈

このメソッドは、.xlsx 形式の Excel ファイルを読み取るために使用します。 データは、各 Excel ファイルの 1 つのシートから読み取ることができます。 データセットを作成した後、get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。 返されるデータセットはワークスペースに登録されていません。

JSON ファイルから、登録されていないメモリ内のデータセットを作成します。

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

パラメーター

戻り値

Pandas データフレームから、登録されていないメモリ内データセットを作成します。

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

パラメーター

戻り値

注釈

このメソッドを使用して、Pandas データフレームをデータセット オブジェクトに変換します。 データがメモリからのものであるため、このメソッドによって作成されたデータセットを登録できません。

in_memory が False の場合、Pandas データフレームはローカルで CSV ファイルに変換されます。 pat が DataReference 型の場合、Pandas フレームはデータ ストアにアップロードされ、データセットは DataReference に基づいて作成されます。 ``path` がローカル フォルダーの場合は、削除できないローカル ファイルからデータセットが作成されます。

現在の DataReference がフォルダー パスではない場合に、例外を発生させます。

Parquet ファイルから、登録されていないメモリ内のデータセットを作成します。

static from_parquet_files(path, include_path=False, partition_format=None)

パラメーター

戻り値

注釈

Parquet ファイルを読み取るには、このメソッドを使用します。

データセットを作成した後、get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されるデータセットはワークスペースに登録されていません。

SQL クエリから、登録されていないメモリ内のデータセットを作成します。

static from_sql_query(data_source, query)

パラメーター

戻り値

データセットの新しいプロファイルを生成します。

generate_profile(compute_target=None, workspace=None, arguments=None)

パラメーター

戻り値

注釈

同期呼び出しは、完了するまでブロックします。 get_result を呼び出して、アクションの結果を取得します。

名前または ID を指定して、ワークスペースに既に存在するデータセットを取得します。

static get(workspace, name=None, id=None)

パラメーター

戻り値

注釈

name または id のいずれかを指定できます。 次の場合は例外が発生します。

• name と id の両方が指定されており、一致しない。

• 指定された name または id を持つデータセットがワークスペースに見つからない。

ワークスペースに登録されているすべてのデータセットを取得します。

get_all()

パラメーター

戻り値

データセットのすべてのスナップショットを取得します。

get_all_snapshots()

戻り値

ワークスペースに保存されているデータセットを取得します。

get_by_id(id, **kwargs)

パラメーター

戻り値

登録名によって、ワークスペースから登録されたデータセットを取得します。

get_by_name(name, version='latest', **kwargs)

パラメーター

戻り値

データセットの特定の定義を取得します。

get_definition(version_id=None)

パラメーター

戻り値

注釈

version_id が指定されている場合、Azure Machine Learning は、そのバージョンに対応する定義を取得しようとします。 そのバージョンが存在しない場合は、例外がスローされます。 version_id を省略した場合は、最新バージョンが取得されます。

データセットのすべての定義を取得します。

get_definitions()

戻り値

注釈

Azure ML ワークスペースに登録されているデータセットには、update_definition を呼び出すことによって作成される複数の定義を含めることができます。 各定義には一意の識別子があります。 現在の定義は、最後に作成されたものです。

登録されていないデータセットの場合、定義は 1 つしか存在しません。

以前に計算したデータセットの概要統計情報を取得します。

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

パラメーター

戻り値

注釈

Azure Machine Learning ワークスペースに登録されているデータセットについて、以前に作成された既存のプロファイルが引き続き有効な場合、このメソッドは get_profile を呼び出してそのプロファイルを取得します。 データセットで変更データが検出された場合、または get_profile の引数がプロファイルの生成時に使用されたものと異なる場合、プロファイルは無効になります。 プロファイルが存在しない場合、または無効になっている場合は、新しいプロファイルが生成されるかどうかが generate_if_not_exist によって決定されます。

Azure Machine Learning ワークスペースに登録されていないデータセットの場合、このメソッドは常に generate_profile を実行し、結果を返します。

データセットのスナップショットを名前で取得します。

get_snapshot(snapshot_name)

パラメーター

戻り値

このデータセットから指定された数のレコードを取得し、それらをデータフレームとして返します。

head(count)

パラメーター

戻り値

is_visible プロパティが False に等しいものを含む、ワークスペース内のすべてのデータセットを一覧表示します。

static list(workspace)

パラメーター

戻り値

アーカイブ済みまたは非推奨のデータセットを再アクティブ化します。

reactivate()

戻り値

ワークスペースにデータセットを登録して、ワークスペースの他のユーザーが使用できるようにします。

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

パラメーター

戻り値

提供されたサンプリング方式とパラメーターを使用して、ソース データセットから新しいサンプルを生成します。

sample(sample_strategy, arguments)

パラメーター

戻り値

注釈

サンプルを生成するには、このデータセットによって定義された変換パイプラインを実行し、サンプリング方式とパラメーターを出力データに適用します。 各サンプリング メソッドでは、次の省略可能な引数がサポートされています。

• top_n

  • 省略可能な引数。

    • n。integer 型。 サンプルとして上位 N 行を選択します。

• simple_random

  • 省略可能な引数。

    • 確率。float 型。 各行が選択される確率が等しい単純なランダム サンプリング。 確率は、0 から 1 の間の数値である必要があります。

    • シード。float 型。 乱数ジェネレーターによって使用されます。 再現性のために使用します。

• stratified

  • 省略可能な引数。

    • 列。list[str] 型。 データ内の階層列の一覧。

    • シード。float 型。 乱数ジェネレーターによって使用されます。 再現性のために使用します。

    • 分数。dict[tuple, float] 型。 タプル: 階層を定義する列値は、列名と同じ順序である必要があります。 フローティング: サンプリング中に階層にアタッチされる重み。

次のコード スニペットは、さまざまなサンプル メソッドの設計パターンの例です。

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

このデータセット定義によって定義された変換パイプラインを実行して、Pandas データフレームを作成します。

to_pandas_dataframe()

戻り値

注釈

メモリ内で完全に具体化された Pandas データフレームを返します。

このデータセット定義によって定義された変換パイプラインを実行できる Spark データフレームを作成します。

to_spark_dataframe()

戻り値

注釈

返される Spark データフレームは実行プランに限定され、Spark データフレームは遅延評価されるので、実際にはデータを含みません。

ワークスペースのデータセットの変更可能な属性を更新し、ワークスペースから更新されたデータセットを返します。

update(name=None, description=None, tags=None, visible=None)

パラメーター

戻り値

データセット定義を更新します。

update_definition(definition, definition_update_message)

パラメーター

戻り値

注釈

更新されたデータセットを使用するには、このメソッドによって返されるオブジェクトを使用します。

現在のデータセット定義を返します。

戻り値

注釈

データセット定義は、データの読み取りおよび変換方法を指定する一連の手順です。

Azure ML ワークスペースに登録されているデータセットには、update_definition を呼び出すことによって作成される複数の定義を含めることができます。 各定義には一意の識別子があります。 複数の定義を使用すると、古い定義に依存するモデルやパイプラインを壊すことなく、既存のデータセットを変更できます。

登録されていないデータセットの場合、定義は 1 つしか存在しません。

データセットの現在の定義バージョンを返します。

戻り値

注釈

データセット定義は、データの読み取りおよび変換方法を指定する一連の手順です。

Azure ML ワークスペースに登録されているデータセットには、update_definition を呼び出すことによって作成される複数の定義を含めることができます。 各定義には一意の識別子があります。 現在の定義は、作成された最新の定義で、ID はこれによって返されます。

登録されていないデータセットの場合、定義は 1 つしか存在しません。

データセットの説明を返します。

戻り値

注釈

データセットにデータの説明を指定すると、ワークスペースのユーザーは、データが表す内容とその使用方法を理解できます。

データセットがワークスペースに登録されている場合は、データセットの ID を返します。 それ以外の場合は、なしを返します。

戻り値

Azure ML ワークスペース UI で登録済みのデータセットの可視性を制御します。

戻り値

注釈

返される値:

• True: データセットはワークスペース UI に表示されます。 既定値。

• False: データセットはワークスペース UI で非表示になります。

登録されていないデータセットには影響しません。

データセットの名前を返します。

戻り値

データセットの状態を返します。

戻り値

注釈

状態の意味と効果は次のとおりです。

• [アクティブ]: アクティブな定義は、その名のとおり、すべてのアクションをアクティブな定義に対して実行できます。

• 非推奨になりました。 非推奨の定義は使用できますが、基になるデータにアクセスするたび、ログに警告が記録されます。

• アーカイブ済み。 アーカイブ済みの定義を使用してアクションを実行することはできません。 アーカイブされた定義に対してアクションを実行するには、再アクティブ化する必要があります。

データセットに関連付けられているタグを返します。

戻り値

データセットがワークスペースに登録されている場合は返します。 それ以外の場合は、なしを返します。

戻り値