MLTable クラス

指定した列をそれぞれに指定した新しい型に変換する変換手順を追加します。

   from mltable import DataType
       data_types = {
           'ID': DataType.to_string(),
           'Date': DataType.to_datetime('%d/%m/%Y %I:%M:%S %p'),
           'Count': DataType.to_int(),
           'Latitude': DataType.to_float(),
           'Found': DataType.to_bool(),
           'Stream': DataType.to_stream()
       }

convert_column_types(column_types)

パラメーター

戻り値

データセットから指定された列を削除する変換ステップを追加します。 空のリスト、タプル、またはセットが指定されている場合、何も削除されません。 列が重複すると、UserErrorException が発生します。

MLTable.traits.timestamp_column列または MLTable.traits.index_columns 内の列を削除しようとすると、UserErrorException が発生します。

drop_columns(columns: str | List[str] | Tuple[str] | Set[str])

パラメーター

戻り値

各パスのパーティション情報を使用し、指定したパーティション形式に基づいて列に抽出する変換ステップを追加します。

形式の '{column_name}' の部分では文字列の列が、'{column_name:yyyy/MM/dd/HH/mm/ss}' では datetime の列が作成されます。ここで、'yyyy'、'MM'、'dd'、'HH'、'mm'、'ss' は datetime 型の年、月、日、時、分、秒の抽出に使用されます。

形式は、最初のパーティション キーの位置から始まり、ファイル パスの末尾までになります。 たとえば、パーティションが部門名と時間によってあるパス '/Accounts/2019/01/01/data.csv' を指定すると、 partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv' は、値 'Accounts' と値 '2019-01-01' の datetime 列 'PartitionDate' を含む文字列列 'Department' を作成します。

extract_columns_from_partition_format(partition_format)

パラメーター

戻り値

データをフィルター処理して、指定された式に一致するレコードのみを残します。

filter(expression)

パラメーター

戻り値

注釈

式は、列の名前を使用して mltable にインデックスを付けることで開始されます。 さまざまな関数や演算子がサポートされており、論理演算子を使用して組み合わせることができます。 結果として得られる式は、定義されている場所ではなく、データ プルが発生したときに、各レコードに対して遅延評価されます。

   filtered_mltable = mltable.filter('feature_1 == "5" and target > "0.5)"')
   filtered_mltable = mltable.filter('col("FBI Code") == "11"')

この MLTable に関連付けられているデータの基になるデータ パーティションの数を返します。

get_partition_count() -> int

戻り値

指定した列を保持し、データセットから他のすべての列を削除する変換ステップを追加します。 空のリスト、タプル、またはセットが指定されている場合、何も削除されません。 列が重複すると、UserErrorException が発生します。

MLTable.traits.timestamp_column内の列またはMLTable.traits.index_columnsの列が明示的に保持されていない場合、UserErrorException は raiesd になります。

keep_columns(columns: str | List[str] | Tuple[str] | Set[str])

パラメーター

戻り値

この MLTable を 2 つの MLTable にランダムに分割します。1 つは元の MLTable のデータの約 "%" % を持ち、もう 1 つは剰余 (1-"パーセント"%) を持っています。

random_split(percent=0.5, seed=None)

パラメーター

戻り値

この MLTable を MLTable YAML ファイルとして保存し、関連付けられたパスを指定されたディレクトリ パスに & します。

path が指定されていない場合、既定では現在の作業ディレクトリが使用されます。 パスが存在しない場合は、作成されます。 path がリモートの場合は、基になるデータ ストアが既に存在している必要があります。 path がローカル ディレクトリ & 絶対ではない場合は、絶対ディレクトリになります。

パスがファイルを指している場合は、UserErrorException が発生します。 path が既に保存されている 1 つ以上のファイル (MLTable YAML ファイルを含む) を含むディレクトリ パスで、overwrite が False または 'fail' に設定されている場合は、UserErrorException が発生します。 path がリモートの場合、併置パスとして指定されていないローカル ファイル パス (MLTable が読み込まれたディレクトリに対する相対ファイル パス) は UserErrorException を発生させます。

colocated は、関連付けられたパスを path に保存する方法を制御 します。 True の場合、ファイルは MLTable YAML ファイルと共に相対ファイル パスとして パス にコピーされます。 それ以外の場合、関連付けられたファイルはコピーされません。リモート パスは指定されたままであり、必要に応じて、ローカル ファイル パスはパス リダイレクトを使用して相対パスになります。 False を指定すると、非割り当て MLTable YAML ファイルが生成される可能性があり、これは推奨されません。さらに、 パス がリモートの場合は、相対パスリダイレクトがリモート URI でサポートされていないため、UserErrorException が発生します。

MLTable が、ローカル相対パスを持つ from_paths() や from_read_delimited_files() などのメソッドを使用してプログラム的に作成される場合、MLTable ディレクトリ パスは現在の作業ディレクトリであると見なされることに注意してください。

新しい MLTable & 関連付けられたデータ ファイルを、新しいファイルを保存する前に、ディレクトリが既存のファイルからクリアされていないデータ ファイル & 関連付けられたデータ ファイルを含むディレクトリに保存する場合は注意してください。 特に、既存のデータ ファイルに新しいデータ ファイルと一致する名前がない場合は、新しいファイルを保存した後に既存のデータ ファイルを保持できます。 新しい MLTable のパスの下にパターン指定子が含まれている場合、既存のデータ ファイルを新しい MLTable に関連付けることで、MLTable が意図せず変更される可能性があります。

この MLTable のファイル パスが パス 内の既存のファイルを指していても、URI が異なる場合、overwrite が 'fail' または 'skip' の場合、既存のファイルは上書きされません (つまりスキップされます)。

save(path=None, overwrite=True, colocated=False, show_progress=False, if_err_remove_files=True)

パラメーター

戻り値

パーティションを選択する変換ステップを追加します。

select_partitions(partition_index_list)

パラメーター

戻り値

注釈

次のコード スニペットは、select_partitions API を使用して、指定された MLTable から選択したパーティションに対して実行する方法を示しています。

   partition_index_list = [1, 2]
   mltable = mltable.select_partitions(partition_index_list)

この MLTable の最初の カウント 行を Pandas データフレームとして取得します。

show(count=20)

パラメーター

戻り値

この MLTable の最初の カウント 行をスキップする変換ステップを追加します。

skip(count)

パラメーター

戻り値

この MLTable の最初の カウント 行を選択する変換ステップを追加します。

take(count=20)

パラメーター

戻り値

確率確率でこの MLTable の各行をランダムに選択する変換ステップを追加します。 確率の範囲は [0, 1] である必要があります。 必要に応じて、ランダム シードを設定できます。

take_random_sample(probability, seed=None)

パラメーター

戻り値

MLTable ファイルで指定されたパスからすべてのレコードを Pandas DataFrame に読み込みます。

to_pandas_dataframe()

戻り値

注釈

次のコード スニペットは、to_pandas_dataframe API を使用して、提供された MLTable に対応する pandas データフレームを取得する方法を示しています。

   from mltable import load
   tbl = load('.\samples\mltable_sample')
   pdf = tbl.to_pandas_dataframe()
   print(pdf.shape)

この MLTable のデータを読み込むことができるかどうかを検証します。現在のコンピューティングから MLTable のデータ ソースにアクセスできるようにする必要があります。

validate()

戻り値

パーティション キーを返します。

戻り値

この MLTable に指定された元のパスを含むディクショナリの一覧を返します。 相対ローカル ファイル パスは、この MLTable インスタンスが読み込まれた MLTable YAML ファイルが読み込まれたディレクトリに対する相対パスであると見なされます。

戻り値