TabularDataset Třída
Představuje tabulkovou datovou sadu, která se má použít ve službě Azure Machine Learning.
TabularDataset definuje řadu líně vyhodnocovaných, neměnných operací pro načtení dat ze zdroje dat do tabulkové reprezentace. Data se nenačtou ze zdroje, dokud se nepožádá o doručení dat TabularDataset.
TabularDataset se vytvoří pomocí metod, jako from_delimited_files je třída TabularDatasetFactory .
Další informace najdete v článku Přidání & registrace datových sad. Pokud chcete začít pracovat s tabulkovou datovou sadou, přečtěte si téma https://aka.ms/tabulardataset-samplenotebook.
Inicializuje objekt TabularDataset.
Tento konstruktor by neměl být vyvolán přímo. Datová sada se má vytvořit pomocí TabularDatasetFactory třídy.
- Dědičnost
-
TabularDataset
Konstruktor
TabularDataset()
Poznámky
TabularDataset lze vytvořit ze souborů CSV, TSV, Parquet nebo dotazu SQL pomocí from_*
metod TabularDatasetFactory třídy . Se sadou TabularDataset můžete provádět operace podnastavení, jako je rozdělení, přeskočení a filtrování záznamů.
Výsledkem podnastavení je vždy jeden nebo více nových objektů TabularDataset.
Tabulkovou datovou sadu můžete také převést do jiných formátů, jako je datový rámec pandas. Ke skutečnému načtení dat dochází, když je objekt TabularDataset požádán o doručení dat do jiného mechanismu úložiště (např. do datového rámce Pandas nebo do souboru CSV).
TabularDataset lze použít jako vstup spuštění experimentu. Můžete ho také zaregistrovat do pracovního prostoru se zadaným názvem a později ho načíst.
Metody
download |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Stáhněte datové proudy souborů definované datovou sadou do místní cesty. |
drop_columns |
Odstraňte zadané sloupce z datové sady. Pokud se sloupec timeseries vynechá, odpovídající funkce se zahodí i pro vrácenou datovou sadu. |
filter |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Filtrujte data a ponechte pouze záznamy, které odpovídají zadanému výrazu. |
get_profile |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Získejte profil dat z nejnovějšího spuštění profilu odeslaného pro tuto nebo stejnou datovou sadu v pracovním prostoru. |
get_profile_runs |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Vrátit předchozí spuštění profilu přidružená k této nebo stejné datové sadě v pracovním prostoru. |
keep_columns |
Zachovejte zadané sloupce a vyhodí všechny ostatní z datové sady. Pokud se sloupec timeseries vynechá, odpovídající funkce se zahodí i pro vrácenou datovou sadu. |
mount |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Vytvořte správce kontextu pro připojení datových proudů souborů definovaných datovou sadou jako místní soubory. |
partition_by |
Dělená data se zkopírují a vydají do cíle určeného cílem. vytvoření datové sady z výstupní cesty k datům ve formátu oddílu, registrace datové sady, pokud je zadaný název, vrácení datové sady pro novou cestu k datům s oddíly
|
random_split |
Rozdělte záznamy v datové sadě na dvě části náhodně a přibližně podle zadaného procenta. První datová sada obsahuje přibližně |
skip |
Přeskočí záznamy z horní části datové sady podle zadaného počtu. |
submit_profile_run |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Odešlete spuštění experimentování pro výpočet profilu dat. Profil dat může být velmi užitečný pro pochopení vstupních dat, identifikaci anomálií a chybějících hodnot poskytnutím užitečných informací o datech, jako je typ sloupce, chybějící hodnoty atd. |
take |
Vezměte vzorek záznamů z horní části datové sady podle zadaného počtu. |
take_sample |
Vezměte náhodný vzorek záznamů v datové sadě přibližně podle zadané pravděpodobnosti. |
time_after |
Vyfiltrujte tabulkovou datovou sadu se sloupci časového razítka po zadaném čase zahájení. |
time_before |
Filtrování tabulkových dat se sloupci s časovým razítkem před zadaným koncovým časem. |
time_between |
Filtrování TabularDataset mezi zadaným počátečním a koncovým časem. |
time_recent |
Filtr TabularDataset tak, aby obsahoval pouze zadanou dobu trvání (množství) posledních dat. |
to_csv_files |
Převeďte aktuální datovou sadu na FileDataset obsahující soubory CSV. Výsledná datová sada bude obsahovat jeden nebo více souborů CSV, z nichž každý odpovídá oddílu dat z aktuální datové sady. Tyto soubory nejsou materializovány, dokud nejsou staženy nebo přečteny z. |
to_dask_dataframe |
Poznámka Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Vrátí datový rámec Dask, který může líně číst data v datové sadě. |
to_pandas_dataframe |
Načtěte všechny záznamy z datové sady do datového rámce pandas. |
to_parquet_files |
Převeďte aktuální datovou sadu na FileDataset obsahující soubory Parquet. Výsledná datová sada bude obsahovat jeden nebo více souborů Parquet, z nichž každý odpovídá oddílu dat z aktuální datové sady. Tyto soubory nejsou materializovány, dokud nejsou staženy nebo přečteny z. |
to_spark_dataframe |
Načtěte všechny záznamy z datové sady do datového rámce Sparku. |
with_timestamp_columns |
Definujte sloupce časového razítka pro datovou sadu. |
download
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Stáhněte datové proudy souborů definované datovou sadou do místní cesty.
download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)
Parametry
Name | Description |
---|---|
stream_column
Vyžadováno
|
Sloupec streamu, který se má stáhnout. |
target_path
Vyžadováno
|
Místní adresář, do který se mají soubory stáhnout. Pokud žádná, data se stáhnou do dočasného adresáře. |
overwrite
Vyžadováno
|
Určuje, zda se mají přepsat existující soubory. Výchozí hodnota je Nepravda. Existující soubory budou přepsány, pokud je přepsání nastaveno na True; jinak bude vyvolána výjimka. |
ignore_not_found
Vyžadováno
|
Označuje, jestli se stažení nezdaří, pokud se některé soubory odkazované datovou sadou nenajdou. Výchozí hodnota je True. Stahování selže, pokud jakýkoli soubor z nějakého důvodu selže, pokud je ignore_not_found nastavena na False; v opačném případě bude protokolován waring pro chyby nenalezena a dowload bude úspěšné, pokud nejsou zjištěny žádné jiné typy chyb. |
Návraty
Typ | Description |
---|---|
Vrátí pole cest k souborům pro každý stažený soubor. |
drop_columns
Odstraňte zadané sloupce z datové sady.
Pokud se sloupec timeseries vynechá, odpovídající funkce se zahodí i pro vrácenou datovou sadu.
drop_columns(columns)
Parametry
Name | Description |
---|---|
columns
Vyžadováno
|
Název nebo seznam názvů sloupců, které se mají odstranit. |
Návraty
Typ | Description |
---|---|
Vrátí nový Objekt TabularDataset se zadanými sloupci vynechanými. |
filter
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Filtrujte data a ponechte pouze záznamy, které odpovídají zadanému výrazu.
filter(expression)
Parametry
Name | Description |
---|---|
expression
Vyžadováno
|
Výraz, který se má vyhodnotit. |
Návraty
Typ | Description |
---|---|
Upravená datová sada (neregistrovaná). |
Poznámky
Výrazy se spouští indexováním datové sady s názvem sloupce. Podporují různé funkce a operátory a dají se kombinovat pomocí logických operátorů. Výsledný výraz se bude líně vyhodnocovat pro každý záznam, když dojde k vyžádání dat, a ne tam, kde je definován.
dataset['myColumn'] > dataset['columnToCompareAgainst']
dataset['myColumn'].starts_with('prefix')
get_profile
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Získejte profil dat z nejnovějšího spuštění profilu odeslaného pro tuto nebo stejnou datovou sadu v pracovním prostoru.
get_profile(workspace=None)
Parametry
Name | Description |
---|---|
workspace
Vyžadováno
|
Pracovní prostor, do kterého bylo odesláno spuštění profilu. Výchozí hodnota je pracovní prostor této datové sady. Vyžaduje se, pokud datová sada není přidružená k pracovnímu prostoru. Další informace o pracovních prostorech najdete v tématu https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace . |
Návraty
Typ | Description |
---|---|
Výsledek profilu z nejnovějšího spuštění profilu typu DatasetProfile. |
get_profile_runs
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Vrátit předchozí spuštění profilu přidružená k této nebo stejné datové sadě v pracovním prostoru.
get_profile_runs(workspace=None)
Parametry
Name | Description |
---|---|
workspace
Vyžadováno
|
Pracovní prostor, do kterého bylo odesláno spuštění profilu. Výchozí hodnota je pracovní prostor této datové sady. Vyžaduje se, pokud datová sada není přidružená k pracovnímu prostoru. Další informace o pracovních prostorech najdete v tématu https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace . |
Návraty
Typ | Description |
---|---|
objekt iterator typu azureml.core.Run. |
keep_columns
Zachovejte zadané sloupce a vyhodí všechny ostatní z datové sady.
Pokud se sloupec timeseries vynechá, odpovídající funkce se zahodí i pro vrácenou datovou sadu.
keep_columns(columns, validate=False)
Parametry
Name | Description |
---|---|
columns
Vyžadováno
|
Název nebo seznam názvů sloupců, které se mají zachovat. |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli je možné načíst data z vrácené datové sady. Výchozí hodnota je Nepravda. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálních výpočetních prostředků. |
Návraty
Typ | Description |
---|---|
Vrátí nový Objekt TabularDataset se zachováním pouze zadaných sloupců. |
mount
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Vytvořte správce kontextu pro připojení datových proudů souborů definovaných datovou sadou jako místní soubory.
mount(stream_column, mount_point=None)
Parametry
Name | Description |
---|---|
stream_column
Vyžadováno
|
Sloupec datového proudu, který chcete připojit. |
mount_point
Vyžadováno
|
Místní adresář, ke které se mají soubory připojit. Pokud žádná, data se připojí k dočasnému adresáři, který můžete najít voláním MountContext.mount_point metody instance. |
Návraty
Typ | Description |
---|---|
<xref:azureml.dataprep.fuse.daemon.MountContext>
|
Vrátí správce kontextu pro správu životního cyklu připojení. |
partition_by
Dělená data se zkopírují a vydají do cíle určeného cílem.
vytvoření datové sady z výstupní cesty k datům ve formátu oddílu, registrace datové sady, pokud je zadaný název, vrácení datové sady pro novou cestu k datům s oddíly
ds = Dataset.get_by_name('test') # indexed by country, state, partition_date
# #1: call partition_by locally
new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
target=DataPath(datastore, "repartition"))
partition_keys = newds.partition_keys # ['country']
# new_ds can be passed to PRS as input dataset
partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)
Parametry
Name | Description |
---|---|
partition_keys
Vyžadováno
|
Povinné, klíče oddílů |
target
Vyžadováno
|
Vyžaduje se cesta k úložišti dat, kam se data parquet datového rámce nahrají. Složka guid se vygeneruje pod cílovou cestou, aby se zabránilo konfliktu. |
name
Vyžadováno
|
Nepovinný název registrace. |
show_progress
Vyžadováno
|
Volitelné– označuje, jestli se má v konzole zobrazit průběh nahrávání. Výchozí hodnota je Pravda. |
partition_as_file_dataset
Vyžadováno
|
Volitelné, označuje, jestli vrací filedataset nebo ne. Výchozí hodnota je False. |
Návraty
Typ | Description |
---|---|
Uložená nebo registrovaná datová sada. |
random_split
Rozdělte záznamy v datové sadě na dvě části náhodně a přibližně podle zadaného procenta.
První datová sada obsahuje přibližně percentage
celkový počet záznamů a druhá datová sada zbývající záznamy.
random_split(percentage, seed=None)
Parametry
Name | Description |
---|---|
percentage
Vyžadováno
|
Přibližné procento, podle které se má datová sada rozdělit. Musí to být číslo mezi 0,0 a 1,0. |
seed
Vyžadováno
|
Volitelná počáteční hodnota, která se použije pro generátor náhodných. |
Návraty
Typ | Description |
---|---|
Vrátí řazenou kolekci členů nových objektů TabularDataset, které představují dvě datové sady po rozdělení. |
skip
Přeskočí záznamy z horní části datové sady podle zadaného počtu.
skip(count)
Parametry
Name | Description |
---|---|
count
Vyžadováno
|
Počet záznamů, které se mají přeskočit. |
Návraty
Typ | Description |
---|---|
Vrátí nový objekt TabularDataset představující datovou sadu se záznamy vynechanými. |
submit_profile_run
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Odešlete spuštění experimentování pro výpočet profilu dat.
Profil dat může být velmi užitečný pro pochopení vstupních dat, identifikaci anomálií a chybějících hodnot poskytnutím užitečných informací o datech, jako je typ sloupce, chybějící hodnoty atd.
submit_profile_run(compute_target, experiment, cache_datastore_name=None)
Parametry
Name | Description |
---|---|
compute_target
Vyžadováno
|
Cílový výpočetní objekt, na který se má spustit experiment výpočtu profilu. Pokud chcete použít místní výpočetní prostředky, zadejte "local". Další informace o cílových výpočetních objektech najdete v tématu https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.computetarget . |
experiment
Vyžadováno
|
Objekt experimentu. Další informace o experimentech najdete v tématu https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.experiment.experiment . |
cache_datastore_name
Vyžadováno
|
název úložiště dat pro uložení mezipaměti profilu, pokud žádné, použije se výchozí úložiště dat. |
Návraty
Typ | Description |
---|---|
Objekt typu DatasetProfileRun třídy. |
take
Vezměte vzorek záznamů z horní části datové sady podle zadaného počtu.
take(count)
Parametry
Name | Description |
---|---|
count
Vyžadováno
|
Počet záznamů, které se mají pořídit. |
Návraty
Typ | Description |
---|---|
Vrátí nový objekt TabularDataset představující vzorkovanou datovou sadu. |
take_sample
Vezměte náhodný vzorek záznamů v datové sadě přibližně podle zadané pravděpodobnosti.
take_sample(probability, seed=None)
Parametry
Name | Description |
---|---|
probability
Vyžadováno
|
Pravděpodobnost zahrnutí záznamu do vzorku. |
seed
Vyžadováno
|
Volitelná počáteční hodnota, která se použije pro generátor náhodných. |
Návraty
Typ | Description |
---|---|
Vrátí nový objekt TabularDataset představující vzorkovanou datovou sadu. |
time_after
Vyfiltrujte tabulkovou datovou sadu se sloupci časového razítka po zadaném čase zahájení.
time_after(start_time, include_boundary=True, validate=True)
Parametry
Name | Description |
---|---|
start_time
Vyžadováno
|
Dolní mez pro filtrování dat. |
include_boundary
Vyžadováno
|
Určuje, jestli má být zahrnut řádek přidružený k hraničnímu času ( |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli v datové sadě existují zadané sloupce. Výchozí hodnota je True. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálního výpočetního prostředí. |
Návraty
Typ | Description |
---|---|
A TabularDataset s novou filtrovanou datovou sadou. |
time_before
Filtrování tabulkových dat se sloupci s časovým razítkem před zadaným koncovým časem.
time_before(end_time, include_boundary=True, validate=True)
Parametry
Name | Description |
---|---|
end_time
Vyžadováno
|
Horní mez pro filtrování dat. |
include_boundary
Vyžadováno
|
Určuje, jestli má být zahrnut řádek přidružený k hraničnímu času ( |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli v datové sadě existují zadané sloupce. Výchozí hodnota je True. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálního výpočetního prostředí. |
Návraty
Typ | Description |
---|---|
A TabularDataset s novou filtrovanou datovou sadou. |
time_between
Filtrování TabularDataset mezi zadaným počátečním a koncovým časem.
time_between(start_time, end_time, include_boundary=True, validate=True)
Parametry
Name | Description |
---|---|
start_time
Vyžadováno
|
Dolní mez pro filtrování dat. |
end_time
Vyžadováno
|
Horní mez pro filtrování dat. |
include_boundary
Vyžadováno
|
Určuje, jestli má být zahrnut řádek přidružený k hraničnímu času ( |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli v datové sadě existují zadané sloupce. Výchozí hodnota je True. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálního výpočetního prostředí. |
Návraty
Typ | Description |
---|---|
A TabularDataset s novou filtrovanou datovou sadou. |
time_recent
Filtr TabularDataset tak, aby obsahoval pouze zadanou dobu trvání (množství) posledních dat.
time_recent(time_delta, include_boundary=True, validate=True)
Parametry
Name | Description |
---|---|
time_delta
Vyžadováno
|
Doba trvání (množství) posledních dat, která se mají načíst. |
include_boundary
Vyžadováno
|
Určuje, jestli má být zahrnut řádek přidružený k hraničnímu času ( |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli v datové sadě existují zadané sloupce. Výchozí hodnota je True. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálního výpočetního prostředí. |
Návraty
Typ | Description |
---|---|
A TabularDataset s novou filtrovanou datovou sadou. |
to_csv_files
Převeďte aktuální datovou sadu na FileDataset obsahující soubory CSV.
Výsledná datová sada bude obsahovat jeden nebo více souborů CSV, z nichž každý odpovídá oddílu dat z aktuální datové sady. Tyto soubory nejsou materializovány, dokud nejsou staženy nebo přečteny z.
to_csv_files(separator=',')
Parametry
Name | Description |
---|---|
separator
Vyžadováno
|
Oddělovač, který se použije k oddělení hodnot ve výsledném souboru. |
Návraty
Typ | Description |
---|---|
Vrátí nový objekt FileDataset se sadou souborů CSV obsahujících data v této datové sadě. |
to_dask_dataframe
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Vrátí datový rámec Dask, který může líně číst data v datové sadě.
to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')
Parametry
Name | Description |
---|---|
sample_size
Vyžadováno
|
Počet záznamů, které se mají přečíst pro určení schématu a typů. |
dtypes
Vyžadováno
|
Volitelný dikt, který určuje očekávané sloupce a jejich typy dtype. sample_size se ignoruje, pokud je tato možnost zadaná. |
on_error
Vyžadováno
|
Zpracování chybových hodnot v datové sadě, například chybových hodnot vytvořených chybou při analýze hodnot Platné hodnoty jsou null, které je nahradí hodnotou null; a "fail", což bude mít za následek výjimku. |
out_of_range_datetime
Vyžadováno
|
Jak zpracovávat hodnoty data a času, které jsou mimo rozsah podporovaný knihovnou Pandas. Platné hodnoty jsou null, které je nahradí hodnotou null; a "fail", což bude mít za následek výjimku. |
Návraty
Typ | Description |
---|---|
dask.dataframe.core.DataFrame |
to_pandas_dataframe
Načtěte všechny záznamy z datové sady do datového rámce pandas.
to_pandas_dataframe(on_error='null', out_of_range_datetime='null')
Parametry
Name | Description |
---|---|
on_error
Vyžadováno
|
Zpracování chybových hodnot v datové sadě, například chybových hodnot vytvořených chybou při analýze hodnot Platné hodnoty jsou null, které je nahradí hodnotou null; a "fail", což bude mít za následek výjimku. |
out_of_range_datetime
Vyžadováno
|
Jak zpracovávat hodnoty data a času, které jsou mimo rozsah podporovaný knihovnou Pandas. Platné hodnoty jsou null, které je nahradí hodnotou null; a "fail", což bude mít za následek výjimku. |
Návraty
Typ | Description |
---|---|
Vrátí datový rámec pandas. |
to_parquet_files
Převeďte aktuální datovou sadu na FileDataset obsahující soubory Parquet.
Výsledná datová sada bude obsahovat jeden nebo více souborů Parquet, z nichž každý odpovídá oddílu dat z aktuální datové sady. Tyto soubory nejsou materializovány, dokud nejsou staženy nebo přečteny z.
to_parquet_files()
Návraty
Typ | Description |
---|---|
Vrátí nový FileDataset objekt se sadou souborů Parquet obsahující data v této datové sadě. |
to_spark_dataframe
Načtěte všechny záznamy z datové sady do datového rámce Sparku.
to_spark_dataframe()
Návraty
Typ | Description |
---|---|
Vrátí datový rámec Sparku. |
with_timestamp_columns
Definujte sloupce časového razítka pro datovou sadu.
with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)
Parametry
Name | Description |
---|---|
timestamp
Vyžadováno
|
Název sloupce jako časové razítko (označuje se jako fine_grain_timestamp) (volitelné). Výchozí hodnota je None(clear). |
partition_timestamp
Vyžadováno
|
Název sloupce partition_timestamp (označuje se jako hrubé časové razítko agregačního intervalu) (volitelné). Výchozí hodnota je None(clear). |
validate
Vyžadováno
|
Určuje, jestli se má ověřit, jestli v datové sadě existují zadané sloupce. Výchozí hodnota je Nepravda. Ověření vyžaduje, aby byl zdroj dat přístupný z aktuálního výpočetního prostředí. |
Návraty
Typ | Description |
---|---|
Vrátí novou tabulkovou datovou sadu s definovanými sloupci časového razítka. |
Poznámky
Metoda definuje sloupce, které se mají použít jako časová razítka. Sloupce časového razítka v datové sadě umožňují zacházet s daty jako s daty časových řad a umožňují další možnosti. Pokud má datová sada zadané hodnoty i timestamp (used to be referred as fine_grain_timestamp)
partition_timestamp (used to be referred as coarse grain timestamp)
, měly by tyto dva sloupce představovat stejnou časovou osu.