Dataset Třída

Archivace aktivní nebo zastaralé datové sady

archive()

Návraty

Poznámky

Po archivaci dojde při každém pokusu o využití datové sady k chybě. Pokud se archivuje omylem, opětovná aktivace ho aktivuje.

Analyzuje soubory na zadané cestě a vrátí novou datovou sadu.

static auto_read_files(path, include_path=False, partition_format=None)

Parametry

Návraty

Poznámky

Tuto metodu použijte, pokud chcete automaticky rozpoznat formáty souborů a oddělovače.

Po vytvoření datové sady byste měli použít get_profile seznam rozpoznaných typů sloupců a souhrnné statistiky pro každý sloupec.

Vrácená datová sada není zaregistrovaná v pracovním prostoru.

Porovnejte profil aktuální datové sady s jiným profilem datové sady.

To ukazuje rozdíly v souhrnných statistikách mezi dvěma datovými sadami. Parametr "rhs_dataset" je zkratka pro "pravá strana" a je jednoduše druhou datovou sadou. První datová sada (aktuální objekt datové sady) se považuje za "levou stranu".

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parametry

Návraty

Poznámky

Týká se to jenom registrovaných datových sad. Vyvolá výjimku, pokud profil aktuální datové sady neexistuje. Pro neregistrované datové sady použijte metodu profile.compare.

Vytvořte snímek registrované datové sady.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parametry

Návraty

Poznámky

Snímky zaznamenávají souhrnné statistiky podkladových dat k určitému bodu v čase a volitelnou kopii samotných dat. Další informace o vytváření snímků najdete v tématu https://aka.ms/azureml/howto/createsnapshots.

Odstraňte snímek datové sady podle názvu.

delete_snapshot(snapshot_name)

Parametry

Návraty

Poznámky

Tato možnost slouží k uvolnění úložiště spotřebovaného daty uloženými ve snímcích, které už nepotřebujete.

Vyřazení aktivní datové sady v pracovním prostoru jinou datovou sadou

deprecate(deprecate_by_dataset_id)

Parametry

Návraty

Poznámky

Zastaralé datové sady budou zaznamenávat upozornění, když jsou spotřebovány. Vyřazení datové sady zastará všechny její definice.

Zastaralé datové sady je stále možné využívat. Pokud chcete úplně zablokovat využívání datové sady, archivujte ji.

Pokud se omylem přestane používat, aktivuje se opětovná aktivace.

Rozdělte aktuální datovou sadu pomocí rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parametry

Návraty

Vytvořte neregistrovanou datovou sadu v paměti z binárních souborů.

static from_binary_files(path)

Parametry

Návraty

Poznámky

Tato metoda slouží ke čtení souborů jako datových proudů binárních dat. Vrátí jeden objekt datového proudu souboru na každý přečtený soubor. Tuto metodu použijte při čtení obrázků, videí, zvukových nebo jiných binárních dat.

get_profile a create_snapshot nebude fungovat podle očekávání pro datovou sadu vytvořenou touto metodou.

Vrácená datová sada není zaregistrovaná v pracovním prostoru.

Vytvořte neregistrovanou datovou sadu v paměti ze souborů s oddělovači.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parametry

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Návraty

Poznámky

Tuto metodu použijte ke čtení textových souborů s oddělovači, pokud chcete řídit použité možnosti.

Po vytvoření datové sady byste měli použít get_profile seznam rozpoznaných typů sloupců a souhrnné statistiky pro každý sloupec.

Vrácená datová sada není zaregistrovaná v pracovním prostoru.

Vytvořte neregistrovanou datovou sadu v paměti z excelových souborů.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parametry

Návraty

Poznámky

Tato metoda slouží ke čtení souborů aplikace Excel ve formátu .xlsx. Data se dají číst z jednoho listu v každém excelovém souboru. Po vytvoření datové sady byste měli použít get_profile k výpisu zjištěných typů sloupců a souhrnné statistiky pro každý sloupec. Vrácená datová sada není zaregistrovaná v pracovním prostoru.

Ze souborů JSON vytvořte neregistrovanou datovou sadu v paměti.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parametry

Návraty

Vytvořte neregistrovanou datovou sadu v paměti z datového rámce pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parametry

Návraty

Poznámky

Tato metoda slouží k převodu datového rámce Pandas na objekt Dataset. Datovou sadu vytvořenou touto metodou nelze zaregistrovat, protože data pocházejí z paměti.

Pokud in_memory je hodnota False, datový rámec Pandas se místně převede na soubor CSV. Pokud pat je typ DataReference, pak se rámec Pandas nahraje do úložiště dat a datová sada bude založená na dataReference. Pokud je cesta místní složka, vytvoří se datová sada z místního souboru, který nelze odstranit.

Vyvolá výjimku, pokud aktuální DataReference není cesta ke složce.

Vytvořte neregistrovanou datovou sadu v paměti ze souborů Parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Parametry

Návraty

Poznámky

Tuto metodu použijte ke čtení souborů Parquet.

Po vytvoření datové sady byste měli použít get_profile k výpisu zjištěných typů sloupců a souhrnné statistiky pro každý sloupec.

Vrácená datová sada není zaregistrovaná v pracovním prostoru.

Vytvoření neregistrované datové sady v paměti z dotazu SQL

static from_sql_query(data_source, query)

Parametry

Návraty

Vygenerujte nový profil pro datovou sadu.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parametry

Návraty

Poznámky

Synchronní volání se zablokuje, dokud se nedokoní. Voláním get_result získáte výsledek akce.

Získejte datovou sadu, která už v pracovním prostoru existuje, zadáním jejího názvu nebo ID.

static get(workspace, name=None, id=None)

Parametry

Návraty

Poznámky

Můžete zadat nebo nameid. Výjimka se vyvolá v následujících případech:

• id jsou zadané iname, ale neshodují se.

• datovou sadu se zadaným name nebo id nelze najít v pracovním prostoru.

Získejte všechny registrované datové sady v pracovním prostoru.

get_all()

Parametry

Návraty

Získejte všechny snímky datové sady.

get_all_snapshots()

Návraty

Získejte datovou sadu, která se uloží do pracovního prostoru.

get_by_id(id, **kwargs)

Parametry

Návraty

Získejte zaregistrovanou datovou sadu z pracovního prostoru podle názvu registrace.

get_by_name(name, version='latest', **kwargs)

Parametry

Návraty

Získejte konkrétní definici datové sady.

get_definition(version_id=None)

Parametry

Návraty

Poznámky

Pokud version_id je k dispozici, azure Machine Learning se pokusí získat definici odpovídající dané verzi. Pokud tato verze neexistuje, vyvolá se výjimka. Pokud version_id je vynechán, načte se nejnovější verze.

Získejte všechny definice datové sady.

get_definitions()

Návraty

Poznámky

Datová sada zaregistrovaná v pracovním prostoru AzureML může mít více definic, z nichž každá se vytvoří voláním update_definition. Každá definice má jedinečný identifikátor. Aktuální definice je nejnovější vytvořená definice.

U neregistrovaných datových sad existuje pouze jedna definice.

Získejte souhrnné statistiky o datové sadě vypočítané dříve.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parametry

Návraty

Poznámky

Pro datovou sadu zaregistrovanou v pracovním prostoru Služby Azure Machine Learning tato metoda načte existující profil vytvořený dříve voláním get_profile , pokud je stále platný. Profily se zruší, když se v datové sadě zjistí změněná data nebo se argumenty, které se get_profile mají lišit od těch, které se použily při generování profilu. Pokud profil neexistuje nebo je neplatný, určí, generate_if_not_exist jestli se vygeneruje nový profil.

U datové sady, která není zaregistrovaná v pracovním prostoru Azure Machine Learning, tato metoda vždy spustí generate_profile a vrátí výsledek.

Získejte snímek datové sady podle názvu.

get_snapshot(snapshot_name)

Parametry

Návraty

Načítejte zadaný počet záznamů zadaných z této datové sady a vrátí je jako datový rámec.

head(count)

Parametry

Návraty

Vypište všechny datové sady v pracovním prostoru, včetně těch, které mají is_visible vlastnost rovnající se false.

static list(workspace)

Parametry

Návraty

Opětovná aktivace archivované nebo zastaralé datové sady

reactivate()

Návraty

Zaregistrujte datovou sadu v pracovním prostoru a zpřístupníte ji ostatním uživatelům pracovního prostoru.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parametry

Návraty

Pomocí strategie vzorkování a zadaných parametrů vygenerujte ze zdrojové datové sady novou ukázku.

sample(sample_strategy, arguments)

Parametry

Návraty

Poznámky

Ukázky se generují spuštěním kanálu transformace definovaného touto datovou sadou a následným použitím strategie vzorkování a parametrů na výstupní data. Každá metoda vzorkování podporuje následující volitelné argumenty:

• top_n

  • Volitelné argumenty

    • n, zadejte integer. Jako ukázku vyberte prvních N řádků.

• simple_random

  • Volitelné argumenty

    • pravděpodobnost, typ float. Jednoduchý náhodný vzorkování, kde má každý řádek stejnou pravděpodobnost výběru. Pravděpodobnost by měla být číslo mezi 0 a 1.

    • seed, zadejte float. Používá se generátorem náhodných čísel. Použijte pro opakovatelnost.

• Rozvrstvené

  • Volitelné argumenty

    • columns, type list[str]. Seznam sloupců vrstev v datech

    • seed, zadejte float. Používá se generátorem náhodných čísel. Použijte pro opakovatelnost.

    • zlomky, typ dict[řazená kolekce členů, float]. Řazená kolekce členů: Hodnoty sloupců, které definují vrstvu, musí být ve stejném pořadí jako názvy sloupců. Plovák: hmotnost připevněná k vrstvě během vzorkování.

Následující fragmenty kódu jsou příkladem vzorů návrhu pro různé ukázkové metody.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Vytvořte datový rámec Pandas spuštěním transformačního kanálu definovaného touto definicí datové sady.

to_pandas_dataframe()

Návraty

Poznámky

Vrátí datový rámec Pandas plně materializovaný v paměti.

Vytvořte datový rámec Sparku, který může spustit kanál transformace definovaný touto definicí datové sady.

to_spark_dataframe()

Návraty

Poznámky

Vrácený datový rámec Sparku je pouze plánem provádění a ve skutečnosti neobsahuje žádná data, protože datové rámce Sparku se líně vyhodnocují.

Aktualizujte proměnlivé atributy datové sady v pracovním prostoru a vraťte aktualizovanou datovou sadu z pracovního prostoru.

update(name=None, description=None, tags=None, visible=None)

Parametry

Návraty

Aktualizujte definici datové sady.

update_definition(definition, definition_update_message)

Parametry

Návraty

Poznámky

Pokud chcete využít aktualizovanou datovou sadu, použijte objekt vrácený touto metodou.

Vrátí aktuální definici datové sady.

Návraty

Poznámky

Definice datové sady je řada kroků, které určují, jak číst a transformovat data.

Datová sada zaregistrovaná v pracovním prostoru AzureML může mít více definic, z nichž každá se vytvoří voláním update_definition. Každá definice má jedinečný identifikátor. Více definic umožňuje provádět změny stávajících datových sad bez narušení modelů a kanálů, které závisí na starší definici.

U neregistrovaných datových sad existuje pouze jedna definice.

Vrátí verzi aktuální definice datové sady.

Návraty

Poznámky

Definice datové sady je řada kroků, které určují, jak číst a transformovat data.

Datová sada zaregistrovaná v pracovním prostoru AzureML může mít více definic, z nichž každá se vytvoří voláním update_definition. Každá definice má jedinečný identifikátor. Aktuální definice je nejnovější vytvořená definice, jejíž ID vrátí.

U neregistrovaných datových sad existuje pouze jedna definice.

Vrátí popis datové sady.

Návraty

Poznámky

Zadání popisu dat v datové sadě umožní uživatelům pracovního prostoru pochopit, co data představují a jak je můžou používat.

Pokud byla datová sada zaregistrovaná v pracovním prostoru, vraťte ID datové sady. V opačném případě vraťte hodnotu None.

Návraty

Řízení viditelnosti registrované datové sady v uživatelském rozhraní pracovního prostoru Azure ML

Návraty

Poznámky

Vrácené hodnoty:

• Pravda: Datová sada je viditelná v uživatelském rozhraní pracovního prostoru. Default (Výchozí).

• Nepravda: Datová sada je v uživatelském rozhraní pracovního prostoru skrytá.

Nemá žádný vliv na neregistrované datové sady.

Vraťte název datové sady.

Návraty

Vrátí stav datové sady.

Návraty

Poznámky

Význam a účinek stavů jsou následující:

• Aktivní. Aktivní definice jsou přesně to, co zní, a všechny akce lze provádět s aktivními definicemi.

• Zastaralé je možné použít zastaralé definice, ale při každém přístupu k podkladovým datům se do protokolů zaprotokoluje upozornění.

• Archivované. Archivovanou definici nelze použít k provedení žádné akce. Pokud chcete s archivovanou definicí provádět akce, je nutné ji znovu aktivovat.

Vrátí značky přidružené k datové sadě.

Návraty

Pokud byla datová sada zaregistrovaná v pracovním prostoru, vraťte ji. V opačném případě vraťte hodnotu None.

Návraty