TabularDataset Klass

Ladda ned filströmmar som definierats av datauppsättningen till den lokala sökvägen.

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

Parametrar

Returer

Ta bort de angivna kolumnerna från datauppsättningen.

Om en tidsseriekolumn tas bort tas även motsvarande funktioner bort för den returnerade datauppsättningen.

drop_columns(columns)

Parametrar

Returer

Filtrera data och lämna endast de poster som matchar det angivna uttrycket.

filter(expression)

Parametrar

Returer

Kommentarer

Uttryck startas genom att datauppsättningen indexeras med namnet på en kolumn. De stöder en mängd olika funktioner och operatorer och kan kombineras med hjälp av logiska operatorer. Det resulterande uttrycket utvärderas lazily för varje post när en datahämtning sker och inte där den definieras.

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

Hämta dataprofil från den senaste profilkörningen som skickats för den här eller samma datauppsättning på arbetsytan.

get_profile(workspace=None)

Parametrar

Returer

Returnera tidigare profilkörningar som är associerade med den här eller samma datauppsättning på arbetsytan.

get_profile_runs(workspace=None)

Parametrar

Returer

Behåll de angivna kolumnerna och ta bort alla andra från datauppsättningen.

Om en tidsseriekolumn tas bort tas även motsvarande funktioner bort för den returnerade datauppsättningen.

keep_columns(columns, validate=False)

Parametrar

Returer

Skapa en kontexthanterare för montering av filströmmar som definieras av datauppsättningen som lokala filer.

mount(stream_column, mount_point=None)

Parametrar

Returer

Partitionerade data kopieras och matas ut till det mål som anges av målet.

skapa datauppsättningen från den utdatasökvägen med partitionsformat, registrera datauppsättningen om namnet anges, returnera datauppsättningen för den nya datasökvägen med partitioner

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

Parametrar

Returer

Dela upp poster i datauppsättningen i två delar slumpmässigt och ungefär enligt den angivna procentandelen.

Den första datamängden innehåller ungefär percentage av de totala posterna och den andra datauppsättningen för återstående poster.

random_split(percentage, seed=None)

Parametrar

Returer

Hoppa över poster överst i datauppsättningen med det angivna antalet.

skip(count)

Parametrar

Returer

Skicka en experimentkörning för att beräkna dataprofilen.

En dataprofil kan vara mycket användbar för att förstå indata, identifiera avvikelser och saknade värden genom att tillhandahålla användbar information om data som kolumntyp, saknade värden osv.

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

Parametrar

Returer

Ta ett urval av poster överst i datamängden med det angivna antalet.

take(count)

Parametrar

Returer

Ta ett slumpmässigt urval av poster i datamängden ungefär med den angivna sannolikheten.

take_sample(probability, seed=None)

Parametrar

Returer

Filtrera TabularDataset med tidsstämpelkolumner efter en angiven starttid.

time_after(start_time, include_boundary=True, validate=True)

Parametrar

Returer

Filtrera TabularDataset med tidsstämpelkolumner före en angiven sluttid.

time_before(end_time, include_boundary=True, validate=True)

Parametrar

Returer

Filtrera TabularDataset mellan en angiven start- och sluttid.

time_between(start_time, end_time, include_boundary=True, validate=True)

Parametrar

Returer

Filtrera TabularDataset så att den endast innehåller den angivna varaktigheten (mängden) senaste data.

time_recent(time_delta, include_boundary=True, validate=True)

Parametrar

Returer

Konvertera den aktuella datauppsättningen till en FileDataset som innehåller CSV-filer.

Den resulterande datamängden innehåller en eller flera CSV-filer som var och en motsvarar en partition med data från den aktuella datauppsättningen. Dessa filer materialiseras inte förrän de laddas ned eller läss från.

to_csv_files(separator=',')

Parametrar

Returer

Returnera en Dask DataFrame som lätt kan läsa data i datauppsättningen.

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

Parametrar

Returer

Läs in alla poster från datauppsättningen till en Pandas DataFrame.

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

Parametrar

Returer

Konvertera den aktuella datauppsättningen till en FileDataset som innehåller Parquet-filer.

Den resulterande datamängden innehåller en eller flera Parquet-filer som var och en motsvarar en partition med data från den aktuella datauppsättningen. Dessa filer materialiseras inte förrän de laddas ned eller läss från.

to_parquet_files()

Returer

Läs in alla poster från datauppsättningen till en Spark DataFrame.

to_spark_dataframe()

Returer

Definiera tidsstämpelkolumner för datauppsättningen.

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

Parametrar

Returer

Kommentarer

Metoden definierar kolumner som ska användas som tidsstämplar. Tidsstämpelkolumner i en datauppsättning gör det möjligt att behandla data som tidsseriedata och aktivera ytterligare funktioner. När både och anges partition_timestamp (used to be referred as coarse grain timestamp) för en datauppsättning timestamp (used to be referred as fine_grain_timestamp) ska de två kolumnerna representera samma tidslinje.

Returnera tidsstämpelkolumnerna.

Returer