TabularDataset Classe

Baixar os fluxos de arquivo definidos pelo conjunto de dados para o caminho local.

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

Parâmetros

Retornos

Remove as colunas especificadas do conjunto de dados.

Se uma coluna de série temporal for removida, os recursos correspondentes também serão removidos para o conjunto de dados retornado.

drop_columns(columns)

Parâmetros

Retornos

Filtrar os dados, deixando apenas os registros que correspondam à expressão especificada.

filter(expression)

Parâmetros

Retornos

Comentários

As expressões são iniciadas indexando o conjunto de dados com o nome de uma coluna. Elas dão suporte a uma variedade de funções e operadores e podem ser combinadas usando operadores lógicos. A expressão resultante passará por avaliação lenta para cada registro quando ocorrer um pull de dados, e não onde ela está definida.

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

Obtenha o perfil de dados da última execução de perfil enviada para este ou para o mesmo conjunto de dados no workspace.

get_profile(workspace=None)

Parâmetros

Retornos

Retorna as execuções de perfil anteriores associadas a este ou ao mesmo conjunto de dados no workspace.

get_profile_runs(workspace=None)

Parâmetros

Retornos

Mantém as colunas especificadas e remove todas as outras do conjunto de dados.

Se uma coluna de série temporal for removida, os recursos correspondentes também serão removidos para o conjunto de dados retornado.

keep_columns(columns, validate=False)

Parâmetros

Retornos

Criar um gerenciador de contexto para a montagem de fluxos de arquivos definidos pelo conjunto de dados como arquivos locais.

mount(stream_column, mount_point=None)

Parâmetros

Retornos

Dados particionados serão copiados e produzidos como saída para o destino especificado.

Criar o conjunto de dados com base no caminho de dados produzido com o formato de partição, registrar o conjunto de dados se o nome for fornecido, retornar o conjunto de dados para o novo caminho de dados com partições

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

Parâmetros

Retornos

Divide os registros no conjunto de dados em duas partes aleatoriamente e aproximadamente pelo percentual especificado.

O primeiro conjunto de dados contém aproximadamente percentage do total de registros e o segundo conjunto de dados os registros restantes.

random_split(percentage, seed=None)

Parâmetros

Retornos

Ignora registros do topo do conjunto de dados pela contagem especificada.

skip(count)

Parâmetros

Retornos

Enviar uma execução de experimentação para calcular o perfil de dados.

Um perfil de dados pode ser muito útil para entender os dados de entrada, identificar anomalias e valores ausentes, fornecendo informações úteis sobre os dados, como tipo de coluna, valores ausentes, etc.

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

Parâmetros

Retornos

Obtém uma amostra de registros do topo do conjunto de dados pela contagem especificada.

take(count)

Parâmetros

Retornos

Obtém uma amostra aleatória de registros no conjunto de dados aproximadamente pela probabilidade especificada.

take_sample(probability, seed=None)

Parâmetros

Retornos

Filtra TabularDataset com colunas de carimbo de data/hora após uma hora de início especificada.

time_after(start_time, include_boundary=True, validate=True)

Parâmetros

Retornos

Filtra TabularDataset com colunas de carimbo de data/hora antes de um horário de término especificado.

time_before(end_time, include_boundary=True, validate=True)

Parâmetros

Retornos

Filtra TabularDataset entre um horário de início e término especificado.

time_between(start_time, end_time, include_boundary=True, validate=True)

Parâmetros

Retornos

Filtra TabularDataset para conter apenas a duração especificada (valor) dos dados recentes.

time_recent(time_delta, include_boundary=True, validate=True)

Parâmetros

Retornos

Converte o conjunto de dados atual em um FileDataset que contém os arquivos CSV.

O conjunto de dados resultante conterá um ou mais arquivos CSV, cada um correspondendo a uma partição de dados do conjunto de dados atual. Esses arquivos não serão materializados até que sejam baixados ou lidos.

to_csv_files(separator=',')

Parâmetros

Retornos

Retorna um dataframe Dask que pode fazer leitura lenta dos dados no conjunto de dados.

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

Parâmetros

Retornos

Carrega todos os registros do conjunto de dados em um DataFrame do pandas.

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

Parâmetros

Retornos

Converte o conjunto de dados atual em um FileDataset que contém arquivos Parquet.

O conjunto de dados resultante conterá um ou mais arquivos Parquet, cada um correspondendo a uma partição de dados do conjunto de dados atual. Esses arquivos não serão materializados até que sejam baixados ou lidos.

to_parquet_files()

Retornos

Carrega todos os registros do conjunto de dados em um DataFrame do Spark.

to_spark_dataframe()

Retornos

Defina as colunas de carimbo de data/hora para o conjunto de dados.

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

Parâmetros

Retornos

Comentários

O método define as colunas a serem usadas como carimbos de data/hora. As colunas de carimbo de data/hora em um conjunto de dados possibilitam tratar os dados como dados de série temporal e habilitar funcionalidades adicionais. Quando um conjunto de dados tem timestamp (used to be referred as fine_grain_timestamp) e partition_timestamp (used to be referred as coarse grain timestamp) especificados, as duas colunas devem representar a mesma linha do tempo.

Retorna as colunas de carimbo de data/hora.

Retornos