FileDataset Clase

Crea un objeto DatacacheConsumptionConfig asignado a un datacache_store y un conjunto de datos.

as_cache(datacache_store)

Parámetros

Devoluciones

Crea un objeto DatasetConsumptionConfig con el modo establecido en descargar.

En la ejecución enviada, los archivos del conjunto de datos se descargarán en la ruta de acceso local en el destino de proceso. La ubicación de descarga se puede recuperar de los valores de argumento y el campo input_datasets del contexto de ejecución. Generaremos automáticamente un nombre de entrada. Si desea especificar un nombre de entrada personalizado, llame al método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parámetros

Comentarios

Cuando se crea el conjunto de datos a partir de la ruta de acceso de un solo archivo, la ubicación de descarga será la ruta de acceso del único archivo descargado. De lo contrario, la ubicación de descarga será la ruta de acceso de la carpeta que contiene todos los archivos descargados.

Si path_on_compute empieza por /, se tratará como una ruta de acceso absoluta. Si no comienza por /, se tratará como una ruta de acceso relativa respecto al directorio de trabajo. Si ha especificado una ruta de acceso absoluta, asegúrese de que el trabajo tenga permiso para escribir en ese directorio.

Establece el modo en HDFS.

En la ejecución de Synapse enviada, los archivos de los conjuntos de datos se convertirán a una ruta de acceso local en el destino de proceso. La ruta de acceso HDFS se puede recuperar de los valores de argumento y las variables de entorno del sistema operativo.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Comentarios

Cuando se crea el conjunto de datos a partir de la ruta de acceso de un único archivo, la ruta de acceso HDFS será la del único archivo. De lo contrario, la ruta de acceso HDFS será la de la carpeta que los contiene para todos los archivos montados.

Crea un objeto DatasetConsumptionConfig con el modo establecido en montar.

En la ejecución enviada, los archivos de los conjuntos de datos se montarán en la ruta de acceso local en el destino de proceso. El punto de montaje se puede recuperar de los valores de argumento y el campo input_datasets del contexto de ejecución. Generaremos automáticamente un nombre de entrada. Si desea especificar un nombre de entrada personalizado, llame al método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parámetros

Comentarios

Cuando se crea el conjunto de datos a partir de la ruta de acceso de un único archivo, el punto de montaje será la ruta de acceso del único archivo montado. De lo contrario, el punto de montaje será la ruta de acceso de la carpeta que contiene todos los archivos montados.

Si path_on_compute empieza por /, se tratará como una ruta de acceso absoluta. Si no comienza por /, se tratará como una ruta de acceso relativa respecto al directorio de trabajo. Si ha especificado una ruta de acceso absoluta, asegúrese de que el trabajo tenga permiso para escribir en ese directorio.

Descarga los flujos de archivos definidos por el conjunto de datos como archivos locales.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parámetros

Devoluciones

Comentarios

Si target_path empieza por /, se tratará como una ruta de acceso absoluta. Si no comienza por /, se tratará como una ruta de acceso relativa respecto al directorio de trabajo actual.

Obtiene la expresión de metadatos de archivo mediante la especificación del nombre de la columna de metadatos.

Las columnas de metadatos de archivo admitidas son Size, LastModifiedTime, CreationTime, Extension y CanSeek.

file_metadata(col)

Parámetros

Devoluciones

Filtra los datos, dejando solo los registros que coinciden con la expresión especificada.

filter(expression)

Parámetros

Devoluciones

Comentarios

Las expresiones se inician indexando el conjunto de datos con el nombre de una columna. Admiten una variedad de funciones y operadores, y se pueden combinar mediante operadores lógicos. La expresión resultante se evaluará de forma diferida para cada registro cuando se produzca una extracción de datos y no cuando se define.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hidrata el conjunto de datos en las réplicas solicitadas especificadas en datacache_store.

hydrate(datacache_store, replica_count=None)

Parámetros

Devoluciones

Crea un administrador de contexto para montar flujos de archivos definidos por el conjunto de datos como archivos locales.

mount(mount_point=None, **kwargs)

Parámetros

Devoluciones

Comentarios

Se devolverá un administrador de contexto para administrar el ciclo de vida del montaje. Para el montaje, deberá entrar en el administrador de contexto y, para el desmontaje, salir del administrador de contexto.

El montaje solo se admite en sistemas operativos Unix o parecidos a Unix con el paquete nativo libfuse instalado. Si se ejecuta dentro de un contenedor de Docker, el contenedor Docker, se debe iniciar con la marca -privileged o con -cap-add SYS_ADMIN -device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Si target_path empieza por /, se tratará como una ruta de acceso absoluta. Si no comienza por /, se tratará como una ruta de acceso relativa respecto al directorio de trabajo actual.

Divide los flujos de archivos del conjunto de datos en dos partes de manera aleatoria y aproximada según el porcentaje especificado.

El primer conjunto de datos devuelto contiene aproximadamente un valor de percentage del número total de referencias de archivo y el segundo conjunto de datos contiene las referencias de archivo restantes.

random_split(percentage, seed=None)

Parámetros

Devoluciones

Omite los flujos de archivos de la parte superior del conjunto de datos según el recuento especificado.

skip(count)

Parámetros

Devoluciones

Toma una muestra de los flujos de archivos de la parte superior del conjunto de datos según el recuento especificado.

take(count)

Parámetros

Devoluciones

Toma una muestra aleatoria de flujos de archivos en el conjunto de datos según la probabilidad especificada aproximadamente.

take_sample(probability, seed=None)

Parámetros

Devoluciones

Obtiene una lista de rutas de acceso de archivo para cada flujo de archivos definido por el conjunto de datos.

to_path()

Devoluciones

Comentarios

Las rutas de acceso de archivo son rutas de acceso relativas para los archivos locales cuando se descargan o montan los flujos de archivos.

Se quitará un prefijo común de las rutas de acceso de archivo en función de cómo se haya especificado el origen de datos para crear el conjunto de datos. Por ejemplo:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']