fs группа команд

Группа fs команд в интерфейсе командной строки Databricks позволяет автоматизировать тома в каталоге Unity и автоматизировать объекты файловой системы Databricks (DBFS).

Команды выполняются fs путем добавления их в databricks fs. Чтобы отобразить справку по команде fs , выполните команду databricks fs -h.

fs для команд требуется, чтобы пути тома начинались с dbfs:/Volumes и требуются пути к каталогу и файлам в DBFS для начала dbfs:/.

Вывод списка содержимого каталога

Чтобы вывести список содержимого каталога в томе или в DBFS, используйте ls команду. Укажите путь к каталогу. В следующих примерах перечислены имена объектов, найденных в корневом каталоге указанного тома или в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Чтобы отобразить полную информацию, включая типы объектов, размеры, время изменения с момента эпохи в миллисекундах, а также имена объектов, используйте --long или -l параметр. В следующих примерах приведены полные сведения об объектах, найденных в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Чтобы отобразить полные пути к объекту --absolute , используйте этот параметр. В следующих примерах перечислены полные сведения о объектах и полные пути объектов, найденные в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Вывод содержимого файла

Чтобы вывести содержимое файла, используйте cat команду. Укажите путь к файлу в DBFS. В следующих примерах выводится содержимое файла с именем babynames.csv , найденного в корневом каталоге указанного тома или в каталоге в tmp корневом каталоге DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

В следующих примерах возвращаются ошибки, так как они пытаются вывести содержимое каталога вместо файла:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Создание каталога

Чтобы создать каталог, используйте mkdir команду. Укажите путь к каталогу, который нужно создать в томе или в DBFS. Если каталог уже существует, ничего не происходит. В следующих примерах создается каталог с именем squirrel-data в корневом каталоге указанного тома или в каталоге с именем tmp в корневом каталоге DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Копирование каталога или файла

Чтобы скопировать каталог или файл, используйте cp команду. Укажите пути к исходному каталогу или файлу для копирования и назначения. Каталоги и файлы можно скопировать между локальной файловой системой и DBFS, а также скопировать каталоги и файлы между путями DBFS. Чтобы перезаписать существующие --overwrite файлы, используйте этот параметр. Чтобы рекурсивно копировать файлы в каталоге, используйте --recursive или -r параметр.

Команда cp предполагает, file:/ что file:/если опущен.

В следующих примерах копируется каталог с именем squirrel-data и его содержимым из пути локальной файловой системы к squirrels каталогу в корневом каталоге указанного тома или корневом каталоге DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

В следующем примере файл с именем из пути локальной файловой системы копируется в каталог с именем squirrels.csv squirrel-data в корневом каталоге указанного тома или корневом каталоге DBFS. Если файл уже существует в назначении, он перезаписан.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Удаление каталога

Чтобы удалить каталог, используйте rm команду. Укажите путь к существующему каталогу в DBFS. В следующих примерах удаляется каталог с именем squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Если каталог не существует, ничего не происходит, и ошибка не возвращается.

Если каталог существует, но не пуст, возвращается ошибка. Чтобы удалить непустый каталог и все его содержимое, используйте --recursive или -r параметр. В следующих примерах удаляется непустый каталог squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r