DBFS CLI (レガシ)

Databricks DBFS CLI サブコマンドを databricks fs (またはエイリアス dbfs) に追加し、すべての DBFS パスにプレフィックスとして dbfs:/ を付けてこのコマンドを実行します。 これらのサブコマンドは DBFS API を呼び出します。

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

10,000 個を超えるファイルを一覧表示、移動、または削除する操作では、DBFS CLI を使用しないことを強くお勧めします。

• list 操作 (databricks fs ls) は、約 60 秒後にタイムアウトになります。
• move 操作 (databricks fs mv) は約 60 秒後にタイムアウトになり、データの一部が移動される可能性があります。
• delete 操作 (databricks fs rm) では、ファイルのバッチが増分削除されます。

このような操作は、ファイル システム ユーティリティ (dbutils.fs) を使用して、クラスターのコンテキストで実行することをお勧めします。 dbutils.fs では、DBFS REST API の機能スコープをノートブックから使用できます。 ノートブックを使用してこのような操作を実行すると、選択的な削除といった制御や管理が容易になり、定期的なジョブを自動化できる場合もあります。

制限事項

ファイアウォールが有効なストレージ コンテナーで Databricks DBFS CLI を使用することはサポートされていません。 Databricks では、Databricks Connect または az storage の使用が推奨されています。

ファイルのコンテンツを一覧表示する

使用に関するドキュメントを表示するには、databricks fs cat --help を実行します。

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

ファイルをコピーする

使用に関するドキュメントを表示するには、databricks fs cp --help を実行します。

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

成功すると、このコマンドでは何も表示されません。

ファイルとディレクトリに関する情報を一覧表示する

使用に関するドキュメントを表示するには、databricks fs ls --help を実行します。

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

ディレクトリを作成する

使用に関するドキュメントを表示するには、databricks fs mkdirs --help を実行します。

databricks fs mkdirs dbfs:/tmp/new-dir

成功すると、このコマンドでは何も表示されません。

ファイルを移動する

使用に関するドキュメントを表示するには、databricks fs mv --help を実行します。

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

成功すると、このコマンドでは何も表示されません。

ファイルを削除する

使用に関するドキュメントを表示するには、databricks fs rm --help を実行します。

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.