cloud_files_state funzione con valori di tabella

  • Articolo

Si applica a: segno di spunta sì Databricks SQL segno di spunta sì Databricks Runtime 11.3 LTS e versioni successive

Restituisce lo stato a livello di file di un caricatore automatico o read_files di un flusso.

Sintassi

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argomenti

  • table_name: identificatore della tabella di streaming scritta da read_files. Il nome non deve includere una specifica temporale. Disponibile in Databricks Runtime 13.3 LTS e versioni successive.
  • checkpoint: valore STRING letterale. Directory del checkpoint per un flusso usando l'origine del caricatore automatico. Vedere Che cos'è il caricatore automatico?.

Valori restituiti

Restituisce una tabella con lo schema seguente:

  • path STRING NOT NULL PRIMARY KEY

    Percorso di un file.

  • size BIGINT NOT NULL

    Dimensioni di un file in byte.

  • create_time TIMESTAMP NOT NULL

    Ora di creazione di un file.

  • discovery_time TIMESTAMP NOT NULL

    Importante

    Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

    Ora in cui è stato individuato un file.

  • commit_time TIMESTAMP

    Importante

    Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

    Ora in cui è stato eseguito il commit di un file nel checkpoint dopo l'elaborazione. NULL se il file non è ancora stato elaborato. Un file potrebbe essere elaborato, ma potrebbe essere contrassegnato come sottoposto a commit arbitrariamente in un secondo momento. Contrassegnare il file come di cui è stato eseguito il commit significa che il caricatore automatico non richiede di nuovo il file per l'elaborazione.

  • archive_time TIMESTAMP

    Importante

    Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

    Ora in cui un file è stato archiviato. NULL se il file non è stato archiviato.

  • source_id STRING

    ID dell'origine del caricatore automatico nella query di streaming. Questo valore è '0' per i flussi che inseriscono da un'unica posizione dell'archivio oggetti cloud.

Autorizzazioni

È necessario disporre di:

  • OWNER privilegi nella tabella di streaming se si usa un identificatore di tabella di streaming.
  • READ FILES privilegi nella posizione del checkpoint se si specifica un checkpoint in una posizione esterna.

Esempi

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path