Publikowanie danych z tabel delta live do magazynu metadanych Hive

Dane wyjściowe potoku można wykrywać i udostępniać, publikując zestawy danych w magazynie metadanych Hive. Aby opublikować zestawy danych w magazynie metadanych, wprowadź nazwę schematu w polu Target podczas tworzenia potoku. Możesz również dodać docelową bazę danych do istniejącego potoku.

Domyślnie wszystkie tabele i widoki utworzone w tabelach Delta Live Tables są lokalne dla potoku. Tabele należy opublikować w schemacie docelowym w celu wykonywania zapytań lub używania zestawów danych delta Live Tables poza potokiem, w którym są deklarowane.

Aby opublikować tabele z potoków w wykazie aparatu Unity, zobacz Używanie wykazu aparatu Unity z potokami tabel różnicowych na żywo.

Jak opublikować zestawy danych funkcji Delta Live Tables w schemacie

Można zadeklarować schemat docelowy dla wszystkich tabel w potoku Delta Live Tables przy użyciu pola Schemat docelowy w ustawieniach potoku i Tworzenie interfejsów użytkownika potoku .

Możesz również określić schemat w konfiguracji JSON, ustawiając target wartość.

Aby opublikować wyniki w schemacie docelowym, należy uruchomić aktualizację potoku.

Tej funkcji można używać z wieloma konfiguracjami środowiska do publikowania w różnych schematach na podstawie środowiska. Można na przykład opublikować w schemacie dev na potrzeby programowania i prod schematu dla danych produkcyjnych.

Jak wykonywać zapytania dotyczące zestawów danych w tabelach delta live

Po zakończeniu aktualizacji można wyświetlić schemat i tabele, wykonać zapytania dotyczące danych lub użyć danych w aplikacjach podrzędnych.

Po opublikowaniu tabel usługi Delta Live Tables można wykonywać zapytania z dowolnego środowiska z dostępem do schematu docelowego. Obejmuje to między innymi potoki usługi Databricks SQL, notesy i inne potoki tabel delta Live Tables.

Wykluczanie tabel ze schematu docelowego

Jeśli musisz obliczyć tabele pośrednie, które nie są przeznaczone do użycia zewnętrznego, możesz uniemożliwić ich publikowanie w schemacie przy użyciu słowa kluczowego TEMPORARY . Tabele tymczasowe nadal przechowują i przetwarzają dane zgodnie z semantykami tabel delta Live Tables, ale nie powinny być dostępne poza bieżącym potokiem. Tabela tymczasowa jest utrwalana przez okres istnienia potoku, który go tworzy. Użyj następującej składni, aby zadeklarować tabele tymczasowe:

SQL

CREATE TEMPORARY MATERIALIZED VIEW temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")