Använda Delta Live Tables-pipelines med äldre Hive-metaarkiv

Den här artikeln beskriver konfigurationer och varningar som är specifika för Delta Live Tables-pipelines som konfigurerats för att publicera data till det äldre Hive-metaarkivet. Databricks rekommenderar att du använder Unity Catalog för alla nya pipelines. Se Använda Unity Catalog med dina Delta Live Tables-pipelines.

Publicera pipelinedatauppsättningar till det äldre Hive-metaarkivet

Även om det är valfritt bör du ange ett mål för att publicera tabeller som skapats av din pipeline när du går längre än utveckling och testning för en ny pipeline. Om du publicerar en pipeline till ett mål blir datauppsättningar tillgängliga för frågor någon annanstans i Azure Databricks-miljön.

Du kan göra utdata för din pipeline identifierbara och tillgängliga för frågor genom att publicera datauppsättningar till Hive-metaarkivet. Om du vill publicera datauppsättningar till metaarkivet anger du ett schemanamn i fältet Mål när du skapar en pipeline. Du kan också lägga till en måldatabas i en befintlig pipeline.

Alla tabeller och vyer som skapats i Delta Live Tables är lokala för pipelinen som standard. Du måste publicera tabeller till ett målschema för att fråga eller använda Delta Live Tables-datauppsättningar utanför pipelinen där de deklareras.

Information om hur du publicerar tabeller från dina pipelines till Unity Catalog finns i Använda Unity Catalog med dina Delta Live Tables-pipelines.

Publicera Delta Live Tables-datauppsättningar till det äldre Hive-metaarkivet

Du kan deklarera ett målschema för alla tabeller i din Delta Live Tables-pipeline med hjälp av fältet Målschema i pipelineinställningarna och Skapa pipeline-UIs .

Du kan också ange ett schema i en JSON-konfiguration genom att ange värdet target .

Du måste köra en uppdatering för pipelinen för att publicera resultat till målschemat.

Du kan använda den här funktionen med flera miljökonfigurationer för att publicera till olika scheman baserat på miljön. Du kan till exempel publicera till ett dev schema för utveckling och ett prod schema för produktionsdata.

Köra frågor mot strömmande tabeller och materialiserade vyer i det äldre Hive-metaarkivet

När en uppdatering är klar kan du visa schemat och tabellerna, fråga efter data eller använda data i underordnade program.

När de har publicerats kan Delta Live Tables-tabeller frågas från valfri miljö med åtkomst till målschemat. Detta inkluderar Databricks SQL, notebook-filer och andra Delta Live Tables-pipelines.

Ange en lagringsplats

Du kan ange en lagringsplats för en pipeline som publicerar till Hive-metaarkivet. Den främsta motivationen för att ange en plats är att styra objektlagringsplatsen för data som skrivits av din pipeline.

Eftersom alla tabeller, data, kontrollpunkter och metadata för Delta Live Tables-pipelines hanteras fullständigt av Delta Live Tables sker de flesta interaktioner med Delta Live Tables-datauppsättningar via tabeller som är registrerade i Hive-metaarkivet eller Unity-katalogen.

Konfiguration av molnlagring

För att få åtkomst till Azure Storage måste du konfigurera nödvändiga parametrar, inklusive åtkomsttoken, med hjälp av spark.conf inställningar i klusterkonfigurationerna. Ett exempel på hur du konfigurerar åtkomst till ett Azure Data Lake Storage Gen2-lagringskonto (ADLS Gen2) finns i Säker åtkomst till autentiseringsuppgifter för lagring med hemligheter i en pipeline.