Delta Live Tables verze 2022.37

  • Článek

14. září – 22, 2022

Tyto funkce a vylepšení byly vydány ve verzi Delta Live Tables z roku 2022.37.

Verze Databricks Runtime používané touto verzí

Kanál:

  • CURRENT (výchozí): Databricks Runtime 10.3.7
  • PREVIEW: Databricks Runtime 11.0.5

Nové funkce a vylepšení v této verzi

  • Požadavek rozhraní API počáteční aktualizace teď vrátí request_id pole v textu odpovědi. Jedná se request_id o stabilní identifikátor původního požadavku, který spouští aktualizaci. Pokud se aktualizace opakuje nebo restartuje, nová aktualizace zdědí request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nový requests požadavek rozhraní API (GET /pipelines/{pipeline_id}/requests/{request_id}) vrátí stav aktualizace kanálu přidružené request_idk . Odpověď obsahuje informace o nejnovější aktualizaci.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Kód Pythonu teď může volat spark.sql operace mimo dlt.table() funkce dlt.view() , pokud operace nečte z materializovaného zobrazení nebo tabulky streamování.

  • Položky protokolu událostí teď obsahují maturity vlastnost označující stabilitu schématu událostí. Možné hodnoty jsou stable, evolvinga deprecated. Další informace o protokolu událostí Delta Live Tables naleznete v tématu Co je protokol událostí Delta Live Tables?.

  • Chybová zpráva je vylepšena v případě nekompatibilních změn zdrojových tabulek používaných streamovací tabulkou.

  • Při vytváření nebo úpravě kanálu teď můžete v uživatelském rozhraní Delta Live Tables vybrat zásady clusteru. Dříve nastavení zásad clusteru pro kanál vyžadovalo úpravu nastavení JSON kanálu.

  • Rychlejší spuštění kanálu Tato verze zahrnuje vylepšení, která krok urychlí SETTING_UP_TABLES při spuštění kanálu.

Opravy chyb v této verzi

  • Tato verze opravuje chybu, která brání rozšířenému automatickému škálování ve vertikálním navýšení kapacity, pokud nejsou dostupné žádné nečinné instance clusteru.