Konfigurace výpočetních prostředků pro kanál Delta Live Tables

  • Článek

Tento článek obsahuje pokyny a důležité informace o konfiguraci vlastních nastavení výpočetních prostředků pro kanály Delta Live Tables.

Bezserverové kanály neposkytují možnosti konfigurace výpočetních prostředků. Viz Konfigurace kanálu bezserverových živých tabulek Delta.

Výběr zásad clusteru

Uživatelé musí mít oprávnění k nasazení výpočetních prostředků pro konfiguraci a aktualizaci kanálů Delta Live Tables. Správci pracovního prostoru můžou nakonfigurovat zásady clusteru tak, aby uživatelům poskytovaly přístup k výpočetním prostředkům pro delta živé tabulky. Viz Definice omezení výpočetních prostředků kanálu Delta Live Tables.

Poznámka:

  • Zásady clusteru jsou volitelné. Obraťte se na správce pracovního prostoru, pokud nemáte výpočetní oprávnění požadovaná pro rozdílové živé tabulky.

  • Pokud chcete zajistit správné použití výchozích hodnot zásad clusteru, nastavte apply_policy_default_values je true v konfiguracích clusteru v konfiguraci kanálu:

    {
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

Konfigurace značek clusteru

Značky clusteru můžete použít k monitorování využití pro vaše clustery kanálů. Značky clusteru můžete přidat do uživatelského rozhraní Delta Live Tables při vytváření nebo úpravách kanálu nebo úpravou nastavení JSON pro clustery kanálů.

Výběr typů instancí pro spuštění kanálu

Delta Live Tables ve výchozím nastavení vybere typy instancí pro ovladače kanálu a pracovní uzly. Volitelně můžete nakonfigurovat typy instancí.

Vyberte například typy instancí, abyste zlepšili výkon kanálu nebo vyřešili problémy s pamětí při spuštění kanálu. Typy instancí můžete nakonfigurovat při vytváření nebo úpravách kanálu pomocí rozhraní REST API nebo v uživatelském rozhraní Delta Live Tables.

Konfigurace typů instancí při vytváření nebo úpravě kanálu v uživatelském rozhraní Delta Live Tables:

  1. Klikněte na tlačítko Nastavení .
  2. V části Upřesnit nastavení kanálu vyberte v rozevíracích nabídkách Typ pracovního procesu a Typ ovladače typy instancí pro kanál.

Pokročilé konfigurace výpočetních prostředků

Poznámka:

Vzhledem k tomu, že výpočetní prostředky jsou plně spravované pro bezserverové kanály DLT, nejsou výpočetní nastavení při výběru bezserverového kanálu k dispozici.

Každý kanál dynamických tabulek Delta má dva přidružené clustery:

  • Cluster updates zpracovává aktualizace kanálu.
  • Cluster maintenance spouští úlohy každodenní údržby.

Nastavení výpočetních prostředků zadaná pomocí uživatelského rozhraní konfigurace kanálu pracovního prostoru platí pro clustery aktualizací i údržby. Pokud chcete tato nastavení upravit nezávisle, musíte upravit konfiguraci JSON.

Konfigurace těchto clusterů je určena atributem zadaným clusters v nastavení kanálu.

Pomocí popisků clusteru můžete přidat výpočetní nastavení, která platí jenom pro konkrétní typ clusteru. Při konfiguraci clusterů kanálů můžete použít tři popisky:

Poznámka:

Nastavení popisku clusteru je možné vynechat, pokud definujete pouze jednu konfiguraci clusteru. Popisek default se použije u konfigurací clusteru, pokud není k dispozici žádné nastavení popisku. Nastavení popisku clusteru se vyžaduje jenom v případě, že potřebujete přizpůsobit nastavení pro různé typy clusterů.

  • Popisek default definuje výpočetní nastavení pro updates clustery i maintenance clustery. Použití stejného nastavení u obou clusterů zlepšuje spolehlivost spuštění údržby tím, že zajišťuje, aby se na cluster údržby použily požadované konfigurace, jako jsou přihlašovací údaje pro přístup k datům pro umístění úložiště.
  • Popisek maintenance definuje výpočetní nastavení, která platí jenom maintenance pro cluster. Pomocí popisku maintenance můžete také přepsat nastavení nakonfigurovaná popiskem default .
  • Popisek updates definuje nastavení, která platí jenom updates pro cluster. Použijte ho ke konfiguraci nastavení, která by se neměla v clusteru maintenance použít.

Nastavení definovaná pomocí popisků default se updates sloučí, aby se vytvořila konečná konfigurace clusteru updates . Pokud je stejné nastavení definované pomocí obou default i updates popisků, přepíše nastavení definované popiskem updates nastavení definované popiskem default .

Následující příklad definuje konfigurační parametr Sparku, který se přidá pouze do konfigurace clusteru updates :

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tables má podobné možnosti pro nastavení clusteru jako jiné výpočetní prostředky v Azure Databricks. Stejně jako u jiných nastavení kanálu můžete upravit konfiguraci JSON pro clustery a určit možnosti, které se v uživatelském rozhraní nenachází. Viz Výpočty.

Poznámka:

Vzhledem k tomu, že modul runtime Delta Live Tables spravuje životní cyklus clusterů kanálů a spouští vlastní verzi databricks Runtime, nemůžete některá nastavení clusteru nastavit ručně v konfiguraci kanálu, jako jsou verze Sparku nebo názvy clusterů. Viz atributy clusteru, které nejsou nastaveny uživatelem.

Konfigurace typů instancí pro clustery aktualizací a údržby

Pokud chcete nakonfigurovat typy instancí v nastavení JSON kanálu, klikněte na tlačítko JSON a zadejte konfigurace typů instancí v konfiguraci clusteru:

Poznámka:

Aby se zabránilo přiřazování nepotřebných prostředků ke maintenance clusteru, použije updates tento příklad popisek k nastavení typů instancí pouze updates pro cluster. Pokud chcete přiřadit typy instancí k oběma updates i maintenance clusterům, použijte default popisek nebo vynecháte nastavení popisku. Popisek default se použije u konfigurací clusteru kanálu, pokud není zadané žádné nastavení pro popisek. Viz Pokročilé konfigurace výpočetních prostředků.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

Zpoždění vypnutí výpočetních prostředků

Pokud chcete řídit chování vypnutí clusteru, můžete použít vývojový nebo produkční režim nebo použít pipelines.clusterShutdown.delay nastavení v konfiguraci kanálu. Následující příklad nastaví hodnotu pipelines.clusterShutdown.delay na 60 sekund:

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

Pokud je povolený režim production, výchozí hodnota pro pipelines.clusterShutdown.delay je 0 seconds. Pokud je povolený režim development, výchozí hodnota je 2 hours.

Poznámka:

Vzhledem k tomu, že cluster Delta Live Tables se automaticky vypne, když se nepoužívá, odkazování na zásady clusteru, které nastaví autotermination_minutes konfiguraci clusteru, způsobí chybu.

Vytvoření clusteru s jedním uzlem

Pokud jste v nastavení clusteru nastavili num_workers hodnotu 0, cluster se vytvoří jako cluster s jedním uzlem. Konfigurace automatického škálování clusteru a nastavení min_workers na 0 a max_workers 0 vytvoří cluster s jedním uzlem.

Pokud nakonfigurujete cluster automatického škálování a nastavíte ho jenom min_workers na 0, cluster se nevytvořil jako cluster s jedním uzlem. Cluster má až do ukončení vždy alespoň jeden aktivní pracovní proces.

Příklad konfigurace clusteru pro vytvoření clusteru s jedním uzlem v Delta Live Tables:

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}