Referenční informace k tabulkám výpočetního systému

Tento článek obsahuje referenční příručku pro tabulky výpočetních systémů. Pomocí těchto tabulek můžete monitorovat aktivitu a metriky výpočetních prostředků pro všechny účely a úlohy ve vašem účtu:

• clusters: Zaznamenává výpočetní konfigurace ve vašem účtu.
• node_types: Zahrnuje jeden záznam pro každý z aktuálně dostupných typů uzlů, včetně informací o hardwaru.
• node_timeline: Zahrnuje záznamy metrik využití výpočetních prostředků po minutách.

Schéma tabulky clusteru

Tabulka clusteru je pomalá tabulka dimenzí, která obsahuje úplnou historii konfigurací výpočetních prostředků v průběhu času pro výpočetní prostředky pro všechny účely a úlohy.

Cesta k tabulce: Tato systémová tabulka se nachází na adrese . system.compute.clusters

Schéma tabulky typů uzlů

Tabulka typu uzlu zachycuje aktuálně dostupné typy uzlů s jejich základními informacemi o hardwaru.

Cesta k tabulce: Tato systémová tabulka se nachází na system.compute.node_typesadrese .

Schéma tabulky časové osy uzlu

Tabulka časové osy uzlu zachycuje data o využití prostředků na úrovni uzlu v minutové členitosti. Každý záznam obsahuje data za danou minutu času na instanci.

Cesta k tabulce: Tato systémová tabulka se nachází na system.compute.node_timelineadrese .

Známá omezení

• Výpočetní prostředky, které byly označeny jako odstraněné před 23. říjnem 2023, se v tabulce clusterů nezobrazují. To může vést k system.billing.usage tomu, že spojení z tabulky neodpovídají záznamům v tabulce clusterů. Všechny aktivní výpočetní prostředky byly znovu vyplněny.
• Tyto tabulky obsahují jenom záznamy pro výpočetní prostředky pro všechny účely a úlohy. Neobsahují záznamy pro výpočetní prostředky bez serveru, výpočty Delta Live Tables ani sql warehouse.
• Uzly, které běžely méně než 10 minut, se nemusí v node_timeline tabulce objevit.

Vzorové dotazy

K zodpovězení běžných otázek můžete použít následující ukázkové dotazy:

• Připojení záznamů clusteru s nejnovějšími fakturačními záznamy
• Přiřazovat náklady vlastníku clusteru
• Identifikace výpočetních prostředků s nejvyšším průměrným využitím a nejvyšším využitím ve špičce

Připojení záznamů clusteru s nejnovějšími fakturačními záznamy

Tento dotaz vám pomůže porozumět útratě v průběhu času. Jakmile aktualizujete usage_start_time aktuální fakturační období, vezme nejnovější aktualizace fakturačních záznamů, aby se připojil k datům clusterů.

Každý záznam je přidružený k vlastníkovi clusteru během tohoto konkrétního spuštění. Pokud se tedy vlastník clusteru změní, náklady se zahrnou do správného vlastníka na základě toho, kdy se cluster použil.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Přiřazovat náklady vlastníku clusteru

Pokud chcete snížit náklady na výpočetní prostředky, můžete pomocí tohoto dotazu zjistit, kteří vlastníci clusteru ve vašem účtu používají nejvíce DBU.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

Identifikace výpočetních prostředků s nejvyšším průměrným využitím a nejvyšším využitím ve špičce

Identifikujte výpočetní prostředky pro všechny účely a úlohy, které mají nejvyšší průměrné využití procesoru a nejvyšší využití procesoru ve špičce.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;