Referência de tabelas do sistema de computação

Este artigo fornece um guia de referência para as tabelas do sistema de computação. Você pode usar estas tabelas para monitorar a atividade e as métricas de computação polivalente e de trabalhos em sua conta:

• clusters: Regista as configurações de computação na sua conta.
• node_types: Inclui um único registro para cada um dos tipos de nó atualmente disponíveis, incluindo informações de hardware.
• node_timeline: Inclui registros minuto a minuto das métricas de utilização da computação.

Esquema da tabela de cluster

A tabela de cluster é uma tabela de dimensões de mudança lenta que contém o histórico completo de configurações de computação ao longo do tempo para computação para todos os fins e trabalhos.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.clusters

Esquema de tabela de tipos de nó

A tabela de tipos de nó captura os tipos de nó atualmente disponíveis com suas informações básicas de hardware.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.node_types.

Esquema da tabela de linha do tempo do nó

A tabela de linha do tempo do nó captura dados de utilização de recursos no nível do nó com granularidade de minuto. Cada registro contém dados para um determinado minuto de tempo por instância.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.node_timeline.

Limitações conhecidas

• Os recursos de computação marcados como excluídos antes de 23 de outubro de 2023 não aparecem na tabela de clusters. Isso pode resultar em junções da system.billing.usage tabela que não correspondem aos registros na tabela de clusters. Todos os recursos de computação ativos foram preenchidos.
• Essas tabelas incluem apenas registros para computação de todos os fins e trabalhos. Eles não contêm registros para computação sem servidor, computação Delta Live Tables ou armazéns SQL.
• Os nós executados por menos de 10 minutos podem não aparecer na node_timeline tabela.

Consultas de amostra

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns:

• Junte-se a registos de cluster com os registos de faturação mais recentes
• Atribuir custos ao proprietário do cluster
• Identificar os recursos de computação com maior utilização média e pico de utilização

Junte-se a registos de cluster com os registos de faturação mais recentes

Esta consulta pode ajudá-lo a compreender os gastos ao longo do tempo. Depois de atualizar o usage_start_time para o período de faturamento mais atual, ele pega as atualizações mais recentes dos registros de faturamento para ingressar nos dados de clusters.

Cada registro é associado ao proprietário do cluster durante essa execução específica. Portanto, se o proprietário do cluster mudar, os custos serão acumulados para o proprietário correto com base em quando o cluster foi usado.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Atribuir custos ao proprietário do cluster

Se você estiver procurando reduzir os custos de computação, poderá usar essa consulta para descobrir quais proprietários de cluster em sua conta estão usando mais DBUs.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

Identificar os recursos de computação com maior utilização média e pico de utilização

Identifique a computação polivalente e de tarefas que tem a maior utilização média da CPU e a maior utilização da CPU de pico.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;