Referenz zu Herkunftssystemtabellen

Dieser Artikel enthält einen Referenzleitfaden für die Computesystemtabellen. Sie können diese Tabellen verwenden, um die Aktivitäten und Metriken universeller und auftragsbezogener Computeressourcen in Ihrem Konto zu überwachen:

• clusters: zeichnet Computekonfigurationen in Ihrem Konto auf.
• node_types: enthält einen einzelnen Datensatz für jeden der derzeit verfügbaren Knotentypen, einschließlich Hardwareinformationen.
• node_timeline: enthält minutengenaue Datensätze der Auslastungsmetriken Ihrer Computeressourcen.

Clustertabellenschema

Die Clustertabelle ist eine sich langsam ändernde Dimensionstabelle, die den vollständigen Verlauf von Computekonfigurationen im Lauf der Zeit für universelle und auftragsbezogene Computeressourcen enthält.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.clusters

Tabellenschema für Knotentypen

Die Knotentyp-Tabelle erfasst die derzeit verfügbaren Knotentypen mit ihren grundlegenden Hardwareinformationen.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_types.

Tabellenschema für Knotenzeitachsen

In der Tabelle für Knotenzeitachsen wird der Ressourcenverbrauch auf Knotenebene minutengenau erfasst. Jeder Datensatz enthält Daten für eine bestimmte Minute pro Instanz.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_timeline.

Bekannte Einschränkungen

• Clusterressourcen, die vor dem 23. Oktober 2023 als gelöscht markiert wurden, sind nicht in der Clustertabelle enthalten. Dies kann dazu führen, dass Verknüpfungen aus der Tabelle system.billing.usage keinen Clusterdatensätzen in der Clustertabelle entsprechen. Alle aktiven Computeressourcen wurden abgeglichen.
• Diese Tabellen enthalten nur Datensätze für universelle und auftragsbezogene Computeressourcen. Sie enthalten keine Datensätze für serverloses Computing, Delta Live Tables-Computeressourcen oder SQL-Warehouses.
• Knoten, die weniger als 10 Minuten ausgeführt wurden, werden in der Tabelle node_timeline möglicherweise nicht angezeigt.

Beispielabfragen

Sie können die folgenden Beispielabfragen verwenden, um häufig gestellte Fragen zu beantworten:

• Verknüpfen von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen
• Zuordnen von Kosten zum Clusterbesitzer
• Ermitteln der Computeressourcen mit der höchsten durchschnittlichen Auslastung und der höchsten Auslastung

Verbinden von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen

Diese Abfrage kann Ihnen helfen, die Ausgaben im Laufe der Zeit zu verstehen. Nachdem Sie den usage_start_time auf den aktuellen Abrechnungszeitraum aktualisiert haben, erfasst er die neuesten Aktualisierungen der Abrechnungsdaten, um die Clusterdaten zu verknüpfen.

Jeder Datensatz wird während dieser bestimmten Ausführung dem Clusterbesitzer zugeordnet. Wenn sich der Clusterbesitzer ändert, werden die Kosten also basierend auf dem Zeitpunkt der Verwendung des Clusters auf den richtigen Besitzer angewendet.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Zuordnen von Kosten zum Clusterbesitzer

Wenn Sie die Berechnungskosten reduzieren möchten, können Sie diese Abfrage verwenden, um herauszufinden, welche Clusterbesitzer in Ihrem Konto die meisten DBUs verwenden.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

Ermitteln der Computeressourcen mit der höchsten durchschnittlichen Auslastung und der höchsten Auslastung

Ermitteln der universellen und auftragsbezogenen Computeressourcen mit der höchsten durchschnittlichen Auslastung und der höchsten CPU-Auslastung

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;