Überwachen der Kosten für serverlose Berechnung

  • Artikel

In diesem Artikel wird erläutert, wie Sie die abrechnungsfähige Systemtabelle (Public Preview) verwenden, um die Kosten Ihrer serverlosen Computenutzung zu überwachen.

Sie können die Verwendung des serverlosen Computing für Notebooks und Aufträge überwachen, indem Sie die Systemtabelle für die abrechenbare Nutzung (system.billing.usage) abfragen, die Benutzer- und Workloadattribute für serverlose Computingkosten enthält. Zu den entsprechenden Feldern gehören:

  • Die identity_metadata Spalte enthält das run_as Feld, das den Benutzer- oder Dienstprinzipal anzeigt, dessen Anmeldeinformationen zum Ausführen der Workload verwendet wurden.
  • Die usage_metadata-Spalte enthält Felder, die die Arbeitsauslastung beschreiben: job_run_id, job_name, notebook_id und notebook_path.

Überlegungen für serverlose Verwendungsdatensätze

Berücksichtigen Sie bei der Analyse der serverlosen Nutzung Folgendes:

  • Möglicherweise werden in einer bestimmten Stunde mehrere Datensätze angezeigt, die einer bestimmten serverlosen Computearbeitsauslastung zugeordnet sind. Beispielsweise werden möglicherweise mehrere Datensätze mit demselben job_id, job_run_id oder job_name` aber mit unterschiedlichen DBU-Verbrauchswerten für jeden angezeigt. Die Summe dieser DBUs stellt den stündlichen DBU-Verbrauch für einen bestimmten Auftragslauf dar.

Hinweis

Informationen zu einem Update der Workloadzuordnung von NULL finden Sie unter Neuerungen.

Verwenden von Budgets zur Überwachung der Ausgaben

Kontoadministratoren können Budgets einrichten, um Kosten zu gruppieren und Warnungen einzurichten. Siehe Budgets verwenden, um die Kontoausgaben zu überwachen.

Importieren eines Nutzungsdashboards

Kontoadministratoren können Dashboards für das Cost Management in einen beliebigen Unity Catalog-fähigen Arbeitsbereich in ihrem Konto importieren. Siehe Importieren eines Nutzungsdashboards.

Suchen eines Jobs oder Notebooks auf der Benutzeroberfläche

Um einen Job oder ein Notebook auf der Benutzeroberfläche basierend auf einem Abrechnungsdatensatz zu suchen, kopieren Sie den usage_metadata.job_id- oder usage_metadata.notebook_id-Wert aus dem Verbrauchsdatensatz. Diese IDsP sind unveränderlich und können auch dann verwendet werden, wenn sich der Job-Name oder der Notebook-fad ändert.

So suchen Sie einen Auftrag auf der Benutzeroberfläche basierend auf deren job_id:

  1. Kopieren Sie den job_id aus dem Verwendungsdatensatz. Gehen Sie in diesem Beispiel davon aus, dass die ID 700809544510906 ist.
  2. Navigieren Sie zur Workflow-Benutzeroberfläche im gleichen Azure Databricks-Arbeitsbereich wie der Auftrag.
  3. Stellen Sie sicher, dass das Filter Nur Aufträge, die mir gehören deaktiviert ist.
  4. Fügen Sie die ID (700809544510906) in die Suchleiste für Filteraufträge ein.

Verwenden Sie die folgenden Anweisungen, um ein Notizbuch auf der Benutzeroberfläche basierend auf dem notebook_idzu finden:

  1. Kopieren Sie den notebook_id Aus dem Verwendungsdatensatz. Gehen Sie in diesem Beispiel davon aus, dass die ID 700809544510906 ist.
  2. Navigieren Sie zur Arbeitsbereichsbenutzeroberfläche im gleichen Azure Databricks-Arbeitsbereich wie das Notebook.
  3. Klicken Sie auf ein beliebiges Notebook in der Liste.
  4. Nachdem Sie das Notebook geöffnet haben, überprüfen Sie die URL in der Adressleiste des Browsers. Er sollte wie folgt aussehen: https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.
  5. Ersetzen Sie in der Adressleiste des Browsers die Notebook-ID durch die ID, die Sie im ersten Schritt kopiert haben, und löschen Sie dann alles nach der Notebook-ID. Er sollte wie folgt aussehen: https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.
  6. Nachdem Sie das Notebook geöffnet haben, können Sie auf die Schaltfläche Freigeben klicken, um den Besitzer des Notebooks anzuzeigen.

Verwenden von Benachrichtigungen zum Nachverfolgen von serverlosen Ausgaben

Benachrichtigungen sind eine leistungsstarke Möglichkeit, um über Ihre serverlosen Ausgaben auf dem Laufenden zu bleiben. Sie können Benachrichtigungen empfangen, wenn bestimmte Bedingungen in Ihren Abfrageergebnissen erfüllt sind. Informationen zum Erstellen von Benachrichtigungen finden Sie unter Erstellen einer Benachrichtigung.

Sie können Benachrichtigungen zu den folgenden Abfragen hinzufügen, um Budgets zu überwachen. Ersetzen Sie in jeder Abfrage {budget} durch Ihr ausgewähltes Budget.

Benachrichtigung, wenn ein Arbeitsbereich einen Schwellenwert in den letzten 30 Tagen überschreitet

Sie können eine Benachrichtigung festlegen, die ausgelöst wird, wenn diese Abfrage eine Zeile zurückgibt. Ersetzen Sie {budget} durch Ihr ausgewähltes Budget.

SELECT
   t1.workspace_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id
HAVING
   list_cost > {budget}

Benachrichtigung, wenn eine Benutzerin oder ein Benutzer den Schwellenwert in den letzten 30 Tagen überschreitet

Sie können eine Benachrichtigung festlegen, die ausgelöst wird, wenn diese Abfrage eine Zeile zurückgibt. Ersetzen Sie {budget} durch Ihr ausgewähltes Budget.

SELECT
   t1.identity_metadata.run_as,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.identity_metadata.run_as
HAVING
   list_cost > {budget}

Benachrichtigung, wenn ein Auftrag den Schwellenwert in den letzten 30 Tagen überschreitet

Sie können eine Benachrichtigung festlegen, die ausgelöst wird, wenn diese Abfrage eine Zeile zurückgibt. Ersetzen Sie {budget} durch Ihr ausgewähltes Budget.

SELECT
   t1.workspace_id,
   t1.usage_metadata.job_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id, t1.usage_metadata.job_id,
HAVING
   list_cost > {budget}

Beispielabfragen

Verwenden Sie die folgenden Abfragen, um Einblicke in die serverlose Nutzung in Ihrem Konto zu erhalten:

Identifizieren von teuren serverlosen Compute-Notebooks

Diese Abfrage gibt eine Liste von Notebooks und die Anzahl der DBUs zurück, die jedes Notebook verbraucht hat, in absteigender Reihenfolge nach DBU-Verbrauch:

SELECT
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.notebook_id is not null
  and billing_origin_product = 'INTERACTIVE'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Identifizieren von teuren serverlosen Computeaufträgen

Diese Abfrage gibt eine Liste von Aufträgen und wie viele DBUs jeder Auftrag verbraucht hat, in absteigender Reihenfolge nach DBU-Verbrauch:

SELECT
  usage_metadata.job_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id is not null
  and billing_origin_product = 'JOBS'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Bericht über dbUs, die von einem bestimmten Benutzer verwendet werden

Diese Abfrage gibt eine Liste von Notebooks und Aufträgen zurück, die serverlose Berechnung verwenden, die von einem bestimmten Benutzer oder Dienstprinzipal ausgeführt werden, und die Anzahl der von den einzelnen Arbeitslasten verbrauchten DBUs:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  identity_metadata.run_as = '<emailaddress@domain.com>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC

Bericht über serverlose Compute-DBUs, die von Workloads genutzt werden, die ein benutzerdefiniertes Tag gemeinsam nutzen

Diese Abfrage gibt eine Liste von Aufträgen zurück, die serverlose Compute verwenden, die dasselbe benutzerdefinierte Tag gemeinsam verwenden, und die Anzahl der von den einzelnen Arbeitslasten verbrauchten DBUs:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  custom_tags.<key> = '<value>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC