課金対象の使用状況システム テーブル リファレンス

この記事では、スキーマやクエリの例を含め、課金対象の使用状況システム テーブルの概要について説明します。 システム テーブルを使うと、アカウントの課金対象の使用状況データが一元化されるとともにすべてのリージョンにルーティングされるため、ワークスペースのリージョンからアカウントの全体的な使用量を確認できます。

このテーブルを使用してジョブ コストを監視する方法については、「システム テーブルを使用してジョブ コストを監視する」を参照してください。

サーバーレスの使用状況を分析する戦略については、「サーバーレス コンピューティングのコストを監視する」を参照してください。

テーブル パス: このシステム テーブルは次の場所にあります system.billing.usage。

課金対象の使用状況テーブル スキーマ

課金対象の使用状況システム テーブルでは、次のスキーマを使います。

使用状況メタデータを解析する

usage_metadata の値は、使用状況レコードに関係するリソースについて伝達します。

ID メタデータを解析する

identity_metadata 列はサーバーレスの請求レコードの責任者を特定するのに役立ちます。 列には、使用状況を ID に帰属させる run_as 値が含まれます。 identity_metadata.run_as に記録される ID は、使用状況に関連付けられている製品によって異なります。

identity_metadata.run_as の動作については、次のテーブルをご覧ください。

修正レコードの分析

billing.usageテーブルでは、修正をサポートしています。 修正は、使用レコードのフィールドが間違っていて、修正する必要がある場合に発生します。

修正が行われると、Azure Databricks によってテーブルに ふたつの新しいレコードが追加されます。 取り消しレコードは元の間違っているレコードを否定し、その後、修正済みレコードには修正された情報が含まれます。 修正レコードは、 record_type フィールドを使用して識別されます。

• RETRACTION: 元の謝った使用法を否定するために使用されます。 すべてのフィールドは、元の使用量を取り消す負の値であるusage_quantityを除いて、ORIGINAL レコードと同じです。 たとえば、元のレコードの使用数量が 259.4356された場合に、取り消しレコードの使用量は -259.4356になります。
• RESTATEMENT: 正しいフィールドと使用数量などのレコード。

たとえば、次のクエリでは、修正がなされた場合でも、 job_idに関連する正しい時間単位の使用量が返されます。 使用量を集計することで、取り消しレコードは元のレコードが否定され、再調整の値のみが返されます。

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

使用状況に関連付けられた製品に関する情報を表示する

一部の Databricks 製品は、同じ共有 SKU に基づいて課金されます。 使用状況を区別するために、billing_origin_product 列と product_features 列には、使用状況に関連付けられた特定の製品と機能に関する詳細な分析情報が用意されています。

billing_origin_product 列には、使用状況レコードに関連付けられた Databricks 製品が表示されます。 値は次のとおりです。

• JOBS
• DLT
• SQL
• ALL_PURPOSE
• MODEL_SERVING
• INTERACTIVE
• MANAGED_STORAGE
• VECTOR_SEARCH
• LAKEHOUSE_MONITORING
• PREDICTIVE_OPTIMIZATION
• ONLINE_TABLES
• FOUNDATION_MODEL_TRAINING

product_features 列は、使用される特定の製品機能に関する情報を含むオブジェクトであり、次のキーと値のペアが含まれます。

• jobs_tier: 値には LIGHT、CLASSIC、または null があります
• sql_tier: 値には CLASSIC、PRO、またはnull があります
• dlt_tier: 値には CORE、PRO、ADVANCED、または null があります
• is_serverless: 値には true、または false、またはnull があります
• is_photon: 値には true、または false、またはnull があります
• serving_type: 値には MODEL、GPU_MODEL、FOUNDATION_MODEL、FEATURE、または null があります

サンプル クエリ

次のサンプル クエリを使うと、課金対象の使用状況に関する一般的な質問に回答できます。

• DBU 消費量は日ごとにどのような傾向がありますか?
• 今月中に使用された各製品の DBU の数はいくつですか?
• DBU を最も多く消費したジョブはどれですか?
• 特定のタグを持つリソースに属性付けできる使用量はどのくらいですか?
• 使用量が増加している SKU を表示する
• All Purpose Compute (Photon) の使用状況にはどのような傾向がありますか?
• 具体化されたビューまたはストリーミング テーブルの DBU 消費量とは何ですか?
• サーバーレス DLT パイプラインの DBU 消費量について

DBU 消費量は日ごとにどのような傾向がありますか?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

今月中に使用された各製品の DBU の数はいくつですか?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

DBU を最も多く消費したジョブはどれですか?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

具体的なタグを持つリソースに属性付けできる使用量はどのくらいですか?

コストを分割するには、さまざまな方法があります。 この例では、カスタム タグによってコストを分割する方法を示します。 クエリ内のカスタム タグのキーと値は、必ず置き換えてください。

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

使用量が増加している製品を表示する

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

All Purpose Compute (Photon) の使用状況にはどのような傾向がありますか?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

具体化されたビューまたはストリーミング テーブルの DBU 消費量とは何ですか?

特定の具体化されたビューまたはストリーミング テーブルの DBU 使用状況と SKU を取得するには、具体化されたビューまたはストリーミング テーブルに関連付けられているパイプラインの ID に usage_metadata.dlt_pipeline_id が設定されているレコードについて、課金対象の使用状況システム テーブルにクエリを送信します。 パイプライン ID は、関連する具体化されたビューまたはストリーミング テーブルを表示する際に、カタログ エクスプローラーの [詳細] タブで確認できます。 必要に応じて、日付で消費を制限するには、開始日、終了日、または日付範囲を指定します。 次のクエリでは、ID 00732f83-cd59-4c76-ac0d-57958532ab5b で使用状況の開始日が 2023-05-30 のパイプラインの DBU 使用状況を取得します。

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

サーバーレス DLT パイプラインの DBU 消費量について

サーバーレス DLT パイプラインの DBU 使用状況と SKU を取得するには、usage_metadata.dlt_pipeline_id がパイプラインの ID に設定されているレコードについて、課金対象の使用状況システム テーブルにクエリを送信します。 パイプライン ID は、Delta Live Tables UI でパイプラインを表示する際に、[パイプラインの詳細] タブで確認できます。 必要に応じて、日付で消費を制限するには、開始日、終了日、または日付範囲を指定します。 次のクエリでは、ID 00732f83-cd59-4c76-ac0d-57958532ab5bのパイプラインの DBU 使用状況を 2023 年 12 月から取得します。

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL