Azure 監視器中的資料收集轉換

透過 Azure 監視器中的轉換,您可以篩選或修改傳入資料,再將其傳送至 Log Analytics 工作區。 本文提供轉換的基本描述及其實作方式。 其提供其他內容的連結,用於建立轉換。

在資料來源傳遞資料之前,以及傳送至目的地之前,轉換會在資料擷取管線的 Azure 監視器中執行。 資料來源可能會在傳送資料之前執行自己的篩選,但其會依賴於轉換來進一步操作,再傳送至目的地。

轉換會在資料收集規則 (DCR) 中定義,並使用個別套用至傳入資料中每個項目的 Kusto 查詢語言 (KQL) 陳述式。 其必須了解傳入資料的格式,並以目的地預期的結構建立輸出。

下圖說明傳入資料的轉換程序,並顯示可能使用的範例查詢。 如需建置轉換查詢的詳細資訊,請參閱 Azure 監視器中轉換的結構

顯示傳入資料擷取時間轉換的圖表。

為何使用轉換

下表描述您可以使用轉換達成的不同目標。

類別 詳細資料
保護敏感性資料 您可能有一個資料來源,其會傳送您基於隱私權或合規性理由而不想儲存的資訊。

篩選敏感性資訊。 篩選掉整個資料列或包含敏感性資訊的特定資料行。

混淆敏感性資訊。 以一般字元取代 IP 位址或電話號碼中的數字等資訊。

傳送至替代資料表。 將敏感性記錄傳送至具有不同角色型存取控制設定的替代資料表。
使用更多或計算資訊擴充資料 使用轉換將資訊新增至提供商務內容或簡化後續查詢資料的資料。

新增具有更多資訊的資料行。 例如,您可以新增資料行,以識別另一個資料行中的 IP 位址是內部或外部。

新增商務特定資訊。 例如,您可以新增資料行,指出基於其他資料行中的位置資訊的公司部門。
降低資料成本 由於您需對傳送至 Log Analytics 工作區的任何資料的擷取成本付費,您想要篩選掉不需要的任何資料來降低成本。

移除整個資料列。 例如,可能有診斷設定可從特定資源中收集資源記錄,但不需要其產生的所有記錄項目。 建立轉換來篩選出符合特定準則的記錄。

從每個資料列移除資料行。 例如,您的資料可能包含具有多餘或很少值的資料行。 建立會篩選出不需要的資料行的轉換。

剖析資料行的重要資料。 您可能有一個資料表,其中的重要資料存放在特定資料行中。 使用轉換將重要資料剖析到新資料行,並移除原始資料。

將特定資料列傳送至基本記錄。 將資料中需要基本查詢功能的資料列傳送至基本記錄資料表,以降低擷取成本。
格式化目的地的資料 您可能有一個資料來源,其會以不符合目的地資料表結構的格式傳送資料。 使用轉換將資料重新格式化為必要的結構描述。

支援的資料表

如需可與轉換搭配使用的資料表清單,請參閱支援 Azure 監視器記錄中轉換的資料表。 您也可以使用 Azure 監視器資料參考,其中列出每個資料表的屬性,包括是否支援轉換。 除了這些資料表之外,也支援任何自訂資料表 (_CL 尾碼)。

建立轉換

根據資料收集方法,有多個方法可建立轉換。 下表列出建立轉換的不同方法的指導。

資料集合 參考
記錄內嵌 API 使用 REST API 將資料傳送至 Azure 監視器記錄 (Azure 入口網站)
使用 REST API 將資料傳送至 Azure 監視器記錄 (Resource Manager 範本)
具有 Azure 監視器代理程式的虛擬機器 將轉換新增至 Azure 監視器記錄
具有容器深入解析的 Kubernetes 叢集 容器見解中的資料轉換
Azure 事件中樞 教學課程:將事件從 Azure 事件中樞擷取至 Azure 監視器記錄 (公開預覽)

轉換成本

雖然轉換本身不會產生直接成本,但下列案例可能會導致額外費用:

  • 如果轉換增加傳入資料的大小 (例如透過新增計算結果欄),您將需要支付額外資料的標準擷取費率。
  • 如果轉換將擷取的資料減少了一半以上,您將需要支付超過 50% 之已篩選資料量的費用。

若要計算轉換所產生的資料處理費用,請使用下列公式:
[轉換所篩選的 GB] - ([管線所擷取的 GB 資料] / 2)。 下表顯示範例。

管線所擷取的資料 轉換所捨棄的資料 Log Analytics 工作區所擷取的資料 資料處理費用 擷取費用
20 GB 12 GB 8 GB 2 GB 1 8 GB
20 GB 8 GB 12 GB 0 GB 12 GB

1 此費用不包括 Log Analytics 工作區所擷取的資料費用。

若要避免這項費用,您應該先使用替代方法篩選內嵌資料,再套用轉換。 如此一來,您就可以減少轉換所處理的資料量,從而將任何額外的成本降到最低。

如需擷取和保留 Azure 監視器中記錄資料的目前費用,請參閱 Azure 監視器定價

重要

如果已啟用 Log Analytics 工作區的 Azure Sentinel,則不論轉換篩選了多少資料,都不會有篩選擷取費用。

下一步