Analysieren der Nutzung im Log Analytics-Arbeitsbereich

Azure Monitor-Kosten können sich erheblich auf Grundlage des Datenvolumens unterscheiden, das in Ihrem Log Analytics-Arbeitsbereich gesammelt wird. Dieses Volumen hängt von der Gruppe von Lösungen ab, die den Arbeitsbereich verwenden, sowie von der von jeder Lösung gesammelten Menge an Daten. In diesem Artikel finden Sie Anleitungen zur Analyse Ihrer gesammelten Daten, um Ihnen bei der Steuerung Ihrer Datenerfassungskosten zu helfen. Es hilft Ihnen zu ermitteln, warum die Nutzung höher ist als erwartet. Außerdem hilft es Ihnen, Ihre Kosten vorherzusagen, wenn Sie zusätzliche Ressourcen überwachen und andere Azure Monitor-Features konfigurieren.

Ursachen einer höher als erwartet ausgefallenen Nutzung

Jeder Log Analytics-Arbeitsbereich wird als separater Dienst abgerechnet und auf der Rechnung für Ihr Azure-Abonnement aufgeführt. Die bei der Erfassung anfallende Datenmenge kann erheblich sein und hängt von Folgendem ab:

• Aktivierten Erkenntnissen und Diensten sowie deren Konfiguration.
  • Anzahl und Typ der überwachten Ressourcen.
  • Volumen der von jeder überwachten Ressource gesammelten Daten.

Ein unerwarteter Anstieg eines dieser Faktoren kann zu erhöhten Gebühren für die Aufbewahrung von Daten führen. Der Rest dieses Artikels bietet Methoden zum Erkennen einer solchen Situation und für die anschließende Analyse der gesammelten Daten, um die Quelle der gestiegenen Nutzung zu identifizieren und zu verringern.

Senden einer Warnung, wenn die Datensammlung hoch ist

Um unerwartete Rechnungen zu vermeiden, sollten Sie sich bei übermäßiger Nutzung proaktiv benachrichtigen lassen. Durch die Benachrichtigung können Sie potenzielle Anomalien vor dem Ende Ihres Abrechnungszeitraums beheben.

Im folgenden Beispiel sehen Sie eine Warnungsregel für die Protokollsuche, die eine Warnung sendet, wenn das in den letzten 24 Stunden erfasste abrechenbare Datenvolumen größer als 50 GB war. Ändern Sie die Einstellung Warnungslogik, um einen anderen Schwellenwert auf Grundlage der erwarteten Nutzung in Ihrer Umgebung zu verwenden. Sie können auch die Häufigkeit erhöhen, um die Nutzung täglich mehrmals zu überprüfen, doch diese Option führt zu einer höheren Gebühr für die Warnungsregel.

Nutzungsanalyse in Azure Monitor

Beginnen Sie Ihre Analyse mit vorhandenen Tools in Azure Monitor. Diese Tools müssen nicht konfiguriert werden und können häufig die erforderlichen Informationen mit minimalem Aufwand bereitstellen. Wenn Sie eine tiefergehende Analyse Ihrer gesammelten Daten benötigen, als sie mit den vorhandene Azure Monitor-Features möglich ist, verwenden Sie eine der folgenden Protokollabfragen in Log Analytics.

Log Analytics-Arbeitsbereich Insights

Log Analytics-Arbeitsbereich Insights bietet Ihnen ein schnelles Verständnis der Daten in Ihrem Arbeitsbereich. Sie können z. B. Folgendes bestimmen:

• Datentabellen, die das größte Datenvolumen in der Haupttabelle erfassen.
• Top-Ressourcen, die Daten beitragen.
• Trend der Datenerfassung.

Eine Aufschlüsselung der Erfassung nach Lösung und Tabelle finden Sie auf der Registerkarte Verwendung. Mit diesen Informationen können Sie schnell die Tabellen identifizieren, die zum Großteil Ihres Datenvolumens beitragen. Auf der Registerkarte wird zudem der Trend der Datensammlung im Laufe der Zeit angezeigt. Sie können ermitteln, ob die Datensammlung im Laufe der Zeit stetig erhöht wird, oder ob sie als Reaktion auf eine geänderte Konfiguration plötzlich erhöht wird.

Wählen Sie Zusätzliche Abfragen für vordefinierte Abfragen aus, die Ihnen beim weiteren Verständnis Ihrer Datenmuster helfen.

Nutzung und geschätzte Kosten

Auf der Seite Nutzung und geschätzte Kosten zeigt das Diagramm Datenerfassung pro Lösung für jeden Arbeitsbereich die Gesamtmenge an gesendeten Daten sowie die von jeder Lösung während der letzten 31 Tage gesendete Datenmenge an. Mit diesen Informationen können Sie Trends ermitteln, z. B. ob ein Anstieg von der gesamten Datennutzung oder der Nutzung durch eine bestimmte Lösung verursacht wird.

Abfragen von Datenvolumes aus der Tabelle „Verbrauch“

Analysieren der Menge an abrechenbaren Daten, die von einem bestimmten Dienst oder einer bestimmten Lösung gesammelt werden. Diese Abfragen verwenden die Tabelle Verwendung, die Nutzungsdaten für jede Tabelle im Arbeitsbereich sammelt.

Abrechenbares Datenvolumen nach Typ im letzten Monat

Usage 
| where TimeGenerated > ago(32d)
| where StartTime >= startofday(ago(31d)) and EndTime < startofday(now())
| where IsBillable == true
| summarize BillableDataGB = sum(Quantity) / 1000. by bin(StartTime, 1d), DataType 
| render columnchart

Abrechenbares Datenvolumen nach Lösung und Typ im letzten Monat

Usage 
| where TimeGenerated > ago(32d)
| where StartTime >= startofday(ago(31d)) and EndTime < startofday(now())
| where IsBillable == true
| summarize BillableDataGB = sum(Quantity) / 1000 by Solution, DataType
| sort by Solution asc, DataType asc

Direktes Abfragen des Datenvolumes aus den Ereignissen

Sie können Protokollabfragen in Log Analytics verwenden, wenn Sie eine tiefere Analyse Ihrer gesammelten Daten benötigen. Jede Tabelle in einem Log Analytics-Arbeitsbereich verfügt über die folgenden Standardspalten, die Sie bei der Analyse von abrechenbaren Daten unterstützen können:

• _IsBillable identifiziert Datensätze, für die eine Erfassungsgebühr anfällt. Verwenden Sie diese Spalte, um nicht abrechenbare Daten auszufiltern.
• _BilledSize stellt die Größe des Datensatzes in Bytes bereit.

Abrechenbares Datenvolumen für bestimmte Ereignisse

Wenn Sie feststellen, dass ein bestimmter Datentyp übermäßig viele Daten sammelt, können Sie die Daten in dieser Tabelle analysieren, um bestimmte Datensätze zu ermitteln, die größer werden. In diesem Beispiel werden bestimmte Ereignis-IDs in der Tabelle Event gefiltert; anschließend wird eine Anzahl für jede ID bereitgestellt. Sie können diese Abfrage mithilfe der Spalten aus anderen Tabellen ändern.

Event
| where TimeGenerated > startofday(ago(31d)) and TimeGenerated < startofday(now()) 
| where EventID == 5145 or EventID == 5156
| where _IsBillable == true
| summarize count(), Bytes=sum(_BilledSize) by EventID, bin(TimeGenerated, 1d)

Datenmenge nach Azure-Ressource, Ressourcengruppe oder Abonnement

Sie können die Menge an abrechenbaren Daten analysieren, die von einer bestimmten Ressource oder einer bestimmten Ressourcengruppe gesammelt werden. Diese Abfragen verwenden die Spalten _ResourceId und _SubscriptionId für Daten aus Ressourcen, die in Azure gehostet werden.

Abrechenbares Datenvolumen nach Ressourcen-ID für den letzten vollständigen Tag

find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _ResourceId, _BilledSize, _IsBillable
| where _IsBillable == true 
| summarize BillableDataBytes = sum(_BilledSize) by _ResourceId 
| sort by BillableDataBytes nulls last

Abrechenbares Datenvolumen nach Ressourcengruppe für den letzten vollständigen Tag

find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _ResourceId, _BilledSize, _IsBillable
| where _IsBillable == true 
| summarize BillableDataBytes = sum(_BilledSize) by _ResourceId
| extend resourceGroup = tostring(split(_ResourceId, "/")[4] )
| summarize BillableDataBytes = sum(BillableDataBytes) by resourceGroup 
| sort by BillableDataBytes nulls last

Es kann hilfreich sein, die _ResourceId zu analysieren:

| parse tolower(_ResourceId) with "/subscriptions/" subscriptionId "/resourcegroups/" 
    resourceGroup "/providers/" provider "/" resourceType "/" resourceName   

Abrechenbares Datenvolumen nach Abonnement für den letzten vollständigen Tag

find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _BilledSize, _IsBillable, _SubscriptionId
| where _IsBillable == true 
| summarize BillableDataBytes = sum(_BilledSize) by _SubscriptionId 
| sort by BillableDataBytes nulls last

Datenmenge nach Computer

Sie können die Menge der abrechenbaren Daten analysieren, die von einem virtuellen Computer oder einer Gruppe von virtuellen Computern gesammelt werden. Die Tabelle Verwendung verfügt nicht über ausreichend Granularität, um Datenvolumen für bestimmte VMs anzuzeigen. Deshalb verwenden diese Abfragen den Suchoperator (find), um alle Tabellen zu durchsuchen, die einen Computernamen enthalten. Der Typ Nutzung wird weggelassen, da es bei dieser Abfrage nur um die Analyse von Datentrends geht.

Abrechenbares Datenvolumen nach Computer für den letzten vollständigen Tag

find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _BilledSize, _IsBillable, Computer, Type
| where _IsBillable == true and Type != "Usage"
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| summarize BillableDataBytes = sum(_BilledSize) by  computerName 
| sort by BillableDataBytes desc nulls last

Anzahl der abrechenbaren Ereignisse nach Computer für den letzten vollständigen Tag

find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _IsBillable, Computer, Type
| where _IsBillable == true and Type != "Usage"
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| summarize eventCount = count() by computerName  
| sort by eventCount desc nulls last

Abfragen von häufig verwendeten Datentypen

Wenn Sie feststellen, dass Sie über übermäßige abrechenbare Daten für einen bestimmten Datentyp verfügen, müssen Sie möglicherweise eine Abfrage ausführen, um Daten in dieser Tabelle zu analysieren. Die folgenden Abfragen bieten Beispiele für einige gängige Datentypen:

Sicherheitslösung

SecurityEvent 
| summarize AggregatedValue = count() by EventID
| order by AggregatedValue desc nulls last

Protokollverwaltungslösung

Usage 
| where Solution == "LogManagement" and iff(isnotnull(toint(IsBillable)), IsBillable == true, IsBillable == "true") == true 
| summarize AggregatedValue = count() by DataType
| order by AggregatedValue desc nulls last

Datentyp Perf

Perf 
| summarize AggregatedValue = count() by CounterPath

Perf 
| summarize AggregatedValue = count() by CounterName

Datentyp Event

Event 
| summarize AggregatedValue = count() by EventID

Event 
| summarize AggregatedValue = count() by EventLog, EventLevelName

Datentyp Syslog

Syslog 
| summarize AggregatedValue = count() by Facility, SeverityLevel

Syslog 
| summarize AggregatedValue = count() by ProcessName

Datentyp AzureDiagnostics

AzureDiagnostics 
| summarize AggregatedValue = count() by ResourceProvider, ResourceId

Application Insights-Daten

Es gibt zwei Ansätze zur Untersuchung der für Application Insights gesammelten Datenmenge, je nachdem, ob Sie über eine klassische oder eine arbeitsbereichsbasierte Anwendung verfügen. Verwenden Sie die Eigenschaft _BilledSize, die für jedes Erfassungsereignis sowohl für arbeitsbereichsbasierte als auch für klassische Ressourcen verfügbar ist. Sie können auch aggregierte Informationen in der SystemEvents-Tabelle für klassische Ressourcen verwenden.

Abhängigkeitsvorgänge, die das meiste Datenvolumen in den letzten 30 Tagen generiert haben (arbeitsbereichsbasiert oder klassisch)

dependencies
| where timestamp >= startofday(ago(30d))
| summarize sum(_BilledSize) by operation_Name
| render barchart  

Tägliches Datenvolumen nach Typ für diese Application Insights-Ressource in den letzten 7 Tagen (nur klassisch)

systemEvents
| where timestamp >= startofday(ago(7d)) and timestamp < startofday(now())
| where type == "Billing"
| extend BillingTelemetryType = tostring(dimensions["BillingTelemetryType"])
| extend BillingTelemetrySizeInBytes = todouble(measurements["BillingTelemetrySize"])
| summarize sum(BillingTelemetrySizeInBytes) by BillingTelemetryType, bin(timestamp, 1d)  

Datenvolumentrends für arbeitsbereichsbasierte Ressourcen

Verwenden Sie eine Abfrage, die alle Application Insights-Tabellen umfasst, um die Datenvolumentrends für arbeitsbereichsbasierte Application Insights-Ressourcen zu betrachten. Die folgenden Abfragen verwenden die Tabellennamen, die für arbeitsbereichsbasierte Ressourcen spezifisch sind.

Tägliches Datenvolumen nach Typ für alle Application Insights-Ressourcen in einem Arbeitsbereich für 7 Tage

union AppAvailabilityResults,
      AppBrowserTimings,
      AppDependencies,
      AppExceptions,
      AppEvents,
      AppMetrics,
      AppPageViews,
      AppPerformanceCounters,
      AppRequests,
      AppSystemEvents,
      AppTraces
| where TimeGenerated >= startofday(ago(7d)) and TimeGenerated < startofday(now())
| summarize sum(_BilledSize) by _ResourceId, bin(TimeGenerated, 1d)

Wenn Sie nur die Datenvolumentrends für eine einzelne Application Insights-Ressource betrachten möchten, fügen Sie die folgende Zeile vor summarize in der oben genannten Abfrage ein:

| where _ResourceId contains "<myAppInsightsResourceName>"

Ermitteln der Knoten, die Daten senden

Wenn Sie keine übermäßigen Daten aus einer bestimmten Quelle haben, haben Sie möglicherweise eine übermäßige Anzahl von Agents, die Daten senden.

Anzahl der Agentknoten, die jeden Tag im letzten Monat einen Heartbeat gesendet haben

Heartbeat 
| where TimeGenerated > startofday(ago(31d))
| summarize nodes = dcount(Computer) by bin(TimeGenerated, 1d)    
| render timechart

Anzahl der Knoten, die in den letzten 24 Stunden Daten gesendet haben

find where TimeGenerated > ago(24h) project Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize nodes = dcount(computerName)

Datenvolumen, das von jedem Knoten in den letzten 24 Stunden gesendet wurde

find where TimeGenerated > ago(24h) project _BilledSize, Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize TotalVolumeBytes=sum(_BilledSize) by computerName

Nach Legacytarif „Pro Knoten“ abgerechnete Knoten

Die älteren Tarifrechnungen pro Knoten für Knoten mit stündlichem Granularitätstarif. Knoten, die nur eine Gruppe von Sicherheitsdatentypen senden, werden ebenfalls nicht gezählt. Um eine Liste von Computern abzurufen, die als Knoten berechnet werden, wenn für den Arbeitsbereich der Legacytarif „Pro Knoten“ gilt, suchen Sie Knoten, die kostenpflichtige Datentypen senden, da einige Datentypen kostenlos sind. In diesem Fall verwenden Sie das ganz linke Feld des vollqualifizierten Domänennamens (FQDN).

Die folgenden Abfragen geben die Anzahl der Computer mit kostenpflichtigen Daten pro Stunde zurück. Die Anzahl der Einheiten auf der Rechnung ist in Knotenmonaten angegeben, die durch billableNodeMonthsPerDay in der Abfrage dargestellt ist. Wenn im Arbeitsbereich die Lösung für die Updateverwaltung installiert ist, fügen Sie die Datentypen Update und UpdateSummary der Liste in der where-Klausel hinzu.

find where TimeGenerated >= startofday(ago(7d)) and TimeGenerated < startofday(now()) project Computer, _IsBillable, Type, TimeGenerated
| where Type !in ("SecurityAlert", "SecurityBaseline", "SecurityBaselineSummary", "SecurityDetection", "SecurityEvent", "WindowsFirewall", "MaliciousIPCommunication", "LinuxAuditLog", "SysmonEvent", "ProtectionStatus", "WindowsEvent")
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| where _IsBillable == true
| summarize billableNodesPerHour=dcount(computerName) by bin(TimeGenerated, 1h)
| summarize billableNodesPerDay = sum(billableNodesPerHour)/24., billableNodeMonthsPerDay = sum(billableNodesPerHour)/24./31.  by day=bin(TimeGenerated, 1d)
| sort by day asc

Anzahl der Sicherheits- und Automatisierungsknoten

Anzahl der unterschiedlichen Sicherheitsknoten

union
(
    Heartbeat
    | where (Solutions has 'security' or Solutions has 'antimalware' or Solutions has 'securitycenter')
    | project Computer
),
(
    ProtectionStatus
    | where Computer !in (Heartbeat | project Computer)
    | project Computer
)
| distinct Computer
| project lowComputer = tolower(Computer)
| distinct lowComputer
| count

Anzahl der unterschiedlichen Automatisierungsknoten

 ConfigurationData 
 | where (ConfigDataType == "WindowsServices" or ConfigDataType == "Software" or ConfigDataType =="Daemons") 
 | extend lowComputer = tolower(Computer) | summarize by lowComputer 
 | join (
     Heartbeat 
       | where SCAgentChannel == "Direct"
       | extend lowComputer = tolower(Computer) | summarize by lowComputer, ComputerEnvironment
 ) on lowComputer
 | summarize count() by ComputerEnvironment | sort by ComputerEnvironment asc

Spät eintreffende Daten

Wenn Sie eine hohe Datenerfassungsrate beobachten, die anhand der Usage-Datensätze gemeldet wird, Sie aber nicht dieselben Ergebnisse bei der direkten Summierung von _BilledSize für den Datentyp feststellen, liegen möglicherweise spät eintreffende Daten vor. Dies ist der Fall, wenn Daten mit alten Zeitstempeln erfasst werden.

Ein Agent kann beispielsweise ein Konnektivitätsproblem haben und akkumulierte Daten senden, sobald wieder eine Verbindung besteht. Oder ein Host hat möglicherweise eine falsche Zeit. In beiden Fällen kann es zu einer offensichtlichen Diskrepanz kommen zwischen den erfassten Daten, die vom Datentyp Nutzung gemeldet werden, und einer Abfrage, die _BilledSize über die Rohdaten für einen bestimmten Tag summiert, der durch TimeGenerated, dem Zeitstempel für den Generierungszeitpunkt des Ereignisses, angegeben wird.

Verwenden Sie zum Diagnostizieren von Problemen mit spät eintreffenden Daten neben der Spalte TimeGenerated auch die Spalte _TimeReceived. Die Eigenschaft _TimeReceived ist die Zeit, zu der der Datensatz vom Azure Monitor-Erfassungspunkt in der Azure-Cloud empfangen wurde.

Im folgenden Beispiel handelt es sich um eine Reaktion auf hohe erfasste Datenvolumen von W3CIISLog-Daten am 2. Mai 2021, um die Zeitstempel dieser erfassten Daten zu identifizieren. Die Anweisung where TimeGenerated > datetime(1970-01-01) ist enthalten, um der Log Analytics-Benutzeroberfläche den Hinweis zu geben, dass alle Daten zu überprüfen sind.

W3CIISLog
| where TimeGenerated > datetime(1970-01-01)
| where _TimeReceived >= datetime(2021-05-02) and _TimeReceived < datetime(2021-05-03) 
| where _IsBillable == true
| summarize BillableDataMB = sum(_BilledSize)/1.E6 by bin(TimeGenerated, 1d)
| sort by TimeGenerated asc 

Nächste Schritte

• Unter Azure Monitor-Protokolle: Preise finden Sie Informationen dazu, wie die Gebühren für Daten in einem Log Analytics-Arbeitsbereich berechnet werden, sowie verschiedene Konfigurationsoptionen zur Reduzierung Ihrer Gebühren.
• Eine Beschreibung der verschiedenen Arten von Azure Monitor-Gebühren und deren Analyse auf Ihrer Azure-Rechnung finden Sie unter Azure Monitor: Kosten und Nutzung.
• Bewährte Methoden zum Konfigurieren und Verwalten von Azure Monitor, um Ihre Kosten zu minimieren, finden Sie unter Bewährte Azure Monitor-Methoden: Kostenmanagement.
• Siehe Datensammlungstransformationen in Azure Monitor (Vorschau), um Informationen über die Verwendung von Transformationen zu erhalten und die Datenmenge zu reduzieren, die Sie in einem Log Analytics-Arbeitsbereich gesammelt haben, indem Sie ungewünschte Datensätze und Spalten gefiltert haben.