Datensammlungsregeln (Data Collection Rules, DCRs) in Azure Monitor
Datensammlungsprozessessregeln (DCRs) sind Teil eines ETL-ähnlichen Datensammlungsprozesses, der eine Verbesserung gegenüber den Legacy-Datenerfassungsmethoden für Azure Monitor darstellt. Dieser Prozess verwendet eine allgemeine Datenerfassungspipeline, die Azure Monitor Pipeline, für alle Datenquellen sowie eine Standardmethode der Konfiguration, die besser verwaltbar und skalierbarer als andere Methoden ist. Zu den spezifischen Vorteilen der DCR-basierten Datensammlung gehören Folgendes:
- Konsistente Methode für die Konfiguration verschiedener Datenquellen.
- Möglichkeit zum Anwenden einer Transformation zum Filtern oder Ändern eingehender Daten vor dem Speichern.
- Skalierbare Konfigurationsoptionen, die Infrastruktur als Code- und DevOps-Prozesse unterstützen.
- Option der Edge-Pipeline in Ihrer eigenen Umgebung, um High-End-Skalierbarkeit, Netzwerkkonfigurationen auf verschiedenen Ebenen und regelmäßige Konnektivität zu bieten
Die Datensammlung mit der Azure Monitor-Pipeline wird im folgenden Diagramm dargestellt. Jedes Sammlungsszenario wird in einer DCR definiert, der angibt, wie die Daten verarbeitet werden sollen und wo sie gesendet werden sollen. Die Azure Monitor-Pipeline selbst besteht aus zwei Komponenten:
- Die Cloud-Pipeline ist eine Komponente von Azure Monitor, die automatisch in Ihrem Azure-Abonnement verfügbar ist. Sie erfordert keine Konfiguration und wird nicht im Azure-Portal angezeigt. Sie stellt den Verarbeitungspfad für Daten dar, die an Azure Monitor gesendet werden. Die DCR enthält Anweisungen dazu, wie die Cloud-Pipeline die empfangenen Daten verarbeiten soll.
- Die Edge-Pipeline ist eine optionale Komponente, die die Azure Monitor-Pipeline auf Ihr eigenes Rechenzentrum erweitert. Sie ermöglicht Datensammlungen im großen Stil sowie die Weiterleitung von Telemetriedaten, bevor sie an die Cloud-Pipeline geliefert werden. Details zum Wert dieser Komponente finden Sie in der Edge-Pipeline.
Datensammlungsregeln benutzen
Datensammlungsregeln (DATA Collection Rules, DCRs) werden in Azure gespeichert, sodass sie wie jede andere Azure-Ressource zentral bereitgestellt und verwaltet werden können. Sie sind Sätze von Anweisungen zur Unterstützung der Datensammlung mithilfe der Azure Monitor-Pipeline. Sie bieten eine konsistente und zentralisierte Möglichkeit, verschiedene Datensammlungsszenarien zu definieren und anzupassen. Abhängig vom Szenario geben Datensammlungsregeln an, welche Daten gesammelt, wie sie transformiert und wohin sie gesendet werden sollen.
Es gibt zwei grundlegende Möglichkeiten, wie DCRs für ein bestimmtes Datensammlungsszenario angegeben werden, wie in den folgenden Abschnitten beschrieben.
Zuordnungen zu Datensammlungsregeln (Data Collection Rule Associations, DCRA)
Datensammlungsregelzuordnungen (Data Collection Rule Associations, DCRAs) werden verwendet, um eine DCR einer überwachten Ressource zuzuordnen. Dies ist eine m:n-Beziehung, bei der ein einzelner DCR mehreren Ressourcen zugeordnet werden kann und eine einzelne Ressource mehreren DCRs zugeordnet werden kann. Auf diese Weise können Sie eine Strategie für die Aufrechterhaltung Ihrer Überwachung über Gruppen von Ressourcen mit unterschiedlichen Anforderungen hinweg entwickeln.
Das folgende Diagramm veranschaulicht beispielsweise die Datensammlung für den Azure Monitor-Agenten (AMA), der auf einer virtuellen Maschine ausgeführt wird. Wenn der Agent installiert ist, stellt er eine Verbindung zu Azure Monitor her, um alle Datensammlungsregeln abzurufen, die ihm zugeordnet sind. In diesem Szenario legt die DCR bestimmte Ereignisse und Leistungsdaten für das Sammeln fest, anhand derer der Agent bestimmt, welche Daten vom Computer gesammelt und an Azure Monitor gesendet werden sollen. Sobald die Daten geliefert sind, führt die Cloud-Pipeline beliebige in der DCR angegebene Transformationen aus, um die Daten zu filtern und zu ändern, und sendet die Daten dann an den angegebenen Arbeitsbereich und die Tabelle.
Direkte Erfassung
Bei direkter Aufnahme wird eine bestimmte DCR angegeben, um die eingehenden Daten zu verarbeiten. Das folgende Diagramm veranschaulicht beispielsweise Daten aus einer benutzerdefinierten Anwendung mithilfe der Protokollaufnahme-API. Jeder API-Aufruf gibt die DCR an, die seine Daten verarbeitet. Die DCR versteht die Struktur der eingehenden Daten, enthält eine Transformation, die sicherstellt, dass sich die Daten im Format der Zieltabelle befinden, und gibt einen Arbeitsbereich und eine Tabelle an, um die transformierten Daten zu senden.
Transformationen
Transformationen ermöglichen es Ihnen, eingehende Daten zu ändern, bevor sie in Azure Monitor gespeichert werden. Sie können nicht benötigte Daten filtern, um Ihre Erfassungskosten zu reduzieren, vertrauliche Daten zu entfernen, die nicht im Log Analytics-Arbeitsbereich gespeichert werden sollen, oder Daten formatieren, um sicherzustellen, dass sie mit dem Schema ihres Ziels übereinstimmt. Bei Transformationen handelt es sich um KQL-Abfragen, die in den in der Cloudpipeline ausgeführten DCR definiert sind.
Endpunkte
An die Cloudpipeline gesendete Daten müssen an die URL eines bestimmten Endpunkts gesendet werden. Je nach Szenario kann dies ein öffentlicher Endpunkt, ein von der DCR selbst bereitgestellter Endpunkt oder ein Datensammlungsendpunkt (Data Collection Endpoint, DCE) sein, den Sie in Ihrem Azure-Abonnement erstellen. Details zu den Endpunkten, die in verschiedenen Datensammlungsszenarien verwendet werden, finden Sie unter Datensammlungsendpunkte in Azure Monitor.
Edgepipeline
Die Edgepipeline erweitert die Azure Monitor-Pipeline auf Ihr eigenes Rechenzentrum. Sie ermöglicht Datensammlung im großen Stil sowie die Weiterleitung von Telemetriedaten, bevor sie an Azure Monitor in der Azure-Cloud übermittelt werden.
Spezifische Anwendungsfälle für die Azure Monitor-Edgepipeline sind:
- Skalierbarkeit. Die Edgepipeline kann große Datenmengen von überwachten Ressourcen verarbeiten, die durch andere Erfassungsmethoden wie Azure Monitor-Agents begrenzt werden können.
- Regelmäßige Konnektivität. In einigen Umgebungen kann die Konnektivität zur Cloud unzuverlässig sein oder unerwartet lange Zeiträume ohne Verbindung haben. Die Edgepipeline kann Daten lokal zwischenspeichern und mit der Cloud synchronisieren, sobald die Verbindung wiederhergestellt ist.
- Mehrschichtiges Netzwerk. In einigen Umgebungen ist das Netzwerk segmentiert, und Daten können nicht direkt an die Cloud gesendet werden. Die Edgepipeline kann verwendet werden, um Daten von überwachten Ressourcen ohne Cloudzugriff zu sammeln und die Verbindung zu Azure Monitor in der Cloud zu verwalten.
Szenarien für die Datensammlung
In der folgenden Tabelle werden die Datensammlungsszenarien beschrieben, die derzeit bei Verwendung von DCRs und der Azure Monitor-Pipeline unterstützt werden. Weitere Informationen zur Konfiguration finden Sie unter den Links in den einzelnen Einträgen.
| Szenario | Beschreibung |
|---|---|
| Virtuelle Computer | Installieren Sie den Azure Monitor-Agenten auf einer VM und verknüpfen Sie ihn mit einer oder mehreren DCRs, die die zu sammelnden Ereignisse und Leistungsdaten des Clientbetriebssystems definieren. Sie können diese Konfiguration über das Azure-Portal vornehmen, sodass Sie die DCR nicht direkt bearbeiten müssen. Siehe Sammeln von Daten mit Azure Monitor-Agent. |
| Wenn Sie VM-Erkenntnisse auf einer virtuellen Maschine aktivieren, wird der Azure Monitor-Agent zur Telemetrie vom VM-Client eingesetzt. Die DCR wird automatisch für Sie erstellt, um einen vordefinierten Satz von Leistungsdaten zu sammeln. Weitere Informationen finden Sie unter Übersicht zum Aktivieren von VM-Erkenntnissen. |
|
| Container Insights | Wenn Sie Containererkenntnisse auf Ihrem Kubernetes-Cluster aktivieren, wird eine containerisierte Version des Azure Monitor-Agenten bereitgestellt, um Protokolle aus dem Cluster an einen Log Analytics-Arbeitsbereich zu senden. Die DCR wird automatisch für Sie erstellt, aber Sie müssen sie möglicherweise ändern, um Ihre Erfassungseinstellungen anzupassen. Weitere Informationen finden Sie unter Konfigurieren der Datensammlung in Container-Erkenntnissen mithilfe einer Datensammlungsregel. |
| Protokollerfassungs-API | Mit der Protokollaufnahme-API können Sie Daten von jedem REST-Client an einen Log Analytics-Arbeitsbereich senden. Der API-Aufruf gibt die DCR an, die ihre Daten entgegennehmen soll, und spezifiziert den Endpunkt der DCR. Die DCR versteht die Struktur der eingehenden Daten, enthält eine Transformation, die sicherstellt, dass sich die Daten im Format der Zieltabelle befinden, und gibt einen Arbeitsbereich und eine Tabelle an, um die transformierten Daten zu senden. Weitere Informationen finden Sie unter Protokollerfassungs-API in Azure Monitor. |
| Azure Event Hubs | Senden von Daten an einen Log Analytics-Arbeitsbereich von Azure Event Hubs. Die DCR definiert den eingehenden Datenstrom und legt die Transformation fest, um die Daten für den Zielarbeitsbereich und die Tabelle zu formatieren. Weitere Informationen finden Sie unter Tutorial: Erfassen von Ereignissen aus Azure Event Hubs in Azure Monitor-Protokollen (Public Preview). |
| Arbeitsbereichstransformations-DCR | Die DCR für die Arbeitsbereichstransformation ist eine spezielle DCR, die mit einem Log Analytics-Arbeitsbereich verknüpft ist und es Ihnen ermöglicht, Transformationen an Daten durchzuführen, die mit anderen Methoden erfasst werden. Sie erstellen eine einzelne DCR für den Arbeitsbereich und fügen eine Transformation zu einer oder mehreren Tabellen hinzu. Die Transformation wird auf alle Daten angewandt, die über eine Methode, die keine DCR verwendet, an diese Tabellen gesendet werden. Weitere Informationen finden Sie unter DCR für die Arbeitsbereichstransformation in Azure Monitor. |
DCR-Regionen
Datensammlungsregeln werden regional gespeichert und sind in allen öffentlichen Regionen verfügbar, in denen der Log Analytics-Arbeitsbereich und die Azure Government-Clouds und China-Clouds unterstützt werden. Air-Gap-Clouds werden noch nicht unterstützt. Eine Datensammlungsregel wird in der von Ihnen angegebenen Region erstellt und gespeichert und in der gekoppelten Region innerhalb derselben Geografie gesichert. Der Dienst wird allen drei Verfügbarkeitszonen in der Region bereitgestellt. Aus diesem Grund handelt es sich um einen zonenredundanten Dienst, der die Verfügbarkeit weiter erhöht.
Datenresidenz in einer Region ist eine Previewfunktion zum Aktivieren der Speicherung von Kundendaten in einer einzelnen Region, die derzeit nur in der Region „Asien, Südosten“ (Singapur) des geografischen Raums „Asien-Pazifik“ und in der Region „Brasilien, Süden“ (São Paulo, Bundesstaat) des geografischen Raums „Brasilien“ verfügbar ist. Die Residenz in einer einzelnen Region ist in diesen Regionen standardmäßig aktiviert.
Nächste Schritte
Weitere Informationen zur Arbeit mit Datensammlungsregeln finden Sie in den folgenden Artikeln.
- Eine Beschreibung der JSON-Struktur von Datensammlungsregeln und der verschiedenen Elemente, die für unterschiedliche Workflows verwendet werden, finden Sie unter Datensammlungsregelstruktur.
- Beispiele für Datensammlungsregeln für verschiedene Datensammlungsszenarien finden Sie unter Beispiele für Datensammlungsregeln (Data Collection Rules,DCRs).
- Verschiedene Methoden zum Erstellen von Datensammlungsregeln für verschiedene Datensammlungsszenarien finden Sie unter Erstellen und bearbeiten von Datensammlungsregeln (Data Collection Rules, DCRs) in Azure Monitor.
- Informationen zu Grenzwerten, die für die einzelnen Datensammlungsregeln gelten, finden Sie unter Azure Monitor-Diensteinschränkungen.