Azure Data Explorer-Ausgabe von Azure Stream Analytics
Sie können Azure Data Explorer als eine Ausgabe zum Analysieren von großen Mengen unterschiedlicher Daten aus beliebigen Datenquellen verwenden, z. B. Websites, Anwendungen und Internet der Dinge (Internet of Things, IoT)-Geräte und mehr. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten). Er hilft Ihnen bei der Verarbeitung der zahlreichen Datenströme, die von moderner Software ausgegeben werden, damit Sie Daten sammeln, speichern und analysieren können. Diese Daten werden für die Diagnose, Überwachung, Berichterstellung, Machine Learning und weitere Analysefunktionen verwendet.
Azure Data Explorer unterstützt verschiedene Erfassungsmethoden, u. a. Connectors zu gängigen Diensten wie Azure Event Hubs, programmgesteuerte Erfassung über SDKs wie .NET und Python sowie Direktzugriff auf das Modul für die Durchsuchung. Azure-Daten-Explorer ist für die weiterführende Analyse und Visualisierung von Daten mit Analyse- und Modellierungsdiensten integriert.
Weitere Informationen über Azure Data Explorer finden Sie unter Was ist Azure Data Explorer?.
Weitere Informationen zum Erstellen eines Azure Data Explorer-Clusters mithilfe des Azure-Portals finden Sie unter Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank.
Hinweis
Azure Data Explorer von Azure Stream Analytics unterstützt die Ausgabe an Azure Synapse Data Explorer. Um im Azure Synapse Data Explorer in Ihre Cluster zu schreiben, geben Sie die URL Ihres Clusters im Konfigurationsbereich für die Ausgabe des Azure Data Explorer in Ihrem Azure Stream Analytics-Job an.
Ausgabekonfiguration
Die folgende Tabelle enthält die Eigenschaftennamen und ihre Beschreibungen zum Erstellen einer Azure Data Explorer-Ausgabe.
| Eigenschaftenname | BESCHREIBUNG |
|---|---|
| Ausgabealias | Ein Anzeigename, der in Abfragen verwendet wird, um die Abfrageausgabe an diese Datenbank weiterzuleiten. |
| Subscription | Das Azure-Abonnement, das Sie für Ihren Cluster verwenden wollen. |
| Cluster | Ein eindeutiger Name, der Ihren Cluster identifiziert. Der Domänenname <region>.kusto.windows.net wird an den von Ihnen angegebenen Clusternamen angefügt. Der Name darf nur Kleinbuchstaben und Zahlen enthalten. Er muss zwischen 4 und 22 Zeichen enthalten. |
| Datenbank | Der Name der Datenbank, an die Sie die Ausgabe senden. Der Datenbankname muss innerhalb des Clusters eindeutig sein. |
| Authentifizierung | Eine verwaltete Identität von Microsoft Entra ID, die Ihrem Cluster ermöglicht, einfach auf andere durch Microsoft Entra geschützte Ressourcen wie Azure Key Vault zuzugreifen. Da die Identität von der Azure-Plattform verwaltet wird, müssen Sie keine Geheimnisse bereitstellen oder rotieren. Die Konfiguration der verwalteten Identität wird zurzeit nur für die Aktivierung von kundenseitig verwalteten Schlüsseln für Ihren Cluster unterstützt. |
| Tabelle | Der Name der Tabelle, in die die Ausgabe geschrieben wird. Beim Tabellennamen wird die Groß- und Kleinschreibung beachtet. Das Schema dieser Tabelle sollte genau der Anzahl der Felder und deren Typen entsprechen, die Ihre Auftragsausgabe generiert. |
Partitionierung
Die Partitionierung muss aktiviert werde und basiert auf der PARTITION BY-Klausel in der Abfrage. Wenn die Option „Partitionierung erben“ aktiviert ist, wird die Eingabepartitionierung für vollständig parallelisierbare Abfragen verwendet.
Wann sollen Azure Data Explorer und Azure Stream Analytics verwendet werden
Zu den Merkmalen von Azure Stream Analytics gehören:
- Modul zur Streamverarbeitung: kontinuierlich, Streaminganalyse in Echtzeit
- Auftragsbasiert
- Lookback-Fenster von 1 Millisekunde bis 7 Tage für temporale In-Memory-Analysen und Streamverarbeitung
- Erfassung von Azure Event Hubs und Azure IoT Hub mit Wartezeit unter einer Sekunde
Zu den Merkmalen von Azure Data Explorer gehören:
- Analysemodul: nach Bedarf, interaktive Analyse in Echtzeit
- Streamingdatenerfassung in einen persistenten Datenspeicher, zusammen mit Abfragefunktionen
- Erfassung von Daten aus Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark und Azure Data Factory
- Wartezeit von 10 Sekunden bis 5 Minuten für Workloads mit hohem Durchsatz
- Einfache Datentransformation durch eine Aktualisierungsrichtlinie während der Erfassung
Sie können den Umfang von Echtzeitanalysen erheblich erweitern, indem Sie Azure Stream Analytics und Azure Data Explorer zusammen verwenden. Hier sind einige Szenarien:
- Stream Analytics erkennt Anomalien in Echtzeit, und Azure Data Explorer hilft durch interaktive Erkundung herauszufinden, wie und warum sie aufgetreten sind.
- Stream Analytics deserialisiert eingehende Datenströme für die Verwendung in Azure Data Explorer (z. B. die Erfassung des Protobuf-Formats mithilfe eines benutzerdefinierten Deserialisierers oder benutzerdefinierter Binärformate).
- Stream Analytics kann eingehende Datenströme zur Verwendung in Azure Data Explorer aggregieren, filtern, anreichern und transformieren.
Andere Szenarios und Einschränkungen
- Der Name der Spalten und des Datentyps müssen zwischen der Azure Stream Analytics-SQL-Abfrage und der Azure Data Explorer-Tabelle übereinstimmen. Beim Vergleich wird die Groß-/Kleinschreibung beachtet.
- Spalten, die in Ihren Azure Data Explorer-Clustern vorhanden sind, aber in Azure Stream Analytics fehlen, werden ignoriert. Spalten, die in Azure Stream Analytics fehlen, lösen einen Fehler aus.
- Die Reihenfolge Ihrer Spalten in Ihrer Azure Stream Analytics-Abfrage spielt keine Rolle. Das Schema der Azure Data Explorer-Tabelle bestimmt die Reihenfolge.
- Azure Data Explorer verfügt über eine Richtlinie für die Aggregation (Batchverarbeitung) für die Datenerfassung, die für die Optimierung des Erfassungsprozesses konzipiert ist. Die Richtlinie ist standardmäßig mit 5 Minuten, 1000 Elementen oder einem Datenvolumen von 1 GB konfiguriert, deshalb kann es zu Wartezeiten kommen. Aktivieren Sie die Streamingerfassung in Ihrem Cluster, um die Latenz zu verringern, und führen Sie dann eine Tabelle oder Datenbank aus, indem Sie die Schritte unter Konfigurieren der Streamingerfassung in Ihrem Azure Data Explorer-Cluster ausführen. Informationen zu Aggregationsoptionen finden Sie IngestionBatching-Richtlinie.