Erweiterte Sicherheitsüberwachung
Dieser Artikel enthält Informationen zum verbesserten Sicherheitsüberwachungsfeature, und Sie erfahren, wie Sie es in Ihrem Azure Databricks-Arbeitsbereich oder -Konto konfigurieren.
Wenn Sie dieses Feature aktivieren, wird Ihnen das Add-On „Verbesserte Sicherheit und Kompatibilität“ wie auf der Preisseite beschrieben in Rechnung gestellt.
Übersicht über die verbesserte Sicherheitsüberwachung
Die verbesserte Sicherheitsüberwachung von Azure Databricks bietet ein erweitertes Datenträgerimage und zusätzliche Agents für die Sicherheitsüberwachung. Diese generieren Protokollzeilen, die Sie mithilfe von Diagnoseprotokollen überprüfen können.
Die Sicherheitserweiterungen gelten nur für Computeressourcen auf der klassischen Computeebene wie z. B. Cluster und nicht serverlose SQL-Warehouses.
Für Ressourcen der Ebene „Serverloses Computing“ (etwa serverlose SQL-Warehouses) erfolgt durch die Aktivierung der erweiterten Sicherheitsüberwachung keine zusätzliche Überwachung.
Hinweis
Die meisten Azure-Instanztypen werden unterstützt, aber VMs der 2. Generation (Gen2) und Arm64-basierte VMs werden nicht unterstützt. Azure Databricks lässt das Starten von Compute mit diesen Instanztypen nicht zu, wenn erweiterte Sicherheitsüberwachung aktiviert ist.
Die verbesserte Sicherheitsüberwachung umfasst Folgendes:
Ein verbessertes gehärtetes Betriebssystemimage auf Basis von Ubuntu Advantage.
Ubuntu Advantage ist ein Paket für Unternehmenssicherheit und -unterstützung für Open-Source-Infrastrukturen und -Anwendungen, das ein auf CIS-Level 1 gehärtetes Image enthält.
Agent zur Überwachung des Virenschutzes, der Protokolle generiert, die Sie überprüfen können
Agent zur Überwachung der Dateiintegrität, der Protokolle generiert, die Sie überprüfen können
Überwachungs-Agents in Azure Databricks-Computeimages
Wenn die verbesserte Sicherheitsüberwachung aktiviert ist, gibt es zusätzliche Agents für die Sicherheitsüberwachung (einschließlich zwei Agents, die im erweiterten Computeebenenimage vorinstalliert sind). Sie können die Überwachungs-Agents im erweiterten Datenträgerimage der Computeebene nicht deaktivieren.
| Überwachungs-Agent | Standort | Beschreibung | Abrufen einer Ausgabe |
|---|---|---|---|
| Überwachung der Dateiintegrität | Erweitertes Computeebenenimage | Überwacht auf Verstöße in Bezug auf Dateiintegrität und Sicherheitsgrenzen. Dieser Überwachungs-Agent wird auf der Worker-VM in Ihrem Cluster ausgeführt. | Aktivieren Sie die Systemtabelle des Überwachungsprotokolls, und überprüfen Sie Protokolle auf neue Zeilen. |
| Virenschutz und Schadsoftwareerkennung | Erweitertes Computeebenenimage | Überprüft das Dateisystem täglich auf Viren. Dieser Überwachungs-Agent wird auf den VMs in Ihren Computeressourcen ausgeführt, z. B. in Clustern und SQL-Warehouses (Pro und klassisch). Der Agent für Virenschutz und Schadsoftwareerkennung überprüft das gesamte Dateisystem des Hostbetriebssystems und das Databricks Runtime-Containerdateisystem. Elemente, die sich außerhalb der Cluster-VMs befinden, gehören nicht zum Überprüfungsumfang. | Aktivieren Sie die Systemtabelle des Überwachungsprotokolls, und überprüfen Sie Protokolle auf neue Zeilen. |
| Überprüfung auf Sicherheitsrisiken | Die Überprüfung erfolgt in repräsentativen Images in den Azure Databricks-Umgebungen. | Überprüft den Containerhost (VM) auf bestimmte bekannte Sicherheitsanfälligkeiten und allgemeine Sicherheitsrisiken und Expositionen (CVEs). | E-Mail an Azure Databricks-Arbeitsbereichsadministratoren. |
Zum Abrufen der aktuellen Versionen von Überwachungsagents können Sie Ihre Cluster neu starten. Wenn Ihr Arbeitsbereich die automatische Clusteraktualisierung nutzt, starten Cluster bei Bedarf während der geplanten Wartungsfenster standardmäßig neu. Wenn das Compliancesicherheitsprofil für einen Arbeitsbereich aktiviert ist, wird die automatische Clusteraktualisierung für diesen Arbeitsbereich dauerhaft aktiviert.
Überwachung der Dateiintegrität
Das erweiterte Image auf Computeebene enthält einen Dienst zur Überwachung der Dateiintegrität, der Einblicke zur Laufzeit und Bedrohungserkennung für Computeressourcen (Clusterworker) auf der klassischen Computeebene in Ihrem Arbeitsbereich bereitstellt.
Die Ausgabe der Dateiintegritätsüberwachung wird in Ihren Überwachungsprotokollen generiert, auf die Sie mit Systemtabellen zugreifen können. Weitere Informationen finden Sie unter Überwachen des Verbrauchs mit Systemtabellen. Informationen zum JSON-Schema für neue überwachbare Ereignisse, die speziell für die Dateiintegritätsüberwachung gelten, finden Sie unter Ereignisse für die Dateiintegritätsüberwachung.
Wichtig
Die Überprüfung dieser Protokolle liegt in Ihrer Verantwortung. Databricks kann diese Protokolle nach eigenem Ermessen überprüfen, übernimmt jedoch keine Verpflichtung dazu. Wenn der Agent eine schädliche Aktivität erkennt, liegt es in Ihrer Verantwortung, diese Ereignisse zu bewerten und ein Supportticket bei Databricks zu öffnen, wenn die Lösung oder Behebung eine Aktion seitens Databricks erfordert. Databricks kann basierend auf diesen Protokolle Maßnahmen ergreifen – beispielsweise Anhalten oder Beenden der Ressourcen –, übernimmt jedoch keine Verpflichtung dazu.
Virenschutz und Schadsoftwareerkennung
Das erweiterte Image auf Computeebene enthält ein Antivirenprogramm zum Erkennen von Trojanern, Viren, Schadsoftware und anderen Bedrohungen. Die Virenschutzüberwachung überprüft das gesamte Dateisystem des Hostbetriebssystems und das Databricks Runtime-Containerdateisystem. Elemente, die sich außerhalb der Cluster-VMs befinden, gehören nicht zum Überprüfungsumfang.
Die Ausgabe der Antivirusüberwachung wird in Überwachungsprotokollen generiert, auf die Sie mit Systemtabellen (Public Preview) zugreifen können. Informationen zum JSON-Schema für neue überwachbare Ereignisse, die speziell für die Antivirusüberwachung gelten, finden Sie unter Ereignisse für die Antivirusüberwachung.
Wenn ein neues VM-Image erstellt wird, sind darin aktualisierte Signaturdateien enthalten.
Wichtig
Die Überprüfung dieser Protokolle liegt in Ihrer Verantwortung. Databricks kann diese Protokolle nach eigenem Ermessen überprüfen, übernimmt jedoch keine Verpflichtung dazu. Wenn der Agent eine schädliche Aktivität erkennt, liegt es in Ihrer Verantwortung, diese Ereignisse zu bewerten und ein Supportticket bei Databricks zu öffnen, wenn die Lösung oder Behebung eine Aktion seitens Databricks erfordert. Databricks kann basierend auf diesen Protokolle Maßnahmen ergreifen – beispielsweise Anhalten oder Beenden der Ressourcen –, übernimmt jedoch keine Verpflichtung dazu.
Wenn ein neues AMI-Image erstellt wird, sind darin aktualisierte Signaturdateien enthalten.
Überprüfung auf Sicherheitsrisiken
Ein Agent zur Überwachung von Sicherheitsrisiken führt Sicherheitsrisikoüberprüfungen des Containerhosts (VM) in Bezug auf bestimmte bekannte CVEs durch. Die Überprüfung erfolgt in repräsentativen Images in den Azure Databricks-Umgebungen. Sicherheitsrisikoüberprüfungsberichte werden an alle Arbeitsbereichsadministratoren per E-Mail gesendet, wenn Azure Databricks neue AMI-Datenträgerimages veröffentlicht.
Wenn dieser Agent Sicherheitsrisiken findet, verfolgt Databricks diese im Hinblick auf die Vereinbarung zum Servicelevel (Service Level Agreement, SLA) für die Verwaltung von Sicherheitsrisiken nach und gibt ein aktualisiertes Image heraus, sofern verfügbar.
Verwaltung und Upgrade von Überwachungs-Agents
Die zusätzlichen Überwachungs-Agents, die in den für die Computeressourcen auf der klassischen Computeebene verwendeten Datenträgerimages enthalten sind, gehören zum Azure Databricks-Standardprozess für Systemupgrades:
- Das Basisdatenträgerimage (Base Disk Image, AMI) für die klassische Computeebene gehört Databricks und wird von Databricks verwaltet und gepatcht.
- Databricks stellt Sicherheitspatches breit und wendet diese an, indem neue AMI-Datenträgerimages veröffentlicht werden. Der Zeitplan für die Bereitstellung dieser Patches richtet sich nach der Verfügbarkeit neuer Funktionen und der SLA für ermittelte Sicherheitsrisiken. Die Bereitstellung erfolgt üblicherweise alle zwei bis vier Wochen.
- Das Basisbetriebssystem für die Computeebene ist Ubuntu Advantage.
- Azure Databricks-Cluster und SQL-Warehouses (Pro und klassisch) sind standardmäßig kurzlebig. Cluster und SQL-Warehouses (Pro und klassisch) verwenden das neueste Basisimage, sobald dieses verfügbar ist. Ältere Versionen, die möglicherweise Sicherheitsrisiken aufweisen, sind für neue Cluster nicht verfügbar.
- Es liegt in Ihrer Verantwortung, dass Cluster regelmäßig neu gestartet werden (per Benutzeroberfläche oder API), damit sichergestellt ist, dass die Cluster die neuesten gepatchten Host-VM-Images verwenden.
Beendigung eines Überwachungs-Agents
Wenn festgestellt wird, dass ein Überwachungs-Agent auf der Worker-VM aufgrund eines Absturzes oder einer anderweitigen Beendigung nicht ausgeführt wird, versucht das System, den Agent neu zu starten.
Datenaufbewahrungsrichtlinie für Daten von Überwachungs-Agents
Überwachungsprotokolle werden an die Systemtabelle für Überwachungsprotokolle in Ihrem eigenen Speicher in Ihrem Azure-Abonnement gesendet, wenn Sie Diagnoseprotokolle konfiguriert haben. Die Aufbewahrung, Erfassung und Analyse dieser Protokolle liegt in Ihrer Verantwortung.
Berichte und Protokolle zu Überprüfungen auf Sicherheitsrisiken werden mindestens ein Jahr lang von Databricks aufbewahrt.
Aktivieren der erweiterten Sicherheitsüberwachung von Azure Databricks
- Ihr Azure Databricks-Arbeitsbereich muss sich im Premium-Tarif befinden.
Informationen zum Aktivieren der verbesserten Sicherheitsüberwachung für einen Arbeitsbereich finden Sie unter Verwenden des Azure-Portals zum Aktivieren von Einstellungen für einen neuen Arbeitsbereich.
Es kann bis zu sechs Stunden dauern, bis Aktualisierungen in allen Umgebungen und in nachgelagerten Systemen wie der Abrechnung angekommen sind. Workloads, die aktiv ausgeführt werden, werden mit den Einstellungen fortgesetzt, die beim Starten des Clusters oder einer anderen Computeressource aktiv waren, und neue Einstellungen werden beim nächsten Start dieser Workloads angewendet.