To rozwiązanie przechowuje dzienniki zabezpieczeń w usłudze Azure Data Explorer w perspektywie długoterminowej. To rozwiązanie minimalizuje koszty i zapewnia łatwy dostęp w przypadku konieczności wykonywania zapytań dotyczących danych.
Grafana i Jupyter Notebooks są znakami towarowymi odpowiednich firm. Użycie tych znaków nie jest dorozumiane.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
W przypadku rozwiązań SIEM i SOAR przedsiębiorstwo używa usług Sentinel i Defender for Endpoint.
Usługa Defender for Endpoint używa natywnych funkcji do eksportowania danych do usług Azure Event Hubs i Azure Data Lake. Usługa Sentinel pozyska dane usługi Defender dla punktu końcowego w celu monitorowania urządzeń.
Usługa Sentinel używa usługi Log Analytics jako platformy danych do eksportowania danych do usług Event Hubs i Azure Data Lake.
Usługa Azure Data Explorer używa łączników dla usług Event Hubs, Azure Blob Storage i Azure Data Lake Storage do pozyskiwania danych z małym opóźnieniem i wysoką przepływnością. W tym procesie jest używana usługa Azure Event Grid, która wyzwala potok pozyskiwania usługi Azure Data Explorer.
W razie potrzeby usługa Azure Data Explorer stale eksportuje dzienniki zabezpieczeń do usługi Azure Storage. Te dzienniki są w skompresowanym formacie Parquet podzielonym na partycje i są gotowe do odpytowania.
Aby spełnić wymagania prawne, usługa Azure Data Explorer eksportuje wstępnie zagregowane dane do usługi Data Lake Storage na potrzeby archiwizacji.
Usługi Log Analytics i Sentinel obsługują zapytania między usługami za pomocą usługi Azure Data Explorer. Analitycy SOC korzystają z tej funkcji, aby uruchomić pełne badania dotyczące danych zabezpieczeń.
Usługa Azure Data Explorer zapewnia natywne możliwości przetwarzania, agregowania i analizowania danych.
Różne narzędzia udostępniają pulpity nawigacyjne analizy niemal w czasie rzeczywistym, które szybko dostarczają szczegółowe informacje:
Składniki
Usługa Defender for Endpoint chroni organizacje przed zagrożeniami między urządzeniami, tożsamościami, aplikacjami, pocztą e-mail, danymi i obciążeniami w chmurze.
Sentinel to rozwiązanie SIEM i SOAR natywne dla chmury. Używa ona zaawansowanej sztucznej inteligencji i analizy zabezpieczeń do wykrywania zagrożeń, wyszukiwania, zapobiegania i reagowania na zagrożenia w przedsiębiorstwach.
Monitor to rozwiązanie oprogramowania jako usługi (SaaS), które zbiera i analizuje dane w środowiskach i zasobach platformy Azure. Te dane obejmują dane telemetryczne aplikacji, takie jak metryki wydajności i dzienniki aktywności. Monitor oferuje również funkcje alertów.
Log Analytics to usługa Monitor, której można użyć do wykonywania zapytań i inspekcji danych dziennika monitora. Usługa Log Analytics udostępnia również funkcje do tworzenia wykresów i statystycznego analizowania wyników zapytań.
Event Hubs to w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta i skalowalna.
Data Lake Storage to skalowalne repozytorium magazynu, które przechowuje dużą ilość danych w natywnym, nieprzetworzonym formacie danych. Usługa Data Lake jest oparta na usłudze Blob Storage i udostępnia funkcje przechowywania i przetwarzania danych.
Usługa Azure Data Explorer to szybka, w pełni zarządzana i wysoce skalowalna platforma analizy danych. Tej usługi w chmurze można używać do analizy w czasie rzeczywistym na dużych ilościach danych. Usługa Azure Data Explorer jest zoptymalizowana pod kątem interakcyjnych zapytań ad hoc. Może obsługiwać różne strumienie danych z aplikacji, witryn internetowych, urządzeń IoT i innych źródeł.
Pulpity nawigacyjne usługi Azure Data Explorer natywnie importuje dane z zapytań internetowego interfejsu użytkownika usługi Azure Data Explorer. Te zoptymalizowane pulpity nawigacyjne umożliwiają wyświetlanie i eksplorowanie wyników zapytań.
Alternatywy
Zamiast używać usługi Azure Data Explorer do długoterminowego przechowywania dzienników zabezpieczeń, możesz użyć usługi Storage. Takie podejście upraszcza architekturę i może pomóc w kontrolowaniu kosztów. Wadą jest konieczność ponownego wypełniania dzienników na potrzeby inspekcji zabezpieczeń i interakcyjnych zapytań śledczych. Usługa Azure Data Explorer umożliwia przenoszenie danych z partycji zimnej do gorącej partycji przez zmianę zasad. Ta funkcja przyspiesza eksplorację danych.
Innym rozwiązaniem jest wysłanie wszystkich danych, niezależnie od jej wartości zabezpieczeń, do usługi Sentinel i usługi Azure Data Explorer w tym samym czasie. Niektóre zduplikowanie wyników, ale oszczędności kosztów mogą być znaczące. Ponieważ usługa Azure Data Explorer zapewnia magazyn długoterminowy, możesz zmniejszyć koszty przechowywania usługi Sentinel przy użyciu tego podejścia.
Usługa Log Analytics nie obsługuje obecnie eksportowania niestandardowych tabel dzienników. W tym scenariuszu możesz użyć usługi Azure Logic Apps do eksportowania danych z obszarów roboczych usługi Log Analytics. Aby uzyskać więcej informacji, zobacz Archiwizowanie danych z obszaru roboczego usługi Log Analytics do usługi Azure Storage przy użyciu usługi Logic Apps.
Szczegóły scenariusza
Dzienniki zabezpieczeń są przydatne do identyfikowania zagrożeń i śledzenia nieautoryzowanych prób uzyskania dostępu do danych. Ataki zabezpieczeń mogą rozpocząć się na dobre przed ich odnalezieniem. W związku z tym posiadanie dostępu do długoterminowych dzienników zabezpieczeń jest ważne. Wykonywanie zapytań dotyczących dzienników długoterminowych ma kluczowe znaczenie dla identyfikowania wpływu zagrożeń i badania rozprzestrzeniania się nielegalnych prób dostępu.
W tym artykule opisano rozwiązanie dotyczące długoterminowego przechowywania dzienników zabezpieczeń. Podstawą architektury jest usługa Azure Data Explorer. Ta usługa zapewnia magazyn danych zabezpieczeń przy minimalnym koszcie, ale przechowuje te dane w formacie, który można wykonywać zapytania. Inne główne składniki to:
Ochrona punktu końcowego w usłudze Microsoft Defender i Microsoft Sentinel, aby uzyskać następujące możliwości:
- Kompleksowe zabezpieczenia punktu końcowego
- Zarządzanie informacjami o zabezpieczeniach i zdarzeniami (SIEM)
- Automatyczna odpowiedź orkiestracji zabezpieczeń (SOAR)
Usługa Log Analytics w celu przechowywania krótkoterminowych dzienników zabezpieczeń usługi Sentinel.
Potencjalne przypadki użycia
To rozwiązanie dotyczy różnych scenariuszy. W szczególności analitycy centrum operacji zabezpieczeń (SOC) mogą używać tego rozwiązania do:
- Badania w pełnej skali.
- Analiza kryminalistyczna.
- Wyszukiwanie zagrożeń.
- Inspekcje zabezpieczeń.
Klient świadczy o przydatności rozwiązania: "Wdrożyliśmy klaster usługi Azure Data Explorer prawie pół roku temu. W ostatnim rozwiązaniu Solorigate data breach użyliśmy klastra usługi Azure Data Explorer na potrzeby analizy kryminalistycznej. Zespół Microsoft Dart użył również klastra usługi Azure Data Explorer do ukończenia badania. Długoterminowe przechowywanie danych zabezpieczeń ma kluczowe znaczenie dla badań danych na pełną skalę.
Stos monitorowania
Na poniższym diagramie przedstawiono stos monitorowania platformy Azure:
- Usługa Sentinel używa obszaru roboczego usługi Log Analytics do przechowywania dzienników zabezpieczeń i dostarczania rozwiązań SIEM i SOAR.
- Monitor śledzi stan zasobów IT i wysyła alerty w razie potrzeby.
- Usługa Azure Data Explorer udostępnia podstawową platformę danych, która przechowuje dzienniki zabezpieczeń dla obszarów roboczych usługi Log Analytics, Monitor i Sentinel.
Główne funkcje
Główne funkcje rozwiązania oferują wiele korzyści, jak wyjaśniono w poniższych sekcjach.
Długoterminowy magazyn danych z możliwością wykonywania zapytań
Usługa Azure Data Explorer indeksuje dane podczas procesu przechowywania, udostępniając dane dla zapytań. Jeśli musisz skupić się na uruchamianiu inspekcji i badaniach, nie ma potrzeby przetwarzania danych. Wykonywanie zapytań dotyczących danych jest proste.
Analiza kryminalistyczna na pełną skalę
Usługi Azure Data Explorer, Log Analytics i Sentinel obsługują zapytania między usługami. W związku z tym w jednym zapytaniu można odwoływać się do danych przechowywanych w dowolnej z tych usług. Analitycy SOC mogą używać języka zapytań Kusto (KQL) do przeprowadzania badań w pełnym zakresie. Zapytania usługi Azure Data Explorer można również używać w usłudze Sentinel do celów wyszukiwania zagrożeń. Aby uzyskać więcej informacji, zobacz Co nowego: wyszukiwanie zagrożeń w usłudze Sentinel obsługuje zapytania między zasobami USŁUGI ADX.
Buforowanie danych na żądanie
Usługa Azure Data Explorer obsługuje buforowanie gorące oparte na oknach. Ta funkcja umożliwia przenoszenie danych z wybranego okresu do gorącej pamięci podręcznej. Następnie można uruchamiać szybkie zapytania dotyczące danych, co zwiększa wydajność badań. W tym celu może być konieczne dodanie węzłów obliczeniowych do gorącej pamięci podręcznej. Po zakończeniu badania można zmienić zasady gorącej pamięci podręcznej, aby przenieść dane do zimnej partycji. Klaster można również przywrócić do oryginalnego rozmiaru.
Ciągłe eksportowanie do danych archiwum
Aby spełnić wymagania prawne, niektóre przedsiębiorstwa muszą przechowywać dzienniki zabezpieczeń przez nieograniczony czas. Usługa Azure Data Explorer obsługuje ciągłe eksportowanie danych. Za pomocą tej funkcji można utworzyć warstwę archiwalną, przechowując dzienniki zabezpieczeń w usłudze Storage.
Sprawdzony język zapytań
Język zapytań Kusto jest natywny dla usługi Azure Data Explorer. Ten język jest również dostępny w obszarach roboczych usługi Log Analytics i środowiskach wyszukiwania zagrożeń usługi Sentinel. Ta dostępność znacznie zmniejsza krzywą nauki dla analityków SOC. Zapytania uruchamiane w usłudze Sentinel działają również na danych przechowywanych w klastrach usługi Azure Data Explorer.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Podczas implementowania tego rozwiązania należy pamiętać o następujących kwestiach.
Skalowalność
Rozważ następujące problemy ze skalowalnością:
Metoda eksportu danych
Jeśli musisz wyeksportować dużą ilość danych z usługi Log Analytics, możesz osiągnąć limity pojemności usługi Event Hubs. Aby uniknąć tej sytuacji:
- Eksportowanie danych z usługi Log Analytics do usługi Blob Storage.
- Używanie obciążeń usługi Azure Data Factory do okresowego eksportowania danych do usługi Azure Data Explorer.
Za pomocą tej metody można kopiować dane z usługi Data Factory tylko wtedy, gdy dane zbliżają się do limitu przechowywania w usłudze Sentinel lub Log Analytics. W związku z tym należy unikać duplikowania danych. Aby uzyskać więcej informacji, zobacz Eksportowanie danych z usługi Log Analytics do usługi Azure Data Explorer.
Wykonywanie zapytań dotyczących użycia i inspekcji gotowości
Ogólnie rzecz biorąc, dane są przechowywane w zimnej pamięci podręcznej w klastrze usługi Azure Data Explorer. Takie podejście minimalizuje koszt klastra i jest wystarczające dla większości zapytań obejmujących dane z poprzednich miesięcy. Jednak podczas wykonywania zapytań dotyczących dużych zakresów danych może być konieczne skalowanie klastra w poziomie i załadowanie danych do gorącej pamięci podręcznej.
W tym celu można użyć funkcji gorącego okna zasad gorącej pamięci podręcznej. Tej funkcji można również używać podczas inspekcji danych długoterminowych. W przypadku korzystania z okna gorącego może być konieczne skalowanie klastra w górę lub w poziomie, aby zwolnić miejsce na więcej danych w gorącej pamięci podręcznej. Po zakończeniu wykonywania zapytań dotyczących dużego zakresu danych zmień zasady gorącej pamięci podręcznej, aby zmniejszyć koszt obliczeń.
Włączając zoptymalizowaną funkcję automatycznego skalowania w klastrze usługi Azure Data Explorer, można zoptymalizować rozmiar klastra na podstawie zasad buforowania. Aby uzyskać więcej informacji na temat wykonywania zapytań dotyczących zimnych danych w usłudze Azure Data Explorer, zobacz Query cold data with hot windows (Wykonywanie zapytań o zimne dane za pomocą okien gorących).
Efektywność wydajności
Efektywność wydajności to możliwość skalowania obciążenia w celu zaspokojenia zapotrzebowania użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Omówienie filaru wydajności.
Jeśli musisz przechowywać dane zabezpieczeń przez długi czas lub przez nieograniczony okres, wyeksportuj dzienniki do usługi Storage. Usługa Azure Data Explorer obsługuje ciągłe eksportowanie danych. Korzystając z tej funkcji, można wyeksportować dane do magazynu w skompresowanym formacie Parquet podzielonym na partycje. Następnie możesz bezproblemowo wykonywać zapytania dotyczące tych danych. Aby uzyskać więcej informacji, zobacz Ciągłe eksportowanie danych — omówienie.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.
Koszt klastra usługi Azure Data Explorer jest oparty głównie na mocy obliczeniowej używanej do przechowywania danych w gorącej pamięci podręcznej. Zapytania dotyczące danych gorącej pamięci podręcznej zapewniają lepszą wydajność w przypadku zapytań zimnej pamięci podręcznej. To rozwiązanie przechowuje większość danych w zimnej pamięci podręcznej, minimalizując koszt obliczeń.
Aby zapoznać się z kosztem działania tego rozwiązania w twoim środowisku, skorzystaj z kalkulatora cen platformy Azure.
Wdrażanie tego scenariusza
Aby zautomatyzować wdrażanie, użyj tego skryptu programu PowerShell. Ten skrypt tworzy następujące składniki:
- Tabela docelowa
- Nieprzetworzona tabela
- Mapowanie tabeli definiujące sposób, w jaki usługa Event Hubs rejestruje ziemię w nieprzetworzonej tabeli
- Zasady przechowywania i aktualizowania
- Przestrzenie nazw usługi Event Hubs
- Reguły eksportowania danych w obszarze roboczym usługi Log Analytics
- Połączenie danych między usługą Event Hubs i tabelą danych pierwotnych usługi Azure Data Explorer
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Deepak Agrawal | Menedżer produktu
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
- Integrowanie usługi Azure Data Explorer na potrzeby długoterminowego przechowywania dzienników
- Przenoszenie dzienników usługi Microsoft Sentinel do magazynu długoterminowego z łatwością
- Wykonywanie zapytań między zasobami w usłudze Azure Data Explorer przy użyciu usługi Azure Monitor
- INSTRUKCJE: Konfigurowanie eksportu danych usługi Microsoft Sentinel na potrzeby długoterminowego przechowywania
- Używanie usługi Azure Data Explorer do długoterminowego przechowywania dzienników usługi Microsoft Sentinel
- Co nowego: wyszukiwanie zagrożeń w usłudze Microsoft Sentinel obsługuje zapytania między zasobami USŁUGI ADX
- Jak przesyłać strumieniowo dzienniki wyszukiwania usługi Microsoft Defender ATP w usłudze Azure Data Explorer
- Seria blogów: nieograniczone zaawansowane wyszukiwanie zagrożeń za pomocą usługi Azure Data Explorer (ADX)