Používání vlastního strojového učení (ML) do služby Microsoft Sentinel

Strojové učení (ML) je jedním z hlavních základů služby Microsoft Sentinel a jedním z hlavních atributů, které ho odlišují. Microsoft Sentinel nabízí ML v několika prostředích: integrovaný do modulu fúzní korelace a poznámkových bloků Jupyter a nově dostupné platformy Byo ML (Build-Your-Own ML).

Modely detekce ML se můžou přizpůsobit jednotlivým prostředím a změnám chování uživatelů, snížit počet falešně pozitivních výsledků a identifikovat hrozby, které by se při tradičním přístupu nenašly. Mnoho bezpečnostních organizací chápe hodnotu ML pro zabezpečení, i když ne mnoho z nich má luxus odborníků, kteří mají zkušenosti se zabezpečením i ml. Architekturu, kterou zde prezentujeme, jsme navrhli pro organizace a profesionály v oblasti zabezpečení, aby mohli růst společně s námi na jejich cestě k strojovému učení. Organizace, které s ML začíná nebo nemají potřebné znalosti, můžou díky integrovaným funkcím strojového učení služby Microsoft Sentinel získat významnou hodnotu ochrany.

Co je platforma Přineste si vlastní strojové učení (BYO-ML)?

Pro organizace, které mají prostředky ML a chtějí vytvářet přizpůsobené modely ML pro své jedinečné obchodní potřeby, nabízíme platformu BYO-ML. Platforma k vytvoření prostředí ML využívá prostředí Azure Databricks/Apache Spark a poznámkové bloky Jupyter. Poskytuje následující komponenty:

• balíček BYO-ML, který obsahuje knihovny, které vám pomůžou získat přístup k datům a odesílat výsledky zpět do Log Analytics (LA), abyste mohli výsledky integrovat s detekcí, vyšetřováním a proaktivním vyhledáváním.

• Šablony algoritmů STROJOVÉHO UČENÍ, které můžete přizpůsobit konkrétním problémům se zabezpečením ve vaší organizaci.

• Ukázkové poznámkové bloky pro trénování modelu a naplánování vyhodnocování modelu

Kromě toho můžete použít vlastní modely ml a/nebo vlastní prostředí Spark pro integraci se službou Microsoft Sentinel.

S platformou BYO-ML můžete rychle začít vytvářet vlastní modely ML:

• Poznámkový blok s ukázkovými daty vám pomůže získat kompletní praktické zkušenosti, aniž byste se museli starat o zpracování produkčních dat.

• Balíček integrovaný s prostředím Spark snižuje problémy a třecí plochy při správě infrastruktury.

• Knihovny podporují přesuny dat. Poznámkové bloky pro trénování a bodování předvádějí kompletní prostředí a slouží jako šablona pro přizpůsobení vašemu prostředí.

Případy použití

Platforma a balíček BYO-ML výrazně zkracují čas a úsilí, které budete potřebovat k vytváření vlastních detekcí ML, a uvolní schopnost řešit konkrétní problémy se zabezpečením ve službě Microsoft Sentinel. Platforma podporuje následující případy použití:

Trénování algoritmu ML pro získání přizpůsobeného modelu: Můžete použít existující algoritmus strojového učení (sdílený Microsoftem nebo komunitou uživatelů) a snadno ho vytrénovat na vlastních datech, abyste získali přizpůsobený model ML, který lépe vyhovuje vašim datům a prostředí.

Úprava šablony algoritmu ML pro získání přizpůsobeného modelu: Můžete upravit šablonu algoritmu ML (sdílenou Microsoftem nebo komunitou uživatelů) a vytrénovat upravený algoritmus na vlastních datech tak, aby odvozoval přizpůsobený model, který odpovídá vašemu konkrétnímu problému.

Vytvoření vlastního modelu: Vytvořte si vlastní model od začátku pomocí platformy a nástrojů BYO-ML služby Microsoft Sentinel.

Integrace prostředí Databricks/Spark: Integrujte stávající prostředí Databricks/Spark do služby Microsoft Sentinel a pomocí knihoven a šablon BYO-ML vytvářejte modely ML pro jejich jedinečné situace.

Import vlastního modelu ML: Můžete importovat vlastní modely ML a pomocí platformy BYO-ML a nástrojů je integrovat se službou Microsoft Sentinel.

Sdílení algoritmu ML: Sdílejte algoritmus strojového učení, který má komunita přijmout a přizpůsobit.

Použití ML k posílení SecOps: Použijte vlastní model ML a výsledky k proaktivnímu vyhledávání, detekci, vyšetřování a reakci.

Tento článek popisuje komponenty platformy BYO-ML a způsob využití platformy a algoritmu neobvyklého přístupu k prostředkům k zajištění přizpůsobené detekce strojového učení pomocí služby Microsoft Sentinel.

Prostředí Azure Databricks/Spark

Apache Spark udělal skok kupředu ve zjednodušení velkých objemů dat tím, že poskytuje jednotnou architekturu pro vytváření datových kanálů. Azure Databricks poskytuje cloudovou platformu s nulovou správou postavenou na Sparku. Pro platformu BYO-ML doporučujeme používat Databricks, abyste se mohli soustředit na hledání odpovědí, které mají okamžitý dopad na vaši firmu, a ne na řešení problémů s datovými kanály a platformami.

Pokud už máte Databricks nebo jakékoli jiné prostředí Sparku a dáváte přednost použití stávajícího nastavení, bude balíček BYO-ML fungovat i pro ně.

Balíček BYO-ML

Balíček BYO ML obsahuje osvědčené postupy a výzkum Microsoftu v oblasti zabezpečení na front-endu STROJOVÉHO UČENÍ. V tomto balíčku poskytujeme následující seznam nástrojů, poznámkových bloků a šablon algoritmů pro problémy se zabezpečením.

První šablona algoritmu ML, která nabízíme, je pro detekci neobvyklého přístupu k prostředkům. Je založená na algoritmu filtrování založeném na spolupráci a trénuje se pomocí protokolů přístupu ke sdíleným složkám Windows (události zabezpečení s ID 5140). Klíčové informace, které potřebujete pro tento model v protokolu, je párování uživatelů a prostředků, ke které se přistupuje.

Příklad návodu: Detekce přístupu k neobvyklým sdíleným složkám

Teď, když jste se seznámili s klíčovými komponentami platformy BYO-ML, tady je příklad, který vám ukáže, jak používat platformu a komponenty k zajištění přizpůsobené detekce ML.

Nastavení prostředí Databricks/Spark

Pokud ho ještě nemáte, budete si muset nastavit vlastní prostředí Databricks. Pokyny najdete v dokumentu Rychlý start k Databricks .

Pokyny k automatickému exportu

Pokud chcete vytvářet vlastní modely ML založené na vlastních datech ve službě Microsoft Sentinel, budete muset exportovat data z Log Analytics do prostředku úložiště objektů blob nebo centra událostí, aby k němu model ML měl přístup z Databricks. Zjistěte, jak ingestovat data do služby Microsoft Sentinel.

V tomto příkladu potřebujete mít trénovací data pro protokol přístupu ke sdílené složce v úložišti objektů blob v Azure. Formát dat je zdokumentovaný v poznámkovém bloku a knihovnách.

Data z Log Analytics můžete automaticky exportovat pomocí Azure CLI.

Abyste mohli spouštět příkazy, musíte mít přiřazenou roli Přispěvatel ve vašem pracovním prostoru služby Log Analytics, účtu úložiště a prostředku EventHub.

Tady je ukázková sada příkazů pro nastavení automatického exportu:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Export vlastních dat

U vlastních dat, která automatický export Log Analytics nepodporuje, můžete k přesunu dat použít aplikaci logiky nebo jiná řešení. Můžete se podívat na blog a skript Export dat Log Analytics do úložiště objektů blob .

Korelace s daty mimo službu Microsoft Sentinel

Můžete také přenést data z prostředí mimo službu Microsoft Sentinel do úložiště objektů blob nebo centra událostí a při vytváření modelů ML je korelovat s daty služby Microsoft Sentinel.

Zkopírování a instalace souvisejících balíčků

Zkopírujte balíček BYO-ML z výše uvedeného úložiště GitHub služby Microsoft Sentinel do prostředí Databricks. Pak otevřete poznámkové bloky a podle pokynů v poznámkovém bloku nainstalujte požadované knihovny do clusterů.

Trénování a vyhodnocování modelů

Postupujte podle pokynů v těchto dvou poznámkových blocích a změňte konfigurace podle vašeho vlastního prostředí a prostředků, postupujte podle kroků pro trénování a sestavení modelu a pak naplánujte model tak, aby vyhodnocoval příchozí protokoly přístupu ke sdílené složce.

Zápis výsledků do Log Analytics

Po naplánování bodování můžete pomocí modulu v hodnoticím poznámkovém bloku zapsat výsledky skóre do pracovního prostoru služby Log Analytics přidruženého k instanci služby Microsoft Sentinel.

Kontrola výsledků ve službě Microsoft Sentinel

Pokud chcete zobrazit výsledky se skóre společně se souvisejícími podrobnostmi protokolu, vraťte se na portál Microsoft Sentinel. V části Protokoly> vlastní protokoly uvidíte výsledky v AnomalousResourceAccessResult_CL tabulce (nebo vlastním názvu vlastní tabulky). Tyto výsledky můžete použít k vylepšení možností prošetření a proaktivního vyhledávání.

Vytvoření vlastního analytického pravidla s výsledky ML

Jakmile ověříte, že výsledky ML jsou ve vlastní tabulce protokolů a budete spokojeni s věrností skóre, můžete na základě výsledků vytvořit detekci. Na portálu Microsoft Sentinel přejděte do části Analýza a vytvořte nové pravidlo detekce. Níže je příklad znázorňující dotaz použitý k vytvoření detekce.

Zobrazení incidentů a reakce na ně

Jakmile na základě výsledků ML nastavíte analytické pravidlo a výsledky překročí prahovou hodnotu, kterou jste nastavili v dotazu, vygeneruje se incident, který se objeví na stránce Incidenty ve službě Microsoft Sentinel.

Další kroky

V tomto dokumentu jste zjistili, jak používat platformu BYO-ML služby Microsoft Sentinel k vytvoření nebo importu vlastních algoritmů strojového učení k analýze dat a detekci hrozeb.

• Podívejte se na příspěvky o strojovém učení a spoustě dalších relevantních témat na blogu služby Microsoft Sentinel.