Shromažďování protokolů z textových souborů pomocí agenta služby Azure Monitor a ingestování do Služby Microsoft Sentinel

Tento článek popisuje, jak pomocí vlastních protokolů prostřednictvím konektoru AMA rychle filtrovat a ingestovat protokoly ve formátu textového souboru ze síťových nebo bezpečnostních aplikací nainstalovaných na počítačích s Windows nebo Linuxem.

Mnoho aplikací protokoluje data do textových souborů místo standardních služeb protokolování, jako je protokol událostí systému Windows nebo Syslog. Pomocí agenta služby Azure Monitor (AMA) můžete shromažďovat data v textových souborech nestandardních formátů z počítačů s Windows i Linuxem. AMA může také ovlivnit transformace dat v době shromažďování, aby je parsovat do různých polí.

Další informace o aplikacích, pro které má Microsoft Sentinel řešení pro podporu shromažďování protokolů, najdete v tématu Vlastní protokoly prostřednictvím datového konektoru AMA – Konfigurace příjmu dat do Microsoft Sentinelu z konkrétních aplikací.

Další obecné informace o ingestování vlastních protokolů z textových souborů najdete v tématu Shromažďování protokolů z textového souboru pomocí agenta služby Azure Monitor.

Požadavky

Než začnete, musíte mít nakonfigurované prostředky a příslušná oprávnění, jak je popsáno v této části.

Požadavky služby Microsoft Sentinel

• Nainstalujte řešení Microsoft Sentinel, které odpovídá vaší aplikaci, a ujistěte se, že máte oprávnění k dokončení kroků v tomto článku. Tato řešení najdete v centru obsahu v Microsoft Sentinelu a všechny zahrnují vlastní protokoly prostřednictvím konektoru AMA .

  Seznam aplikací, které mají řešení v centru obsahu, najdete v konkrétních pokynech pro jednotlivé aplikace. Pokud pro vaši aplikaci není k dispozici řešení, nainstalujte vlastní protokoly prostřednictvím řešení AMA .

  Další informace najdete v tématu Zjišťování a správa obsahu od verze Microsoft Sentinelu.

• Mít účet Azure s následujícími rolemi řízení přístupu na základě role v Azure (Azure RBAC):

  Předdefinovaná role	Obor	Důvod
  - Přispěvatel virtuálních počítačů - Připojený počítač Azure    Správce prostředků	Virtuální počítače Virtual Machine Scale Sets Servery s podporou služby Azure Arc	Nasazení agenta
  Libovolná role, která zahrnuje akci Microsoft.Resources/deployments/*	Předplatné Skupina prostředků Existující pravidlo shromažďování dat	Nasazení šablon Azure Resource Manageru
  Přispěvatel monitorování	Předplatné Skupina prostředků Existující pravidlo shromažďování dat	Vytvoření nebo úprava pravidel shromažďování dat

Požadavky pro předávání protokolů

Některé vlastní aplikace jsou hostované na uzavřených zařízeních, která vyžadují odesílání protokolů externímu kolektoru nebo předávání protokolů. V takovém scénáři platí pro službu předávání protokolů následující požadavky:

• Abyste mohli shromažďovat protokoly, musíte mít určený virtuální počítač s Linuxem jako předávač protokolů.

  • Vytvořte virtuální počítač s Linuxem na webu Azure Portal.
  • Podporované operační systémy Linux pro agenta Azure Monitoru

• Pokud váš nástroj pro předávání protokolů není virtuální počítač Azure, musí mít na něm nainstalovaného agenta Azure Arc Connected Machine.

• Virtuální počítač pro předávání protokolů s Linuxem musí mít nainstalovaný Python 2.7 nebo 3. python --version Pomocí příkazu nebo python3 --version příkazu zkontrolujte. Pokud používáte Python 3, ujistěte se, že je nastavený jako výchozí příkaz na počítači, nebo spusťte skripty pomocí příkazu python3 místo pythonu.

• Služba předávání protokolů musí mít povolenou syslog-ng funkci démon nebo rsyslog démon.

• Informace o požadavcích na místo pro váš nástroj pro předávání protokolů najdete na srovnávacím testu výkonu agenta služby Azure Monitor. Můžete si také projít tento blogový příspěvek, který obsahuje návrhy pro škálovatelný příjem dat.

• Zdroje protokolů, zabezpečovací zařízení a zařízení musí být nakonfigurované tak, aby odesílaly zprávy protokolu do démona syslogu syslogu, nikoli do místního démona syslogu.

Požadavky na zabezpečení počítače

Nakonfigurujte zabezpečení počítače pro předávání protokolů podle zásad zabezpečení vaší organizace. Nakonfigurujte například síť tak, aby odpovídala zásadám zabezpečení podnikové sítě, a změňte porty a protokoly v procesu démon tak, aby odpovídaly vašim požadavkům. Pokud chcete zlepšit konfiguraci zabezpečení počítače, zabezpečte virtuální počítač v Azure nebo si projděte tyto osvědčené postupy pro zabezpečení sítě.

Pokud vaše zařízení odesílají protokoly přes protokol TLS, protože například váš nástroj pro předávání protokolů je v cloudu, musíte nakonfigurovat proces démon syslog (rsyslog nebo syslog-ng) pro komunikaci v protokolu TLS. Další informace naleznete v tématu:

• Šifrování provozu Syslog pomocí protokolu TLS – rsyslog
• Šifrování zpráv protokolu pomocí protokolu TLS – syslog-ng

Konfigurace datového konektoru

Proces nastavení pro vlastní protokoly prostřednictvím datového konektoru AMA zahrnuje následující kroky:

1. Vytvořte cílovou tabulku v Log Analytics (nebo rozšířené proaktivní vyhledávání, pokud jste na portálu Defender).

   Název tabulky musí končit _CL a musí se skládat pouze z následujících dvou polí:

   • TimeGenerated (typu DateTime): časové razítko vytvoření zprávy protokolu.
   • RawData (typu String): zpráva protokolu v plném rozsahu.
     (Pokud shromažďujete protokoly z nástroje pro předávání protokolů, a ne přímo ze zařízení, které je hostitelem aplikace, pojmenujte toto pole .Zpráva místo RawData.)

2. Nainstalujte agenta Služby Azure Monitor a vytvořte pravidlo shromažďování dat (DCR) pomocí některé z následujících metod:

   • Portál Azure nebo Defender
   • Šablona Azure Resource Manageru

3. Pokud shromažďujete protokoly pomocí nástroje pro předávání protokolů, nakonfigurujte na daném počítači démon syslog tak, aby naslouchal zprávám z jiných zdrojů, a otevřete požadované místní porty. Podrobnosti najdete v tématu Konfigurace služby předávání protokolů pro příjem protokolů.

Vyberte příslušnou kartu pro pokyny.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Nakonfigurujte nástroj pro předávání protokolů tak, aby přijímal protokoly.

Pokud shromažďujete protokoly ze zařízení pomocí nástroje pro předávání protokolů, nakonfigurujte proces démon syslogu v nástroji pro předávání protokolů tak, aby naslouchal zprávám z jiných počítačů, a otevřete potřebné místní porty.

1. Zkopírujte následující příkazový řádek:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Přihlaste se k počítači pro předávání protokolů, na kterém jste právě nainstalovali AMA.

3. Vložte příkaz, který jste zkopírovali v posledním kroku, a spusťte instalační skript.
   Skript nakonfiguruje proces démon syslog-ng takrsyslog, aby používal požadovaný protokol a restartoval proces démon. Skript otevře port 514 pro naslouchání příchozím zprávům v protokolech UDP i TCP. Pokud chcete toto nastavení změnit, projděte si konfigurační soubor démona syslog podle typu démona spuštěného na počítači:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Pokud používáte Python 3 a není nastavený jako výchozí příkaz na počítači, nahraďte python3 python ho vloženým příkazem. Viz požadavky pro předávání protokolů.

   Poznámka:

   Pokud se chcete vyhnout scénářům plného disku, ve kterých agent nemůže fungovat, doporučujeme nastavit syslog-ng nebo rsyslog nakonfigurovat, aby neukládaly nepotřebné protokoly. Scénář Full Disk naruší funkci nainstalovaného AMA. Další informace najdete v tématu RSyslog nebo Syslog-ng.

Konfigurace zabezpečovacího zařízení nebo zařízení

Konkrétní pokyny ke konfiguraci aplikace nebo zařízení zabezpečení najdete v tématu Vlastní protokoly prostřednictvím datového konektoru AMA – Konfigurace příjmu dat do Služby Microsoft Sentinel z konkrétních aplikací.

Obraťte se na poskytovatele řešení a požádejte o další informace nebo informace o nedostupnosti zařízení nebo zařízení.

Související obsah

• Pravidla shromažďování dat ve službě Azure Monitor
• Shromažďování protokolů z textového souboru pomocí agenta služby Azure Monitor