Microsoft Sentinel의 사용자 지정 데이터 수집 및 변환

  • 아티클

Azure Monitor의 Log Analytics는 Microsoft Sentinel 작업 영역 뒤에 있는 플랫폼 역할을 합니다. Microsoft Sentinel에 수집된 모든 로그는 기본적으로 Log Analytics에 저장됩니다. Microsoft Sentinel에서 저장된 로그에 액세스하고 KQL(Kusto 쿼리 언어) 쿼리를 실행하여 위협을 쿼리하고 네트워크 활동을 모니터링할 수 있습니다.

Log Analytics의 사용자 지정 데이터 수집 프로세스는 수집되는 데이터에 대한 높은 수준의 제어를 제공합니다. DCR(데이터 수집 규칙)을 사용하여 데이터가 작업 영역에 저장되기 전에도 데이터를 수집하고 조작합니다. 이를 통해 표준 테이블을 필터링 및 보강하고 고유한 로그 형식을 만드는 원본의 데이터를 저장하기 위해 고도로 사용자 지정 가능한 테이블을 만들 수 있습니다.

Microsoft Sentinel은 이 프로세스를 제어할 수 있는 두 가지 도구를 제공합니다.

  • 로그 수집 API를 사용하면 데이터 원본에서 Log Analytics 작업 영역으로 사용자 지정 형식 로그를 보내고 특정 표준 테이블 또는 사용자가 만든 사용자 지정 형식 테이블에 해당 로그를 저장할 수 있습니다. 열 이름 및 형식 지정에 이르기까지 이러한 사용자 지정 테이블 만들기를 완전히 제어할 수 있습니다. DCR(데이터 수집 규칙)을 만들어 이러한 데이터 흐름에 변환을 정의, 구성 및 적용합니다.

  • 데이터 수집 변환은 DCR을 사용하여 들어오는 표준 로그(및 특정 형식의 사용자 지정 로그)가 작업 영역에 저장되기 전에 기본 KQL 쿼리를 적용합니다. 이러한 변환은 관련 없는 데이터를 걸러내고, 분석 또는 외부 데이터로 기존 데이터를 보강하거나, 중요한 개인 정보를 마스킹할 수 있습니다.

이 두 도구는 아래에서 더 자세히 설명합니다.

사용 사례 및 샘플 시나리오

필터링

수집 시간 변환은 관련 없는 데이터가 작업 영역에 처음 저장되기 전에도 필터링할 수 있는 기능을 제공합니다.

포함할 레코드에 대한 기준을 지정하여 레코드(행) 수준에서 필터링하거나 특정 필드의 콘텐츠를 제거하여 필드(열) 수준에서 필터링할 수 있습니다. 관련 없는 데이터를 필터링하면 다음을 수행할 수 있습니다.

  • 스토리지 요구 사항을 줄여 비용 절감에 도움
  • 더 적은 쿼리 시간 조정이 필요하므로 성능 개선

수집 시간 데이터 변환은 다중 작업 영역 시나리오를 지원합니다.

표준화

수집 시간 변환을 사용하면 기본 제공 또는 고객 ASIM 정규화 테이블에 수집될 때 로그를 정규화할 수도 있습니다. 수집 시간 정규화를 사용하면 정규화된 쿼리 성능이 개선됩니다.

변환을 사용한 수집 시간 정규화에 대한 자세한 내용은 수집 시간 정규화를 참조하세요.

보강 및 태그 지정

수집 시간 변환을 사용하면 구성된 KQL 변환에 추가 열을 추가하여 데이터를 보강하여 분석을 개선할 수도 있습니다. 추가 열에는 기존 열의 구문 분석 또는 계산된 데이터 또는 즉석에서 만들어진 데이터 구조에서 가져온 데이터가 포함될 수 있습니다.

예를 들어 외부 HR 데이터, 확장된 이벤트 설명 또는 사용자, 위치 또는 작업 형식에 따라 분류되는 추가 정보를 추가할 수 있습니다.

마스킹

수집 시간 변환을 사용하여 개인 정보를 마스킹하거나 제거할 수도 있습니다. 예를 들어 데이터 변환을 사용하여 사회 보장 번호 또는 신용 카드 번호의 마지막 숫자를 제외한 모든 숫자를 마스킹하거나 다른 형식의 개인 데이터를 말도 안 되는 표준 텍스트 또는 더미 데이터로 바꿀 수 있습니다. 수집 시 개인 정보를 마스킹하여 네트워크 전체의 보안을 강화합니다.

Microsoft Sentinel의 데이터 수집 흐름

다음 이미지는 수집 시간 데이터 변환이 Microsoft Sentinel로 데이터 수집 흐름을 입력하는 위치를 보여 줍니다.

Microsoft Sentinel은 여러 원본에서 Log Analytics 작업 영역으로 데이터를 수집합니다.

  • 기본 제공 데이터 커넥터의 데이터는 하드 코드된 워크플로와 작업 공간 DCR의 수집 시간 변환을 일부 조합하여 Log Analytics에서 처리됩니다. 이 데이터는 표준 테이블 또는 특정 사용자 지정 테이블 세트에 저장할 수 있습니다.
  • 로그 수집 API 엔드포인트에 직접 수집된 데이터는 수집 시간 변환을 포함할 수 있는 표준 DCR에 의해 처리됩니다. 그런 다음, 이 데이터를 모든 종류의 표준 또는 사용자 지정 테이블에 저장할 수 있습니다.

Microsoft Sentinel 데이터 변환 아키텍처 다이어그램.

Microsoft Sentinel에서 DCR 지원

Log Analytics에서 DCR(Data Collection Rules )은 다양한 입력 스트림에 대한 데이터 흐름을 결정합니다. 데이터 흐름에는 변환할 데이터 스트림(표준 또는 사용자 지정), 대상 작업 영역, KQL 변환 및 출력 테이블이 포함됩니다. 표준 입력 스트림의 경우 출력 테이블은 입력 스트림과 동일합니다.

Microsoft Sentinel의 DCR 지원에는 다음이 포함됩니다.

  • 표준 DCR, 현재 새로운 로그 수집 API를 사용하는 AMA 기반 커넥터 및 워크플로에 대해서만 지원됩니다.

    각 커넥터 또는 로그 원본 워크플로에는 고유한 전용 표준 DCR이 있을 수 있지만 여러 커넥터 또는 원본이 공통 표준 DCR도 공유할 수 있습니다.

  • 현재 표준 DCR을 지원하지 않는 워크플로용 작업 영역 변환 DCR.

    단일 작업 영역 변환 DCR은 표준 DCR에서 제공하지 않는 작업 영역에서 지원되는 모든 워크플로를 제공합니다. 작업 영역에는 작업 영역 변환 DCR이 하나만 있을 수 있지만 해당 DCR에는 각 입력 스트림에 대한 별도의 변환이 포함됩니다. 또한 작업 영역 변환 DCR은 특정 테이블 집합에 대해서만 지원됩니다.

수집 시간 변환에 대한 Microsoft Sentinel의 지원은 사용 중인 데이터 커넥터 형식에 따라 다릅니다. 사용자 지정 로그, 컬렉션 시간 변환 및 데이터 수집 규칙에 대한 자세한 내용은 이 문서의 끝에 있는 다음 단계 섹션에 링크된 문서를 참조하세요.

Microsoft Sentinel 데이터 커넥터에 대한 DCR 지원

다음 표에서는 Microsoft Sentinel 데이터 커넥터 형식에 대한 DCR 지원에 대해 설명합니다.

데이터 커넥터 형식 DCR 지원
로그 수집 API를 통한 직접 수집 표준 DCR
다음과 같은 AMA 표준 로그:
  • AMA를 통한 Windows 보안 이벤트
  • Windows 전달 이벤트
  • CEF 데이터
  • Syslog 데이터
    		•  표준 DCR
    다음과 같은 MMA 표준 로그:
  • Syslog 데이터
  • CommonSecurityLog
    		•  작업 영역 변환 DCR
    진단 설정 기반 연결 특정 데이터 커넥터에 대해 지원되는 출력 테이블을 기반으로 하는 작업 영역 변환 DCR
    기본 제공된 서비스 간 데이터 커넥터:, 예:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  특정 데이터 커넥터에 대해 지원되는 출력 테이블을 기반으로 하는 작업 영역 변환 DCR
    다음과 같은 기본 제공 API 기반 데이터 커넥터:
  • 코드 없는 데이터 커넥터
    		•  표준 DCR
    기본 제공된 API 기반 데이터 커넥터:, 예:
  • 레거시 코드리스 데이터 커넥터
  • Azure Functions 기반 데이터 커넥터
    		•  현재 지원되지 않음

    사용자 지정 데이터 커넥터에 대한 데이터 변환 지원

    Microsoft Sentinel용 사용자 지정 데이터 커넥터를 만든 경우 DCR을 사용하여 작업 영역의 Log Analytics에서 데이터를 구문 분석하고 저장하는 방법을 구성할 수 있습니다.

    사용자 지정 로그 수집에는 현재 다음 테이블만 지원됩니다.

    자세한 내용은 수집 시간 변환을 지원하는 테이블을 참조하세요.

    제한 사항

    수집 시간 데이터 변환에는 현재 Microsoft Sentinel 데이터 커넥터에 대해 다음과 같은 알려진 문제가 있습니다.

    • 작업 영역 변환 DCR을 사용한 데이터 변환은 커넥터가 아닌 테이블별로만 지원됩니다.

      전체 작업 영역에 대해 작업 영역 변환 DCR은 하나만 있을 수 있습니다. 해당 DCR 내에서 각 테이블은 자체 변환이 있는 별도의 입력 스트림을 사용할 수 있습니다. 그러나 데이터를 Syslog 테이블로 보내는 두 개의 서로 다른 MMA 기반 데이터 커넥터가 있는 경우 둘 다 DCR에서 동일한 입력 스트림 구성을 사용해야 합니다. 작업 영역 변환 DCR을 사용하여 데이터를 여러 대상(Log Analytics 작업 영역)으로 분할할 수 없습니다.

    • 다음 구성은 API를 통해서만 지원됩니다.

    • 데이터 변환 구성을 적용하는 데 최대 60분이 걸립니다.

    • KQL 구문: 일부 연산자는 지원되지 않습니다. 자세한 내용은 Azure Monitor 설명서에서 KQL 제한 사항 및 지원되는 KQL 기능을 참조하세요.

    • 특정 단일 데이터 원본에서 단일 작업 영역으로만 로그를 보낼 수 있습니다. 표준 DCR을 사용하여 단일 데이터 원본에서 여러 작업 영역(대상)으로 데이터를 보내려면 작업 영역당 하나의 DCR을 만듭니다.

    다음 단계

    Microsoft Sentinel에서 수집 시간 데이터 변환 구성 시작

    Microsoft Sentinel 데이터 커넥터 형식에 대해 자세히 알아봅니다. 자세한 내용은 다음을 참조하세요.

    수집 시간 변환, 사용자 지정 로그 API 및 데이터 수집 규칙에 대한 자세한 내용은 Azure Monitor 설명서의 다음 문서를 참조하세요.