Нормализация времени приема

  • Статья

Анализ времени запроса

В качестве обсуждения в обзоре ASIM Microsoft Sentinel использует как время запроса, так и нормализацию времени приема, чтобы воспользоваться преимуществами каждого из них.

Чтобы использовать нормализацию времени запроса, используйте средства синтаксического анализа времени запроса, например _Im_Dns в запросах. Нормализация с помощью синтаксического анализа времени запроса имеет несколько преимуществ:

  • Сохранение исходного формата: нормализация времени запроса не требует изменения данных, таким образом сохраняя исходный формат данных, отправленный источником.
  • Избегая потенциального дубликата хранилища: так как нормализованные данные являются только представлением исходных данных, не требуется хранить как исходные, так и нормализованные данные.
  • Упрощенная разработка. Так как средства синтаксического анализа времени запроса представляют представление данных и не изменяют данные, их легко разрабатывать. Разработка, тестирование и исправление средства синтаксического анализа можно сделать на существующих данных. Кроме того, средства синтаксического анализа можно исправить при обнаружении проблемы, и исправление будет применяться к существующим данным.

Анализ времени приема

Хотя средства синтаксического анализа времени запросов ASIM оптимизированы, синтаксический анализ времени запроса может замедлить запросы, особенно в больших наборах данных.

Синтаксический анализ времени позволяет преобразовывать события в нормализованную схему по мере приема в Microsoft Sentinel и хранения их в нормализованном формате. Анализ времени приема менее гибкий и синтаксический анализ сложнее разрабатывать, но так как данные хранятся в нормализованном формате, обеспечивают более высокую производительность.

Нормализованные данные можно хранить в собственных нормализованных таблицах Microsoft Sentinel или в пользовательской таблице, использующей схему ASIM. Пользовательская таблица с схемой, близкой к схеме ASIM, также обеспечивает преимущества нормализации времени приема.

В настоящее время ASIM поддерживает следующие собственные нормализованные таблицы в качестве назначения для нормализации времени приема:

Преимущество собственных нормализованных таблиц заключается в том, что они включены по умолчанию в средства синтаксического анализа ASIM. Пользовательские нормализованные таблицы можно включить в унифицированные средства синтаксического анализа, как описано в разделе "Управление синтаксического анализа".

Объединение нормализации времени приема и времени запроса

Запросы всегда должны использовать средства синтаксического анализа времени запроса, например использовать как время запроса, так _Im_Dns и нормализацию времени приема. Собственные нормализованные таблицы включаются в запрашиваемые данные с помощью средства синтаксического анализа заглушки.

Средство синтаксического анализа заглушки — это средство синтаксического анализа времени запроса, которое используется в качестве входных данных нормализованной таблицы. Так как нормализованная таблица не требует синтаксического анализа, заглушка эффективна.

Средство синтаксического анализа заглушки представляет представление вызывающего запроса, добавляющего в собственную таблицу ASIM:

  • Псевдонимы — чтобы не тратить хранилище на повторяющиеся значения, псевдонимы не хранятся в собственных таблицах ASIM и добавляются во время запроса средствами синтаксического анализа заглушки.
  • Константные значения — как псевдонимы, так и по той же причине, нормализованные таблицы ASIM также не хранят константные значения, такие как EventSchema. Средство синтаксического анализа заглушки добавляет эти поля. Нормализованная таблица ASIM используется многими источниками, а средства синтаксического анализа времени могут изменить выходную версию. Таким образом, такие поля, как EventProduct, EventVendor и EventSchemaVersion, не являются константами и не добавляются средства синтаксического анализа заглушки.
  • Фильтрация — средство синтаксического анализа заглушки также реализует фильтрацию. Хотя собственные таблицы ASIM не требуют средства анализа фильтрации для повышения производительности, фильтрация необходима для поддержки включения в унифицированный синтаксический анализатор.
  • Обновления и исправления . Использование средства синтаксического анализа заглушки позволяет быстрее устранять проблемы. Например, если данные были приняты неправильно, IP-адрес может быть не извлечен из поля сообщения во время приема. IP-адрес можно извлечь с помощью средства синтаксического анализа заглушки во время запроса.

При использовании пользовательских нормализованных таблиц создайте собственный средство синтаксического анализа заглушки для реализации этой функции и добавьте его в унифицированные средства синтаксического анализа, как описано в разделе "Управление синтаксического анализа". Используйте средство синтаксического анализа заглушки для собственной таблицы, например средство синтаксического синтаксического анализа собственной таблицы DNS и его аналог фильтрации, в качестве отправной точки. Если таблица полунормализована, используйте средство синтаксического анализа заглушки для выполнения дополнительного синтаксического анализа и нормализации.

Дополнительные сведения о написании синтаксического анализа см. в разделе "Разработка синтаксического анализа ASIM".

Реализация нормализации времени приема

Чтобы нормализовать данные при приеме, необходимо использовать правило сбора данных (DCR). Процедура реализации DCR зависит от метода, используемого для приема данных. Дополнительные сведения см. в статье "Преобразование или настройка данных во время приема в Microsoft Sentinel".

Запрос преобразования KQL является ядром DCR. Версия KQL, используемая в контроллерах домена, немного отличается от версии, используемой в других частях Microsoft Sentinel для удовлетворения требований к обработке событий конвейера. Поэтому необходимо изменить любой средство синтаксического анализа во время запроса, чтобы использовать его в DCR. Дополнительные сведения о различиях и преобразовании средства синтаксического анализа во время запроса в средство синтаксического анализа времени приема см. в статье об ограничениях KQL DCR.

Дальнейшие действия

Дополнительные сведения см. в разделе: