Сжатие журналов в Центры событий Azure

Сжатие журналов — это способ хранения данных в Центрах событий с помощью хранения ключа события. По умолчанию каждый раздел концентратора событий или Kafka создается с сохранением на основе времени или политикой очистки удаления , где события очищаются после истечения срока хранения. Вместо использования грубого хранения на основе времени можно использовать механизм хранения на основе ключей событий, где Центры событий переобучат последнее известное значение для каждого ключа события концентратора событий или раздела Kafka.

Как показано на следующем рисунке, журнал событий (секции концентратора событий) может содержать несколько событий с одним ключом. Если вы используете компактный концентратор событий, служба Центров событий заботится о очистке старых событий и сохранении последних событий заданного ключа события.

Ключ сжатия

Ключ секции, заданный для каждого события, используется в качестве ключа сжатия.

Надгробий

Клиентское приложение может пометить существующие события концентратора событий для удаления во время задания сжатия. Эти маркеры известны как Томбстоуны. Клиентские приложения задают нагруженные камни, отправляя новое событие с существующим ключом и полезными null данными события.

Как работает сжатие журналов

Вы можете включить сжатие журналов на каждом уровне концентратора событий или раздела Kafka. Вы можете принять события в компактную статью из любого протокола поддержки. Центры событий Azure служба выполняет задание сжатия для каждого компактного концентратора событий. Задание сжатия очищает каждый журнал секций концентратора событий, сохраняя только последнее событие заданного ключа события.

В любое время журнал событий компактного концентратора событий может содержать чистую часть и грязное часть. Чистая часть содержит события, которые сжимаются заданием сжатия, а часть грязное состоит из событий, которые еще не уплотняются.

Служба Центров событий управляет выполнением задания сжатия, и пользователь не может управлять им. Поэтому служба Центров событий определяет, когда следует начать сжатие и как быстро она сжимает заданный компактный концентратор событий.

Гарантии сжатия

Функция сжатия журналов центров событий обеспечивает следующую гарантию:

• Порядок сообщений всегда поддерживается на уровне ключа и секции. Задание сжатия не изменяет порядок сообщений, но только отключает карта старые события одного и того же ключа.
• Порядковый номер и смещение сообщения никогда не изменяются.
• Любой потребитель, выполняющийся с начала журнала событий, видит по крайней мере окончательное состояние всех событий в том порядке, в каком они были написаны.
• Потребители по-прежнему могут видеть события, помеченные как удаленные в течение времени, определенного временем хранения Tombstone (часы).

Варианты использования сжатия журналов

Сжатие журналов может быть полезным в сценариях, в которых выполняется потоковая передача одного набора обновляемых событий. Так как сжатые центры событий сохраняют только последние события, пользователям не нужно беспокоиться о росте хранилища событий. Поэтому сжатие журналов обычно используется в таких сценариях, как запись измененных данных (CDC), обслуживание событий в таблицах для потоковой обработки приложений и кэширования событий.

Квоты и ограничения

Дополнительные сведения о квотах и ограничениях см. в разделе "Квоты и ограничения Центров событий".

Следующие шаги

Инструкции по использованию сжатия журналов в Центрах событий см. в разделе "Использование сжатия журналов"