Обслуживание баз данных в Exchange 2010

  • Article

Исходная статья опубликована в среду, 14 декабря 2011 г.

За последние несколько месяцев было много разговоров о том, что такое фоновое обслуживание баз данных и почему оно важно для баз данных Exchange 2010. Надеюсь, эта статья ответит на подобные вопросы.

Какие задачи обслуживания требуется выполнять для базы данных?

Для баз данных Exchange необходимо регулярно выполнять следующие задачи обслуживания:

Сжатие базы данных

Основная цель сжатия базы данных — освободить неиспользуемое пространство в файле базы данных (однако следует отметить, что при этом неиспользуемое пространство не возвращается файловой системе). Смысл этой операции — освободить страницы в базе данных за счет сжатия записей до минимально возможного числа страниц, тем самым сократив необходимое количество операций ввода-вывода. Компонент ESE реализует эту операцию, беря метаданные базы данные, т. е. информацию в базе данных, описывающую таблицы, и для каждой таблицы просматривает каждую страницу и пытается переместить записи в логически упорядоченные страницы.

Обеспечение экономичности структуры файла базы данных важно по нескольким причинам, в том числе следующим:

  1. уменьшение времени, связанного с резервным копированием файла базы данных;
  2. поддержка предсказуемого размера файла базы данных, что важно для процедуры определения размера сервера или хранилища.

До Exchange 2010 операции сжатия базы данных выполнялись в течение периода обслуживания. Этот процесс генерировал случайные операции ввода-вывода при проходе по базе данных и изменении порядка записей на страницах. Этот процесс был буквально слишком хорош в предыдущих версиях — за счет освобождения страниц базы данных и изменения порядка записей страницы всегда были упорядочены случайным образом. Наряду с архитектурой схемы хранилища это означало, что любой запрос на извлечение набора данных (например, загрузка элементов из папки) всегда приводил к возникновению случайных операций ввода-вывода.

В Exchange 2010 сжатие базы данных было переработано, чтобы смежность имела больший приоритет, чем сжатие. Кроме того, сжатие базы данных было удалено из периода обслуживания и теперь это фоновый процесс, который выполняется постоянно.

Дефрагментация базы данных

Дефрагментация базы данных — это новая возможность в Exchange 2010, которую также называют дефрагментацией дерева OLD v2 и B+. Ее цель — сжать, а также дефрагментировать (расположить последовательно) таблицы базы данных, которые были отмечены как последовательные. Дефрагментация базы данных важно для обеспечения эффективного использования дисковых ресурсов со временем (сделать операции ввода-вывода более последовательными, а не случайными), а также обеспечения компактности таблиц, отмеченных как последовательные.

Процесс дефрагментации базы данных можно представить как монитор, отслеживающий другие страничные операции базы данных, чтобы определить, нужно ли что-то сделать. Этот процесс отслеживает все таблицы для свободных страниц, а если таблица достигает порогового значения со слишком высоким процентом свободных страниц от общего числа страниц дерева B+, она возвращает свободные страницы корневой таблице. Процесс также обеспечивает смежность в табличном наборе с помощью подсказок о последовательности данных (таблица создана с известным последовательным шаблоном использования). Если дефрагментация данных обнаруживает операцию сканирования или предварительного чтения в последовательной таблице, а записи не хранятся на последовательных страницах в таблице, процесс выполнит дефрагментацию раздела таблицы, переместив все затронутые страницы в обновленное дерево B+. Вы можете использовать счетчики производительности (описывается в разделе о мониторинге), чтобы узнать, как мало операций выполняется при дефрагментации после достижения стабильного состояния.

Дефрагментация базы данных — это фоновый процесс, который анализирует непрерывность базы данных при выполнении операций, а затем инициирует асинхронные операции. Дефрагментация базы данных запускается в двух ситуациях:

  1. Максимальное количество незавершенных задач— не позволяет процессу дефрагментации выполнять слишком много операций при первом проходе, если база данных была значительно изменена.
  2. Задержка 100 мс — если система перегружена, дефрагментация базы данных начнет откладывать задачи дефрагментации. Эти операции будут выполнены при следующем проходе этого операционного шаблона. Ничто не запоминает, какая операция была отложена, и не возвращается к ней после освобождения ресурсов.

Проверка контрольной суммы базы данных

Проверка контрольной суммы базы данных (которую также называют проверкой базы данных) — это процесс, при котором база данных читается крупными блоками, а для каждой страницы проверяется контрольная сумма (проверка физического повреждения страницы). Основная цель проверки контрольной суммы — обнаружить физические повреждение и потерянные данные, которые нельзя обнаружить транзакционными операциями (просроченные страницы).

В Exchange 2007 RTM и во всех предыдущих версиях, операции проверки контрольной суммы выполнялись во время резервного копирования. Это представляло проблему для реплицированных баз данных, так как резервная копия создавалась только для копии, контрольная сумма которой была проверена. В ситуации, когда была архивирована пассивная копия, это означало, что контрольная сумма активной копии не проверялась. Поэтому в Exchange 2007 SP1 мы ввели дополнительную задачу обслуживания, контрольная сумма обслуживания (дополнительные сведения см. в разделе Изменения Exchange 2007 SP1 ESE. Часть 2).

В Exchange 2010 при сканировании базы данных проверяется контрольная сумма базы данных и выполняются операции после сбоя хранилища Exchange 2010. Пространство может быть занято из-за сбоев системы, а процедура сканирования базы данных находит и восстанавливает потерянное пространство. При проверке контрольной суммы базы данных считывается примерно 5 МБ в секунду для каждой активно сканируемой базы данных (для активных и пассивных копий) с помощью операций ввода-вывода по 256 КБ. Операции ввода-вывода на 100% последовательны. Система в Exchange 2010 создана с предположением, что каждая база данных полностью сканируется один раз в семь дней.

Если на сканирование уходит больше семи дней, в журнал приложений заносится событие:

Код события: 733
Тип события: информация
Источник события: ESE
Описание: банк данных (15964) MDB01: задача проверки контрольной суммы обслуживания базы данных НЕ будет завершена вовремя для базы данных "d:\mdb\mdb01.edb". Это проход начался 10.11.2011 и выполнялся 604800 секунд (больше 7 дней).

Если на завершение проверки активной копии базы данных уйдет больше семи дней, следующая запись будет добавлена в журнал приложений после завершения проверки:

Код события: 735
Тип события: информация
Источник события: ESE
Описание: хранилище информации (15964) MDB01: завершен полный проход обслуживания базы данных "d:\mdb\mdb01.edb". Проход начался 10.11.2011 и выполнялся 777600 секунд. Эта задача обслуживания базы данных превысила пороговое значение в 7 дней для завершения обслуживания. Следует выполнить одно или несколько следующих действий: увеличьте производительность или пропускную способность операций ввода-вывода тома, на котором расположена база данных, сократите размер базы данных и число операций обслуживания, не связанных с базой данных.

Кроме того, предупреждение также будет записано в журнал приложений, если на выполнение операции потребуется более 7 дней.

В Exchange 2010 есть два режима для проверки контрольной суммы для активных копий базы данных:

  1. Фоновое выполнение 24 часа в сутки, 7 дней в неделю— этот механизм используется по умолчанию. Его следует применять для всех баз данных, особенно для тех, размер которых превышает 1 ТБ. Exchange проверяет базу данных не чаще одного раза в день. Эта операция чтения на 100% последовательна (что упрощает ее выполнение на диске) и уравнивает скорость сканирования до 5 МБ/с в большинстве систем. Процесс сканирования выполняется в одном потоке и регулируется задержкой операций ввода-вывода. Чем больше задержка, тем больше проверка контрольной суммы замедляет систему, так как она дольше ждет завершения последнего задания перед переходом к другому набору страниц (одновременно читаются 8 страниц).
  2. Выполнение в запланированном процессе обслуживания базы данных почтовых ящиков — при выборе этого параметра проверка контрольной суммы базы данных выполняется последней. Вы можете настроить длительность ее выполнения, изменив расписание обслуживания базы данных почтовых ящиков. Этот вариант следует использовать только с базами данных меньше 1 терабайта (ТБ), для полного сканирования которых требуется меньше времени.

Независимо от размера базы данных рекомендуется использовать механизм по умолчанию и не настраивать операции проверки контрольной суммы для активной базы данных как запланированный процесс (т. е. не настраивайте их как процесс в периоде обслуживания).

Для пассивных копий баз данных проверка контрольной суммы может осуществляться во время выполнения непрерывно в фоновом режиме.

Исправление страниц

Исправление страниц — это процесс, при котором поврежденные страницы заменяются работоспособными копиями. Как было сказано ранее, обнаружение поврежденных страниц — это часть проверки контрольной суммы (кроме того, поврежденные страницы также проверяются во время выполнения, если страница хранится в кэше базы данных). Операция исправления страниц выполняется только для копий базы данных высокой доступности. Способ восстановления поврежденной страницы зависит от того, является ли копия базы данных высокой доступности активной или пассивной.

Процесс исправления страниц

Для активных копий базы данных Для пассивных копий базы данных
  1. Обнаруживаются поврежденные страницы.
  2. Маркер записывается в активный файл журнала. Он указывает номер поврежденной страницы и сообщает о том, что эту страницу нужно заменить.
  3. Запись добавляется в список запросов на исправление страницы.
  4. Активный файл журнала закрывается.
  5. Служба репликации передает файл журнала пассивным копиям базы данных.
  6. Служба репликации на конечном сервере почтовых ящиков получает файл журнала и изучает его.
  7. Банк данных на конечном сервере воспроизводит файл журнала до маркера, получает рабочую версию страницы, вызывает процедуру обратного вызова службы преобразования и отправляет страницу исходному серверу почтовых ящиков.
  8. Исходный сервер почтовых ящиков получает рабочую версию страницы, подтверждает наличие записи в списке запросов на исправление страниц и записывает страницу в буфер журнала, после чего она добавляется в кэш базы данных.
  9. Соответствующая запись в списке запросов на исправление страниц удаляется.
  10. На этот момент база данных считается исправленной (позже контрольная точка изменится, и кэш базы данных будет очищен, а поврежденная страница на диске будет перезаписана).
  11. Любая другая копия этой страницы (полученная от другой пассивной копии) будет автоматически удалена, так как в списке запросов на исправление страниц нет соответствующей записи.
  1. На сервере почтовых ящиков, на котором обнаружены поврежденные страницы, воспроизведение журнала приостанавливается для соответствующей копии базы данных.
  2. Служба репликации координируется с сервером почтовых ящиков, на котором размещена активная копия базы данных, и получает поврежденные страницы и требуемый диапазон журнала из заголовка активной копии базы данных.
  3. Сервер почтовых ящиков обновляет заголовок базы данных соответствующей копии, вставляя новый диапазон журнала.
  4. Этот сервер почтовых ящиков уведомляет сервер почтовых ящиков, на котором размещена активная копия базы данных и файлы журнала которого ему требуются.
  5. Сервер почтовых ящиков получает необходимые файлы журналов и изучает их.
  6. Сервер почтовых ящиков вставляет рабочие версии страниц базы данных, полученные от активной копии базы данных. Они записываются в буфер журнала и, соответственно, страница добавляется в кэш базы данных.
  7. Сервер почтовых ящиков возобновляет воспроизведение журнала.

Обнуление страниц

Обнуление страниц базы данных — это процесс, при котором удаленные страницы в базе данных перезаписываются шаблоном (нулями) для обеспечения безопасности, что значительно усложняет обнаружение данных.

В Exchange 2007 RTM и всех предыдущих версиях операции обнуления страниц выполнялись в процессе потокового резервного копирования. Кроме того, из-за этого они не записывались в журнал (т .е. обнуление страниц не приводило к созданию файлов журнала). Это представляло проблему для реплицированных баз данных, так как в пассивных копиях страницы никогда не обнулялись, а в пассивных копиях обнуление страниц происходило только при потоковом резервном копировании. Поэтому в Exchange 2007 SP1 мы ввели дополнительную задачу обслуживания, обнуление страниц базы данных во время проверки контрольной суммы (дополнительные сведения см. в разделе Изменения Exchange 2007 SP1 ESE. Часть 2). При активации этой задачи обнуление страниц выполняется в период обслуживания, изменения при этом записываются в журнал и реплицируются в пассивные копии.

В реализации Exchange 2007 SP1 между удалением и обнулением страницы есть значительная задержка, связанная с тем, что обнуление выполняется в течение запланированного периода обслуживания. Поэтому в Exchange 2010 SP1 задача обнуления страниц теперь реализуется постоянно во время выполнения, при этом страницы обнуляются во время транзакции при необратимом удалении.

Кроме того, страницы базы данных также могут быть обнулены в процессе проверки контрольной суммы. В этом случае обрабатываются следующие страницы:

  • удаленные записи, которые не удалось очистить во время выполнения из-за остановленных задач (если система перегружена) или сбоя хранилища перед обнулением данных;
  • удаленные таблицы и дополнительные индексы — при удалении этих элементов их содержимое не очищается активно, поэтому процедура проверки контрольной суммы обнаруживает, что эти страницы не принадлежат допустимым объектам, и очищает их.

Дополнительные сведения об обнулении страниц в Exchange 2010 см. в разделе Основные сведения об обнулении страниц в Exchange 2010.

Почему эти задачи просто не выполняются в запланированный период обслуживания?

Использование запланированного периода обслуживания для обнуления страниц, дефрагментации и сжатия базы данных и проверки контрольной суммы вызывает серьезные проблемы, в том числе следующие:

  1. Применение запланированных операций обслуживания усложняет круглосуточное управление центрами обработки данных, в которых размещены почтовые ящики из разных часовых поясов, а период обслуживания небольшой или вообще отсутствует. В предыдущих версиях у сжатия базы данных не было механизмов регулирования, а так как операции ввода-вывода в основном случайные, это может привести к ухудшению производительности.
  2. У баз данных почтовых ящиков Exchange 2010, развернутых на более низком уровне хранилища (например, 7.2K SATA/SAS), эффективная пропускная способность операций ввода-вывода компонента ESEдля выполнения задач периода обслуживания сокращена. Это вызывает проблемы, так как это значит, что задержки операций ввода-вывода увеличатся в период обслуживания, что не позволит завершить операции обслуживания вовремя.
  3. Использование JBOD вызывает дополнительные трудности для баз данных в области проверки данных. При применении хранилища RAIDконтроллер массива часто проверяет указанную группу дисков, находя и переназначая поврежденные блоки. Поврежденный блок (или сектор) — это блок на диске, который нельзя использовать из-за необратимого сбоя (например, физического повреждения частей диска). Контроллер массива также часто читает данные с зеркального диска, если при исходном запросе на чтение был обнаружен поврежденный блок. Контроллер массива отмечает блок как поврежденный и записывает данные в новый блок. Все это происходит без ведома приложения, лишь слегка увеличивается задержка при чтении диска. Без RAID или контроллера массива оба эти метода обнаружения и исправления поврежденных блоков недоступны. Без RAID приложение (ESE) обнаруживает и исправляет поврежденные блоки (т. е. проверяет контрольную сумму базы данных).
  4. Для больших баз данных на больших дисках требуются более длительные периоды для обслуживания последовательности и сжатия базы данных.

Из-за указанных ранее проблем в Exchange 2010 требовалось вынести задачи обслуживания базы данных из запланированного процесса и реализовать их во время выполнения в фоновом режиме.

Не повлияют ли эти фоновые задачи на конечных пользователей?

Мы разработали эти фоновые задачи так, чтобы они автоматически регулировались в зависимости от действий, выполняемых с базой данных. Кроме того, рекомендации по определению размера профилей сообщений учитывают эти задачи обслуживания. Однако следует быть осторожными при разработке архитектуры хранилища. Если вы планируете хранить несколько баз данных на одном LUN или томе, убедитесь, что общий размер всех баз данных не превышает 2 ТБ. Поэтому обслуживание базы данных регулируется за счет сериализации в зависимости от количества баз данных или томов, при этом предполагается, что общий размер не превышает 2 ТБ.

Как можно отслеживать эффективность фоновых задач обслуживания?

В предыдущих версиях Exchange события в журнале приложений использовались для отслеживания таких операций, как дефрагментация базы данных. В Exchange 2010 события дефрагментации и сжатия не записываются в журнал. Однако вы можете использовать счетчики производительности для отслеживания фоновых задач обслуживания в объекте База данных MSExchange==> Экземпляры:

Счетчик Описание
Длительность обслуживания базы данных Количество часов, прошедших после завершения последней операции обслуживания этой базы данных
Неверные контрольные суммы страниц при обслуживании базы данных Количество неисправимых контрольных сумм страниц, обнаруженных при проходе обслуживания базы данных
Задачи дефрагментации Количество фоновых задач дефрагментации, выполняемых в данный момент
Выполнено задач дефрагментации/с Частота завершаемых фоновых задач дефрагментации

Следующие счетчики обнуления страниц можно найти в объекте База данных MSExchange:

Счетчик Описание
Обнулено страниц при обслуживании базы данных Указывает число страниц, обнуленных СУБД после вызова счетчика производительности
Обнулено страниц при обслуживании базы данных/с Указывает скорость обнуления страниц ядром СУБД

Как проверить пустое пространство в базе данных?

Вы можете использовать командную консоль для проверки пустого пространства в базе данных. Для баз данных почтовых ящиков используйте следующую команду:

Get-MailboxDatabase MDB1 -Status | FL AvailableNewMailboxSpace

Для баз данных общих папок используйте следующую команду:

Get-PublicFolderDatabase PFDB1 –Status | FL AvailableNewMailboxSpace

Как можно освободить пустое пространство?

Естественно, что после того, как вы обнаружили пустое пространство в базе данных, возникает вопрос: "Как освободить пустое пространство?"

Многие предполагают, что ответ заключается в выполнении дефрагментации в автономном режиме с помощью ESEUTIL. Однако это не рекомендуется. При выполнении дефрагментации в автономном режиме создается новая база данных, а операции, выполняемые для создания базы данных, не записываются в журналы транзакций. У новой базы данных также новая подпись базы данных, т. е. вы аннулируете копии, связанные с этой базой данных.

Если вы обнаруживаете базу данных со значительным объемом пустого пространства и сомневаетесь в том, что оно будет освобождено в ходе нормальной работы, рекомендуется следующее:

  1. создайте новую базу данных и связанные копии;
  2. переместите все почтовые ящики в новую базу данных;
  3. удалите исходную базу данных и связанные с ней копии.

Путаница с терминологией

Путаница во многом связана с понятием фоновое обслуживание базы данных. В целом все указанные выше задачи включены в фоновое обслуживание базы данных. Однако командная консоль, EMC и JetStress считают проверку контрольных сумм базы данных фоновым обслуживанием базы данных, и именно эту операцию вы настраиваете при включении или отключении с помощью этих средств.


Рис. 1. Включение фонового обслуживания базы данных с помощью EMC

Включение фонового обслуживания базы данных с помощью командной консоли:

Set-MailboxDatabase -Identity MDB1 -BackgroundDatabaseMaintenance $true


Рис. 2. Выполнение фонового обслуживания базы данных в тесте JetStress

Производитель хранилища порекомендовал отключить проверку контрольной суммы базы данных при фоновом обслуживании базы данных. Что мне делать?

Проверка контрольной суммы базы данных может стать тяжелым бременем для системы, если хранилище неправильно спроектировано (даже если оно последовательное), так как при этом выполняются операции чтения по 256 КБ и записи по 5 МБ/с на базу данных.

В инструкциях по проектированию хранилища мы рекомендуем настроить массив хранилища с размером полосы (размер полос, записываемых на каждый диск в массиве, который также называют размером блока) 256 КБ или больше.

Также важно проверить ваше хранилище с помощью JetStress и убедиться, что операция проверки контрольной суммы включена в тестовый проход.

Если при выполнении JetStress возникает сбой, связанный с проверкой контрольной суммы базы данных, доступно несколько вариантов:

  1. Не используйте полосы.  Используйте пары RAID-1 или JBOD (для чего могут потребоваться архитектурные изменения) и воспользуйтесь всеми преимуществами последовательных шаблонов операций ввода-вывода, доступных в Exchange 2010.

  2. Запланируйте операцию.  Настройте проверку контрольной суммы базы данных не как фоновый, а как запланированный процесс. При реализации проверки контрольной суммы базы данных как фонового процесса некоторые массивы хранилища будут оптимизированы для случайных операций ввода-вывода (или же пропускная полоса будет ограничена) и они будут плохо справляться с последовательными операциями чтения. Поэтому эту операцию можно отключить (при этом проверка контрольной суммы будет выполняться в период обслуживания).

    В этом случае рекомендуется использовать меньшие размеры базы данных. Также помните, что пассивные копии все также будут выполнять проверку контрольной суммы как фоновый процесс, поэтому вам потребуется учитывать это в архитектуре хранилища. Дополнительные сведения см. в разделе Jetstress 2010 и фоновое обслуживание базы данных.

  3. Используйте другое хранилище или улучшите возможности хранилища  Выберите хранилище, которое соответствует рекомендациям Exchange (размер полосы больше 256 КБ).

Заключение

Архитектурные изменения ядра СУБД в Exchange Server 2010 значительно улучшили производительность и надежность, но изменили поведение задач обслуживания базы данных по сравнению с предыдущими версиями. Надеемся, что эта статья позволит вам понять, что такое фоновое обслуживание базы данных в Exchange 2010.

Росс Смит IV (Ross Smith IV)
старший руководитель программы
программа улучшения качества программного обеспечения Exchange

Это локализованная запись блога. Исходная статья находится по адресу Database Maintenance in Exchange 2010