Компонент Full-text Search

Область применения: SQL Server База данных SQL Azure Управляемый экземпляр SQL Azure

Полнотекстовый поиск в SQL Server и Базе данных SQL Azure позволяет приложениям и пользователям выполнять полнотекстовые запросы к символьным данным в таблицах SQL Server.

Основные задачи

В этой статье представлен обзор полнотекстового поиска и описаны его компоненты и архитектура. Если вы хотите немедленно приступить к работе, здесь вы найдете простые примеры задач.

• Начало работы с компонентом Full-Text Search
• Создание и управление полнотекстовыми каталогами
• Создание полнотекстовых индексов и управление ими
• Заполнение полнотекстовых индексов
• Запросы с полнотекстовым поиском

Полнотекстовый поиск является необязательным компонентом ядро СУБД SQL Server. Если при установке SQL Server полнотекстовый поиск не был выбран, запустите программу установки SQL Server повторно, чтобы добавить его.

Обзор

В полнотекстовый индекс включается один или несколько символьных столбцов таблицы. Эти столбцы могут содержать любой из следующих типов данных: char, varchar, nchar, nvarchar, text, ntext, image, xmlили varbinary(max) и FILESTREAM. Каждый полнотекстовый индекс индексирует один или несколько столбцов таблицы, а каждому столбцу может соответствовать определенный язык.

Полнотекстовые запросы выполняют лингвистические поиски по текстовым данным в полнотекстовых индексах, работая с словами и фразами на основе правил определенного языка, таких как английский или японский. Полнотекстовые запросы могут включать простые слова и фразы или несколько форм слова или фразы. Полнотекстовый запрос возвращает все документы, которые содержат как минимум одно совпадение (известное также как попадание). Совпадение возникает в том случае, когда целевой документ содержит все термины, указанные в полнотекстовом запросе, и соответствует всем остальным условиям поиска, например расстояние между совпадающими терминами.

Запросы полнотекстового поиска

После добавления столбцов в полнотекстовый индекс пользователи и приложения могут выполнять полнотекстовые запросы на текст в столбцах. Эти запросы могут выполнять поиск любого из следующих условий:

• Одно или несколько конкретных слов или фраз (простое выражение)
• Слова, начинающиеся заданным текстом, или фразы с такими словами (префиксные выражения)
• Словоформы конкретного слова (производное выражение)
• Слова или фразы, находящиеся рядом с другими словами или фразами (выражения с учетом расположения)
• Синонимические формы конкретного слова (тезаурус)
• Слова или фразы со взвешенными значениями (взвешенное выражение)

Полнотекстовые запросы не учитывает регистр. Например, поиск Aluminum или aluminum возврат одинаковых результатов.

Полнотекстовые запросы используют небольшой набор предикатов Transact-SQL (CONTAINSи) и функций (CONTAINSTABLEиFREETEXTTABLEFREETEXT). Однако точная структура полнотекстовых запросов определяется целями поиска данного бизнес-сценария. Например:

• Поиск продукта на веб-сайте электронной коммерции:

  SELECT product_id
  FROM products
  WHERE CONTAINS (product_description, '"Snap Happy 100EZ" OR FORMSOF(THESAURUS,"Snap Happy") OR "100EZ"')
      AND product_cost < 200;
  

• Сценарий подбора кандидатов на работу, имеющих опыт работы с SQL Server:

  SELECT candidate_name,
      SSN
  FROM candidates
  WHERE CONTAINS (candidate_resume, '"SQL Server"')
      AND candidate_division = 'DBA';
  

Дополнительные сведения см. в разделе Запросы с полнотекстовым поиском.

Сравнение запросов полнотекстового поиска с предикатом LIKE

В отличие от полнотекстового поиска, предикат LIKE Transact-SQL работает только в шаблонах символов. Кроме того, нельзя использовать LIKE предикат для запроса отформатированных двоичных данных. Кроме того, LIKE запрос к большому количеству неструктурированных текстовых данных гораздо медленнее, чем эквивалентный полнотекстовый запрос к тем же данным. Запрос LIKE к миллионам строк текстовых данных может занять несколько минут, в то время как полнотекстовый запрос может занять только секунды или меньше, в зависимости от количества возвращаемых строк.

Архитектура полнотекстового поиска

Архитектура полнотекстового поиска состоит из следующих процессов.

• Процесс SQL Server (sqlservr.exe).

• Процесс узла управляющей программы фильтра (fdhost.exe).

  По соображениям безопасности фильтры загружаются отдельными процессами, которые называются узлами управляющей программы фильтрации. fdhost.exe Процессы создаются службой запуска FDHOST (MSSQLFDLauncher), и они выполняются под учетными данными безопасности учетной записи службы запуска FDHOST. Следовательно, чтобы работало полнотекстовое индексирование и выполнялись полнотекстовые запросы, должна быть запущена служба FDHOST. Сведения о настройке учетной записи службы для этой службы см. в разделе Настройка учетной записи службы средства запуска управляющей программы полнотекстовой фильтрации.

Эти два процесса содержат компоненты архитектуры полнотекстового поиска. Эти компоненты и их связи приведены на следующей иллюстрации. Описание компонентов приведено после иллюстрации.

Процесс SQL Server

В процессе SQL Server используются следующие компоненты для полнотекстового поиска:

Фильтрация процесса узла управляющей программы

Узел управляющей программы фильтрации представляет собой процесс, запускаемый средством полнотекстового поиска. Он запускает следующие компоненты полнотекстового поиска, которые отвечают за доступ, фильтрацию и разбиение по словам данных из таблиц, а также разбиение по словам и морфологический поиск во входных данных запроса.

Существуют следующие компоненты узла управляющей программы фильтрации.

SQL Server 2012 (11.x) устанавливает новую версию средств разбиения слов и стеммеров для английского языка США (LCID 1033) и английского языка Великобритании (LCID 2057). Однако можно переключиться на предыдущую версию этих компонентов, если требуется сохранить предыдущий режим работы. Дополнительные сведения см. в статье Изменение средства разбиения по словам, используемого для английского (США) и английского (Британского).

Обработка полнотекстового поиска

Полнотекстовый поиск работает на базе средства полнотекстового поиска. Подсистема полнотекстового текста имеет две роли: поддержка индексирования и поддержка запросов.

Процесс полнотекстового индексирования

При инициации заполнения полнотекстового индекса (который также называют «сканированием») средство полнотекстового поиска помещает большие пакеты данных в память и оповещает управляющую программу полнотекстовой фильтрации. Узел фильтрует и разбивает данные и преобразует преобразованные данные в инвертированные списки слов. Затем средство полнотекстового поиска запрашивает конвертированные данные из списка слов, удаляет стоп-слова и сохраняет списки слов в виде пакета в один или несколько инвертированных индексов.

При индексировании данных, хранящихся в столбце varbinary(max) или image , фильтр, реализующий IFilter интерфейс, извлекает текст на основе указанного формата файлов для этих данных (например, Microsoft Word). В некоторых случаях компоненты фильтра требуют , чтобы данные varbinary(max)или изображения записывались filterdata в папку вместо отправки в память.

Одним из этапов обработки собранных текстовых данных является их анализ средством разбиения по словам, которое разделяет текст на отдельные токены, или ключевые слова. Язык, используемый при разметке, задается на уровне столбца или может быть определен компонентом-фильтром по данным типа varbinary(max), imageили xml .

Для удаления стоп-слов можно выполнить дополнительную обработку и нормализовать маркеры перед их сохранением в полнотекстовом индексе или фрагменте индекса.

После завершения совокупности запускается окончательный процесс слияния, который объединяет фрагменты индекса в один главный полнотекстовый индекс. Это приводит к повышению производительности запросов, так как для ранжирования релевантности может использоваться только главный индекс, а не несколько фрагментов индекса, а более эффективная статистика оценки.

Обработка полнотекстовых запросов

Обработчик запросов передает для обработки полнотекстовые части запроса средству полнотекстового поиска. Средство полнотекстового поиска выполняет разбиение по словам и при необходимости расширения тезауруса, морфологический поиск и обработку стоп-слов (пропускаемых слов). Затем полнотекстовые части запроса представляются в форме операторов SQL, в основном как потоковые функции, возвращающие табличные значения. Во время выполнения запроса эти потоковые функции для получения правильных результатов обращаются к инвертированному индексу. Результаты возвращаются клиенту в данный момент или обрабатываются до возвращения клиенту.

Архитектура полнотекстового индекса

Данные полнотекстовых индексов используются средством полнотекстового поиска для компиляции полнотекстовых запросов, способных быстро находить таблицу с теми или иными словами или словосочетаниями. В полнотекстовом индексе хранятся данные о значимых для поиска словах и их расположении в одном или нескольких столбцах таблицы базы данных. Полнотекстовый индекс — это специальный тип функционального индекса на основе токенов, который создается и поддерживается подсистемой полнотекстового текста для SQL Server. Процесс создания полнотекстового индекса отличается от создания индексов других типов. Вместо создания сбалансированного дерева на основе значения, хранящегося в конкретной строке, служба полнотекстового поиска создает инвертированную стековую сжатую структуру индекса на основе отдельных токенов индексируемого текста. Размер полнотекстового индекса ограничен только доступными ресурсами памяти компьютера, на котором выполняется экземпляр SQL Server.

Начиная с SQL Server 2008 (10.0.x), полнотекстовые индексы интегрируются с ядро СУБД вместо того, чтобы находиться в файловой системе, как в предыдущих версиях SQL Server. Для новой базы данных полнотекстовый каталог теперь является виртуальным объектом, который не принадлежит какой-либо файловой группе; это просто логическая концепция, которая ссылается на группу полнотекстовых индексов. Обратите внимание, что во время обновления базы данных SQL Server 2005 (9.x) создается любой полнотекстовый каталог, содержащий файлы данных, создается новая файловая группа; Дополнительные сведения см. в разделе "Обновление полнотекстового поиска".

На одну таблицу может приходиться только один полнотекстовый индекс. Для создания полнотекстового индекса в таблице таблица должна иметь один уникальный ненулевой столбец. Можно создать полнотекстовый индекс на столбцах типа char, varchar, nchar, nvarchar, text, ntext, image, xmlи varbinary, а также для полнотекстового поиска может индексироваться varbinary(max) . Для создания полнотекстового индекса на столбце, тип данных которого varbinary, varbinary(max), imageили xml , необходимо указать столбец типов. Столбец типа — это столбец таблицы, в котором хранится расширение файла (.doc, .pdfи .xlsт. д.) документа в каждой строке.

Структура полнотекстового индекса

Хорошее понимание структуры полнотекстового индекса помогает понять, как работает полнотекстовый модуль. В этой статье используется следующий фрагмент Document таблицы в AdventureWorks2022 качестве примера таблицы. В этом фрагменте показаны только два столбца DocumentID , столбец и Title столбец, а также три строки из таблицы.

В этом примере предполагается, что в столбце Title создан полнотекстовый индекс.

Например, в следующей таблице, в которой показан фрагмент 1, отображается содержимое полнотекстового индекса, созданного в Title столбце Document таблицы. Полнотекстовые индексы содержат больше данных, чем представлено в этой таблице. Таблица является логическим представлением полнотекстового индекса, она предоставляется только с целью демонстрации. Строки хранятся в сжатом формате для оптимизации использования диска.

Данные преобразуются из исходных документов. Инверсия происходит, поскольку ключевые слова сопоставлены с идентификаторами документов. По этой причине полнотекстовый индекс часто называют инвертированным индексом.

Обратите внимание, что ключевое слово and удаляется из полнотекстового индекса. Это делается, так как and это стоп-слово, и удаление стоп-слов из полнотекстового индекса может привести к значительной экономии места на диске, что повышает производительность запросов. Дополнительные сведения о стоп-словах см. в разделе Настройка и управление стоп-словами и списками стоп-слов для полнотекстового поиска.

Фрагмент 1

Столбец Keyword содержит представление одного маркера, извлеченного во время индексирования. Токены определяются средствами разбиения по словам.

Столбец ColId содержит значение, соответствующее определенному столбцу, который является полнотекстовой индексирован.

Столбец DocId содержит значения для целого числа 8-байтов, которое сопоставляется с определенным значением полнотекстового ключа в полнотекстовой индексированной таблице. Это сопоставление необходимо, если полнотекстовый ключ не является целым типом данных. В таких случаях сопоставления значений и DocId значений полнотекстового ключа сохраняются в отдельной таблице, называемой таблицей DocId Mapping . Чтобы запросить эти сопоставления, используйте sp_fulltext_keymappings системную хранимую процедуру. Чтобы удовлетворить условие поиска, DocId значения из предыдущей таблицы необходимо объединить с DocId таблицей сопоставления, чтобы получить строки из базовой таблицы, запрашиваемой. Если значение полнотекстового ключа базовой таблицы является целым типом, значение непосредственно служит в качестве DocId значения, и сопоставление не требуется. Следовательно, использование целочисленных значений полнотекстового ключа может оптимизировать выполнение полнотекстовых запросов.

Столбец Occurrence содержит целочисленное значение. Для каждого значения DocId существует список значений вхождения, соответствующих относительным смещениям слов конкретного ключевого слова в этом DocId. С помощью значений частотности удобно определять фразовое или близкое совпадение; например, для фраз значения частотности находятся рядом. Они также полезны в оценках релевантности вычислений; например, количество вхождения ключевого слова в DocId может использоваться при оценке.

Фрагменты полнотекстового индекса

Логический полнотекстовый индекс обычно разбивается по нескольким внутренним таблицам. Каждая из внутренних таблиц называется фрагментом полнотекстового индекса. Некоторые из данных фрагментов могут содержать более свежие данные. Например, если пользователь обновляет следующую строку с DocId, равным 3, а в таблице выполняется автоматическое отслеживание изменений, то будет создан новый фрагмент.

В следующем примере, в котором показан фрагмент 2, содержатся более новые данные о DocId 3, чем во фрагменте 1. Поэтому, когда пользователь запрашивает Rear Reflector данные из фрагмента 2, используется для DocId 3. Каждый из фрагментов имеет отметку времени создания, которую можно использовать в запросах с помощью представления каталога sys.fulltext_index_fragments .

Фрагмент 2

Как можно увидеть во фрагменте 2, полнотекстовым запросам необходимо осуществить внутреннее обращение к каждому фрагменту. Более старые записи не учитываются. Следовательно, наличие слишком большого количества полнотекстовых фрагментов индекса в полнотекстовом индексе может привести к существенному уменьшению производительности запросов. Чтобы уменьшить количество фрагментов, переорганизуйте полнотекстовый каталог с помощью REORGANIZE параметра инструкции ALTER FULLTEXT CATALOGTransact-SQL. Данная инструкция выполняет слияние в единый файл, объединяя все фрагменты в единый большой фрагмент, и удаляет все устаревшие записи из полнотекстового индекса.

После выполнения реорганизации в образце индекса будут содержаться следующие строки.

Различия между полнотекстовых индексами и обычными индексами SQL Server

Лингвистические компоненты полнотекстового поиска и поддержка языка

Полнотекстовый поиск поддерживает почти 50 языков, в том числе английский, испанский, китайский, японский, арабский, бенгальский и хинди. Полный список поддерживаемых полнотекстовых языков см . в sys.fulltext_languages. Каждый из столбцов в полнотекстовом индексе связан с идентификатором локали Microsoft Windows, который соответствует языку, поддерживаемому полнотекстовым поиском. Например, код языка 1033 соответствует языку «Английский (США)», а код 2057 соответствует языку «Английский (Великобритания)». Для каждого поддерживаемого полнотекстового языка SQL Server предоставляет лингвистические компоненты, поддерживающие индексирование и запросы полнотекстовых данных, хранящихся на этом языке.

Компоненты, относящиеся к языку, включают следующие элементы:

Средства разбиения по словам (и стволовые модули) и фильтры выполняются в процессе узла управляющей программы фильтра (fdhost.exe).

Связанный контент

• Начало работы с компонентом Full-Text Search
• Создание и управление полнотекстовыми каталогами
• Создание полнотекстовых индексов и управление ими
• Заполнение полнотекстовых индексов
• Запросы с полнотекстовым поиском