Выбор характеристик в интеллектуальном анализе данных

Характеристика представляет интерес, если она предоставляет полезный фрагмент информации. Поскольку определение того, какая информация является полезной, зависит от конкретного сценария, в индустрии интеллектуального анализа данных разработаны различные способы измерения интересности. Например, новизна может оказаться интересной при обнаружении выбросов, но способность различать между собой тесно связанные элементы или распознавать веса может оказаться в большей степени интересной для классификации.

Мера интересности, которая используется в службах SQL Server Analysis Services, основана на энтропии, а это означает, что атрибуты со случайными распределениями имеют более высокую энтропию и менее значительный прирост информации, поэтому являются менее интересными. Энтропия, относящаяся к любому конкретному атрибуту, сравнивается с энтропией всех других атрибутов следующим образом:

Интересность(Атрибут) = - (m - Энтропия(Атрибут)) * (m - Энтропия(Атрибут)).

Под главной энтропией, или m, подразумевается энтропия всего набора характеристик. Вычитая энтропию целевого атрибута из главной энтропии, можно оценить, сколько информации предоставляет атрибут.

Эта оценка используется по умолчанию каждый раз, когда столбец содержит недвоичные непрерывные числовые данные.

Энтропия Шеннона используется для измерения неопределенности случайной переменной по отношению к конкретному результату. Например, энтропия броска монеты может быть представлена как функция вероятности выпадения орла.

В службах Analysis Services используется следующая формула для вычисления энтропии Шеннона:

H(X) = -∑ P(xi) log(P(xi))

Этот метод вычисления показателя доступен для дискретных и дискретизированных атрибутов.

В службах Analysis Services предусмотрены две оценки выбора характеристик, которые основаны на байесовских сетях. Байесовская сеть представляет собой ориентированный или ациклический граф состояний и переходов между состояниями; это означает, что некоторые состояния всегда предшествуют текущему состоянию, некоторые состояния следуют за ним, а граф не повторяется и не содержит циклов. По определению, байесовские сети обеспечивают использование априорных знаний. Но остается вопрос о том, какие предыдущие состояния должны использоваться при вычислении вероятностей последующих состояний, который важен с точки зрения проектирования, производительности и точности алгоритма.

Купером и Херсковицем был разработан алгоритм K2 для обучения на основе байесовской сети, который часто используется в интеллектуальном анализе данных. Он является масштабируемым и позволяет анализировать многочисленные переменные, но требует упорядочения переменных, используемых в качестве входных. Дополнительные сведения см. в статье Чикеринга, Гейгера и Хекермана Обучаемые байесовские сети.

Этот метод вычисления показателя доступен для дискретных и дискретизированных атрибутов.

В оценке с помощью эквивалента Дирихле метода Байеса (BDE) также используется байесовский анализ для оценки сети на основе заданного набора данных. Метод оценки BDE был разработан Хекерманом и основан на методе BD, разработанном Купером и Херсковицем. Распределение Дирихле представляет собой мультиноминальное распределение, которое описывает условную вероятность каждой переменной в сети и имеет много свойств, полезных для обучения.

В методе, представляющем собой эквивалент Дирихле метода Байеса с однородной априорной оценкой (BDEU), предполагается наличие частного случая распределения Дирихле, в котором используется математическая константа для создания постоянного или равномерного распределения априорных состояний. В оценке BDE предполагается также эквивалентность правдоподобия, а это означает, что не следует ожидать, будто применяемые данные позволят различать эквивалентные структуры. Иными словами, если оценка для выражения If A Then B является такой же, что и оценка для выражения If B Then A, то соответствующие структуры нельзя различить на основе применяемых данных, поэтому не может быть сделан вывод о причинной обусловленности.

Дополнительные сведения о байесовских сетях и о реализации указанных методов оценки см. в статье Обучаемые байесовские сети.

Если в модели содержится больше столбцов, чем задано в параметре MAXIMUM_INPUT_ATTRIBUTES, то алгоритм будет пропускать любые столбцы, не представляющие интереса с точки зрения выполненных им вычислений.

Аналогичным образом, если в модели содержится больше прогнозируемых столбцов, чем задано в параметре MAXIMUM_OUTPUT_ATTRIBUTES, то алгоритм будет пропускать любые столбцы, не представляющие интереса с точки зрения выполненных им вычислений.

Если в модели содержится больше объектов, чем задано в параметре MAXIMUM_STATES, то наименее популярные состояния будут сводиться в одну группу и считаться отсутствующими. Если значение любого из данных параметров равно 0, то выбор характеристик отключается, что влияет на время обработки и производительность.