Значение функции перестановки

В этой статье описывается, как использовать в конструкторе Машинного обучения Azure компонент для оценки важности признаков путем перестановок, чтобы вычислять соответствующие показатели для наборов данных. Используйте эти показатели при определении наиболее подходящих функций для модели.

При использовании этого компонента значения признаков случайным образом перемещаются, по одному столбцу за раз. Эффективность модели измеряется до и после. Для измерения производительности вы можете выбрать одну из стандартных метрик.

Показатели, которые возвращаются компонентом, демонстрируют изменение производительности обученной модели после перестановки. Важные функции, как правило, более чувствительны к перестановке, поэтому они приводят к увеличению показателей важности.

В статье Важность функции перестановки приводятся общие сведения о функции перестановки, ее теоретической основе и использовании в Машинном обучении.

Использование важности функции перестановки

Для создания набора показателей функции требуется уже обученная модель, а также тестовый набор данных.

1. Добавьте в свой конвейер компонент для оценки важности признаков путем перестановок. Этот компонент можно найти в категории Выбор компонентов.

2. Подключите обученную модель к левому входу. Модель должна быть моделью регрессии или моделью классификации.

3. На правом входе подключите набор данных. Желательно выбрать набор данных, отличный от того, который использовался для обучения модели. Этот набор данных используется для вычисления показателей на основе обученной модели. Он также используется для оценки модели после изменения значений функции.

4. В поле Случайное начальное значение введите значение, которое будет использоваться в качестве начального значения для рандомизации. Если указать значение "0" (по умолчанию), то число будет сгенерировано на основе системных часов.

   Начальное значение является необязательным, но его необходимо указать, если требуется воспроизводимость между запусками одного и того же конвейера.

5. В поле Метрика для измерения производительности выберите одну метрику, которая будет использоваться для вычисления качества модели после перестановки.

   Конструктор Машинного обучения Azure поддерживает следующие метрики в зависимости от того, выполняется ли оценка модели классификации или регрессии:

   • Категория

     Правильность, точность, полнота

   • Регрессия

     Точность, полнота, средняя абсолютная погрешность, среднеквадратическая абсолютная погрешность, относительная абсолютная погрешность, относительная среднеквадратическая погрешность и коэффициент детерминации

   Более подробное описание этих метрик оценки и их вычисление см. в разделе Оценка модели.

6. Отправьте конвейер.

7. Компонент выведет список столбцов признаков и связанные с ними показатели. Список ранжирован в порядке убывания показателей.

Технические примечания

Важность функции перестановки влияет на случайное изменение значений каждого столбца функции, по одному столбцу за раз. Затем она вычисляет модель.

Ранжирование, выполняемое этим компонентом, часто отличается от результатов выбора признаков на основе фильтра. Выбор функции на основе фильтра вычисляет показатели перед созданием модели.

Отличие обусловлено тем, что важность функции перестановки не измеряет связь между функцией и целевым значением. Вместо этого она вычисляет, насколько сильно каждая функция влияет на прогнозы модели.

Следующие шаги

Ознакомьтесь с набором доступных компонентов для машинного обучения Azure.