SdcaMulticlassTrainerBase<TModel> Класс

Определение

public abstract class SdcaMulticlassTrainerBase<TModel> : Microsoft.ML.Trainers.SdcaTrainerBase<Microsoft.ML.Trainers.SdcaMulticlassTrainerBase<TModel>.MulticlassOptions,Microsoft.ML.Data.MulticlassPredictionTransformer<TModel>,TModel> where TModel : class

type SdcaMulticlassTrainerBase<'Model (requires 'Model : null)> = class
    inherit SdcaTrainerBase<SdcaMulticlassTrainerBase<'Model>.MulticlassOptions, MulticlassPredictionTransformer<'Model>, 'Model (requires 'Model : null)>

Public MustInherit Class SdcaMulticlassTrainerBase(Of TModel)
Inherits SdcaTrainerBase(Of SdcaMulticlassTrainerBase(Of TModel).MulticlassOptions, MulticlassPredictionTransformer(Of TModel), TModel)

Параметры типа

Наследование

Object

TrainerEstimatorBase<TTransformer,TModel>

StochasticTrainerBase<TTransformer,TModel>

SdcaTrainerBase<SdcaMulticlassTrainerBase<TModel>.MulticlassOptions,MulticlassPredictionTransformer<TModel>,TModel>

SdcaMulticlassTrainerBase<TModel>

Производный

Microsoft.ML.Trainers.SdcaMaximumEntropyMulticlassTrainer

Microsoft.ML.Trainers.SdcaNonCalibratedMulticlassTrainer

Комментарии

Чтобы создать этот тренер для максимального классификатора энтропии, используйте SdcaMaximumEntropy или SdcaMaximumEntropy(Options). Чтобы создать этот тренер для функции потери (например, потери вектора поддержки вектора) по своему усмотрению, используйте SdcaNonCalibrated или SdcaNonCalibrated(Options).

Входные и выходные столбцы

Входные данные столбца меток должны быть типом ключа , а столбец компонента должен быть вектором известного Singleразмера.

Этот алгоритм обучения выводит следующие столбцы:

Характеристики тренера

Функция оценки

Эта модель обучает линейную модель для решения проблем многоклассовой классификации. Предположим, что количество классов составляет $m$, а количество признаков — $n$. Он назначает класс $c$-th вектор коэффициента $\textbf{w}_c \in {\mathbb R}^n$ и предвзятость $b_c \in {\mathbb R}$, для $c=1,\dots,m$. Учитывая вектор признаков $\textbf{x} \in {\mathbb R}^n$, оценка класса $c$-th будет $\hat{y}^c = \textbf{w}_c^T \textbf{x} + b_c$. Если $\textbf{x}$ принадлежит к классу $c$, $\hat{y}^c$ должен быть намного больше 0. В отличие от этого, $\hat{y}^c$ гораздо меньше 0 означает, что требуемая метка не должна быть $c$.

Если и только если обученная модель является максимальным классификатором энтропии, можно интерпретировать вектор оценки выходных данных как вероятности прогнозируемого класса, так как функция softmax может применяться к результатам после обработки всех классов. В частности, вероятность $\textbf{x}$, принадлежащей классу $c$, вычисляется $\tilde{P}( c | \textbf{x} ) = \frac{ e^{\hat{{ y}^c} }{ \sum_{c' = 1}^m e^{\hat{y}^{c'}} }} }$ и хранится в элементе $c$-th в векторе оценки. В других случаях вектор оценки выходных данных составляет всего $[\hat{y}^1, \dots, \hat{y}^m]$.

Сведения о алгоритме обучения

Алгоритм оптимизации — это расширение метода спуска координат после аналогичного пути, предложенного в предыдущем документе. Обычно это гораздо быстрее , чем L-BFGS и усеченные методы Ньютона для крупномасштабных и разреженных наборов данных.

Этот класс использует эмпирическую минимизацию рисков (т. е. ERM) для формирования задачи оптимизации, созданной на основе собранных данных. Обратите внимание, что эмпирический риск обычно измеряется путем применения функции потери для прогнозов модели на собранных точках данных. Если обучающие данные не содержат достаточно точек данных (например, для обучения линейной модели в $n$-размерном пространстве, нам потребуется по крайней мере $n$ точек данных), возможно, переобучение может произойти, чтобы модель, созданная ERM, хорошо описывала обучающие данные, но может не прогнозировать правильные результаты в незавиденных событиях. Нормализация является распространенным методом для облегчения такого явления путем наказания величины (обычно измеряемой нормой функции) параметров модели. Этот тренер поддерживает упорядочение эластичных сетей, которое наказывает линейное сочетание L1-норм (LASSO), $|| \textbf{w}_c || _1$, и L2-норм (ридж), $|| \textbf{w}_c || _2^2$ регуляризации для $c=1,\dots,m$. Нормализации норм L1 и L2-норм имеют различные эффекты и использование, которые являются взаимодополняющими в определенных отношениях.

Вместе с реализованным алгоритмом оптимизации нормализация L1-норм может увеличить разреженность весов модели, $\textbf{w}_1,\dots,\textbf{w}_m$. Для многомерных и разреженных наборов данных, если пользователи тщательно выбирают коэффициент L1-норм, можно достичь хорошего качества прогнозирования с моделью, которая имеет только несколько ненулевых весов (например, 1% от общего веса модели), не влияя на ее мощность прогнозирования. В отличие от этого, L2-норма не может увеличить разреженность обученной модели, но по-прежнему может предотвратить переполнение, избегая больших значений параметров. Иногда использование L2-норм приводит к лучшему качеству прогнозирования, поэтому пользователи могут по-прежнему хотеть попробовать его и точно настроить коэффициенты L1-норм и L2-норм. Обратите внимание, что концептуально использование L1-норм подразумевает, что распределение всех параметров модели является распределением Laplace , а L2-норм подразумевает гаусское распределение для них.

Агрессивная регуляризация (т. е. присвоение больших коэффициентов терминам нормализации L1-норм или норм L2) может нанести вред прогнозной емкости за счет исключения важных переменных из модели. Например, очень большой коэффициент норм L1 может привести ко всем параметрам нули и привести к тривиальной модели. Поэтому выбор правильных коэффициентов регуляризации важен на практике.

Ознакомьтесь с разделом "См. также" ссылки на примеры использования.

Поля

Свойства

Методы

Методы расширения

Применяется к

См. также раздел

• SdcaNonCalibrated(MulticlassClassificationCatalog+MulticlassClassificationTrainers, SdcaNonCalibratedMulticlassTrainer+Options)
• SdcaNonCalibrated(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, ISupportSdcaClassificationLoss, Nullable<Single>, Nullable<Single>, Nullable<Int32>)
• SdcaNonCalibratedMulticlassTrainer.Options
• SdcaMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, SdcaMaximumEntropyMulticlassTrainer+Options)
• SdcaMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, Nullable<Single>, Nullable<Single>, Nullable<Int32>)
• SdcaMaximumEntropyMulticlassTrainer.Options