LbfgsMaximumEntropyMulticlassTrainer クラス

定義

public sealed class LbfgsMaximumEntropyMulticlassTrainer : Microsoft.ML.Trainers.LbfgsTrainerBase<Microsoft.ML.Trainers.LbfgsMaximumEntropyMulticlassTrainer.Options,Microsoft.ML.Data.MulticlassPredictionTransformer<Microsoft.ML.Trainers.MaximumEntropyModelParameters>,Microsoft.ML.Trainers.MaximumEntropyModelParameters>

type LbfgsMaximumEntropyMulticlassTrainer = class
    inherit LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer<MaximumEntropyModelParameters>, MaximumEntropyModelParameters>

Public NotInheritable Class LbfgsMaximumEntropyMulticlassTrainer
Inherits LbfgsTrainerBase(Of LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer(Of MaximumEntropyModelParameters), MaximumEntropyModelParameters)

継承

Object

TrainerEstimatorBase<TTransformer,TModel>

LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options,MulticlassPredictionTransformer<MaximumEntropyModelParameters>,MaximumEntropyModelParameters>

LbfgsMaximumEntropyMulticlassTrainer

注釈

このトレーナーを作成するには、 LbfgsMaximumEntropy または LbfgsMaximumEntropy(Options)を使用します。

入力列と出力列

入力ラベル列のデータは キー 型である必要があり、特徴列は既知のサイズの Singleベクターである必要があります。

このトレーナーからは、以下の列が出力されます。

トレーナーの特性

スコアリング関数

最大エントロピー モデル は、線形 ロジスティック回帰の一般化です。 最大エントロピー モデルとロジスティック回帰の主な違いは、考慮された分類の問題でサポートされるクラスの数です。 ロジスティック回帰は二項分類に対してのみ使用され、最大エントロピー モデルでは複数のクラスが処理されます。 詳細な概要については、 このホワイト ペーパー のセクション 1 を参照してください。

クラスの数が $m$ であり、機能の数が $n$ であると仮定します。 最大エントロピー モデルは、$c$-th クラスに係数ベクトル $\textbf{w}_c \in {\mathbb R}^n$ と{\mathbb R}$ のバイアス $b_c \を割り当てます($c=1,\dots,m$)。 {\mathbb R}^n$ の特徴ベクトル $\textbf{x} \を指定すると、$c$-th クラスのスコアは $\hat{y}^c = \textbf{w}_c^T \textbf{x} + b_c$ です。 クラス $c$ に属する $\textbf{x}$ の確率は、$\tilde{P}(c | \textbf{x}) = \frac{ e^{\hat{y}^c} }{ \sum_{c' = 1}^m e^{\hat{y}^{c'}} } $ によって定義されます。 let $P(c, \textbf{ x})$ は、$c$ と $\textbf{x}$ を見る共同確率を表します。 このトレーナーによって最小化される損失関数は$-\sum_{c = 1}^m P(c, \textbf{ x}) \log \tilde{P}(c | \textbf{x}) $です。これは負 の対数尤度関数です。

トレーニング アルゴリズムの詳細

実装される最適化手法は、 限られたメモリ Broyden-Fletcher-Goldfarb-Shanno メソッド (L-BFGS) に基づいています。 L-BFGS は 準ニュートン法であり、ヘス行列の高価な計算を近似に置き換えますが、それでも完全なヘス行列が計算される ニュートン法 のような高速収束率を享受します。 L-BFGS 近似では、次のステップの方向を計算するために限られた量の履歴状態しか使用しないため、高次元特徴ベクトルの問題に特に適しています。 履歴状態の数は、ユーザーが指定したパラメーターです。数値を大きくすると、Hessian 行列の近似値が向上し、1 ステップあたりの計算コストも高くなる可能性があります。

このクラスでは、 経験的リスク最小化 (つまり、ERM) を使用して、収集されたデータに基づいて構築された最適化の問題を作成します。 経験リスクは、通常、収集されたデータ ポイントに対するモデルの予測に損失関数を適用することによって測定されることに注意してください。 トレーニング データに十分なデータ ポイントが含まれていない場合 (たとえば、$n$次元空間で線形モデルをトレーニングするには、少なくとも $n$ データ ポイントが必要です)、ERM によって生成されるモデルがトレーニング データを記述するのに適していても、見えないイベントで正しい結果を予測できない可能性があるため、 オーバーフィット が発生する可能性があります。 正則化 は、モデル パラメーターの大きさ (通常は 標準関数で測定) を罰することによってこのような現象を軽減する一般的な手法です。 このトレーナーは、L1-norm (LASSO)、$|| の線形組み合わせを罰する エラスティック ネット正則化をサポートします\textbf{w}_c ||_1$、L2 標準 (リッジ)、$||\textbf{w}_c ||$c=1,\dots,m$の _2^2$ 正則化。 L1標準およびL2標準正則化は、特定の点で補完的である異なる効果および使用を有する。

実装された最適化アルゴリズムと共に、L1 標準の正則化では、モデルの重みのスパリティを高めることができます。$\textbf{w}_1,\dots,\textbf{w}_m$ です。 高次元データ セットとスパース データ セットの場合、ユーザーが L1 標準の係数を慎重に選択した場合、予測力に影響を与えずに、0 以外の重み (たとえば、モデル全体の重みの 1%) しか持たないモデルで、良好な予測品質を実現できます。 これに対し、L2 標準ではトレーニング済みモデルのスパリティを高めることはできませんが、大きなパラメーター値を回避することでオーバーフィットを防ぐことができます。 場合によっては、L2 標準を使用すると予測品質が向上するため、ユーザーは引き続きそれを試して、L1 標準と L2 標準の係数を微調整したい場合があります。 概念的には、L1 標準を使用すると、すべてのモデル パラメーターの分布が Laplace 分布 であることを意味し、L2 標準は それらのガウス分布 を意味します。

積極的な正則化 (つまり、L1 標準または L2 標準の正則化項に大きな係数を割り当てる) は、モデルから重要な変数を除外することで予測能力を損なう可能性があります。 たとえば、L1 標準係数が非常に大きい場合、すべてのパラメーターが強制的にゼロになり、単純なモデルになる可能性があります。 したがって、正しい正則化係数を選択することは、実際には重要です。

使用例へのリンクについては、「参照」セクションを参照してください。

フィールド

プロパティ

メソッド

拡張メソッド

適用対象

こちらもご覧ください

• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, Single, Single, Single, Int32, Boolean)
• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, LbfgsMaximumEntropyMulticlassTrainer+Options)
• LbfgsMaximumEntropyMulticlassTrainer.Options