SdcaNonCalibratedBinaryTrainer クラス

定義

public sealed class SdcaNonCalibratedBinaryTrainer : Microsoft.ML.Trainers.SdcaBinaryTrainerBase<Microsoft.ML.Trainers.LinearBinaryModelParameters>

type SdcaNonCalibratedBinaryTrainer = class
    inherit SdcaBinaryTrainerBase<LinearBinaryModelParameters>

Public NotInheritable Class SdcaNonCalibratedBinaryTrainer
Inherits SdcaBinaryTrainerBase(Of LinearBinaryModelParameters)

継承

Object

TrainerEstimatorBase<TTransformer,TModel>

StochasticTrainerBase<TTransformer,TModel>

SdcaTrainerBase<SdcaBinaryTrainerBase<TModelParameters>.BinaryOptionsBase,BinaryPredictionTransformer<TModelParameters>,TModelParameters>

SdcaBinaryTrainerBase<LinearBinaryModelParameters>

SdcaNonCalibratedBinaryTrainer

注釈

このトレーナーを作成するには、 SdcaNonCalibrated または SdcaNonCalibrated(Options)を使用します。

入力列と出力列

入力ラベル列データは Boolean にする必要があります。 入力特徴列データは、既知のサイズの Singleベクターである必要があります。 このトレーナーからは、以下の列が出力されます。

トレーナーの特性

トレーニング アルゴリズムの詳細

このトレーナーは、確率的二重座標アセント(SDCA)法に基づいています, 凸目的関数のための最先端の最適化技術. このアルゴリズムは、KDD のベスト ペーパーで説明されているストリーミング トレーニング アルゴリズムであるため、スケーリングできます。

収束は、別のスレッドで原始変数と二重変数の間の同期を定期的に適用することによって引き受けられます。 また、 ヒンジ損失 や ロジスティック損失など、損失機能のいくつかの選択肢も提供されています。 使用される損失に応じて、トレーニング済みのモデルは、たとえば、 ベクター マシン や ロジスティック回帰をサポートできます。 SDCA メソッドは、ストリーミング学習を行う機能 (データ セット全体をメモリに収めず)、データ セット全体を数回スキャンして妥当な結果に到達する (たとえば、 このホワイト ペーパーの実験を参照) など、最適なプロパティをいくつか組み合わせ、スパース データ セットの 0 に対する計算を行いません。

SDCA は確率的およびストリーミングの最適化アルゴリズムであることに注意してください。 停止許容値が十分に厳しくないため、結果はトレーニング データの順序によって異なります。 強凸最適化では、最適なソリューションは一意であるため、最終的には全員が同じ場所に到達します。 強く凸でない場合でも、実行から実行まで同じように優れたソリューションが得られます。 再現可能な結果を得るには、'Shuffle' を False に、'NumThreads' を 1 に設定することをお勧めします。

このクラスでは、 経験的リスク最小化 (つまり、ERM) を使用して、収集されたデータに基づいて構築された最適化の問題を策定します。 経験的リスクは、通常、収集されたデータ ポイントに対するモデルの予測に損失関数を適用することによって測定されることに注意してください。 トレーニング データに十分なデータ ポイントが含まれていない場合 (たとえば、$n$次元空間で線形モデルをトレーニングするには、少なくとも $n$ のデータ ポイントが必要です)、ERM によって生成されたモデルがトレーニング データの記述に適しているが、見えないイベントで正しい結果を予測できない可能性があるため、 オーバーフィット が発生する可能性があります。 正則化 は、モデル パラメーターの大きさ (通常は 標準関数で測定) を適用することによって、このような現象を緩和する一般的な手法です。 このトレーナーは、L1 標準 (LASSO)、$|| の線形の組み合わせを罰する エラスティック ネット正則化をサポートします。\textbf{w}_c ||_1$、L2-norm (ridge)、$||\textbf{w}_c ||$c=1,\dots,m$ の _2^2$ 正則化。 L1ノルムとL2ノルム正則化は、特定の点で補完的である異なる効果と使用を有する。

実装された最適化アルゴリズムと共に、L1 標準の正則化により、モデルの重みのスパリティを高めることができます。$\textbf{w}_1,\dots,\textbf{w}_m$ です。 高次元データ セットとスパース データ セットの場合、ユーザーが L1 標準の係数を慎重に選択した場合、予測力に影響を与えずに、0 以外の重み (例: モデル全体の重みの 1%) が少数しかないモデルで良好な予測品質を実現できます。 これに対し、L2-norm はトレーニング済みモデルのスパリティを高めることはできませんが、大きなパラメーター値を回避することでオーバーフィットを防ぐことができます。 場合によっては、L2 ノルムを使用すると予測品質が向上するため、ユーザーは引き続きそれを試して、L1 ノルムと L2 ノルムの係数を微調整することができます。 概念的には、L1 ノルムを使用すると、すべてのモデル パラメーターの分布が Laplace 分布 であるのに対し、L2 ノルムは それらのガウス分布 を意味します。

積極的な正則化 (つまり、L1 ノルムまたは L2 ノルム正則化項に大きな係数を割り当てる) は、モデルから重要な変数を除外することで予測能力を損なう可能性があります。 たとえば、L1 ノルム係数が非常に大きいと、すべてのパラメーターが強制的にゼロになり、単純なモデルにつながる場合があります。 したがって、実際には正しい正則化係数を選択することが重要です。

詳細については、次を参照してください。

• 確率的二重座標アセントをスケールアップします。
• 正則化損失最小化のための確率的二重座標アセント法。

使用法の例へのリンクについては、「関連項目」セクションを参照してください。

フィールド

プロパティ

メソッド

拡張メソッド

適用対象

こちらもご覧ください

• SdcaNonCalibrated(BinaryClassificationCatalog+BinaryClassificationTrainers, String, String, String, ISupportSdcaClassificationLoss, Nullable<Single>, Nullable<Single>, Nullable<Int32>)
• SdcaNonCalibrated(BinaryClassificationCatalog+BinaryClassificationTrainers, SdcaNonCalibratedBinaryTrainer+Options)
• SdcaNonCalibratedBinaryTrainer.Options