LbfgsMaximumEntropyMulticlassTrainer Třída

Definice

public sealed class LbfgsMaximumEntropyMulticlassTrainer : Microsoft.ML.Trainers.LbfgsTrainerBase<Microsoft.ML.Trainers.LbfgsMaximumEntropyMulticlassTrainer.Options,Microsoft.ML.Data.MulticlassPredictionTransformer<Microsoft.ML.Trainers.MaximumEntropyModelParameters>,Microsoft.ML.Trainers.MaximumEntropyModelParameters>

type LbfgsMaximumEntropyMulticlassTrainer = class
    inherit LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer<MaximumEntropyModelParameters>, MaximumEntropyModelParameters>

Public NotInheritable Class LbfgsMaximumEntropyMulticlassTrainer
Inherits LbfgsTrainerBase(Of LbfgsMaximumEntropyMulticlassTrainer.Options, MulticlassPredictionTransformer(Of MaximumEntropyModelParameters), MaximumEntropyModelParameters)

Dědičnost

Object

TrainerEstimatorBase<TTransformer,TModel>

LbfgsTrainerBase<LbfgsMaximumEntropyMulticlassTrainer.Options,MulticlassPredictionTransformer<MaximumEntropyModelParameters>,MaximumEntropyModelParameters>

LbfgsMaximumEntropyMulticlassTrainer

Poznámky

K vytvoření tohoto trenéra použijte LbfgsMaximumEntropy nebo LbfgsMaximumEntropy(Možnosti).

Vstupní a výstupní sloupce

Vstupní data sloupce popisku musí být klíčovým typem a sloupec funkce musí být vektorem Singleznámé velikosti .

Tento trenér vypíše následující sloupce:

Charakteristiky trenéra

Bodovací funkce

Maximální entropický model je generalizace lineární logistické regrese. Hlavním rozdílem mezi maximálním entropním modelem a logistickou regresí je počet tříd podporovaných v zvažovaných problémech klasifikace. Logistická regrese je určená pouze pro binární klasifikaci, zatímco maximální entropický model zpracovává více tříd. Podrobný úvod najdete v části 1 tohoto dokumentu .

Předpokládejme, že počet tříd je $m$ a počet funkcí je $n$. Maximální entropický model přiřadí $c$-th třídy vektor koeficientu $\textbf{w}_c \in {\mathbb R}^n$ a předsudky $b_c \in {\mathbb R}$, pro $c=1,\tečky,m$. Vzhledem k vektoru funkce $\textbf{x} \in {\mathbb R}^n$, skóre $c$-th třídy je $\hat{y}^c = \textbf{w}_c^T \textbf{x} + b_c$. Pravděpodobnost $\textbf{x}$ patřící do třídy $c$ je definována $\tilde{P}(c | \textbf{x}) = \frac{ e^{\hat{y}^c} }{ \sum_{c' = 1}^m e^{\hat{y}^{c'}}}}$. Let $P(c, \textbf{ x})$ označuje společnou pravděpodobnost zobrazení $c$ a $\textbf{x}$. Funkce ztráty minimalizovaná tímto trenérem je $-\sum_{c = 1}^m P(c, \textbf{ x}) \log \tilde{P}(c | \textbf{x}) $, což je negativní funkce pravděpodobnosti protokolu.

Podrobnosti o trénovacím algoritmu

Technika optimalizace implementovaná je založená na omezené paměti Broyden-Fletcher-Goldfarb-Shanno metoda (L-BFGS). L-BFGS je kvazi-Newtonská metoda, která nahrazuje drahý výpočet hessian matice přibližnou aproximací, ale stále má rychlou konvergenční sazbu, jako je Newtonova metoda , kde je vypočítán plný Hessian matice. Vzhledem k tomu, že aproximace L-BFGS používá k výpočtu dalšího kroku pouze omezené množství historických stavů, je zvláště vhodné pro problémy s vysoce dimenzionálním vektorem funkcí. Počethistorickýchm funkcí je parametr zadaný uživatelem, který používá větší číslo, může vést k lepší aproximaci matice Hessian, ale také vyšší výpočetní náklady na jednotlivé kroky.

Tato třída používá empirické minimalizaci rizik (tj. ERM) k formulování problému optimalizace založeného na shromážděných datech. Všimněte si, že empirické riziko se obvykle měří použitím funkce ztráty na predikcích modelu na shromážděných datových bodech. Pokud trénovací data neobsahují dostatek datových bodů (například pro trénování lineárního modelu v $n$-dimenzionálním prostoru, potřebujeme alespoň $n$ datových bodů), může dojít k přeurčení , aby byl model vytvořený ERM dobrý při popisu trénovacích dat, ale nemusí selhat predikovat správné výsledky v neviděných událostech. Regularizace je běžná technika pro zmírnění takového jevu pomocí penalizace velikosti (obvykle měřené normou) parametrů modelu. Tento trenér podporuje elastickou regulární síť, která postihuje lineární kombinaci L1-norm (LASSO), $|| \textbf{w}_c || _1$ a L2-norm (ridge), $|| \textbf{w}_c || _2^2$ regularizations for $c=1,\dots,m$. Regulární pravidla L1 a L2-norm mají různé účinky a používají doplňkové v určitých ohledech.

Spolu s implementovaným algoritmem optimalizace může pravidelná aktualizace L1 zvýšit sparsitu hmotností modelu, $\textbf{w}_1,\dots,\textbf{w}_m$. U vysoce dimenzionálních a řídkých datových sad je možné, pokud uživatelé pečlivě vyberou koeficient L1-normu, je možné dosáhnout dobré kvality předpovědi s modelem, který má pouze několik nenulových hmotností (např. 1 % celkových hmotností modelu), aniž by to ovlivnilo jeho predikční výkon. Naproti tomu L2-normu nemůže zvýšit sparsitu trénovaného modelu, ale přesto může zabránit přeurčení tím, že se vyhnete velkým hodnotám parametrů. Někdy použití L2-norm vede k lepší kvalitě předpovědi, takže uživatelé mohou stále chtít vyzkoušet a vyladit koeficienty L1-norm a L2-norm. Mějte na paměti, že použití L1-norm znamená, že rozdělení všech parametrů modelu je laplace rozdělení , zatímco L2-norm znamená Gaussian rozdělení pro ně.

Agresivní regularizace (tj. přiřazení velkých koeficientů k regulárním termínům L1 nebo L2-norm) může poškodit prediktivní kapacitu vyloučením důležitých proměnných z modelu. Například velmi velký koeficient L1-norm může vynutit, aby všechny parametry byly nuly a vést k triviálnímu modelu. Proto je volba správných regulárních koeficientů důležitá v praxi.

V části Viz také najdete odkazy na příklady použití.

Pole

Vlastnosti

Metody

Metody rozšíření

Platí pro

Viz také

• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, String, String, String, Single, Single, Single, Int32, Boolean)
• LbfgsMaximumEntropy(MulticlassClassificationCatalog+MulticlassClassificationTrainers, LbfgsMaximumEntropyMulticlassTrainer+Options)
• LbfgsMaximumEntropyMulticlassTrainer.Options