softmax回歸

08-20

softmax回歸

1 人贊了文章

話說在前頭：

1.Logistic 回歸就是softmax回歸的特殊情況。

2.多類別有交叉用Logistic回歸，多類別互斥可用softmax

3.本文只是學習筆記，侵刪。

下面是公式說明：

$ext{在}Logistic ext{回歸中，}h_{ heta}left( x ight) =pleft( y= ext{1|}x; heta ight) =frac{1}{1+e^{- heta ^Tx}} ext{，} \ ext{最小化代價函數}Jleft( heta ight) =-sum_{i=1}^m{ln left( y^{left( i ight)}h_{ heta}left( x^{left( i ight)} ight) +left( 1-y^{left( i ight)} ight) left( 1-h_{ heta}left( x^{left( i ight)} ight) ight) ight)} \ ext{其中，類別}y= ext{1或0.而}softmax ext{回歸中，定義} \ h_{ heta}left( x ight) =left[ egin{array}{c} pleft( y= ext{1|}x; heta ight)\ pleft( y= ext{2|}x; heta ight)\ ...\ pleft( y=k|x; heta ight)\ end{array} ight] =frac{1}{sum_{j=1}^k{e^{ heta _j^Tx}}}left[ egin{array}{c} e^{ heta _1^Tx}\ e^{ heta _2^Tx}\ ...\ e^{ heta _k^Tx}\ end{array} ight] ext{， }varTheta =left[ egin{array}{c} heta _1^T\ ...\ heta _k^T\ end{array} ight] \ \ ext{注意到邏輯回歸中代價函數可寫為：} \ Jleft( heta ight) =-sum_{i=1}^m{sum_{j=0}^1{ ext{1{}y^{left( i ight)}=j}ln left( pleft( y^{left( i ight)}=j|x; heta ight) ight)}} \ ext{其中}1left{ · ight} ext{為示性函數，推廣到}k ext{類,有} \ Jleft( heta ight) =-sum_{i=1}^m{sum_{j=1}^k{ ext{1{}y^{left( i ight)}=j}ln left( pleft( y^{left( i ight)}=j|x; heta ight) ight)}} \ ext{這就是}softmax ext{的代價函數,其中}pleft( y=j|x; heta ight) =frac{e^{ heta _j^Tx}}{sum_{j=1}^k{e^{ heta _j^Tx}}}. \ \ ext{有點貓膩的是，邏輯回歸只要求一個} heta ext{，}k ext{分類的}softmax ext{確要求}k ext{個}. \$

$ext{我們來看看這是怎麼回事, 當}k= ext{2時，}softmax ext{應當退化為邏輯回歸}. \ h_{ heta}left( x ight) =frac{1}{e^{ heta _1^Tx}+e^{ heta _2^Tx}}left[ egin{array}{c} e^{ heta _1^Tx}\ e^{ heta _2^Tx}\ end{array} ight] =left[ egin{array}{c} frac{1}{1+e^{left( heta _2- heta _1 ight) ^Tx}}\ 1-frac{1}{1+e^{left( heta _2- heta _1 ight) ^Tx}}\ end{array} ight] \ ext{可見，邏輯回歸只擬合了上式中}y= ext{1的概率，}softmax ext{是邏輯回歸的推廣} \$ http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92