廣義線性模型（Generalized Linear Model）

01-25

概要：

本文將會說明線性回歸和邏輯回歸都是廣義線性模型的一種特殊形式，介紹廣義線性模型的一般求解步驟。利用廣義線性模型推導出多分類的Softmax Regression。

線性回歸中我們假設：

邏輯回歸中我們假設：

其實它們都只是廣義線性模型 (GLMs) 的特例。提前透露：有了廣義線性模型下我們只需要把符合指數分布的一般模型的參數轉換成它對應的廣義線性模型參數，然後按照廣義線性模型的求解步驟即可輕鬆求解問題。

指數分布族（ The exponential family）

首先我們定義一下什麼是指數分布族，它有如下形式：

簡單介紹下其中的參數（看不懂沒關係）

$eta$ 是自然參數（ natural parameter ）
$T(y)$ 是充分統計量（ su?cient statistic ）（一般情況下 $T(y) = y$ ）
$a(eta)$ 是 log partition function （ $e^{ - a(eta)}$ 充當正規化常量的角色，保證 $sum p(y; eta) = 1$ ）

也就是所 T，a, b 確定了一種分布， $eta$ 是該分布的參數。

選擇合適的 T， a，b 我們可以得到高斯分布和 Bernoulli 分布。

Bernoulli分布的指數分布族形式：

即：在如下參數下廣義線性模型是 Bernoulli 分布

$eta = log( phi / (1- phi)) Rightarrow phi = 1/(1 + e^{-eta})$

Gaussian 分布的指數分布族形式：

在線性回歸中， $sigma$ 對於模型參數 $heta$ 的選擇沒有影響，為了推導方便我們將其設為1：

得到對應的參數：

用廣義線性模型進行建模：

想用廣義線性模型對一般問題進行建模首先需要明確幾個假設：

$y | x;θ sim ExponentialFamily(eta)$ y的條件概率屬於指數分布族
給定x 廣義線性模型的目標是求解 $T(y) | x$ ，不過由於很多情況下 $T(y) = y$ 所以我們的目標變成了 $y | x$ , 也即我們希望擬合函數為 $h(x) = E[y|x]$ ( 備註：這個條件在線性回歸和邏輯回歸中都滿足，例如邏輯回歸中 $hθ(x) = p(y = 1|x; heta) = 0 cdot p(y = 0|x; heta) + 1 cdot p(y = 1|x; heta) = E[y|x; heta])$ )
自然參數 $eta$ 與 x是線性關係： $eta = heta ^T x$ ( $eta$ 為向量時 $eta_{i} = heta_{i} ^T x$ )

有了如上假設就可以進行建模和求解了：

具體參考下面例子。

廣義線性模型推導出線性回歸：

step1: $y | x;θ sim N( mu , heta)$

step2: 由假設2 $h(x) = E[y|x]$ 得到：

廣義線性模型推導出邏輯回歸：

step1: $y|x; heta sim Bernoulli(phi)$

step2: 與上面同理

廣義線性模型推導出 Softmax Regression （多分類演算法 ）：

【step1】:

y有多個可能的分類： $y in left{ 1,2,...,k ight}$ ，

每種分類對應的概率： $phi_{1}, phi_{2}, cdots ,phi_{k},$ 但是由於 $sum _{i =1}^{k}{phi_{i}} = 1$ , 所以一般用 k-1個參數 $phi_{1}, phi_{2}, cdots ,phi_{k-1},$ 其中 $phi_{i} = p(y = i; phi) ; , p(y = k; phi) = 1 - sum _{i=1}^{ k-1} {phi_{i}}$