二維可視圖講解神經元w,b參數的作用

01-24

在我們接觸神經網路過程中，很容易看到就是這樣一個式子， $g(wx+b)$ ，其中 $w,x$ 均為向量.比如下圖所示：

加入激活函數為g(x)，我們就可以用公式 $g(w_{1}x_{1}+ w_{2}x_{2} +b)$ 來表示神經元的輸出.其中 $b$ 為神經元的偏置.那麼 $w,b$ 這些參數的作用有沒有最直觀的感受呢？以及我當時學習的時候問師兄的，每個神經元為什麼要加上偏置 $b$ ,不加又有什麼後果呢？下面通過二維可視化圖來直觀說明一下它們的作用：

加入我們激活函數用的是 $sigmoid$ 函數，它的圖像如下：

我們很容易看到 $sigmoid$ 函數的作用是將輸入映射到一個 $[0,1]$ 的輸出範圍

現在我們還是有一個簡單的任務，需要將下面三角形和圓形進行分類：

利用上面神經元訓練可以得到一個直線，去線性分開這些數據點.方程如下：

$w_{1}x_{1}+ w_{2}x_{2}+b=0$ ，我們就可以得到下面這條類似的直線去線性分割好倆種不同類型的數據點.

那麼這條邊界找到了.而這個邊界是 $w_{1}x_{1}+ w_{2}x_{2}+b=0$ 的方程，而 $w_{1}x_{1}+ w_{2}x_{2}+b$ 是作為激活函數 $sigmoid$ 的輸入處理.激活函數將輸入映射到 $[-1,1]$ 的範圍內.那麼可以增加一個維度來表示激活函數的輸出.我們認為 $g(x)>0.5$ 就為正類（這裡指圓形）, $g(x)<0.5$ 就為負類，這裡指三角形類.得到的三維圖如下：

圖來自：Hugo Larochelle課程ppt

那麼就可以真正的可視化說明一下 $w,b$ 等參數的作用在圖中是怎麼體現的~

我們從上圖很容易得到，當我們將這個三維圖進行投影的時候，就是我們上個用直線分割好倆類的平面圖，三維圖中的那個豎直平面投影下來就是方程 $w_{1}x_{1}+ w_{2}x_{2}+b=0$ .右邊輸出為1的部分就是說 $w_{1}x_{1}+ w_{2}x_{2}+b>0$ ,導致激活函數輸出>0.5，從而分為正類（圓形類）,左邊輸出為-1的部分就是說 $w_{1}x_{1}+ w_{2}x_{2}+b<0$ ,導致激活函數輸出<0.5，從而分為負類（三角形類）

$w$ 參數的作用

其中 $w$ 參數的作用，我們可以得到，是決定那個豎直平面的方向所在.豎直平面的投影就是直線 $w_{1}x_{1}+ w_{2}x_{2}+b=0$

我們解釋如下，在二個輸入中，可以得到. $w=[w_{1},w_{2}]$ ,令方程 $w_{1}x_{1}+ w_{2}x_{2}+b=0$ ，那麼該直線的斜率就是 $-frac{w_{1} }{w_{2} } x_{1}$ 。隨著 $w_{1},w_{2}$ 的變動，直線的方向也在改變，那麼豎直平面的方向也在改變~