導數、偏導、次梯度關係
導數(Derivative)
導數一般針對一維情況。對於多維,一般是指方嚮導數、偏導數(沿某個方向)或梯度。梯度為變化最大的方嚮導數。
是微積分中的重要基礎概念。當函數 的自變數X在一點
上產生一個增量
時,函數輸出值的增量
與自變數增量
的比值在
趨於0時的極限
如果存在,
即為在
處的導數,記作
或
。
如果一個函數在 處可導,那麼它一定在
處是連續函數。函數可導定義:
- 設
在
及其附近有定義,則當
趨向於0時, 若
的極限存在, 則稱
在
處可導。
- 若對於區間
上任意一點
均可導,則稱
在
上可導。
偏導數(partial derivative)
設有二元函數 ,點
是其定義域
內一點。把
固定在
而讓
在
有增量
,相應地函數
有增量
。(稱為對
的偏增量) 。如果
與
之比,當
時的極限存在,那麼此極限值稱為函數
在
處對
的偏導數。記作
。
導數和偏導沒有本質區別,都是當自變數的變化量趨於0時,函數值的變化量與自變數變化量比值的極限。
- 一元函數,一個
對應一個
,導數只有一個。
- 二元函數,,一個
對應一個
和一個
,那就有兩個導數了,一個是
對
的導數,一個是
對
的導數,稱之為偏導。
梯度、全微分、法向量
梯度與曲線的切向量垂直,即梯度方向是法向量方向。討論梯度與切向量、法向量的關係時,切法向量均是對曲線來說的,而不是整個曲面的法向量。因為梯度的維度比曲線的維度低,這是需要記住的。
設 ,首先三維中梯度的定義是
=
,它是一個向量。梯度是變化最大的一個方嚮導數,可以稱梯度為最大方嚮導數。
全微分 ,是用坐標的微小增量
、
、
表示函數
的增量,是一個表達式,和矢量無關,也和切線無關。
下面來說明梯度為什麼和切向量垂直。
設曲線 ,
,
是曲面
上的一條曲線(
為常數,
表示等值面),由於該曲線在曲面上,所以
,
,
滿足方程
,即
,利用複合函數求導法則,方程兩邊同時對t求導數,得(eu/ex)*x『(t)+(eu/ey)*y『(t)+(eu/ez)*z『(t)=0,所以向量
與向量
垂直。而向量(x(t),y(t),z(t))表示曲線的切向量,向量(eu/ex,eu/ey,eu/ez)表示梯度,所以梯度和切向量垂直。
次梯度

外法向量和內法向量
外法線指向曲面外側,內法線指向內側。所以考慮切點P處的法線,可以在曲面內側取一點Q,那麼,如果法線方向和向量PQ的夾角大於90°,可以判定其為外法線,反之為內法線。當然,也可以取曲面區域外側的點進行判斷,道理一樣。

max 和 sup
一個集合的上確界sup和最大值max是兩個不同的概念,區別在於任意一個有界實數集一定存在上確界sup(確界原理),但是不一定存在最大值max。但是如果存在最大值max,一定等於上確界sup。
例如集合(0,1),它的上確界sup是1,但是不存在最大值max。 也就是說,如果你不知道一個集合是否能取到最大值,那就不要用max,用sup即可,sup是萬能的。
推薦閱讀:
※機器學習筆記005 | 更加接近現實情況的預測
※機器學習篇-評估機器學習的模型
※機器學習不僅僅是模型
※機器學習導論——Day6、7
※機器學習-變數離散之MDLP-20180217
TAG:機器學習 |
