變分法理解1——泛函簡介

08-20

變分法理解1——泛函簡介

來自專欄機器學習與數學2 人贊了文章

變分法是處理泛函的數學領域，和處理函數的傳統微積分相對。

對泛函求極值的問題稱為變分問題，使泛函取極值的函數稱為變分問題的解，也稱為極值函數。

傳統的微積分中的一個常見的問題是找到一個 x 值使得 y(x) 取得最大值或者最小值。類似的，變分法中，尋找一個函數 y(x)來最大化或者最小化泛函 F(y)。

變分法可以用來說明兩點之間的最短路徑是一條直線或者最大熵分布是高斯分布。

本文介紹什麼是泛函。

泛函概念

設 C 是一個由函數組成的集合，對於 C 中的任何一個元素 y (x)，數集 B 中都有一個元素 F 與之對應，稱 F 是 y(x) 的泛函（functional），記作 $F = F [ y ( x )]$

一般情況下,泛函式常用積分形式表示

$J [ y ( x )] = int_{x_0}^{x_1} F ( x , y , y)dx$

式中，被積函數 $F ( x , y , y)$ 稱為核。

由此可見，泛函是定義域為函數集，而值域為實數或者複數的映射，換句話說，它是從函數組成的一個向量空間到標量域的映射，它的輸入為函數，而輸出為標量。

這裡把泛函和函數、運算元的概念區別理解一下：

- 運算元是一個函數到另一個函數的映射，它是從向量空間到向量空間的映射

- 泛函是從向量空間到數域的映射

- 函數是從數域到數域的映射

如圖所示二維平面空間，從坐標原點(0,0)到點(a,b)的連接曲線是 y = y(x)

曲線的弧長微元是 $ds^2 = dx^2 + dy^2$ 或 $displaystyle ds = sqrt {1 + (frac{dy}{dx})^2} dx$

曲線的總弧長是

$s = int_0^a (1 + y^2 )^{1/2}dx$

其中s是標量，上式右邊是 $y(x)$ 的廣義函數，被稱為泛函，可記為 $s(y)$

問題變成了：找出曲線 y(x)，使得泛函 $s(y)$ 最小。

這個問題可以用變分法求解。

如圖所示，設 O, A 是高度不同，且不在同一鉛垂線上的兩定點，有一重物沿去曲線從O到A受重力作用自由下滑。若忽略摩擦力和阻力，那麼曲線是哪種形狀時質點降落的時間最短？

當重物從O到運動曲線上的一點P時，失去的勢能是 mgy，獲得的動能是 $mv^2/2$ ，由能量守恆：

$v^2 = 2 gy$

在曲線上點 ( x , y ) 處，重物的運動速度為：

$v = frac{ds}{dt} = frac{sqrt {1 + y^2} dx}{dt}$

其中 s 表示曲線的弧長, t 表示時間，那麼：

$dt = frac{sqrt{(1 + y^2)}dx}{v}=sqrt{frac{(1 + y^2)}{2gy}}dx$

則 m 從 O 點運動到 A 點所需時間為：

$t=J(y)=int_0^a sqrt{frac{(1 + y^2)}{2gy}}dx$

重物由 O 點運動到 A 點所需時間 t 是 y(x)的函數，也就是說最速降線問題是滿足條件 $y ( 0 ) = 0 , y ( a ) = b$ 的所有連續函數 y (x) 中，求出一個函數 y 使取最小值。

在機器學習領域，廣泛被使用的泛函是連續變數 x 的熵 H[x] ，因為對於任意概率密度函數 p(x) 的選擇,它都返回一個標量值表示這個概率密度下 x 的熵。因此，p(x)的熵寫成 H[p] 也可以：

$H[p] = -p(x) log_2 p(x)$