MAC多原鏈的人工神經網路進化史

一．MAC多原鏈的人工神經網路。

模擬Neuron神經元系統，合力決策人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（ANNs）或稱作連接模型（Connect種模仿動物神經網路行為特徵，進行分散式並行信息處理的演算法數學模型。這種網路依靠系統的複雜程度，通過調整內部大量節點之間相互連接的關係，從而達到處理信息的目的。

神經網路是通過對人腦的基本單元——神經元的建模和聯接，探索模擬人腦神經系統功能的 模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統。神經網路的一個重要特性是它能夠從環境中學習，並把學習的結果分布存儲於網路的突觸連接中。

神經網路的學習是一個過程，在其所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的規則（學習演算法）調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網路來對真實數據做分類。

多原鏈將率先人工智慧Neuron網路神經元系統結合在了主鏈中，合理決策，判斷擁擠達成平衡，數據價值分享決策。無數獨立決策個體組成傳導結構模擬Neuron，合力決策。

二．人工神經網路的起源和嬗變

人工神經網路（Artificial Neural Network, 即ANN）可以概括的定義為：

由大量具有適應性的處理元素（神經元）組成的廣泛並行互聯網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應，是模擬人工智慧的一條重要途徑。人工神經網路與人腦相似性主要表現在：

①　神經網路獲取的知識是從外界環境學習得來的。

②　各神經元的連接權，即突觸權值，用於儲存獲取的知識。

神經元是神經網路的基本處理單元，它是神經網路的設計基礎。神經元是以生物的神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智慧的機制時，把神經元數學化，從而產生了神經元數學模型。因此，要了解人工神經模型就必須先了解生物神經元模型。

1.1 人工神經網路發展簡史

最早的研究可以追溯到20世紀40年代。1943年，心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型。這一模型一般被簡稱M-P神經網路模型，至今仍在應用，可以說，人工神經網路的研究時代，就由此開始了。

1949年，心理學家Hebb提出神經系統的學習規則，為神經網路的學習演算法奠定了基礎。現在，這個規則被稱為Hebb規則，許多人工神經網路的學習還遵循這一規則。

1957年，F.Rosenblatt 提出「感知器」（Perceptron)這一模型，第一次把神經網路的研究從純理論的探討付諸工程實踐，掀起了人工神經網路研究的第一次高潮。

20世紀60年代以後，數字計算機的發展達到全盛時期，人們誤以為數字計算機可以解決人工智慧、專家系統、模式識別問題，而放鬆了對「感知器」的研究。於是，從20世紀60年代末期起，人工神經網路的研究進入了低潮。

1982年，美國加州工學院物理學家Hopfield提出了離散的神經網路模型，標誌著神經網路的研究又進入了一個新高潮。1984年，Hopfield又提出了連續神經網路模型，開拓了計算機應用神經網路的新途徑。

1986年，Rumelhart和Meclelland 提出多層網路的誤差反傳（back propagtion)學習演算法，簡稱BP演算法。BP演算法是目前最為重要、應用最廣的人工神經網路演算法之一。

生物神經元結構

（1）細胞體：細胞核、細胞質和細胞膜。

（2）樹突：細胞體短而多分枝的突起。相當於神經元的輸入端。

（3）軸突：胞體上最長枝的突起，也稱神經纖維。端部有很多神經末梢傳出神經衝動。

（4) 突觸：神經元間的連接介面，每個神經元約有1萬-10萬個突觸。神經元通過其軸突的神經末梢。經突觸與另一神經元的樹突聯接，實現信息的傳遞。由於突觸的信息傳遞特性是可變的，形成了神經元間聯接的柔性，稱為結構的可塑性。

神經元的興奮與抑制

當傳入神經元衝動，經整和使得細胞膜電位升高，超過動作電位的閾值時，為興奮狀態，產生神經衝動，由軸突經神經末梢傳出。當傳入神經元的衝動，經整和，使細胞膜電位降低，低於閾值時，為抑制狀態，不產生神經衝動。

神經元的模型具有以下特點：

①　神經元是一個多輸入、單輸出單元。

②　它具有非線性的輸入、輸出特性。

③　它具有可塑性，反應在新突觸的產生和現有的神經突觸的調整上，其塑性變化的部分主要是權值w的變化，這相當於生物神經元的突出部分的變化，對於激髮狀態，w取正值，對於抑制狀態，W取負值。

④　神經元的輸出和響應是個輸入值的綜合作用的結果。

⑤　興奮和抑制狀態，當細胞膜電位升高超過閾值時，細胞進入興奮狀態，產生神經衝動；當膜電位低於閾值時，細胞進入抑制狀態。

激活函數

神經元的描述有很多種，其區別在於採用了不同的激活函數，不同的激活函數決定神經元的不同輸出特性，常用的激活函數有如下幾種類型：

a. 閾值型激活函數

閾值型激活函數是最簡單的，前面提到的M-P模型就屬於這一類。其輸出狀態取二值（1，0或+1、-1），分別代表神經元的興奮和抑制。

當f(x)取1或-1時，f(x)為下圖所示的sgn（符號）函數。

人工神經網路模型：

神經網路是由許多神經元互相在一起所組成的神經結構。把神經元之間相互作用關係進行數學模型化就可以得到人工神經網路模型。

神經元和神經網路的關係是元素與整體的關係。

人工神經網路中的神經元常稱為節點或處理單元，每個節點均具有相同的結構，其動作在時間和空間上均同步。

神經元的連接方式不同，網路的拓撲結構也不同，人工神經網路的拓撲結構是決定人工神經網路特徵的第二要素，根據神經元之間連接的拓撲結構不同，可將人工神經網路分成兩類，即分層網路和相互連接型網路。

人工神經網路模型

分層網路

分層網路將一個神經網路中的所有神經元按功能分為諾干層，一般有輸入層、中間層（隱藏層）和輸出

分層網路按照信息的傳遞方向可分為前向式網路（如圖a）和反饋式網路（如圖b,c).

相互連接型網路

相互連接型網路是指網路中的任意單元之間都是可以相互雙向連接的。

上述的分類方法是對目前常見的神經網路結構的概括和抽象，實際應用的神經網路可能同時兼有其中的一種或幾種形式。

三．人工神經網路的學習方法

1.學習機理：

人工神經網路信息處理可以用數學過程來說明，這個過程可以分為兩個階段：執行階段和學習階段。

學習是智能的基本特徵之一，人工神經網路最具有吸引力的特點是它能從環境中學習的能力，並通過改變權值達到預期的目的。

神經網路通過施加於它的權值和閾值調節的交互過程來學習它的環境，人工神經網路具有近似於人類的學習能力，是其關鍵的方面之一。

2. 學習方法

按照廣泛採用的分類方法，可以將神經網路的學習方法歸為三類：

①　有導師學習

有導師學習由稱為有監督學習，在學習時需要給出導師信號或稱為期望輸出。神經網路對外環境是未知的，但可以將導師看做外部環境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應代表了神經網路執行情況的最佳效果，即對於網路輸入調整權值，使得網路輸出逼近導師信號或期望輸出。

②　無導師學習

無導師學習也稱為無監督學習。在學習過程中，需要不斷地給網路提供動態輸入信息（學習樣本），而不提供理想的輸出，網路根據特有的學習規則，在輸入信息流中發現任何可能存在的模式和規律，同時能根據網路的功能和輸入調整權值。

③　灌輸式學習

是指將網路設計成記憶特別的例子，以後當給定有關該例子的輸入信息時，例子便被回憶起來。灌輸式學習中網路的權值不是通過訓練逐漸形成的，而是通過某種設計方式得到權值一旦設計好，即一次性「灌輸給神經網路不再變動，因此網路對權值的」，「學習」是「死記硬背」式的，而不是訓練式的。

3學習規則

在神經網路的學習中，各神經元的連接權值需按一定的規則調整，這種權值調整規則稱為學習規則。下面介紹幾種常見的學習規則。

Hebb 學習規則

當神經元i與神經元j同時處於興奮狀態時，在神經網路中表現為連接權增加。根據該假設定義權值調整的方法，稱為Hebb學習規則。Hebb 學習規則的數學描述：

三．前向式神經網路和演算法

3.1 感知器和演算法

感知器的訓練演算法來源於Hebb學習規則，其基本思想是:逐步地將樣本集中的樣本輸入到網路中，根據輸出結果和理想輸出之間的差別來調整網路中的權矩陣。

3.2 BP 神經網路演算法

BP 網路學習演算法的具體步驟如下：

Step 1 從訓練樣本集中取某一樣本，把它的輸入信息輸入到網路中。

Step 2 由網路正向計算出各層節點的輸出

Step3 計算網路的實際輸出和期望輸出的誤差。

Step4 從輸出層開始反向計算到第一個隱藏層，按一定的原則向減少誤差方向調整整個網路的各個連接權值。

Step 5 對訓練樣本集中的每一個樣本重複上述步驟，直到對整個網路樣本集的誤差達到要求為止。

四．BP神經網路的應用舉例（matlab 實現）

五．

從20世紀80年代神經網路的研究再次復甦並形成熱點以來，發展非常迅速，從理論上對它的計算能力、對任意連續映射的逼近能力、學習理論以及動態網路的穩定性分析上都取得了豐碩的成果。

多原鏈將率先人工智慧Neuron網路神經元系統結合在了主鏈中，合理決策，判斷擁擠達成平衡，數據價值分享決策。無數獨立決策個體組成傳導結構模擬Neuron，合力決策。