1、第六章競爭神經網絡2概述概述競爭神經網絡在無教師信息的情況下能夠自組競爭神經網絡在無教師信息的情況下能夠自組織地挖掘輸入信息的特征，以便對輸入進行聚織地挖掘輸入信息的特征，以便對輸入進行聚類處理。類處理。此類神經網絡經常被用來作為前處理單元此類神經網絡經常被用來作為前處理單元 (preprocessing unit)(preprocessing unit)，以便抽取出輸入信息，以便抽取出輸入信息的特征，或將輸入信息矢量量化的特征，或將輸入信息矢量量化 (vector (vector quantization) quantization) 之后再進行監督式學習。之后再進行監督式學習。 3概述概述

2、神經網絡有兩種實現非監督式學習的方式：神經網絡有兩種實現非監督式學習的方式： HebbianHebbian規則規則 通常不是被用來分析輸入信息間的聚通常不是被用來分析輸入信息間的聚類關系或分類關系，類關系或分類關系，而是而是測量輸入信息間的相似性或測量輸入信息間的相似性或分析輸入信息中的主要成分向量分析輸入信息中的主要成分向量 (principle (principle components)components)”。 競爭學習規則競爭學習規則 使用競爭學習的神經網絡，只有其使用競爭學習的神經網絡，只有其中的一個神經元會被激活。該神經元就稱為勝者中的一個神經元會被激活。該神經元就稱為勝者 (w

3、inner)(winner)”。這種神經網絡通常用來做聚類分析。即在。這種神經網絡通常用來做聚類分析。即在無先驗知識的情況下，發現或挖掘輸入信息本身的結無先驗知識的情況下，發現或挖掘輸入信息本身的結構及聚類關系。構及聚類關系。 4概述概述基于競爭學習的神經網絡常被用作樣本特征檢測基于競爭學習的神經網絡常被用作樣本特征檢測器，在樣本排序、樣本聚類、樣本分類、樣本檢器，在樣本排序、樣本聚類、樣本分類、樣本檢測和樣本分布特征可視化等方面有廣泛地應用測和樣本分布特征可視化等方面有廣泛地應用典型的競爭神經網絡有：典型的競爭神經網絡有： ART (Adaptive Resonance Theory) SO

4、FM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network)5Competitive Learningn競爭學習的概念競爭學習的概念設訓練模式集合為x1, x2, xp，所有這些模式分別屬于按某種標準設定的m類模式之一（無先驗知識）通過競爭學習，網絡實現自組織模式分類。每個輸出結點代表某一類模式，具體哪一個結點對應于哪具體哪一個結點對應于哪一類模式不是事先指定的，需要競爭而出。一類模式不是事先指定的，需要競爭而出。每個節點就像一個pattern

5、 detector或feature detector，對輸入的解釋是通過有無相應節點表示對輸入的解釋是通過有無相應節點表示，而不是相應幅度或輸入輸出變換（象前饋網絡或，而不是相應幅度或輸入輸出變換（象前饋網絡或反饋網絡）反饋網絡）與該結點相連的權向量包含了該類模式的基本信息與該結點相連的權向量包含了該類模式的基本信息競爭學習及其特點競爭學習及其特點6n競爭學習目的競爭學習目的 競爭學習過程是對輸入矢量的聚類過程，是使得獲勝節點獲得最大響應的過程，是使獲勝節點與輸入節點之間的權矢獲勝節點與輸入節點之間的權矢量逐漸逼近輸入矢量。量逐漸逼近輸入矢量。 當訓練結束后，對于某類輸入模式P，一定有一個網絡

6、輸出節點有最大響應（輸出值為1），其余輸出節點無響應（輸出值為0）。該最大響應輸出節點與輸入節點之間的權矢量該最大響應輸出節點與輸入節點之間的權矢量等于或代表此輸入矢量。等于或代表此輸入矢量。Competitive Learning7Competitive Learning x1 x2 x3 - xn y1 y2 y3 - ym競爭層競爭層輸入層輸入層-每個輸入節點與每個輸出節點全連接-競爭層的每一個節點接受一個輸入加權和 競爭網絡結構競爭網絡結構8Competitive Learningn 競爭學習過程競爭學習過程 “winner takes all”l確定確定winner winner (

7、competitive phase) (competitive phase) ：按一定的準則計：按一定的準則計 算每個輸出節點與輸入節點之間的權矢量與輸入矢量之算每個輸出節點與輸入節點之間的權矢量與輸入矢量之間的逼近度間的逼近度, ,最逼近的為最逼近的為winner.winner.l調整權矢量調整權矢量(reward phase)(reward phase) ：按一定的準則調整：按一定的準則調整 winnerwinner的權矢量的權矢量In simple competitive learning ，only the winner is allowed to learn (change its

8、weight). In self-organizing maps， winner and other neurons in the neighborhood of the winner may learn.9 competitive learning1p2y1y2ymx1x2xn.xwxwyTin1jjiji XWmaxXWif,yTkm,1kTii 為勝者XWminXWifykm,1kii 為勝者，當權重歸一化時，兩個判斷式是等效的確定確定Winneror10competitive learning權重調整： ncompetitio theloses neuron if ncompetiti

9、o the winsneuron if ii, 0),wx(wijjij11Competitive LearningSimple Competitive Learning1212. 052. 0X81. 027. 01W 70. 042. 02W 21. 043. 03W Competitive Learning13nWe find the winning (best-matching) neuron jX using the minimum-distance Euclidean criterion:221221111)()(wxwxd73. 0)81. 012. 0 ()27. 052. 0

10、 (22222221212)()(wxwxd59. 0)70. 012. 0 ()42. 052. 0 (22223221313)()(wxwxd13. 0)21. 012. 0 ()43. 052. 0 (22nNeuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule. 0.01 )43. 052. 0 ( 1 . 0)( 13113wxw0.01 )21. 012. 0 ( 1 . 0)( 23223wxw Competitive Learnin

11、g14nThe updated weight vector W3 at iteration (p + 1) is determined as:nThe weight vector W3 of the wining neuron 3 becomes closer to the input vector X with each iteration.20. 044. 001. 00.01 21. 043. 0)()() 1(333pppWWW Competitive Learning15Competitive Learning Compress (encode)輸入矢量 x 映射到一個輸出節點（co

12、de-word ） Decompress (decode)輸出節點（code-word ） 映射到對應的權矢量（ code-book vector） 有損壓縮有損壓縮Data Compression16 競爭學習網絡的局限性：競爭學習網絡的局限性： 一般競爭網絡適用于具有典型聚類特性的大量數據的辨識，但當遇到大量的具有概率分布的輸入矢量時，競爭網絡就無能為力了，這時可以采用SOFM網絡來解決。 SOFM網絡也采用競爭學習方法，但強調鄰域的作用。因此，相應的競爭策略略有不同，即不但獲勝者而且其鄰域的神經元也調整權重。 SOFM模型模型17SOFM模型模型自組織特征映射網絡（自組織特征映射網絡（S

13、OFM) 借鑒了上述生理機制，將輸入矢量的特征以有意義的拓撲借鑒了上述生理機制，將輸入矢量的特征以有意義的拓撲結構映射在輸出層上。即在輸入特征空間相鄰的矢量映射結構映射在輸出層上。即在輸入特征空間相鄰的矢量映射后，其輸出層響應節點形成在拓撲幾何意義上的后，其輸出層響應節點形成在拓撲幾何意義上的 相鄰。相鄰。 當隨機樣本輸入到當隨機樣本輸入到SOFMSOFM網絡時，如果樣本足夠多，那么在網絡時，如果樣本足夠多，那么在權值分布上可近似于輸入隨機樣本的概率密度分布，在輸權值分布上可近似于輸入隨機樣本的概率密度分布，在輸出神經元上也反映了這種分布，即概率大的樣本集中在輸出神經元上也反映了這種分布，即概

14、率大的樣本集中在輸出空間的某一個區域或各個不同的區域。出空間的某一個區域或各個不同的區域。 一般而言，一般而言，SOFMSOFM網絡的權矢量收斂到所代表的輸入矢量的網絡的權矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數據的統計特性平均值，它反映了輸入數據的統計特性18SOFM模型模型 輸入層和輸出層（競爭層）輸入層和輸出層（競爭層） 輸入為輸入為 ，輸出可，輸出可 以是任意維，以是任意維， 但一般取二維但一般取二維 其其 中分布中分布m m個神經元。個神經元。 輸入節點輸入節點i i通過權值通過權值 與輸出層與輸出層 的的m m個節點連接，每個輸出節點個節點連接，每個輸出節點j j 對應一

15、組權向量對應一組權向量： Tn21x,x,xtX ijw TjjjjwwwtWn21,iijijxwfon1 節點節點j j輸出：輸出： 網絡結構網絡結構19SOFM模型模型激活函數激活函數 腦神經元化分成不同的功能區域。這種體現了拓撲幾何意義相關的區域的形成與神經元之間的側向聯結（laterallateral connections ）相關。側向聯結可用一種Mexican hat function 來描述。20SOFM模型模型 For a given node, 近鄰神經元互相激勵近鄰神經元互相激勵 (mutually excitatory , w 0)(mutually excitator

16、y , w 0) 遠離神經元互相抑制遠離神經元互相抑制 (mutually inhibitory,w 0)(mutually inhibitory,w 0) 很遠距離的神經元（很遠距離的神經元（irrelevant irrelevant ，w = 0)w = 0) 可以用“鄰域”(neighborhood)作用來實現復雜的側向反饋21SOFM模型模型 學習：學習： n SOFM是競爭網絡中的一種。它也是通過自組織方法，用樣本數據來調整網絡的權值，使得權重成為能反映使得權重成為能反映輸入分布特征的矢量。輸入分布特征的矢量。n 考慮到鄰域的作用，權重調整策略要有所變化，僅靠 “winner tak

17、es allwinner takes all” 的競爭學習方法無法發展出拓撲映射圖22SOFM模型模型為了能使二維輸出平面上相鄰的輸出結點對相近的輸入模式類作出特別反應，在訓練過程中需定義獲勝結點的鄰域結點。假設本次獲勝結點為Nj，它在t時刻的鄰域結點用NEj(t)表示，NEj(t)包含以結點Nj為中心而距離不超過某一半徑的所有結點。隨著訓練的進行， NEj(t)的半徑逐漸縮小，最后只包含獲勝結點Nj自身，即在訓練初始階段，不但對獲勝的結點做權值調整，也對其較大范圍內的幾何鄰接結點做相應的調整，而隨著訓練過程的繼續，與輸出結點相連的權向量也越來越接近其代表的模式類。在訓練結束后，幾何上相近的輸

18、出結點所連接的權向量既有聯系（類似性）又互相區別，從而保證對于某一類輸入模式，獲勝結點能做出最大響應，而相鄰結點做出較大響應。23SOFM模型模型在競爭學習過程中，通過鄰域的作用逐漸地在競爭學習過程中，通過鄰域的作用逐漸地擴大排他性，最終僅一個神經元競爭獲勝擴大排他性，最終僅一個神經元競爭獲勝24競爭學習算法競爭學習算法初始化：對各節點的權賦以小的隨機數作為初始值 歸一化權值和輸入樣本 定初始領域 ，學習速率 ，迭代總數T，t=0 隨機選取某樣本輸入 競爭：在輸出節點中計算尋找最佳匹配節點C ,即其權向量與 的 歐氏距離最小： ;, 1,0piwjimj, 1 0cN 0 txtxtxtXp2

19、1,tX tWtXtWtXjcmin tWj為為p p維向量維向量 21pijiijtwtxtWtX其中 注：當輸入向量和權向量均為歸一化向量時，神經元輸出的內注：當輸入向量和權向量均為歸一化向量時，神經元輸出的內積最大等價與輸入向量和權向量的歐氏距離最小積最大等價與輸入向量和權向量的歐氏距離最小25競爭學習算法競爭學習算法 更新：對獲勝神經元c及拓撲領域 中的所有節點的權值： tNc tWtXttWtWjjj1 twtxttwtwjiijiji1或 tNjc tWtWjj1 tNjc Ttt10 更新學習速率： TtNINTtNcc10更新拓撲鄰域： 判斷迭代次數t是否大于或等于T，若是則結

20、束，否則轉向26競爭學習算法競爭學習算法算法的幾點說明：算法的幾點說明： t tNcl學習常數 和領域 大小要在學習的過程中調整 t對 而言，在迭代的前期，取值約為1，然后逐漸減少，建議用 Nttt11其中，t為迭代數，N為迭代總數。接近收斂階段，應取0.01小數（細調）。 tNc tNc對 而言，領域可取方形或六角形。開始時， 較大，可包含全部節點。然后逐漸減少，建議用： NttNtNcc1int1最后收斂到只含中心本身。l 歸一化處理：對輸入向量和權向量歸一化，以確保通過歐氏距離最小條件選取的獲勝神經元具有最大輸出。 tXtXtX tWtWtWjjj27SOFM模型模型競爭層神經元（100

21、個）排列成1010的二維矩陣。二維輸入矢量 以均勻概率均勻概率分布在正方形平面。特征映射圖： 隨機初始權向量經過50次迭代后的權向量分布28經過100次迭代后的權向量分布經過10000次迭代后的權向量分布SOFM模型模型29SOFM模型模型如果輸入均勻分布在三角形區域，網絡經充分訓練后，可得到如右的拓撲映射圖。 如果把1010的二維矩陣改變成1001的一維結構，則得到右圖的拓撲映射圖。 30SOFM的優缺點的優缺點優點優點:- excellent for classification problems- can greatly reduce computational complexity-

22、high sensitivity to frequent inputs- new ways of associating related data- no need of supervised learning rulesSOFM模型模型31缺點缺點:- system is a black box- error rate may be unacceptable no guarantee of network convergence for higher dimension networks- many problems cant be effectively represented by a

23、SOFM- a large training set may be required- for large classification problems, training can be lengthySOFM模型模型32學習矢量量化學習矢量量化LVQ(Learning Vector Quantization)33概述概述 矢量量化是標量量化概念的擴展，適用于高維數矢量量化是標量量化概念的擴展，適用于高維數據。把高維數據離散化，鄰近區域看作同一量化據。把高維數據離散化，鄰近區域看作同一量化等級，用其中心值代表。其算法可視為一種逐次等級，用其中心值代表。其算法可視為一種逐次聚類的算法，聚類中心是該類的代表（稱為碼聚類的算法，聚類中心是該類的代表（稱為