1、第四章第四章 自組織競爭型神經(jīng)網(wǎng)絡自組織競爭型神經(jīng)網(wǎng)絡本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡的結構、學習算法，及相關理論。的結構、學習算法，及相關理論。翡翠棋牌翡翠棋牌ddzfc 收集整理收集整理第四章自組織競爭型神經(jīng)網(wǎng)絡第四章自組織競爭型神經(jīng)網(wǎng)絡4.1 前言前言4.2 競爭學習的概念和原理競爭學習的概念和原理4.3自組織特征映射神經(jīng)網(wǎng)絡自組織特征映射神經(jīng)網(wǎng)絡4.4自組織特征映射神經(jīng)網(wǎng)絡的設計自組織特征映射神經(jīng)網(wǎng)絡的設計4.5 對偶傳播神經(jīng)網(wǎng)絡對偶傳播神經(jīng)網(wǎng)絡4.6小結小結4.1 前言前言n在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)

2、象，即一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間出現(xiàn)競爭，其結果是某些獲勝，而另一些則失敗。出現(xiàn)競爭，其結果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑制。制。n自組織競爭型神經(jīng)網(wǎng)絡就是模擬上述生物神經(jīng)系自組織競爭型神經(jīng)網(wǎng)絡就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡。統(tǒng)功能的人工神經(jīng)網(wǎng)絡。n自組織競爭型神經(jīng)網(wǎng)絡是一種無教師監(jiān)督學習，自組織競爭型神經(jīng)網(wǎng)絡是一種無教師監(jiān)督學習，具有自組織功能的神經(jīng)網(wǎng)絡。網(wǎng)絡

3、通過自身的訓具有自組織功能的神經(jīng)網(wǎng)絡。網(wǎng)絡通過自身的訓練，能自動對輸入模式進行分類。這一點與練，能自動對輸入模式進行分類。這一點與Hopfield網(wǎng)絡的模擬人類功能十分相似，自組織網(wǎng)絡的模擬人類功能十分相似，自組織競爭型神經(jīng)網(wǎng)絡的結構及其學習規(guī)則與其他神經(jīng)競爭型神經(jīng)網(wǎng)絡的結構及其學習規(guī)則與其他神經(jīng)網(wǎng)絡相比有自己的特點。網(wǎng)絡相比有自己的特點。n在網(wǎng)絡結構上，它一般是由輸入層和競爭層構成在網(wǎng)絡結構上，它一般是由輸入層和競爭層構成的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙向連接，的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡沒有隱含層。有時競爭層各神經(jīng)元之間而且網(wǎng)絡沒有隱含層。有時競爭層各神經(jīng)元之間還存

4、在橫向連接。還存在橫向連接。n在學習算法上，它模擬生物神經(jīng)元之間的興奮、在學習算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學原理協(xié)調(diào)與抑制、競爭作用的信息處理的動力學原理來指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)來指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡那樣是以網(wǎng)絡的誤差或能量函數(shù)作為算法的準絡那樣是以網(wǎng)絡的誤差或能量函數(shù)作為算法的準則。則。n競爭型神經(jīng)網(wǎng)絡構成的基本思想是網(wǎng)絡的競爭層競爭型神經(jīng)網(wǎng)絡構成的基本思想是網(wǎng)絡的競爭層各神經(jīng)元競爭對輸入模式響應的機會，最后僅有各神經(jīng)元競爭對輸入模式響應的機會，最后僅有一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則一個神經(jīng)元成為

5、競爭的勝者。這一獲勝神經(jīng)元則表示對輸入模式的分類。表示對輸入模式的分類。自組織競爭人工神經(jīng)網(wǎng)絡是基于上述生物結構和自組織競爭人工神經(jīng)網(wǎng)絡是基于上述生物結構和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓練和判斷，并將其最終分為不同的類型。練和判斷，并將其最終分為不同的類型。 與與BP網(wǎng)絡相比，這種自組織自適應的學習能力進網(wǎng)絡相比，這種自組織自適應的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡在模式識別、分類方一步拓寬了人工神經(jīng)網(wǎng)絡在模式識別、分類方面的應用，另一方面，競爭學習網(wǎng)絡的核心面的應用，另一方面，競爭學習網(wǎng)絡的核心競爭層，又是許多種其他神經(jīng)網(wǎng)絡模型的重競爭層，又是

6、許多種其他神經(jīng)網(wǎng)絡模型的重要組成部分。要組成部分。常用的自組織網(wǎng)絡常用的自組織網(wǎng)絡n自組織特征映射自組織特征映射(Self-Organizing Feature Map)網(wǎng)絡網(wǎng)絡n對偶傳播對偶傳播(Counter propagation)網(wǎng)絡網(wǎng)絡自組織神經(jīng)網(wǎng)絡的典型結構自組織神經(jīng)網(wǎng)絡的典型結構 競爭層競爭層輸入層輸入層4.2 競爭學習的概念與原理競爭學習的概念與原理分類分類分類是在類別知識等導師信號的指分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模導下，將待識別的輸入模式分配到各自的模式類中去。式類中去。聚類聚類無導師指導的分類稱為聚類，聚類無導師指導的分類稱為聚類，聚類

7、的目的是將相似的模式樣本劃歸一類，而將的目的是將相似的模式樣本劃歸一類，而將不相似的分離開。不相似的分離開。4.2 競爭學習的概念與原理競爭學習的概念與原理競爭學習的概念競爭學習的概念 相似性測量歐式距離法)()(iTiiXXXXXX 類1 類2 類1 類2 T T (a)基于歐式距離的相似性測量 (b)基于余弦法的相似性測量 兩個模式向量的歐式距離越小，兩個模式向量的歐式距離越小，兩個向量越接近，因此認為這兩兩個向量越接近，因此認為這兩個模式越相似，當兩個模式完全個模式越相似，當兩個模式完全相同時其歐式距離為零。如果對相同時其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式同一類內(nèi)各個模式向

8、量間的歐式距離作出規(guī)定，不允許超過某一距離作出規(guī)定，不允許超過某一最大值最大值T T，則最大歐式距離，則最大歐式距離T T就成就成為一種聚類判據(jù)，同類模式向量為一種聚類判據(jù)，同類模式向量的距離小于的距離小于T T，兩類模式向量的，兩類模式向量的距離大于距離大于T T。 相似性測量余弦法相似性測量余弦法iiTXXXXcos 類 1 類 2 類 1 類 2 T T (a )基 于 歐 式 距 離 的 相 似 性 測 量 (b )基 于 余 弦 法 的 相 似 性 測 量兩個模式向量越接近，其夾角兩個模式向量越接近，其夾角越小，余弦越大。當兩個模式越小，余弦越大。當兩個模式向量完全相同時，其余弦夾角

9、向量完全相同時，其余弦夾角為為1 1。如果對同一類內(nèi)各個模式。如果對同一類內(nèi)各個模式向量間的夾角作出規(guī)定，不允向量間的夾角作出規(guī)定，不允許超過某一最大夾角許超過某一最大夾角a a，則最大，則最大夾角就成為一種聚類判據(jù)。同夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于類模式向量的夾角小于a a，兩類，兩類模式向量的夾角大于模式向量的夾角大于a a。余弦法。余弦法適合模式向量長度相同和模式適合模式向量長度相同和模式特征只與向量方向相關的相似特征只與向量方向相關的相似性測量。性測量。競爭學習原理競爭學習原理競爭學習規(guī)則競爭學習規(guī)則Winner-Take-AllWinner-Take-All網(wǎng)絡的輸出

10、神經(jīng)元之間相互競爭以求被激活，網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經(jīng)元被激活。結果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Winner Take AllTake All。4.2 競爭學習的概念與原理競爭學習的概念與原理1.1.向量歸一化向量歸一化 首先將當前輸入模式向量首先將當前輸入模式向量X X和競爭層中各神經(jīng)元對應的內(nèi)星向量和競爭層中各神經(jīng)元對應的內(nèi)星向量Wj Wj 全部進行歸一化處理；全部進行歸一化處理； (

11、j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX向量歸一化之前向量歸一化之前 * * * * * * * * 向量歸一化之后向量歸一化之后 * * * * * * * * * * 競爭學習原理競爭學習原理競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All2.2.尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 當網(wǎng)絡得到一個輸入模式向當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的內(nèi)星權向量均量時，競爭層的所有神經(jīng)元對應的內(nèi)星權向量均與其進行相似性比較，并將最相似的內(nèi)星權向量與其進行相似性比較，并將最相似的內(nèi)星權向量判為競爭獲勝神經(jīng)元。判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似

12、，須使其點積最大。即：欲使兩單位向量最相似，須使其點積最大。即：)(max,.,2, 1*XWXWTjmjTj從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：量的點積最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All3.3.網(wǎng)絡輸出與權值調(diào)整網(wǎng)絡輸出與權值調(diào)整*01) 1(jjjjtoj*(1)( )( )( )()jjjjjttttWWWWX

13、W)()1(ttjjWW j jj j* *步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓練，直到學習率衰減到繼續(xù)訓練，直到學習率衰減到0 0。競爭學習規(guī)則競爭學習規(guī)則Winner-Take-All * * * * * * * * 競爭學習的幾何意義競爭學習的幾何意義 * 1W *jW * )()()()(*ttttjpWXW * )(*1tjW )(tpX jW mW * *競爭學習的幾何意義競爭學習的幾何意義例例4.1 4.1 用競爭學習算法將下列各模式分為用競爭學習算法將下列各模式分為2 2類：類：6 . 08 . 01X9848. 01736. 02X707. 0707. 03

14、X9397. 0342. 04X8 . 06 . 05X解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式 ：89.3611X8012X5 .4413X7014X13.5315X競爭層設兩個權向量，隨機初始化為單位向量：競爭層設兩個權向量，隨機初始化為單位向量：0101)0(1W180101)0(2W x5 x3 x1 w2 w1 x2 x4 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6

15、 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0

16、 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6

17、1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0

18、- -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1

19、 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 -

20、 -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1

21、17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 -

22、-1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 1

23、7 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -

24、1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17

25、 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1

26、 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17

27、7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1

28、13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7

29、 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 1

30、3 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7

31、1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13

32、 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1

33、 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13

34、30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 訓訓 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1

35、18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 3

36、0 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 n1981年芬蘭年芬蘭Helsink大學的大學的T.Kohonen教授提出教授提出一種自組織特征映射網(wǎng)，簡稱一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱網(wǎng)，又稱Kohonen網(wǎng)。網(wǎng)。nKohonen認為：一個神經(jīng)網(wǎng)絡接受外界輸入模認為：一個神經(jīng)網(wǎng)絡接受外界輸入模式時，將會分為不同的對應區(qū)

37、域，各區(qū)域?qū)斒綍r，將會分為不同的對應區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫卣鳎疫@個過程是入模式具有不同的響應特征，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類法提出來的，其特點與人腦的自組織特性相類似。似。4.3自組織特征映射神經(jīng)網(wǎng)絡自組織特征映射神經(jīng)網(wǎng)絡SOMSOM網(wǎng)的生物學基礎網(wǎng)的生物學基礎生物學研究的事實表明，在人腦的感覺通道上，神經(jīng)元生物學研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當人腦通過感官接受外界的組織原理是有序排列。因此當人腦通過感官接受外界的特定時空信息時

38、，大腦皮層的特定區(qū)域興奮，而且類的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應區(qū)域是連續(xù)映象的。似的外界信息在對應區(qū)域是連續(xù)映象的。對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學基礎。中競爭機制的生物學基礎。SOMSOM網(wǎng)的拓撲結構網(wǎng)的拓撲結構SOMSOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應的大腦皮層。網(wǎng)膜，輸出層模擬做出響應的大腦皮層。 (

39、a)一維線陣 (b)二維平面線陣 SOMSOM網(wǎng)的權值調(diào)整域網(wǎng)的權值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲懯怯山斑h，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W習算法中不僅獲勝神經(jīng)元本身要因此其學習算法中不僅獲勝神經(jīng)元本身要調(diào)整權向量，它周圍的神經(jīng)元在其影響下調(diào)整權向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權向量。這種調(diào)整可也要程度不同地調(diào)整權向量。這種調(diào)整可用三種函數(shù)表示：用三種函數(shù)表示：SOMSOM網(wǎng)的權值調(diào)整域網(wǎng)的權值調(diào)整域以獲勝神經(jīng)元為中心設定一個鄰域半徑，該半徑圈以獲勝神經(jīng)元為中心設定一個鄰域半徑，該半徑圈定的范

40、圍稱為優(yōu)勝鄰域。在定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權值。離遠近不同程度地調(diào)整權值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。增加不斷收縮，最終收縮到半徑為零。SOMSOM網(wǎng)的運行原理網(wǎng)的運行原理n訓練階段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w5 * * W1 W2 * W3*W5 * W4 * *

41、W1 W2 * W3*W5 * W4SOM網(wǎng)的運行原理網(wǎng)的運行原理n工作階段SOM網(wǎng)的學習算法網(wǎng)的學習算法(1)(1)初始化初始化 對輸出層各權向量賦小隨機數(shù)并進行歸一化對輸出層各權向量賦小隨機數(shù)并進行歸一化處理，得到處理，得到 ，j=1,2,mj=1,2,m；建立初始優(yōu)勝鄰域；建立初始優(yōu)勝鄰域NjNj* *(0)(0)；學習率學習率 賦初始值。賦初始值。jW(2)接受輸入接受輸入 從訓練集中隨機選取一個輸入模式并進行從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到歸一化處理，得到 ，p1,2,P。pX(3)尋找獲勝節(jié)點尋找獲勝節(jié)點 計算計算 與與 的點積，的點積，j=1,2,m，從，從中

42、選出點積最大的獲勝節(jié)點中選出點積最大的獲勝節(jié)點j*。pXjW(4)定義優(yōu)勝鄰域定義優(yōu)勝鄰域Nj*(t) 以以j*為中心確定為中心確定t 時刻的權值調(diào)整時刻的權值調(diào)整域，一般初始鄰域域，一般初始鄰域Nj*(0)較大，訓練過程中較大，訓練過程中Nj*(t)隨訓練隨訓練時間逐漸收縮。時間逐漸收縮。Kohonen 學習算法學習算法 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)(5)調(diào)整權值調(diào)整權值 對優(yōu)勝鄰域?qū)?yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點調(diào)整權值：內(nèi)的所有節(jié)點調(diào)整權值： i=1,2,n jNj*(t) 式中，式中， 是訓練時間是訓練時間t 和鄰域內(nèi)第和鄰域內(nèi)第

43、j 個神經(jīng)元與獲勝經(jīng)個神經(jīng)元與獲勝經(jīng)元元 j* 之間的拓撲距離之間的拓撲距離N 的函數(shù)，該函數(shù)一般有以下規(guī)律：的函數(shù)，該函數(shù)一般有以下規(guī)律：)(),()()1(twxNttwtwijpiijij),( NtNt,NetNt)(),(t) (t) (t)(0) (0) (0) 0 t 0 t 0 t(6)結束檢查結束檢查 學習率是否衰減到零或某個預定的正小數(shù)？學習率是否衰減到零或某個預定的正小數(shù)？初始化、歸一化權向量 W：jW，j=1,2,m；建立初始優(yōu)勝鄰域 Nj*(0)學習率(t)賦初始值輸入歸一化樣本pX，p1,2,P計算點積pTjXW，j=1,2,m選出點積最大的獲勝節(jié)點 j*定義優(yōu)勝鄰

44、域 Nj*(t)對優(yōu)勝鄰域 Nj*(t)內(nèi)節(jié)點調(diào)整權值：)()()()(twxN, ttw1twijpiijiji=1,2,n jNj*(t) N )(tmin Y結束K o h o n e n學習算法程序流程學習算法程序流程功 能 分 析(1)保序映射將輸入空間的樣本模式類有序地映射在輸出層上。例1：動物屬性特征映射。 動物 屬性 鴿子 母雞 鴨 鵝 貓頭鷹 隼 鷹 狐貍 狗 狼 貓 虎 獅 馬 斑馬 牛 小 中 大 2只腿 4只腿 毛 蹄 鬃毛 羽毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0

45、0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0

46、0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭 獅 鴿 鷹 狗 鷹 母雞 狐 貓功功 能能 分分 析析(2) 數(shù)據(jù)壓縮數(shù)據(jù)壓縮-將高維空間的樣本將高維空間的樣本在保持拓撲結構不變的條件下投在保持拓撲結構不變的條件下投影到低維的空間，在這方面影到低維的空間，在這方面SOM網(wǎng)具有明顯的優(yōu)勢。無論網(wǎng)具有明顯的優(yōu)勢。無論輸入樣本空間是多少維，其模式輸入樣本空間是多少維，其模式都可以在都可以在SOM網(wǎng)輸出層的某個網(wǎng)輸出層的某個區(qū)域得到相應。區(qū)域得到相應。SOM網(wǎng)經(jīng)過訓網(wǎng)經(jīng)過訓練以后，在

47、高維空間輸入相近的練以后，在高維空間輸入相近的樣本，其輸出相應的位置也相近。樣本，其輸出相應的位置也相近。(3) 特征提取特征提取-從高維空間樣本向從高維空間樣本向低維空間的映射，低維空間的映射，SOM網(wǎng)的輸網(wǎng)的輸出層相當于低維特征空間。出層相當于低維特征空間。4.4 自組織特征映射網(wǎng)絡的設計自組織特征映射網(wǎng)絡的設計1. 輸出層設計輸出層設計a.節(jié)點數(shù)設計節(jié)點數(shù)設計節(jié)點數(shù)與訓練集樣本有多少模式類有關。如果節(jié)點數(shù)與訓練集樣本有多少模式類有關。如果節(jié)點數(shù)少于模式類數(shù)，則不足以區(qū)分全部模式節(jié)點數(shù)少于模式類數(shù)，則不足以區(qū)分全部模式類，訓練的結果勢必將相近的模式類合并為一類，訓練的結果勢必將相近的模式類

48、合并為一類。這種情況相當于對輸入樣本進行類。這種情況相當于對輸入樣本進行“粗分粗分”。如果節(jié)點數(shù)多于模式類數(shù)，一種可能是將類別如果節(jié)點數(shù)多于模式類數(shù)，一種可能是將類別分得過細，而另一種可能是出現(xiàn)分得過細，而另一種可能是出現(xiàn)“死節(jié)點死節(jié)點”，即在訓練過程中，某個節(jié)點從未獲勝過且遠離即在訓練過程中，某個節(jié)點從未獲勝過且遠離其他獲勝節(jié)點，因此它們的權值從未得到過調(diào)其他獲勝節(jié)點，因此它們的權值從未得到過調(diào)整。在解決分類問題時，如果對類別數(shù)沒有確整。在解決分類問題時，如果對類別數(shù)沒有確切的信息，寧可先設定較多的節(jié)點數(shù)，以便較切的信息，寧可先設定較多的節(jié)點數(shù)，以便較好的映射樣本的拓撲結構，如果分類過細再酌

49、好的映射樣本的拓撲結構，如果分類過細再酌情減少輸出節(jié)點。情減少輸出節(jié)點。“死節(jié)點死節(jié)點問題一般可通過問題一般可通過重新初始化權值得到解決。重新初始化權值得到解決。1. 輸出層設計輸出層設計b.節(jié)點排列的設計節(jié)點排列的設計輸出層的節(jié)點排列成哪種形式取決于實際輸出層的節(jié)點排列成哪種形式取決于實際應用的需要，排列形式應盡量直觀反映出應用的需要，排列形式應盡量直觀反映出實際問題的物理意義。例如，對于旅行路實際問題的物理意義。例如，對于旅行路徑類的問題，二維平面比較直觀；對于一徑類的問題，二維平面比較直觀；對于一般的分類問題，一個輸出節(jié)點節(jié)能代表一般的分類問題，一個輸出節(jié)點節(jié)能代表一個模式類，用一維線陣

50、意義明確結構簡單。個模式類，用一維線陣意義明確結構簡單。2. 權值初始化問題權值初始化問題SOM網(wǎng)的權值一般初始化為較小的隨機數(shù)，這樣做網(wǎng)的權值一般初始化為較小的隨機數(shù)，這樣做的目的是使權向量充分分散在樣本空間。但在某些的目的是使權向量充分分散在樣本空間。但在某些應用中，樣本整體上相對集中于高維空間的某個局應用中，樣本整體上相對集中于高維空間的某個局部區(qū)域，全向量的初始位置卻隨機地分散于樣本空部區(qū)域，全向量的初始位置卻隨機地分散于樣本空間的廣闊區(qū)域，訓練時必然是離整個樣本群最近的間的廣闊區(qū)域，訓練時必然是離整個樣本群最近的全向量被不斷調(diào)整，并逐漸進入全體樣本的中心位全向量被不斷調(diào)整，并逐漸進入

51、全體樣本的中心位置，而其他權向量因初始位置遠離樣本群而永遠得置，而其他權向量因初始位置遠離樣本群而永遠得不到調(diào)整。如此訓練的結果可能使全部樣本聚為一不到調(diào)整。如此訓練的結果可能使全部樣本聚為一類。解決這類問題的思路是盡量使權值的初始位置類。解決這類問題的思路是盡量使權值的初始位置與輸入樣本的大概分布區(qū)域充分重合。與輸入樣本的大概分布區(qū)域充分重合。2. 權值初始化問題權值初始化問題一種簡單易行的方法是從訓練集中隨機抽取一種簡單易行的方法是從訓練集中隨機抽取m個輸個輸入樣本作為初始權值，即入樣本作為初始權值，即 (0),1,2,ramkjWXjm=K其中其中 是輸入樣本的順序隨機數(shù)，是輸入樣本的順

52、序隨機數(shù)， 。因為。因為任何一定是輸入空間某個模式類的成員，各個權向量按上式任何一定是輸入空間某個模式類的成員，各個權向量按上式初始化后從訓練一開始就分別接近了輸入空間的各模式類，初始化后從訓練一開始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的占據(jù)了十分有利的“地形地形”。另一種可行的辦法是先計算出。另一種可行的辦法是先計算出全體樣本的中心向量全體樣本的中心向量ramk1,2, ramkPK11PppXXP=在該中心向量基礎上迭加小隨機數(shù)作為權向量初始值，也在該中心向量基礎上迭加小隨機數(shù)作為權向量初始值，也可將權向量的初始位置確定在樣本群中。可將權向量的初始位置確定在樣本群中。3. 優(yōu)勝鄰

53、域的設計優(yōu)勝鄰域的設計優(yōu)勝領域設計原則是使領域不斷縮小，這樣輸出平面上相鄰優(yōu)勝領域設計原則是使領域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對應的權向量之間既有區(qū)別又有相當?shù)南嗨菩裕瑥亩窠?jīng)元對應的權向量之間既有區(qū)別又有相當?shù)南嗨菩裕瑥亩ＷC當獲勝節(jié)點對某一類模式產(chǎn)生最大響應時，其領域節(jié)點保證當獲勝節(jié)點對某一類模式產(chǎn)生最大響應時，其領域節(jié)點也能產(chǎn)生較大響應。領域的形狀可以是正方形、六邊形或者也能產(chǎn)生較大響應。領域的形狀可以是正方形、六邊形或者菱形。優(yōu)勢領域的大小用領域的半徑表示，菱形。優(yōu)勢領域的大小用領域的半徑表示，r(t)r(t)的設計目前的設計目前沒有一般化的數(shù)學方法，通常憑借經(jīng)驗來選擇沒有一般化

54、的數(shù)學方法，通常憑借經(jīng)驗來選擇11/1( )(1)( )mmB tttr tCtr tCe-=-= 為于輸出層節(jié)點數(shù)為于輸出層節(jié)點數(shù)m m有關的正常數(shù)，有關的正常數(shù)， 為大于為大于1 1的常數(shù)，的常數(shù)，為預先選定的最大訓練次數(shù)。為預先選定的最大訓練次數(shù)。1C1Bmt4. 學習率的設計學習率的設計在訓練開始時，學習率可以選取較大的值，之后以較快在訓練開始時，學習率可以選取較大的值，之后以較快的速度下降，這樣有利于很快捕捉到輸入向量的大致結的速度下降，這樣有利于很快捕捉到輸入向量的大致結構，然后學習率在較小的值上緩降至構，然后學習率在較小的值上緩降至0 0值，這樣可以精值，這樣可以精細地調(diào)整權值使

55、之符合輸入空間的樣本分布結構。細地調(diào)整權值使之符合輸入空間的樣本分布結構。22/2( )(1)( )mmB t tttCttC ehh=-= d1 dk dl o1 ok ol W1 Wk Wl 輸出層輸出層 y1 y2 yj ym 競爭層競爭層 V1 Vm 輸入層輸入層 x1 x2 xi xn-1 xn 4.5 對偶傳播神經(jīng)網(wǎng)絡對偶傳播神經(jīng)網(wǎng)絡對偶傳播網(wǎng)絡對偶傳播網(wǎng)絡 X X(x1,x2 ,xn)T(x1,x2 ,xn)T Y Y(y1,y2 ,ym)T(y1,y2 ,ym)T，yi0,1yi0,1，i=1,2,mi=1,2,m O O(o1,o2 ,ol)T(o1,o2 ,ol)T d d(d1,d2 ,dl)T(d1,d2 ,dl)T V=(V1,V2 ,Vj,Vm) V=(V1,V2 ,Vj,Vm) W=(W1,W2 ,Wk ,Wl) W=(