1、綜述：聯結主義認知心理學的主要模型與理論觀點（一）1、概述與歷史認知心理學發展至今，一直存有兩種研究取向，一種是信息加工取向，一種是聯 結主義取向。前者是一種計算機隱喻，將人腦與計算機類比，認為人腦實際是一 種信息加工裝置和符號處理系統，具備類似計算機信息處理的一般特性：符號性、 離散性、序列加工、非自組織性和局部表征。而后者是一種人腦神經網絡類比， 用各種形式神經元的網絡模型來模擬真實大腦的結構與功能，是一種人工神經網絡，與信息加工認知心理學相比，聯結主義的神經網絡模型具備一些不同的特點： 亞符號性、連續性、平行加工、自組織性和分布式表征。聯結主義認知心理學興起于20世紀40年代，一般把19

2、43年心理學家麥克洛齊 和數學家匹茨發表的神經系統中所蘊涵思想的邏輯演算一文作為聯結主義研 究的開始。他們提出了形式神經元的概念和最初的神經網絡模型M-P模型，以及此后加拿大心理學家赫布提出赫布學習定律、 心理學家魯梅爾哈特提出模擬視知 覺的感知機模型，開始引發了聯結主義認知心理學網絡模型研究的第一個高潮。但是限于當時的條件，他們提出的模型難以解決更復雜的問題， 模型的學習算法 和規則不夠成熟，處理能力極其有限，而在理論上又難以有所突破，加上美國人 工智能權威人士明斯基和佩帕特對于感知機能力和應用前景的批評，信息加工取向的研究此時出現了巨大突破，所以對于聯結主義神經網絡模型研究的熱情很快 冷卻

3、下來，研究進入了一個長期的蕭條階段。直到80年代初期，當信息加工認知心理學在大發展之后，發現以符號處理為基礎的系統不能很好處理那些非明確定義的問題，很難處理模糊的、非完全符號表 征和復雜的信息，同時這種系統不具備學習能力，不能通過經驗來總結出知識。人們意識到，要全面認識人類認知問題，僅僅信息加工研究范式是不夠的。 而聯 結主義研究在相關學科的發展下，有了全面的進步，羅森布拉特、欣頓、安德森 等提出的各自新的網絡模型引起了人們的重視，再度激起人們對網絡研究的熱情。1982年，美國學者霍普菲爾德提出了一種回歸網絡，這種網絡存在一種正 比于每個神經元活性和聯結權重的能量函數，系統規定活性的變化朝著能

4、量函數 遞減的方向，直至收斂到0。這種模型成功的解決眾多復雜性很高的計算性問題， 由此開始把聯結主義研究推向高潮。1986年是聯結主義研究歷史上的最為鼎盛 的一年，魯梅爾哈特和麥克萊蘭德編輯出版了聯結主義認知心理學的圣經一一平行分布加工：認知結構的微觀探索，提出了一個基于反向傳播學習算法的 多層網絡模型，而這種模型是今后眾多神經網絡模型的基礎與原型。可以說，該書奠定了聯結主義網絡模型研究的基礎。而之后至今的聯結主義研究大致是對該 模型不斷完善，或基于共同的假設提出新的、更加復雜的、解決高級認知問題的 模型。2、主要模型形式神經元眾觀聯結主義認知心理學的研究，具很大一部分是各種人工神經網絡模型的

5、研究，這些模型不僅模擬了人腦操作特性和功能， 也體現了研究者所持有的聯結主 義認知心理學的基本觀點。在各種神經網絡模型中，無論其構造如何還是具備不 同的邏輯功能，它們的基本構造單元基本是一致的，基本的理論思路是一致的。由于是對人腦神經網絡的模擬，人工神經網絡不可能原封不動的照搬數以幾十億計和生物形式的神經元，麥克洛奇和匹茨總結了生物神經元的基本特征，提出了 形式神經元的概念，這種形式神經元具備了生物神經元一般的操作特性，但并非 完全一致。形式神經元的概念一經提出之后，就成為了所有人工神經網絡的基本 單位。對于一個形式神經元來說，它具有類似生物神經元的閾限活性狀態，當輸入的信 息強度高于某一預先

6、確定的閾限的時候，它就會“興奮”，其數學賦值 1,否則“不興奮”，賦值0。同樣，形式神經元與生物神經元具有多輸入單輸出的結構， 也就是說，單個神經元的活性狀態取決于多個輸入信息的總的加權強度是否高于 閾限。輸入信息可以是興奮的，也可以是抑制的，同時各個輸入信息具有不同的 權重，權重的正負性可以代表興奮或抑制。 權重實際的含義是一對神經元聯結的 強度，這種聯結強度在生物神經元當中就是突觸的聯系強度，可以用前突觸細胞所釋放的媒介物質的量來表示。這種權重設計意味著，對于被輸入的神經元來說， 不同輸入單元對其活性的決定程度是不同的， 這也意味著調節輸入信息的權重可 以改變網絡的聯結模式，這種權重聯結模

7、式實際表征著信息某些維度。形式神經元具體一般表現六種基本功能特性：（1）輸入裝置，接受信息；（2） 整合裝置，對輸入信息進行整合；（3）傳導裝置，傳導整合信息；（4）、輸出 裝置，發送信息于其他神經元；（5）計算裝置，轉換信息類型；（6）表征裝置, 對內部信息進行表征。單個神經元與其他神經元結合一起構成某一層次的神經網 絡，而更大的神經網絡模型是由多個層次的網絡構建而成， 每個層次的神經元不 僅與自身層次的神經元有聯結，也以加權的方式與其他層的神經元聯結， 這樣構 成的神經網絡具備了極其復雜和強大的功能， 當然在具體的不同模型中，這些層 內聯結和層間聯結規則安排也不一致。M-P模型麥克洛奇和匹

8、茨的 M-P模型是聯結主義研究中的第一個人工神經網絡模型，它首次提出了 形式神經元的概念， 并認為形式神經元是一種二元閾限邏輯單元，即全或無，高于閾限則興奮，否則不興奮。他們的研究關心模型能否模擬邏輯系統，試圖通過相互聯結的神經元的激活操作來獲得命題邏輯。 他們的研究構建了兩個輸入單元和一個可調節閾限的輸出單元所構 成的簡單神經網絡。目的是檢驗這兩個二元閾限邏輯單元能否計算兩個命題的16個邏輯函數。結果發現，這種簡單網絡只能夠處理16種邏輯函數的中的14種，XOR函數即“A否則B”和其否定形式是無法用單個操作單元和兩個輸入單元的網絡所處理。麥克洛奇和匹茨認 為，如果兩個輸入單元能夠聯結使得一個

9、單元的狀態可以控制另一個單元的狀態就可以解決 XOR問題。單個二元閾限邏輯單元對 XOR函數的無法解決說明這種簡單網絡的處理能力的有限性，或者說XOR問題需要更加復雜的網絡才能夠解決，這在后來加入隱單元層的多層網絡結構模型當中就已體現。而這種模型在運行當中， 處理單元的活性取決于三個參數和輸入單元的活性，三個參數分別是兩個輸入單元的權重和操作單元的閾限，三個參數的不同形成不同的網絡權重模式方程。而這種方程只有7個，每個方程可以解決1種邏輯函數與其否定形式，因此也只能處理14種兩個命題的邏輯函數。感知機模型羅森布拉特的感知機模型是引起聯結主義初期高潮的重要模型，它是基于視知覺的一種神經網絡模型，

10、試圖模擬人類視知覺的真實過程，能夠完成學習再認的裝置。該模型的指導思想與信息加工的模式識別的理論大相徑庭，他認為真實視知覺當中的模式識別是沒有如模板匹配理論所述的那樣存在著輸入模式與已儲存模式的搜索和匹配過程。真實的模式識別是由輸入信息激活已有模式而獲得的，更接近真實的情況是輸入的信息可能激活多個模式，其中激活量最大的會進入更高的加工。其差異或許是前者有著有意識的搜索和匹配過程，而后者更 多的一種無意識的聯結。感知機是由感知層 S單元、聯想層 A單元和反應層 R單元三層結構的視覺腦模型，其中S單元直接從環境接受輸入相當于視網膜，S單元層與A單元層的聯結權重固定， 一個S單元可以輸入信息到單個

11、A單元，也可以輸入到多個 A單元。A單元層與R單元層聯結，而 S 單元層與R單元層不聯結，A與R單元的聯結權重可以根據學習而得到改變。每一個R單元的活性由與之聯結的所有 A單元的加權活性強度決定，如果加權強度高于R單元預先設定的閾限，R單元就興奮，否則則不。由于感知機當中 A單元與R單元的聯結權重可以隨著學習而不斷調整，所以理論上，感知機可以學會將感知模式分為幾類。在最簡單的雙類區分任務當中，當期望輸出與實際輸出不符合（歸類失敗），網絡就試圖調整相應的聯結權重，以獲得期望輸出。它的這種在失敗后調整權重的方式或者書學習算法是這樣的：如果期望輸出是1而實際車出是0,那么所有激活的A單元與該R單元的

12、聯結權重將增大，而如果期望輸出是0而實際輸出是1,那么所有激活的A單元與該R單元的聯結權重會消失。直至期望輸出與實際輸出是一致的時候，學習停止。盡管羅森布拉特證明了感知機收斂理論，即只要有足夠的練習，感知機能夠將權重模式調整到解決一個特殊線形分類問題，但這一收斂僅當兩層感知機時成立，并認為權重調整與實際輸出與期望輸出的誤差成正比。對于三層感知機來說， 學習的有限性是難以預料的，因為如果出現一個輸入結果引起的調整模式恰恰是原有模式相反方面的表現的話，那么可能會出現反復的調整模式的震蕩，使得學習無法結束。另外，如同與 M-P模型一樣，感知機也未能 解決XOR問題。這說明還需要更加完善和復雜的模型來

13、模擬人腦基本運行特性。三層前饋式網絡模型三層前饋式網絡模型是具有隱單元層的多層網絡模型的一種，比較典型，其訓練方法和學習規則都是由魯梅爾哈特和麥克萊蘭德在平行分布加工：認知結構的微觀探索 當中所提出。其他多層網絡模型雖然在結構上大有不同，但是在基本原理上與三層前饋式網絡模型是一致的，這里就以三層前饋式網絡模型來總結下具有隱含單元層的多層網絡模型的基本特性。三層前饋式網絡模型是由輸入層、隱單元層和輸出層組成，其中輸入層與輸出層只與隱單元層聯結，彼此不聯結，與感知機不同的是，輸入層與隱單元層的聯結權重是可以改變的，這樣具有雙層可調節聯結權重的網絡，其處理能力將大為增加。層與層之間的聯結可以是興奮性

14、的，也可以是抑制性的，而層間的聯結被規定為或者是抑制性，或者沒有。與上面模型類似，隱單元層和輸出層單元的活性都是取決于與之聯結的上層多個單元加權聯結強度。與一般神經網絡類似，三層前饋式網絡模型也是需要通過訓練和學習來獲得能解決特殊問題的聯結權重模式。在這種模型中，訓練的方法采用了魯梅爾哈特和麥克萊蘭德所提出的反向傳播算法。反向傳播算法的基本思路是通過樣本而獲得實際輸出與期望輸出的誤差梯度，來調整權重使得誤差均方差最小，其權重變化的方向就是使的誤差均方差最小的方向。初始的誤差反向傳播，使得隱單元層與輸出單元的聯結權重、輸入單元層與隱單元的聯結權重以使得誤差均方茶減少最大的方向調整。然后新聯結權重

15、獲得新的輸出，以及再次的實際輸出與期望輸出的誤差梯度。反復重復這一過程使得誤差收斂到最小，甚至是 0。反向傳播算法雖然具有清晰、簡明、易理解的優點，但也存在著很多問題，比如概括能力差，訓練時間長等，之后的研究對反向傳播算法做出了很多的修改，使得網絡學習速度加快，網絡的震蕩情況減少等。另外，反向傳播算法的一個重要功能就是可以解決上述在感知機和M-P網絡當中無法解決的 XOR問題，但是未改進的反向傳播算法的迭代次數和訓練時間還是過多。網絡逐漸形成所需要的權重聯結模式關鍵在于這種權重模式調整的方式，或者說網絡的學習規則。這里，三層前饋式網絡模型采取的類似赫布規則的A規則。赫布學習規則是由加拿大心理學

16、家赫布在其著作行為的組織：一種神經心理學理論中提出，他認為A神經元如果引起B神經元的興奮，那么反復使 A激活B,會產生偶然的生理變化，使得A激活B的效率增加。這實際上隱含著這樣的重要思想，那就是當兩個神經元彼此興奮且聯結，那么他們的聯結權重就會增加， 更推進一步就是聯結權重的變化與兩個神經元的活性成正比。但赫布規則不適用于復雜的網絡，因為它僅能說明兩個互相興奮切激活的聯結。因此在三層前饋式網絡模型中魯梅爾哈特和麥克萊蘭德認為目標輸出與實際輸出的誤差是權重變化的更 好參數項，因此變化了的赫布規則也就是A規則規定權重變化等于學習率、輸入活性值和目標輸出與實際輸出的誤差三者之間的積。事實證明，在這樣

17、的學習規則和訓練算法的情況下，具有隱含單元層的三層前饋式網絡模型可以解決包括 XOR問題在內很多問題，比如奇偶性、對稱性和 T-C問題等。在改進的反向 傳播算法支持下，網絡可以以更快的方式達到期望輸出。但這種已經具備強大處理能力的網絡還是不能解決更高層次信息處理的任務，近年來，新的具有多層次多模塊的網絡模型被研究出來，這種模型模塊與層次之間互相聯結，具備了更強的處理能力，同時也是對人腦的更接近性的模擬。3、理論觀點聯結主義認知心理學有一些基本的理論觀點。首先就是它對于聯結主義這一最基本概念的定義上，它認為聯結主義是一種利用形式神經元所組成的神經網絡來模擬人腦結構與功能并具有簡化大腦結構特征的一

18、種信息處理系統。在上述眾多聯結主義人工神經網絡模型當中可以看到，無論是復雜的還是簡單的網絡，無論是網絡的結構和規則是如何，形式神經元總是網絡構成的基本單元。其次聯結主義這種信息處理系統具有與傳統符號操作系統所不同重要特性。聯結主義不具備符號加工系統所具有符號及符號加工裝置，它對信息的處理體現在多層網絡復雜的聯結權重模式上，多個甚至無數個單元的狀態與聯結模式共同表征了信息和信息處理過程。這與符號操作范式中，信息的符號表征或局部表征是完全不一樣的，這種分布式表征使得網絡的很多單元都參與其中，不同的信息又不同的單元狀態與聯結模式來表征。而且這種聯結權重模式是可以通過學習而調整， 具有某種程度上的自組

19、織性，而這是在符號加工范式當中無法看到的。分布式表征的一大重要特點就是平行的處理機制，這與序列加工的符號操作相對應，對于后者來說，平行加工的優勢在于效率的提高。另外，聯結主義處理系統是一種連續性的系統，不同于符號操作系統的離散性，系統加工總是有無數的等待期， 來等待適時符號組成命令的產生，以及符號命令與下層生物信號的轉譯等，聯結主義沒有間斷的等待期，學習與訓練是一種完全占據時間軸的連續性處理，其速度是遠快與符號操作系統。但是從本質上講，聯結主義與符號操作系統的最大差異在于，后者是一種符號操作， 而前者是一種 亞符號”操作。這種亞符號的思想來自于霍夫斯塔特，他認為聯結主義的計算層次是高于實際的生物神經元網絡，但是又是低于符號操作的層次。符號操作屬于高層次的操作， 它一定有比其低層次操作的對應映射，當然最低層的是生物