MATLAB神經網絡工具箱中的神經網絡模型 神經網絡工具箱簡介 MATLAB7對應的神經網絡工具箱的版本為Version4 0 3 它以神經網絡理論為基礎 利用MATLAB腳本語言構造出典型神經網絡的激活函數 如線性 競爭性和飽和線性等激活函數 使設計者對所選定網絡輸出的計算變成對激活函數的調用 還可根據各種典型的修正網絡權值規則 加上網絡的訓練過程 利用MATLAB編寫出各種網絡設計和訓練的子程序 用戶根據自己的需要去調用 神經網絡工具箱的主要應用 函數逼近和模型擬合信息處理和預測神經網絡控制故障診斷 應用神經網絡工具箱求解問題的一般過程 確定信息表達方式數據樣本已知數據樣本之間相互關系不確定輸入 輸出模式為連續的或者離散的輸入數據按照模式進行分類 模式可能會具有平移 旋轉或伸縮等變化形式數據樣本的預處理將數據樣本分為訓練樣本和測試樣本確定網絡模型選擇模型的類型和結構 也可對原網絡進行變形和擴充網絡參數的選擇確定輸入輸出神經元數目訓練模型的確定選擇合理的訓練算法 確定合適的訓練步數 指定適當的訓練目標誤差網絡測試選擇合適的測試樣本 人工神經元的一般模型 神經元模型及其簡化模型如圖所示 輸入向量 權值矩陣 與閾值的加權和 內積運算 送入累加器 形成凈輸入 即 人工神經元模型 圖中 xi i 1 2 n 為加于輸入端 突觸 上的輸入信號 i為相應的突觸連接權系數 它是模擬突觸傳遞強度的 個比例系數 表示突觸后信號的空間累加 表示神經元的閾值 表示神經元的響應函數 該模型的數學表達式為 與生物神經元的區別 1 生物神經元傳遞的信息是脈沖 而上述模型傳遞的信息是模擬電壓 2 由于在上述模型中用一個等效的模擬電壓來模擬生物神經元的脈沖密度 所以在模型中只有空間累加而沒有時間累加 可以認為時間累加已隱含在等效的模擬電壓之中 3 上述模型未考慮時延 不應期和疲勞等 響應函數的基本作用 1 控制輸入對輸出的激活作用 2 對輸入 輸出進行函數轉換 3 將可能無限域的輸入變換成指定的有限范圍內的輸出 根據響應函數的不同 人工神經元有以下幾種類型 閾值單元 響應函數如圖a所示 線性單元 其響應函數如圖b所示 非線性單元 常用響應函數為S型 Sigmoid 函數 如圖c d所示 Hardlimx 0y 1 x 0y 1 x1y 1 x 0Logsig y 人工神經網絡的構成 單個神經元的功能是很有限的 人工神經網絡只有用許多神經元按一定規則連接構成的神經網絡才具有強大的功能 神經元的模型確定之后 一個神經網絡的特性及能力主要取決于網絡的拓撲結構及學習方法 人工神經網絡連接的基本形式 1 前向網絡網絡的結構如圖所示 網絡中的神經元是分層排列的 每個神經元只與前一層的神經元相連接 最右一層為輸出層 隱含層的層數可以是一層或多層 前向網絡在神經網絡中應用很廣泛 例如 感知器就屬于這種類型 2 反饋前向網絡 網絡的本身是前向型的 與前一種不同的是從輸出到輸入有反饋回路 內層互連前饋網絡 通過層內神經元之間的相互連接 可以實現同一層神經元之間橫向抑制或興奮的機制 從而限制層內能同時動作的神經數 或者把層內神經元分為若干組 讓每組作為一個整體來動作 一些自組織競爭型神經網絡就屬于這種類型 互連網絡 互連網絡有局部互連和全互連兩種 全互連網絡中的每個神經元都與其他神經元相連 局部互連是指互連只是局部的 有些神經元之間沒有連接關系 Hopfield網絡和Boltzmann機屬于互連網絡的類型 神經網絡的學習方式 有教師學習 監督學習 1 均方誤差mse meansquarederror 誤差信號的不同定義 2 平均絕對誤差mae meanabsoluteerror 3 誤差平方和sse sumsquarederror 無教師學習 無監督學習 MATLAB工具箱中的神經網絡結構 1 人工神經元的一般模型在 中 令 則 人工神經元的一般模型 由此構成人工神經元的一般模型 如下圖所示 上式可寫成矩陣向量形式 a f Wp b 由S個神經元組成的單層網絡 MATLAB工具箱中的神經網絡結構 多層網絡的簡化表示 MATLAB神經網絡工具箱中的神經網絡模型 基本概念 標量 小寫字母 如a b c等 列向量 小寫黑體字母 如a b c等 意為一列數 矩陣向量 大寫黑體字母 如A B C等 權值矩陣向量W t 標量元素 i為行 j為列 t為時間或迭代函數列向量行向量 閾值向量b t 標量元素 i為行 t為時間或迭代函數 網絡層符號 加權和 m為第m個網絡層 為第個神經元 n為加權和網絡層輸出 m為第m個網絡層 為第個神經元 a為輸出輸入層權值矩陣 網絡層權值矩陣 其中 上標k l表示第l個網絡層到第k個網絡層的連接權值矩陣向量 例 表示輸入向量的第R個輸入元素到輸入層的第個神經元的連接權 表示 表示 第i個網絡層的第個神經元的閾值 例 n1為第一層神經元的中間運算結果 即連接權向量與閾值向量的加權和 大小為 即 a1為第一層神經元的輸出向量 大小為 神經網絡的層數為神經元網絡層的數目加1 即隱層數目加1 多層神經網絡結構 多層網絡簡化形式 圖中 說明 輸入層神經元的個數決定IW的行數 輸入向量元素的個數決定IW的列數 即S1行R列 4 公式和圖形中的變量符號在編程代碼中的表示方法 細胞矩陣 將多個矩陣向量作為細胞矩陣的 細胞 Cell 細胞矩陣的各個元素值為對應細胞的大小和數值類型 訪問元素 m 1 n 1 1 m 2 n 2 1 n 2 1 4 5 變量符號在MATLAB中的表示 1 上標變量以細胞矩陣 Cellarray 即大括號表示p1 1 2 下標變量以圓括號表示 p1 p 1 例 神經網絡工具箱常用函數列表 重要的感知器神經網絡函數 初始化 initp訓練 trainp仿真 simup學習規則 learnp 線性神經網絡函數 初始化 initlin設計 solvelin仿真 simulin離線訓練 trainwh在線自適應訓練 adaptwh學習規則 learnwh BP網絡函數 initff 初始化不超過3層的前向網絡 simuff 仿真不超過3層的前向網絡 trainbp trainbpx trainlm 訓練BPtrainbp 最慢 trainbpx 次之 trainlm 速度最快 但需要更多的存儲空間 learnbp 學習規則 自組織網絡 初始化 initsm仿真 simuc訓練 trainc 利用競爭規則訓練trainsm 利用Kohonen規則訓練 反饋網絡 Hopfield網絡 仿真 simuhop設計 solvehopsolvehop設計Hopfield網絡solvelin設計線性網絡rands產生對稱隨機數learnbp反向傳播學習規則learnhHebb學習規則learnp感知層學習規則learnwhWidrow Hoff學習規則initlin線性層初始化initp感知層初始化initsm自組織映射初始化plotsm繪制自組織映射圖trainbp利用反向傳播訓練前向網絡trainp利用感知規則訓練感知層trainwh利用Widrow Hoff規則訓練線性層trainsm利用Kohonen規則訓練自組織映射 神經網絡例子