1、模糊數(shù)學及其應用2022/9/211第1頁，共24頁，2022年，5月20日，6點55分，星期四第五講 模糊神經(jīng)網(wǎng)絡與模糊專家系統(tǒng)（續(xù)） 2、 人工神經(jīng)元的基本模型 對人類大腦中神經(jīng)細胞的功能進行模擬的數(shù)學模型稱為人工神經(jīng)元。迄今為止，人們已提出了幾百種人工神經(jīng)元模型。其中，人們最早提出也是人們現(xiàn)在經(jīng)常使用的人工神經(jīng)元模型是M-P模型。見下圖。 M-P模型是一種最基本的生物神經(jīng)元簡化的數(shù)學模型。經(jīng)過不但改進后，它假定：1、每個神經(jīng)元都是一個多輸入單輸出的信息處理基元；2、神經(jīng)元的輸入分興奮性輸入和抑制性輸入兩種類型； 3、神經(jīng)元的輸出有門限特性，服從“全或無”定律。只有當輸 入總和超過其門限時

2、，神經(jīng)元才被激活，當輸入總和未超過其門限時，神經(jīng)元不會發(fā)生沖動；第2頁，共24頁，2022年，5月20日，6點55分，星期四4、神經(jīng)元的輸入與輸出之間有固定的時滯，時滯取決于突觸延擱；5、神經(jīng)元可具有時空整合特性和不應期；6、神經(jīng)元本身是非時變的。在上述假定的基礎上，用 表示t時刻神經(jīng)元i接受的神經(jīng)元j的信息輸入， 表示t時刻神經(jīng)元i的信息輸出，則神經(jīng)元i的狀態(tài)可表示為式中： 為輸入輸出間的固定時滯（突觸時延）； 為神經(jīng)元i的閾值； 為神經(jīng)元j到神經(jīng)元i的突觸耦合系數(shù)（連接權值）； 為神經(jīng)元輸出的特性函數(shù)。 第五講 模糊神經(jīng)網(wǎng)絡與模糊專家系統(tǒng)（續(xù)）第3頁，共24頁，2022年，5月20日，6點

3、55分，星期四 盡管神經(jīng)元模型種類繁多，還是可以用不同的方法將他們進行分類。例如，按神經(jīng)元輸入輸出信息劃分，可分為數(shù)字型和模擬型兩類；按神經(jīng)元狀態(tài)變化的時間特性劃分，可分為時間離散型和時間連續(xù)型兩類。 對于時間離散型的神經(jīng)元，通常用下式來描述其狀態(tài)及其變化。 第五講 模糊神經(jīng)網(wǎng)絡與模糊專家系統(tǒng)（續(xù)）第4頁，共24頁，2022年，5月20日，6點55分，星期四式中： 為神經(jīng)元間的輸入輸出變量； 為神經(jīng)元j到神經(jīng)元i的連接權值； 為兩個由學習方法確定的非線性函數(shù)； 為遺忘因子； 為時間減低自適應增益系數(shù)； 為神經(jīng)元閾值； 為神經(jīng)元輸出的特性函數(shù)。 對于時間連續(xù)型的神經(jīng)元，其狀態(tài)及其變化通常描述為式

4、中： 為神經(jīng)元間的輸入輸出變量； 為神經(jīng)元閾值； 為神經(jīng)元輸出的非線性特性函數(shù)； ， 為神經(jīng)元的特性參數(shù)。 第五講 模糊神經(jīng)網(wǎng)絡與模糊專家系統(tǒng)（續(xù)）第5頁，共24頁，2022年，5月20日，6點55分，星期四 人工神經(jīng)元的主要用途是用來構造神經(jīng)網(wǎng)絡。在構造神經(jīng)網(wǎng)絡的過程中，常根據(jù)不同的要求選擇不同類型的神經(jīng)元。選用較多的神經(jīng)元特性函數(shù)有 階躍函數(shù)：分段線性函數(shù)： （a、b為常數(shù)） S 型函數(shù)： （c為常數(shù)） 恒等線性函數(shù)： 第五講 模糊神經(jīng)網(wǎng)絡與模糊專家系統(tǒng)（續(xù)）第6頁，共24頁，2022年，5月20日，6點55分，星期四具有并行處理和信息分布式存儲能力 ；具有容錯性和穩(wěn)健性 ；具有自學習能力

5、 ；具有較強的非線性動態(tài)處理能力 ；人工神經(jīng)網(wǎng)絡的優(yōu)點第7頁，共24頁，2022年，5月20日，6點55分，星期四非線性連續(xù)型模型S型或P型激發(fā)函數(shù)，要掌握其應用范圍，否則實際應用中可能出錯。無論多大的輸入，S型都將它壓縮到(0,1)的范圍內(nèi)，而P型激發(fā)函數(shù)則將任意輸入壓縮到(-1,1) 范圍內(nèi)。輸入在-1,1之間時，輸出才會具有一定差異，意即該激發(fā)函數(shù)僅在區(qū)間-1,1才具有敏感性，從而導致網(wǎng)絡的映射能力弱。S型或P型神經(jīng)元的局限性第8頁，共24頁，2022年，5月20日，6點55分，星期四表達式：f(u)=a-2a/(1+exp(bu)；特點：它的敏感區(qū)間和輸出范圍都可由參數(shù)a、b來確定，可

6、實現(xiàn)任意范圍內(nèi)的輸入輸出，拓展了這類神經(jīng)元模型的應用領域，增強了網(wǎng)絡的映射能力。 一種新型神經(jīng)元模型 第9頁，共24頁，2022年，5月20日，6點55分，星期四解決方法：Hessian矩陣出現(xiàn)病態(tài)矩陣時，增大Hessian矩陣的主對角線元素；LM算法的搜索方向介于高斯牛頓法和最速下降算法之間。LM算法的效率少數(shù)情況下比Gauss-Newton算法低，但其穩(wěn)健性比Gauss-Newton算法好。LM算法的缺點是在運算過程中比其它算法要占用更多的計算機內(nèi)存資源。Levenberg-Marquardt算法 第10頁，共24頁，2022年，5月20日，6點55分，星期四BP算法與LM算法效果比較BP

7、算法仿真y=sin(x)LM算法仿真y=sin(x)第11頁，共24頁，2022年，5月20日，6點55分，星期四神經(jīng)網(wǎng)絡適用于內(nèi)插問題，而不可用于外推，即神經(jīng)網(wǎng)絡只對學習范圍內(nèi)的數(shù)據(jù)具有識別能力，而對學習范圍外的數(shù)據(jù)沒有識別能力。 神經(jīng)網(wǎng)絡用于預報的范圍 第12頁，共24頁，2022年，5月20日，6點55分，星期四神經(jīng)網(wǎng)絡LM算法預報應用實例L3H291測點觀測值與預測值對比圖L3H291測點預測誤差圖 （以效應量作自變量）第13頁，共24頁，2022年，5月20日，6點55分，星期四神經(jīng)網(wǎng)絡拓撲結構的確定帶有經(jīng)驗性，尋求最佳網(wǎng)絡結構比較困難； 神經(jīng)網(wǎng)絡結構的物理意義無法解釋；激活函數(shù)的選

8、取帶有隨意性 ；神經(jīng)網(wǎng)絡模型的局限性為了解決這些問題，下面介紹模糊神經(jīng)網(wǎng)絡。第14頁，共24頁，2022年，5月20日，6點55分，星期四模糊神經(jīng)網(wǎng)絡實質(zhì)上是將模糊邏輯和模糊推理功能與神經(jīng)網(wǎng)絡中的自學習、自適應功能結合為一體，成為一個具有學習、識別、聯(lián)想、自適應和模糊信息處理等特性的系統(tǒng)。神經(jīng)網(wǎng)絡模擬了人腦的硬件（腦神經(jīng)），而模糊技術部分模擬了人腦的軟件（人腦的邏輯推理能力），所以它們的結合使得該系統(tǒng)同時具有神經(jīng)網(wǎng)絡的低層次的學習、計算能力和模糊系統(tǒng)的高層次的推理、決策能力。 模糊神經(jīng)網(wǎng)絡 第15頁，共24頁，2022年，5月20日，6點55分，星期四模糊神經(jīng)網(wǎng)絡的結構第16頁，共24頁，20

9、22年，5月20日，6點55分，星期四隨著輸入變量的增加，模糊規(guī)則數(shù)呈指數(shù)增長，例如每個輸入取3個模糊值，n個輸入將產(chǎn)生3n條規(guī)則。眾多的模糊規(guī)則將嚴重影響網(wǎng)絡的收斂速度，一個龐大的網(wǎng)絡訓練起來非常困難，從而限制了模糊神經(jīng)網(wǎng)絡應用于復雜的實際問題。這便是模糊規(guī)則的組合爆炸問題。 模糊規(guī)則組合爆炸問題 第17頁，共24頁，2022年，5月20日，6點55分，星期四減少模糊分割數(shù) ；網(wǎng)絡分解再組合 ；刪除無關規(guī)則 ；模糊規(guī)則組合爆炸問題的解決方案 第18頁，共24頁，2022年，5月20日，6點55分，星期四模糊神經(jīng)網(wǎng)絡的正向計算 模糊神經(jīng)網(wǎng)絡的正向計算首先是把各輸入的清晰量經(jīng)隸屬函數(shù)轉(zhuǎn)變成模糊量

10、，經(jīng)過各條模糊規(guī)則的推理，各條模糊規(guī)則均產(chǎn)生一個模糊輸出，再采用一定的算法集中各條規(guī)則輸出的模糊值，最后利用解模糊化的方法得到為清晰數(shù)值量的網(wǎng)絡輸出。 第19頁，共24頁，2022年，5月20日，6點55分，星期四試驗表明，采用min或max操作會使大部分待調(diào)參數(shù)在迭代過程中得不到調(diào)整，從而使算法效率低下，映射精度難以提高。為了解決這個問題，宜采用sum替代min或max操作。prod操作可能會導致大部分第3層節(jié)點輸出為0，不宜采用；而probor方法會導致算法的復雜化，亦不宜采用。規(guī)則適用度的計算 第20頁，共24頁，2022年，5月20日，6點55分，星期四網(wǎng)絡的泛化能力，與網(wǎng)絡學習訓練終

11、止時的學習次數(shù)或訓練誤差具有一定的關系。學習過程可以看作是曲線擬合的過程，泛化則相當于非線性內(nèi)插。如果網(wǎng)絡學習了過多的特殊樣本，且過分追求訓練集內(nèi)的小誤差，就會降低其泛化能力。泛化能力與訓練次數(shù)的關系 訓練次數(shù)與評價指標的關系訓練次數(shù)MAPEMSEMAE1000.68510.96470.72772000.57790.79630.62682500.55910.78330.61333000.55750.77540.60524000.59370.78940.61465000.58900.78300.6086第21頁，共24頁，2022年，5月20日，6點55分，星期四相對于神經(jīng)網(wǎng)絡而言，模糊神經(jīng)網(wǎng)絡的拓撲結構是由輸入和模糊規(guī)則確定的，具有明確的實際意義；模糊神經(jīng)網(wǎng)絡隸屬度函數(shù)的選取也具有明確的意義，不存在類似于神經(jīng)網(wǎng)絡選取激活函數(shù)時無法解釋且映射能力弱的問題。神經(jīng)網(wǎng)絡模擬了人腦的硬件，而模糊系統(tǒng)則模擬了人腦的軟件(思維)，由兩者結合產(chǎn)生的模糊神經(jīng)網(wǎng)絡是一種新型網(wǎng)絡，具有神經(jīng)網(wǎng)絡所沒有的優(yōu)勢和發(fā)展前景 。模糊神經(jīng)