基于EKF的模糊神經網絡快速自組織學習算法研究

摘要:為了快速地構造一個有效的模糊神經網絡，提出一種基于擴展卡爾曼濾波(EKF)的模糊神經網絡自組織學習算法。在本算法中，按照提出的無須經過修剪過程的生長準則增加規則，加速了網絡在線學習過程;使用EKF算法更新網絡的自由參數，增強了網絡的魯棒性。仿真結果表明，該算法能夠快速學習、良好的逼近精度和泛化能力。

關鍵詞:模糊神經網絡;擴展卡爾曼濾波;自組織學習

Fastself-organizinglearningalgorithmbasedonEKFforfuzzyneuralnetwork

ZHOUShang-bo，LIUYu-jiong

(CollegeofComputerScience，ChongqingUniversity，Chongqing400044，China)

Abstract:Toconstructaneffectivefuzzyneuralnetwork，thispaperpresentedaself-organizinglearningalgorithmbasedonextendedKalmanfilterforfuzzyneuralnetwork.Inthealgorithm，thenetworkgrewrulesaccordingtotheproposedgrowingcriteriawithoutpruning，speedinguptheonlinelearningprocess.AllthefreeparameterswereupdatedbytheextendedKalmanfilterapproachandtherobustnessofthenetworkwasobviouslyenhanced.Thesimulationresultsshowthattheproposedalgorithmcanachievefastlearningspeed，highapproximationprecisionandgenerationcapability.

Keywords:fuzzyneuralnetwork;extendedKalmanfilter(EKF);self-organizinglearning

模糊神經網絡起源于20世紀80年代后期的日本，由于其簡單、實用，已經被廣泛應用在工業控制、系統辨識、模式識別、數據挖掘等許多領域[1~4]。然而，如何從可用的數據集和專家知識中獲取合適的規則數仍然是一個尚未解決的問題。為了獲取模糊規則，研究人員提出了不同的算法，如文獻[5]利用正交最小二乘算法確定徑向基函數的中心，但是該算法訓練速度比較慢;文獻[6]提出了基于徑向基函數的自適應模糊系統，其算法使用了分層自組織學習策略，但是逼近精度低。擴展卡爾曼濾波(EKF)算法作為一種非線性更新算法，在神經網絡中得到了廣泛應用。文獻[7]利用擴展卡爾曼濾波算法調整多層感知器的權值，文獻[8]利用擴展卡爾曼濾波算法調整徑向基函數網絡的權值。

本文提出了一種模糊神經網絡的快速自組織學習算法(SFNN)。該算法基于無須修剪過程的生長準則增加模糊規則，加速了網絡學習過程，同時使用EKF調整網絡的參數。在該算法中，模糊神經網絡結構不是預先設定的，而是在學習過程中動態變化的，即在學習開始前沒有一條模糊規則，在學習過程中逐漸增加模糊規則。與傳統的模糊神經網絡學習算法相比，本算法所得到的模糊規則數并不會隨著輸入變量的增加而呈指數增長，特別是本算法無須領域的專家知識就可以實現對系統的自動建模及抽取模糊規則。當然，如果設計者是領域專家，其知識也可以直接用于系統設計。本算法所得到的模糊神經網絡具有結構小、避免出現過擬合現象等特點。

1SFNN的結構

本文采用與文獻[9]相似的網絡結構，如圖1所示。其中，r是輸入變量個數;?x?i(i=1，2，…，r)是輸入語言變量;y是系統的輸出;MFij是第i個輸入變量的第j個隸屬函數;R?j表示第j條模糊規則;w?j是第j條規則的結果參數;u是系統總的規則數。

下面是對該網絡各層含義的詳細描述。

第一層:輸入層。每個節點代表一個輸入語言變量。

第二層:隸屬函數層。每個節點代表一個隸屬函數，隸屬函數采用如下的高斯函數:

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r;j=1，2，…，u(1)

其中:r是輸入變量數;u是隸屬函數個數，也代表系統的總規則數;μij是x?i的第j個高斯隸屬函數;cij是x?i的第j個高斯隸屬函數的中心;σij是x?i的第j個高斯隸屬函數的寬度。

第三層:T-范數層。每個節點代表一個可能的模糊規則的IF-部分，也代表一個RBF單元，該層節點個數反映了模糊規則數。如果計算每個規則觸發權的T-范數算子是乘法，則在第三層中第j條規則R?j的輸出為

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四層:輸出層。該層每個節點代表一個輸出變量，該輸出是所有輸入變量的疊加。

y(X)=?uj=1w?jφ?j(3)

其中:y是網絡的輸出;w?j是Then-部分。

2SFNN的學習算法

如前文所述，第三層的每個節點代表一個可能的模糊規則的IF-部分或者一個RBF單元。如果需要辨識系統的模糊規則數，則不能預先選擇模糊神經網絡的結構。于是，本文提出一種新的學習算法，該算法可以自動確定系統的模糊規則并能達到系統的特定性能。

2.1模糊規則的產生準則

在模糊神經網絡中，如果模糊規則數太多，不僅增加系統的復雜性，而且增加計算負擔和降低網絡的泛化能力;如果規則數太少，系統將不能完全包含輸入/輸出狀態空間，將降低網絡的性能。是否加入新的模糊規則取決于系統誤差、可容納邊界和誤差下降率三個重要因素。

2.1.1系統誤差

誤差判據:對于第i個觀測數據(x?i，t?i)，其中x?i是輸入向量，t?i是期望輸出，由式(3)計算網絡現有結構的全部輸出y?i。

定義:‖e?i‖=‖t?i-y?i‖;i=1，2，…，n(4)

如果‖e?i‖>k?ek?e=max[emax×β?i，emin](5)

則說明網絡現有結構的性能比較差，要考慮增加一條新的規則;否則，不生成新規則。其中:k?e是根據網絡期望的精度預先選擇的值;emax是預定義的最大誤差;emin是期望的輸出精度;β(0<β<1)是收斂因子。

2.1.2可容納邊界

從某種意義上來講，模糊神經網絡結構的學習是對輸入空間的高效劃分。模糊神經網絡的性能和結構與輸入隸屬函數緊密相關。本文使用的是高斯隸屬函數，高斯函數輸出隨著與中心距離的增加而單調遞減。當輸入變量采用高斯隸屬函數時，則認為整個輸入空間由一系列高斯隸屬函數所劃分。如果某個新樣本位于某個已存在的高斯隸屬函數覆蓋范圍內，則該新樣本可以用已存在的高斯隸屬函數表示，不需要網絡生成新的高斯單元。可容納邊界:對于第i個觀測數據(x?i，t?i)，計算第i個輸入值x?i與已有RBF單元的中心c?j之間的距離d?i(j)，即

d?i(j)=‖x?i-c?j‖;i=1，2，…，n;j=1，2，…，u(6)

其中:u是現有的模糊規則或RBF單元的數量。令

di，min=argmin(d?i(j))(7)

如果