1、第7章 智能技術在傳感器系統中的應用-補充內容 目目 錄錄 第1章 概 述 第2章 智能傳感器系統中經典傳感技術基礎 第3章 不同集成度智能傳感器系統介紹 第4章 智能傳感器的集成技術 第5章 智能傳感器系統智能化功能的實現方法 第6章 通信功能與總線接口 第第7 7章章 智能技術在傳感器系統中的應用智能技術在傳感器系統中的應用 第8章 智能傳感器系統的設計與應用 第9章 無線傳感器網絡技術概述 第7章 智能技術在傳感器系統中的應用-補充內容 第第7 7章章 智能技術在傳感器系統中的應用智能技術在傳感器系統中的應用補充內容補充內容 要 點：u 支持向量機技術在智能傳感器中的應用；u 粒子群優化

2、算法在智能傳感器中的應用。 第7章 智能技術在傳感器系統中的應用-補充內容 支持向量機SVM（Support Vector Machines），主要用于傳感器的動態建模、故障診斷、氣體辨識和交叉靈敏度的消除等。 支持向量機通過定義不同的內積函數,可以實現多項式逼近、貝葉斯分類器、徑向基函數、多層感知器等學習算法的功能。 支持向量機與神經網絡方法類似，相對于多元回歸分析法，不需要建立包括非目標參量在內的函數解析式，但均需由實驗標定提供訓練樣本和檢驗樣本，對于k個非目標參量，需要提供k+1維的標定實驗數據。7.3 支持向量機技術在智能傳感器中的應用支持向量機技術在智能傳感器中的應用第7章 智能技術

3、在傳感器系統中的應用-補充內容 7.3.1 7.3.1 基礎知識基礎知識一、統計學習理論一、統計學習理論 基于數據的機器學習：基于數據的機器學習： 從觀測數據出發，尋找研究對象的規律性，利用其規律性進行數學建模，并進而對未來的數據進行預測。 三種機器學習的實現方法：三種機器學習的實現方法：u 經典的參數統計估計方法傳統統計學 缺點：要求研究的樣本數目趨于無窮大，缺乏實用性。u 經驗非線性方法，如人工神經網絡 兩個方向：參數選擇的優化算法；選擇“最優”模型的統計測量方法。u 基于統計學習理論的學習方法，如支持向量機和基于核的方法 專門研究小樣本數據量情況下，機器學習規律性的理論。 統計學習理論研

4、究的主要問題包括四個方面：統計學習理論研究的主要問題包括四個方面： 第7章 智能技術在傳感器系統中的應用-補充內容 1）基于經驗風險最小化原則下統計學習一致性的充要條件。 2）學習過程的收斂性及收斂速度。 3）學習過程中收斂速度（推廣能力）的控制。 4）學習算法的構造1 1、學習問題的一般性表示、學習問題的一般性表示 學習：利用有限數量的觀測數據來尋找待求的依賴關系。 最小化風險泛函：最小化風險泛函： F（z）：空間z z上的概率測度； = =1，2，：參數集合； Q（z z，）：函數集合； z z： z1， z2 ， ， zl ，獨立同分布數據。 ( )( ,)( ),RQ zdF z第7章

5、 智能技術在傳感器系統中的應用-補充內容 測試誤差的期望風險期望風險： P P（x x，y y）：未知概率分布，對應的 p 是其分布密度； y y：與x x相對應的實際值； f f（x x，）：）：與x x相對應的理論值； 一個觀測數量有限的訓練集上的被測平均誤差率經驗風險經驗風險： 期望風險與經驗風險的關系描述期望風險與經驗風險的關系描述： 1( ),( ,)2RyfxdP x y11( ),2lempiiiRyfxlln(2 /) 1ln(/ 4)( )( )emphlhRRl第7章 智能技術在傳感器系統中的應用-補充內容 上式成立的概率：1-；0 1； h：非負整數，稱為VC維，h越大，

6、學習機器的復雜性越高； 上式右邊稱為“風險界”，第2項稱為“VC置信范圍”。2 2、VCVC（Vapnik ChervonenkisVapnik Chervonenkis）維）維 用于測量函數列的容量。 N（F，h）：h維向量中不同向量的個數。3 3、結構風險最小化（、結構風險最小化（Structural Risk MinimizationStructural Risk Minimization，SRMSRM） 定義了在對給定數據逼近的準確性與逼近函數的復雜性之間的一種折中。 dim( )max :( ,)2 hVCFh N F h第7章 智能技術在傳感器系統中的應用-補充內容 對于一定的（p

7、，k），函數集合滿足下列不等式： 這種結構稱為容許結構，結構風險最小化原則就是在容許結構的嵌套函數集Sk中尋找一個合適的子集S*，使結構風險達到最小，即：4 4、建模誤差、建模誤差 包括逼近誤差和估計誤差。 逼近誤差因模型失配產生；估計誤差因學習過程中選擇了非優化模型所造成。這兩個誤差共同形成泛化誤差。 1 /( ,)( ),2( ,)( )supkppkQzdF zpQ zdF zln(2 /)1ln(/ 4)min( )kempShlhRl第7章 智能技術在傳感器系統中的應用-補充內容 結構風險最小化原理 第7章 智能技術在傳感器系統中的應用-補充內容 二、支持向量機（二、支持向量機（Su

8、pport Vector MachineSupport Vector Machine） 基于統計學習理論的一種新的通用機器學習方法，基本思想基本思想：u 通過用內積函數定義的非線性變換將輸入空間變換到一個高維特征空間；u 在高維空間用線性函數假設空間尋找輸入與輸出之間的非線性關系；u 學習算法基于結構風險最小化原則。1 1、支持向量機的優點：、支持向量機的優點：u 專門針對有限樣本，求得在現有信息條件下的最優解；u 通過二次型尋優，解決了神經網絡方法中無法避免的局部極值問題；u 通過非線性變換，保證學習機器有較好的推廣能力，并使算法復雜度與樣本維數無關。2 2、支持向量機的結構、支持向量機的結

9、構 i ：拉格朗日乘子，i=1，2，s； b：閾值或偏移量； ：一個支持向量機的核函數； ( ,)iK x x第7章 智能技術在傳感器系統中的應用-補充內容 支持向量機結構示意圖 第7章 智能技術在傳感器系統中的應用-補充內容 支持向量機通過核函數將輸入空間的數據映射到高維的特征空間，在特征空間F中，通過線性回歸函數進行數據的分類或擬合。3 3、支持向量機的核函數：、支持向量機的核函數： 建立核函數的目標是使得特征空間的維數不再影響計算，或在特征空間不需要進行內積計算。 定義 為輸入空間 X X 到特征空間 F F 的映射，若特征空間的內積與輸入空間的核函數等價，即：滿足Mercer條件：(

10、)( ,)Tif xK x xb( ,)( ),( )( ),( )K x xxxxx ( ,)( )( ),0mmmmmK x xaxxa第7章 智能技術在傳感器系統中的應用-補充內容 則核函數就能表征為特征空間中的一個內積。4 4、核函數的種類、核函數的種類 SVM的核函數不同，則SVM輸出表達式及輸出結果就不同。 1）線性核 2）多項式核 3）RBF核高斯型徑向基函數2( ,) ( ) ( )0,K x x g x g x dxdxgL( ,),iiK x xx x 12( ,)(,)piiK x xx xp 222( ,)ix xiK x xe第7章 智能技術在傳感器系統中的應用-補充

11、內容 4）Sigmoid（多層感知器）核 5）張量積核 5 5、支持向量機的種類：、支持向量機的種類： 1）SVC（支持向量分類） 用支持向量的方法描述分類的問題，這里又分線性可分、線性不可分、非線性分類三種情形。 2）SVR（支持向量回歸） 用支持向量的方法描述回歸的問題，分線性回歸、非線性回歸。12( ,)tanh(,), tanh( )xxiixxeeK x xp x xpxee 1( ,)( ,)niiiiK x xK x x第7章 智能技術在傳感器系統中的應用-補充內容 7.3.2 7.3.2 支持向量機的訓練、檢驗與測量支持向量機的訓練、檢驗與測量一、訓練樣本及檢驗樣本的制備一、訓

12、練樣本及檢驗樣本的制備 在輸入變量整個變化范圍內根據需要確定標定點及數量，對實驗標定所獲得的樣本數據N，將其分為兩部分：訓練樣本N1、檢驗樣本N2，并使其格式相同，從而形成SVM的輸入向量（樣本）和輸出向量（樣本）：二、支持向量機的訓練二、支持向量機的訓練 訓練步驟： 1）輸入訓練樣本 訓練樣本（N1個）作為支持向量，y作為期望輸出向量，并行輸入支持向量機； 12,iiimixxxy第7章 智能技術在傳感器系統中的應用-補充內容 檢驗樣本（N2個）作為特征空間向量，串行輸入支持向量機。 2）設置SVM學習參數及核函數參數 3）SVM訓練： 基于訓練樣本及真實風險最小化原則，求出SVM結構參數（

13、權系數和偏移量）。若模型輸出向量y（x x）與期望輸出向量y y的差值最小，則訓練結束。三、支持向量機的檢驗三、支持向量機的檢驗 將檢驗樣本（N2個）作為輸入向量輸入訓練好的支持向量機，比較檢驗樣本輸出結果與期望的輸出值，若： 1）在要求的誤差范圍內，訓練好的支持向量機滿足使用要求； 2）超出范圍， 調整SVM學習參數及核函數參數，重新訓練； 3）確定權系數1，2， s和偏移量b，即得到回歸模型。第7章 智能技術在傳感器系統中的應用-補充內容 四、測量四、測量 由實際測量中獲得的測量樣本輸入到SVM的輸出表達式中，即可獲得準確的待測量。五、移植五、移植 經過訓練并通過檢驗的支持向量機，將已知的

14、權系數和偏移量代入SVM的輸出表達式，根據所選用的硬件使用環境，進行軟件編程實現，并通過實際運行，獲得同樣的使用效果。 第7章 智能技術在傳感器系統中的應用-補充內容 7.3.3 7.3.3 基于基于SVMSVM方法的三傳感器數據融合方法的三傳感器數據融合一、系統組成一、系統組成 基于SVM的智能壓力傳感器系統框圖 第7章 智能技術在傳感器系統中的應用-補充內容 1 1、傳感器模塊、傳感器模塊 采用右圖所示的檢測電路，分別獲取壓力、溫度、電流信號的電壓輸出值：UP、UT、UI。2 2、支持向量機模塊、支持向量機模塊 在上式中，通過多維標定實驗獲得 n 組樣本： ；輸入向量的維數 m=3 ； 是

15、從n組樣本中取s組樣本作為訓練樣本的支持向量；b 是SVM的閾值或偏移量； 是SVM的權系數向量，數量為s； i是與 對應的拉格朗日乘子； 1( )( ,)sTiiiy xw xbK x xb,PiTiIiiUUUPixww第7章 智能技術在傳感器系統中的應用-補充內容 實際測量時，x x 代表被測輸入向量，即：UP、UT、UI ；而 y 代表期望輸出標量 P； 是SVM的核函數。二、示例二、示例1 1：降低兩個干擾量影響的：降低兩個干擾量影響的SVMSVM功能模塊的設計功能模塊的設計 采用Gaussian型RBF核函數的SVM作為其計算模型。1 1、樣本的制作、樣本的制作 分學習（訓練）樣本

16、、測試（檢驗）樣本； 輸入樣本（三維）、輸出樣本（一維）。2 2、編程實現、編程實現 1）利用Matlab平臺進行設計、測試、驗證； 2）數據的預處理，根據需要確定是否進行歸一化處理； 3）支持向量機的參數； 4）不同參數對輸出結果的影響，影響最大； ( ,)iK x x第7章 智能技術在傳感器系統中的應用-補充內容 5）對輸入樣本是否進行歸一化處理， 使輸出結果最佳的 的最優值一般不一樣。3 3、SVM SVM 融合輸出結果及評價融合輸出結果及評價 核函數的參數 kerneloption（ ）對融合輸出結果的影響比較大，需要反復測試，才能找到合適的支持向量機的結構參數：w、b。 第7章 智能

17、技術在傳感器系統中的應用-補充內容 4 4、移植、移植 利用PC的強大計算功能，基于Matlab軟件計算平臺，進行支持向量SVM的訓練，確定好訓練合格支持向量SVM的結構參數、權系數w、偏置量b、RBF核參數。 將上述參數直接固化到單片機或DSP的內存中；同時用C語言改編上述實際運行程序為單片機或DSP 能夠直接編譯執行的程序并下載固化。 現場實際測量時，由下式求取融合后的數值： y = wx wx + b第7章 智能技術在傳感器系統中的應用-補充內容 粒子群優化算法是近年來迅速發展的一種智能優化算法，與遺傳算法有點類似，都是基于群體優化的方法，都是將系統初始化為一組隨機數，通過迭代搜索最優值

18、。但粒子群優化算法更簡單、更容易實現，因此，目前已成為國際上優化領域新的研究熱點。 在這里，我們結合參考教材里面的相關內容，對粒子群優化算法的基本概念、基本內容、具體應用做一個簡要的介紹。 7.4 粒子群優化算法在智能傳感器中的應用粒子群優化算法在智能傳感器中的應用第7章 智能技術在傳感器系統中的應用-補充內容 7.4.1 7.4.1 粒子群優化算法概況粒子群優化算法概況 群智能（群智能（Swarm IntelligenceSwarm Intelligence） 無智能或簡單智能的主體通過任何形式的聚集協同而表現出智能行為的特性。 群智能的主要算法群智能的主要算法 兩種主要算法： 1）蟻群優化

19、算法（Ant Colony Optimization，ACO） 應用于組合優化問題，如：車輛調度、機器人路徑規劃、路由算法設計等。 2）粒子群優化算法（Particle Swarm Optimization，PSO） 應用于過程控制、圖像識別、故障診斷等一些優化領域。 群智能算法的特點群智能算法的特點 1）是一種能夠有效解決大多數全局優化問題的新方法，而且方法簡單，易于實現。第7章 智能技術在傳感器系統中的應用-補充內容 2）應用領域包括：多目標優化、數據分類、聚類、模式識別、流程規劃、信號處理、系統辨識、控制與決策等。 3）仍然處于新興發展與改進完善階段。7.4.2 7.4.2 粒子群優化算

20、法基礎知識粒子群優化算法基礎知識 粒子群優化算法源于人類對自然界生物群體行為研究的結果，通過計算機對動物復雜的群體行為進行仿真研究，建立起了微粒群算法的基本概念，其規則為： 1）飛離最近的個體； 2）飛向目標； 3）飛向群體的中心。 個體學習與文化傳遞；信念的社會性及智能性；個性與社會性的平衡。第7章 智能技術在傳感器系統中的應用-補充內容 基本粒子群優化算法基本粒子群優化算法 粒子 i 在第 j 維子空間中運動的速度及位置： i =1，2，M，M是粒子的總數； j：表示微粒的第j維，或稱為算法優化的第j個參數； c1：認知參數，又稱加速因子，取值范圍：02； c2：社會參數，又稱加速因子，取

21、值范圍：02； r1j：隨機函數，在0 1之間變化； r2j：隨機函數，在0 1之間變化； pij ：為粒子個體i的歷史最好解的第j維值； pgj ：為所有粒子在t時刻的歷史最好解的第j維值。 1 12 2(1)( )( )( )( )( )( )( )(1)( )(1)ijijjijijjgjijijijijv tv tc rtp tx tc rtptx tx tx tv t( )min( )gjijptp t第7章 智能技術在傳感器系統中的應用-補充內容 每次迭代，每個粒子根據目標函數計算其適應值大小，再根據適應值確定當前粒子最優位置pij（t），群體最優位置pgj（t），再由上式調整各個粒子的速度及位置。 結束條件： 1）迭代次數達到設定值，一般設為100； 2）搜索到的最優位置滿足預設的最小適應值，一般為零。 設f（x）為最小化目標函數，微粒i的當前最好位置： 粒子數為M的群體最好位置： ( ),( (1)( )(1)(1),( (1)( )iiiiiiip tf x tf p tp tx tf x tf p t0101( )( ),( ),( )( )min ( ),( ),( )gMgMptp tp tptf ptf p tf p tf pt第7章 智能技