1、1第第2章章 維納濾波維納濾波 2.1問題的提出問題的提出)(nu)(ny)(nd)(ne線性離散時間濾波器)(nh離散形式維納濾波問題示意圖離散形式維納濾波問題示意圖 在給定的約束在給定的約束條件以及最優條件以及最優準則下來設計準則下來設計最佳濾波器最佳濾波器 要求要求: 濾波器是離散時間濾波器；濾波器是線性的；濾波器為無限沖激響應（IIR）濾波器，有限沖激響應濾波器可以看成是它的一個特例。準則準則: 最小均方誤差（MMSE）準則。 維納濾波器維納濾波器: 輸入信號和期望響應平穩且聯合平穩時所得到的最佳濾波器。本質：本質：給定一個輸入信號，設計一個線性離散濾波器，對期望響應估計，使得其估計誤

2、差的均方值為最小。2第第2章章 維納濾波維納濾波 2.2離散形式維納濾波器的解離散形式維納濾波器的解 單位沖激響應單位沖激響應 用用 表示，則濾波器的輸出表示，則濾波器的輸出 為線性卷積和為線性卷積和 最小均方誤差準則下的代價函數最小均方誤差準則下的代價函數代價函數的梯度向量代價函數的梯度向量 進一步可求得進一步可求得)(nh,210www)(ny, 2 , 1 , 0)()(0nknuwnykk)(2neEJ , 2 , 1 , 0kwJJkk, 2 , 1 , 0)()(2)()(2)(2kneknuEnewneEwneEwJJkkkk3第第2章章 維納濾波維納濾波 置梯度為零置梯度為零,

3、得得維納濾波器最優解的一個充要條件維納濾波器最優解的一個充要條件 ()式中式中 表示濾波器工作在最優條件下的估計誤差。表示濾波器工作在最優條件下的估計誤差。正交原理正交原理: 使均方誤差代價函數達到最小值的充要條件是其相應的估計誤差使均方誤差代價函數達到最小值的充要條件是其相應的估計誤差 正交于正交于用于估計期望響應的每個輸入樣本值。用于估計期望響應的每個輸入樣本值。 充要條件之二充要條件之二的推導的推導:由正交原理出發由正交原理出發整理得整理得定義濾波器輸入的自相關函數定義濾波器輸入的自相關函數 濾波器輸入與期望響應的互相關函數濾波器輸入與期望響應的互相關函數 , 2 , 1 , 00)()

4、(kneknuEo)(neo)(neo, 2 , 1 , 00)()()()()()()()(0kinuwndknuEnyndknuEneknuEioioo, 2 , 1 , 0)()()()(0kndknuEinuknuEwioi)()()(kirinuknuE)()()(kpndknuE因輸入平穩，因輸入平穩，故只與和故只與和的差有關的差有關4第第2章章 維納濾波維納濾波 得到得到維納濾波器的另一個充要條件維納濾波器的另一個充要條件，即著名的，即著名的維納維納-霍夫（霍夫（Wiener-Hopf）方程）方程為為 2.3離散形式維納濾波器的性質離散形式維納濾波器的性質 2.3.1正交原理的幾

5、何解釋正交原理的幾何解釋, 2 , 1 , 0)()(0kkpkirwioi樣本空間)0(u)1(u)1(doy) 1 (oe正交原理的幾何解釋（二維的情況）正交原理的幾何解釋（二維的情況） 5第第2章章 維納濾波維納濾波 2.3.2正交原理推論正交原理推論考察濾波器輸出信號與估計誤差之間的相關特性考察濾波器輸出信號與估計誤差之間的相關特性最優狀態下，上式為最優狀態下，上式為 由正交原理由正交原理(右端為零右端為零)可得可得()結論：維納濾波器的估計誤差輸入樣本值結論：維納濾波器的估計誤差輸入樣本值 和濾波器的輸出正交。和濾波器的輸出正交。 00)()()()()()(kkkkneknuEwn

6、eknuwEnenyE00)()()()()()(kookokokooneknuEwneknuwEnenyE0)()(nenyEoo)(neo)(nyo( )u n6第第2章章 維納濾波維納濾波 2.3.3最小均方誤差最小均方誤差維納濾波器的估計誤差為維納濾波器的估計誤差為 ()定義最小均方誤差為定義最小均方誤差為假定假定 和和 為零均值，對式兩邊同時取方差，得為零均值，對式兩邊同時取方差，得 即即式中：是期望響應的方差，是其最優估值式中：是期望響應的方差，是其最優估值 的方差。的方差。 結論：維納濾波器所得最小均方誤差等于期望響應的方差與濾波器輸出方差的差值。結論：維納濾波器所得最小均方誤差

7、等于期望響應的方差與濾波器輸出方差的差值。 )()()()()(ndndnyndneooo( )( )( )ood nd ne n)(2minneEJomin22Jodd22minoddJ2d)(nd2od)(ndo)(ndo( )d n7第第2章章 維納濾波維納濾波 2.4橫向濾波器的維納解橫向濾波器的維納解2.4.1橫向濾波器的維納橫向濾波器的維納-霍夫方程及其解霍夫方程及其解由級抽頭延遲線級聯而成，每個抽頭的輸入分別為由級抽頭延遲線級聯而成，每個抽頭的輸入分別為 各抽頭權值分別為各抽頭權值分別為 ，構成一組權系數，構成一組權系數 。 1z0w1Mw2Mw1z1z1w)(nu) 1( nu

8、)2(Mnu)1( Mnu)(nd)(nd)(ne橫向濾波器結構示意圖橫向濾波器結構示意圖 ) 1(,),1(),(Mnununu110,Mwww) 1, 1 , 0(Mkwk8第第2章章 維納濾波維納濾波 濾波器的當前輸入值：濾波器的當前輸入值： ，當前輸出，期望響應為，當前輸出，期望響應為 重寫維納重寫維納-霍夫方程霍夫方程 定義橫向濾波器的抽頭輸入定義橫向濾波器的抽頭輸入 的相關矩陣為，則的相關矩陣為，則 式中：式中： 是抽頭輸入向量，矩陣對稱。是抽頭輸入向量，矩陣對稱。定義橫向濾波器抽頭輸入與期望響應的互相關向量為，則定義橫向濾波器抽頭輸入與期望響應的互相關向量為，則 則橫向濾波器的維

9、納則橫向濾波器的維納-霍夫方程式的矩陣表示形式為，即維納解為霍夫方程式的矩陣表示形式為，即維納解為 式中：式中： 是橫向濾波器最優抽頭權向量。是橫向濾波器最優抽頭權向量。)(nd)(nu)(ny, 2 , 1 , 0)()(10kkpkirwMioi) 1(,),1(),(Mnununu(0)(1)(1)(1)(0)(2) ( )( )(1)(2)(0)Trrr Mrrr MEnnr Mr MrRuuTMnununun)1(,),1(),()(uTMpppndnE)1 (,),1(),0()()(uppRw opRw1oTMoooowww,1,1 ,0,w9第第2章章 維納濾波維納濾波 2.4

10、.2橫向濾波器的誤差性能橫向濾波器的誤差性能一、誤差性能曲面一、誤差性能曲面輸出：輸出：估計誤差：估計誤差：均方誤差：均方誤差：誤差性能曲面：將代價函數相對于抽頭權值的關系曲面。誤差性能曲面：將代價函數相對于抽頭權值的關系曲面。 )()()()()()(10nnnnknuwnyTTMkkuwwu)()()()()()(nnndnyndneTuw22222( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )2( ) ( ) ( )( )( )2( )TTTTTTdJE enEd ny nEd nnnE dnn Ennnn E d nnnnnwuwuuwwuwRwwp10

11、第第2章章 維納濾波維納濾波 代價函數是抽頭權值的二次函數；代價函數是抽頭權值的二次函數；如果矩陣是正定，誤差性能曲面就是一個碗狀曲面，且有唯一的最小值點如果矩陣是正定，誤差性能曲面就是一個碗狀曲面，且有唯一的最小值點 。該點所對應的權值為濾波器最優權值，該點的梯度向量等于零該點所對應的權值為濾波器最優權值，該點的梯度向量等于零 ：而而故可推出，與維納故可推出，與維納-霍夫方程一致。霍夫方程一致。minJ0wTMwJwJwJJJ110,pRw2)(2nJpRw o11第第2章章 維納濾波維納濾波 二、最小均方誤差的其他二、最小均方誤差的其他3種表達式種表達式最優條件下最優條件下 又又在零均值的

12、假定條件下，得在零均值的假定條件下，得 進一步進一步由由 ，得最小均方誤差的，得最小均方誤差的3種表達式種表達式 )()(nyndoo)()(nnyToouwoTooTTooTToodnnEnnEndEoRwwwuuwwuuw)()()()()(22pRpwppw12ToTTodo22minoddJpRpwpRww1222minTdoTdoTodJ12第第2章章 維納濾波維納濾波 例例2-1 如圖所示的橫向濾波器，該系統輸入信號為，期望響應如圖所示的橫向濾波器，該系統輸入信號為，期望響應試計算在均方誤差意義下的最佳權向量和最小均方誤差試計算在均方誤差意義下的最佳權向量和最小均方誤差 。解：輸入

13、的自相關函數為解：輸入的自相關函數為輸入與期望響應的互相關函數為輸入與期望響應的互相關函數為 )2sin()(Nnnu)2cos(2)(NnndowminJ0w1z1w)2sin()(Nnnu) 1( nu)2cos(2)(Nnnd)(nd)(ne1 , 02cos5 . 0)(2sin2sin1)()()(1kNkNknNnNknunuEkrNn1 , 02sin)(2sin2cos2)()()(1kNkNknNnNndknuEkpNn13第第2章章 維納濾波維納濾波 由此可得輸入自相關矩陣和互相關向量分別為由此可得輸入自相關矩陣和互相關向量分別為由，可求得由，可求得可以求得，結合和的結果，

14、可得均方誤差性能函數及其梯度向可以求得，結合和的結果，可得均方誤差性能函數及其梯度向量為量為最佳權向量也可以通過置均方誤差性能函數的梯度向量為最佳權向量也可以通過置均方誤差性能函數的梯度向量為0求得，見教材求得，見教材13頁。頁。本題中最小均方誤差為本題中最小均方誤差為0，但它不是說任何問題中都為，但它不是說任何問題中都為0，一般時候大于，一般時候大于0。2)(22ndEdToNN2csc22cot2wpRw o2min22cot220sin022cscTdoNJNNp w5 . 02cos5 . 02cos5 . 05 . 0)0() 1 () 1 ()0(NNrrrrRTTNpp2sin0

15、) 1()0(p14第第2章章 維納濾波維納濾波 三、二次型誤差性能曲面的性質三、二次型誤差性能曲面的性質把誤差性能函數重新表示為把誤差性能函數重新表示為 （該式表明最佳權向量與最小均方誤差的對應關系）（該式表明最佳權向量與最小均方誤差的對應關系）為使誤差性能曲面的表達式簡單化，定義權偏差向量為為使誤差性能曲面的表達式簡單化，定義權偏差向量為 此時的二次型誤差性能函數可以表示為此時的二次型誤差性能函數可以表示為 )()()()()()(2min11min111222oToTTTdTTTdTTdJJJwwRwwpRwRpRwpRwRpRwpRpRwwwppwpwRwwTMowww110,wwww

16、RwTJJmin15第第2章章 維納濾波維納濾波 0w1w橫向濾波器的二次誤差性能曲面和等高線橫向濾波器的二次誤差性能曲面和等高線 為直觀起見，考慮只有兩個權值為直觀起見，考慮只有兩個權值 和和 的橫向濾波器。此時，誤差性的橫向濾波器。此時，誤差性能曲面是三維空間中的一個拋物面，如圖所示。若用一組能曲面是三維空間中的一個拋物面，如圖所示。若用一組 J=C 的等值的等值平面來截取誤差性能表面，并向權值平面投影，則可在權值平面上可平面來截取誤差性能表面，并向權值平面投影，則可在權值平面上可得到一組同心橢圓，這就是誤差性能曲面的等高線圖。橢圓的中心為得到一組同心橢圓，這就是誤差性能曲面的等高線圖。橢

17、圓的中心為性能表面最低點的投影。性能表面最低點的投影。16第第2章章 維納濾波維納濾波 相關矩陣相關矩陣R的特征分解與化為標準形的特征分解與化為標準形 誤差性能表面的另一種表示形式誤差性能表面的另一種表示形式: 其中其中要點要點:相關矩陣相關矩陣R的特征向量矩陣的特征向量矩陣(為正交陣為正交陣)Q可用來實現坐標變換（左乘可用來實現坐標變換（左乘Q逆）。逆）。0det IR110000000M110MqqqQ110,MTQQRnnnqRqvvwQwQwQQwTTTTTTJJJJminminmin)()()(1Tv Q wQ w17第第2章章 維納濾波維納濾波 補充知識：主成分分析補充知識：主成分

18、分析PCA（亦稱主成分變換（亦稱主成分變換PCT 或或 K-L變換）變換）PCA：將具有一定相關性的數據重新組合成一組新的相互無關的數據來代替原來數據。：將具有一定相關性的數據重新組合成一組新的相互無關的數據來代替原來數據。 PCA變換是滿足以下兩個條件的線性變換：去除變換系數之間的相關性，即變換系數的變換是滿足以下兩個條件的線性變換：去除變換系數之間的相關性，即變換系數的協方差矩陣是對角陣；使變換系數的方差高度集中，即變換后能量主要集中在前協方差矩陣是對角陣；使變換系數的方差高度集中，即變換后能量主要集中在前M項，保證特征提取時去掉后面若干項后的均方誤差最小。項，保證特征提取時去掉后面若干項后的均方誤差最小。 關鍵：變換矩陣的求取。關鍵：變換矩陣的求取。 18第第2章章 維納濾波維納濾波 數學原理：相當于坐標的線性變換數學原理：相當于坐標的線性變換首先平移、然后旋轉