1、會計學1 小波理論小波理論 1、預備知識 從數學的角度講，小波是構造函數空間正交基的基本 單元，是在能量有限空間L2(R) 上滿足允許條件的函數， 這樣認識小波需要L2(R) 空間的基礎知識，特別是內積空 間中空間分解、函數變換等的基礎知識。 從信號處理的角度講，小波(變換)是強有力的時頻分 析(處理)工具，是在克服傅立葉變換缺點的基礎上發展而 來的，所以從信號處理的角度認識小波，需要傅立葉變換 、傅立葉級數、濾波器等的基礎知識。 第1頁/共71頁 dttf 2 )(1.1) 一個信號從數學的角度來看，它是一個自變量為時間t的函 數f(t)。因為信號是能量有限的，即 滿足條件(1.1)的所有函

2、數的集合就形成L2(R) 圖像是二維信號，同樣是能量有限的。實際上任何一幅數 字圖像都是從真實的場景中經過采樣和量化處理后得到的。從 數學上看，圖像是定義在L2(R2)上的函數。 第2頁/共71頁 如圖1所示的LENA圖像f(x,y)，假設圖像的大小是512x512， 量化級是256，即 511,0 255),(0yxyxf x y 第3頁/共71頁 2、L2(R)空間的正交分解和變換 對f(t)L2(R)，存在L2(R) 的一組標準正交基gi(t)，t R， i=1,2,使得 其中 1 )()( i ii tgctf(1.2) Zlkdttgtgtgtg dttgtftgtfc kllklk

3、 iii ,)()()(),( )()()(),( ，(1.3) 第4頁/共71頁 對于給定信號f(t)，關鍵是選擇合適的基gi(t) ，使得f(t)在這 組基下的表現呈現出我們需要的特性，但是如果某一個基 不滿足要求，可通過變換將函數轉換到另一個基下表示， 才能得到我們需要的函數表示。常用的變換有： (1) K-L變換 (2) Walsh變換 (3) 傅立葉變換 (4) 小波變換 如圖所示是信號f(t)的傅立葉變換示意圖。信號f(t)經傅立葉 變換由時域變換到頻域，基底不同得到大變換也不同。 在信號處理中，有兩類非常重要的變換即傅立葉變換和 。目前，可簡單地將小波理解為滿足以下兩個條件的 特

4、殊信號： (1)小波必須時振蕩的； (2)小波的振幅只能在一個很短的一段區間上非零，即是 局部化的。 第5頁/共71頁 1、Daubechies小波 一些著名的小波： 第6頁/共71頁 2、Coiflets小波 3、Symlets小波 第7頁/共71頁 4、Morlet小波 5、Mexican Hat小波 6、Meyer小波 在MATLAB的命令窗口中鍵入 help waveinfo 可以了解到 更多關于各種小波的信息。 第8頁/共71頁 不是小波的例 第9頁/共71頁 第10頁/共71頁 3、傅立葉變換與時頻分析 我們知道，任何復雜的周期信號f(t)可以用簡單的調和振蕩函 數表示成如下形式：

5、 這就是著名的傅立葉級數，tktk 00 sincos和都是簡單的調和 振蕩函數，直觀講都是正弦。 kk ba 和是函數f(t)的傅立葉系數， 可由以下公式計算 ： 1 00 0 )sincos( 2 )( i kk tkbtka a tf(1.4) 第11頁/共71頁 于是，周期函數f(t) 就與下面的傅立葉序列產生了一一對應 ，即 從數學上已經證明了，傅立葉級數的前N項和是原函數f(t) 在給定能量下的最佳逼近： 2 , 1 , 0sin)( 2 2 , 1 , 0cos)( 2 0 0 0 0 ktdtktf T b ktdtktf T a T k T k ， ， (1.5) (1.6)

6、 ),(),( ,)( 22110 babaatf(1.7) 第12頁/共71頁 對于L2(R)上的非周期函數f(t) ，有 0sincos 2 )(lim 2 0 1 00 0 dxtkbtka a tf T N k kk N (1.8) dtetff ti )()( (1.9) 稱)( f 為f(t)的傅立葉變換，反變換公式為 deftf ti )( )(1.10) 第13頁/共71頁 有了傅立葉變換，我們可以很容易地將時域信號f(t)轉換到頻 域 上，于是信號的頻率特性一目了然，并且與傅立葉級數 一樣，傅立葉變換將一段信號的主要低頻能量都集中在頻率信 號的前面幾項，這種能量集中性有利于進

7、一步的處理。在過去 200年里，傅立葉分析在科學與工程領域發揮了巨大的作用， 但傅立葉分析也有不足，主要表現在以下兩點： )( f q 傅立葉分析不能刻畫時域信號的局部特性； q 傅立葉分析對非平穩信號的處理效果不好。 下面通過例子來說明這兩點。 第14頁/共71頁 例、歌聲信號 歌聲是一種聲音震蕩的波函數，其傅立葉變換就是將這個波函數轉化成 某種樂譜。但遺憾地是，傅立葉變換無法反映信號在哪一時刻有高音，在 哪一時刻有低音，因此結果是所有的音符都擠在了一起，如圖所示。 第15頁/共71頁 小波變換有效地克服了傅立葉變換的這一缺點，信號變換到 小波域后，小波不僅能檢測到高音與低音，而且還能將高音

8、 與低音發生的位置與原始信號相對應，如圖所示。 第16頁/共71頁 因此我們需要這樣一個數學工具：既能在時域很好地刻畫信號 的局部性，同時也能在頻域反映信號的局部性，這種數學工具 就是“小波”。從函數分解的角度，希望能找到另外一個基函 數(t) 來代替sint。(t) 應滿足以下三個特性： q 任何復雜的信號f(t)，都能由一個母函數(t) 經過伸縮和平移 產生的基底的線性組合表示； q 信號用新的基展開的系數要能反映出信號在時域上的局部化 特性； q 新的基函數(t) 及其伸縮平移要比三角基sint更好地匹配非 平穩信號。 歷史上，Haar第一個找到了這樣一個基函數，這就是非常 著名但又及其

9、簡單的Haar小波。 1 , 2 1 1 2 1 ,0 1 )( x x t(1.11) 第17頁/共71頁 數學上已經證明： 小波級數、 信號的小波 逼近 Zkjkt j ,| )2( 構成L2(R)的一個正交基，通過規范化處理， (1.12) ),( )2(2)( 2 , Zkjktt j j kj 構成L2(R)的一個規范正交基。故任何一個能量有限信號 f(t)L2(R) 可以分解為 (1.13) dtttfttfc tctf kjkjkj ZjZk kjkj )()()(),( )()( , , 其中 (1.14) (1.15) 第18頁/共71頁 定義1 函數(t)L2(R) 稱為基

10、本小波，如果它滿足以下的“允許 ”條件： d t C ) ( (2.1) 如果) ( 是連續的，易得： 0)(0)0 ( dtt(2.2) 第19頁/共71頁 (t)又稱為母小波，因為其伸縮、平移可構成L2(R)的一個標準 正交基： 同傅立葉變換一樣，連續小波變換可定義為函數與小波基的 內積： 將a,b離散化，令 可得離散小波變換： RbRa a bt at ba ,)( 2 1 , ，(2.3) )(),(),( , ttfbafW ba (2.4) Zkjkba jj ,22，(2.5) 第20頁/共71頁 總結：即小區域的波，是一種特殊的長度有限、平均 值為零的波形。它有兩個特點：一是“

11、小”，即在時域具有 緊支集或近似緊支集；二是正負交替的“波動性”，也即支 流分量為零。 Zkjktt ttfkjfDW j j kj kj ,)2(2)( )(),(),)( 2 , , ， (2.6) (2.7) 第21頁/共71頁 小波分析優于傅立葉分析的地方是，它在時域和頻域 同時具有良好的局部化性質。而且由于對高頻成分采 用逐漸精細的時域或頻域取樣步長，從而可以聚焦到 對象的任何細節，所以被稱為“數學顯微鏡”。小波 分析廣泛應用與信號處理、圖像處理、語音識別等領 域。 第22頁/共71頁 可以這樣理解小波變換的含義：打個比喻，我們 用鏡頭觀察目標信號f (t)， (t)代表鏡頭所起的所

12、用 。b 相當于使鏡頭相對于目標平行移動，a的所用相 當于鏡頭向目標推進或遠離。由此可見，小波變換有 以下特點： 多尺度/多分辨的特點，可以由粗及細地處理信號 ； 可以看成用基本頻率特性為()的帶通濾波器在 不同尺度a下對信號做濾波。 適當地選擇小波，使(t)在時域上為有限支撐,() 在頻域上也比較集中，就可以使WT在時、頻域都具 有表征信號局部特征的能力。 第23頁/共71頁 小波變換的思想來源于伸縮和平移方法。 v 尺度伸縮 對波形的尺度伸縮就是在時間軸上對信號進行壓 縮和伸展，如圖所示。 1);sin()(attf 2 1 );2sin()(attf 4 1 );4sin()(attf

13、第24頁/共71頁 2 1 );2()(attf 4 1 );4()(attf 1);()(attf 第25頁/共71頁 v 時間平移 時間平移就是指小波函數在時間軸上的波形平行 移動，如圖所示。 第26頁/共71頁 小波運算的基本步驟： (1) 選擇一個小波函數，并將這個小波與要分析的信 號起始點對齊； (2) 計算在這一時刻要分析的信號與小波函數的逼近 程度，即計算小波變換系數C，C越大，就意味著此 刻信號與所選擇的小波函數波形越相近，如圖所示 。 第27頁/共71頁 (3) 將小波函數沿時間軸向右移動一個單位時間，然后 重復步驟(1)、(2)求出此時的小波變換系數C，直到覆 蓋完整個信號

14、長度，如圖所示； 第28頁/共71頁 (4) 將所選擇的小波函數尺度伸縮一個單位，然后重復 步驟(1)、(2)、(3)，如圖所示； (5) 對所有的尺度伸縮重復步驟(1)、(2)、(3)、(4)。 第29頁/共71頁 v 尺度與頻率的關系 尺度與頻率的關系如下： 小尺度a 壓縮的小波快速變換的細節高頻部分 大尺度a 拉伸的小波緩慢變換的粗部低頻部分 第30頁/共71頁 由母小波按如下方式的伸縮平移可構成L2(R)空間的標準正交基 如何構造母小波呢？1989年，Mallat和Meyer提出了按多分辨分析 的思想來構造母小波，其基本思想是： q 現構造一個具有特定性質的層層嵌套的閉子空間序列Vjj

15、Z， 這個閉子空間序列充滿了整個L2(R)空間。 q 在V0子空間找一個函數g(t)，其平移g(t-k)k Z構成V0子空間的 Riesz基。 q 對函數g(t)進行正交化，得到函數稱為正交尺度函數(t)。 q 由(t)計算出小波函數(t)。 RtZkjktt j j kj ， ,)2(2)( 2 , (3.1) 第31頁/共71頁 Riesz基 定義 令H是Hilbert空間，H中的一個序列gjjZ是Riesz基，如果 它滿足以下的條件： A和B分別稱為Riesz基的上下界，Riesz基又稱為穩定基。 j j j jj j j Zj j n nj jj Zj j j cBgccA lcBA

16、tgctflc HfHZjtgspan 2 2 2 2 2 ,0 )2 )()(, , 0,| )( ) 1 有使得存在常數 使得總存在 即 (3.2) (3.3) 第32頁/共71頁 定義1 空間L2(R )中的多分辨分析是指L2(R )中的滿 足如下條件的一個子空間序列 Zj j V 基。的構成使得存在函數 平移不變性 伸縮性 逼近性 單調性 RieszVktgVtg ZkVktfVtf VtfVtf RLVV VVV Zk jj jj Zj j Zj j 00 1 2 101 )(,)()5 ;,)()(:)4 ;)2()(:)3 );(,0:)2 ;:) 1 第33頁/共71頁 多分辨

17、空間的關系可用下圖來形象地說明。 第34頁/共71頁 如果g(t-k)kZ是V0的Riesz基，可通過正交化得到V0空間的函 數(t)V0，使得(t-k)kZ 構成V0空間的規范正交基。由伸縮 性和平移不變性可知， j,k(t)j,kZ構成Vj空間的一個規范正交 基。 于是 RtZkjktt j j kj ， ,)2(2)( 2 , (3.4) Zj kjkjV j tttff VtfRLtf j )()(),( )()()( , 2 空間的正交投影是在每個，則 (3.5) 第35頁/共71頁 注意： (t)并不是L2(R )空間的小波函數，而是與其緊密 相關的尺度函數，j,k(t)j,kZ稱

18、為尺度基，多分辨空間序列 VjjZ稱為尺度空間，在MRA意義下，可由尺度基導出小波基 。 由MRA的單調性可以看出： Vj是Vj+1的嚴格子空間，設Wj是Vj 關于Vj+1的正交補(子空間)，即 l j l j jjjj jjjj jjjjj jjj WV WWWV WWVV WVWVV WVV 1 122 111 1 1 : 于是 顯然 ，且即滿足 (3.6) 第36頁/共71頁 對于一幅圖像，量化級數決定了圖像的分辨率，量化級數 越高，圖像就越清晰，即圖像的分辨率高。對于任意一幅圖像 ，都可以用不同的量化空間來表示，細節比較豐富的部分用高 分辨率來表示，細節比較單一的部分可用低分辨率來表示

19、。 我們可以將不同的量化級數構成的空間看成不同的多分辨 空間Vj，顯然這些量化空間是相互嵌套的， 列，稱為小波空間。是相互正交的子空間序故 ，所以，而由于 顯然 Zj j jjjjjjj l l j j W WWWVVVW WVRL 111 2 lim)(3.7) 第37頁/共71頁 從圖像處理的角度，多分辨空間的分解可以理解為圖像的分解 ，假設有一幅256級量化的圖像，不妨將它看成量化空間Vj中 的圖像，則 可理解為Vj空間中的圖像有一部分保 留在Vj-1空間中，還有一部分放在Wj-1空間，。 11 jjj WVV 與尺度函數的產生一樣，若存在(t)W0，使得(t-k)kZ構 成空間W0的一

20、個規范正交基，則 構成L2(R)空間的一個規范正交基。 稱為 小波基，(t)稱為母小波。 Zkj kj t , , )( )2(2)( 2 , ktt j j kj (3.8) 第38頁/共71頁 Vj Wj-1 Vj-1 第39頁/共71頁 MRA非常抽象，但是它給出了構造小波的一般框架。在實踐中 很難通過小波空間直接構造小波，但通過MRA可推導出一個非 常重要的關系：雙尺度方程，通過求解該方程，使我們有可能求 出尺度函數和小波函數。 由前面的分析，我們知道： 10 10 )( )( WWt VVt k k k k 1 k)(2tg(t) k)(2th(t) :)2()()( 線性表示空間的

21、一個基都可以用和所以 Zk ktVtt (3.9) (3.10) 第40頁/共71頁 方程(3.9)和(3.10)稱為雙尺度方程。由(t) 的正交性可得： 對雙尺度方程兩邊取傅立葉變換，可得頻域上的的雙尺度方程 ： Zkkttg Zkktth k k ， ， )2(),( )2(),( (3.12) (3.11) 2 2 ) ( 2 2 ) ( g h (3.14) (3.13) 第41頁/共71頁 k ik k k ik k egg ehh 2 1 )( 2 1 )( :其中 (3.16) (3.15) 從信號處理的角度，h是與(t)對應的低通濾波器，g是與(t) 對 應的高同濾波器，h，g

22、既可以表示為時域上的離散序列形式 hk，gkkZ，也可以表示為頻域上的2周期函數h ()，g() 。兩者本質上是一樣的。 第42頁/共71頁 若kN時，hk=0，這樣的濾波器稱為有限脈沖響應濾波器 (FIR)，FIR濾波器具有好的局部化特性。此時，(t)只在有限區 間0，N上取值，所以(t)是緊支的，其支集supp=0，N，(3.9) 式變為： N k k ktht 0 )2()(3.17) 此時(t)也是緊支的。所以只要濾波器的長度是有限的， 我們稱對應的小波(t)是緊支小波。 第43頁/共71頁 由(3.13)式得： n n j j hhhh hhh 2 28 842 4 422 2 )

23、( 1 (3.18) 1)0()0 ( )0()0 ( )0 ( 2 ) ( 2 0)0 ( ) ( 1 1 hh h h j j n j j 推得且由 是收斂的，即，則是連續的，且若 (3.19) 第44頁/共71頁 只要找到滿足雙尺度方程(3.9)的序列hkkZ，通過公式 (3.15)就可以計算出2周期函數h ()，再由公式(3.19)就可以計 算出 ，經過傅立葉反變換，最終可得尺度函數(t)，有了 尺度函數就可以計算出小波函數(t) 。 ) ( 通過解雙尺度方程(3.9)，我們希望得到滿足MRA的尺度函 數(t) ，并最終構造出小波函數(t) ，但有兩個問題必須解決 ： 雙尺度方程(3.

24、9)是否有解？解的唯一性如何？ 雙尺度方程(3.9)的解是否滿足MRA？ 關于問題1，I. Daubechies和Lagarias在1991年給出了證明 。 第45頁/共71頁 解決問題2卻是一件非常困難的事情。這里牽涉到尺度函數(t) 與濾波器系數hkkZ之間的關系問題： q 如果有一個L2(R)空間的尺度函數(t)，一定能構造出雙尺度 方程(3.9) ，從而找到一組滿足(3.9)的濾波器hkkZ； q 反過來，如果有一組濾波器hkkZ滿足某個雙尺度方程，由 此求解得到的函數卻不一定是滿足MRA的尺度函數，這樣無法 保證雙尺度方程解的平移構成L2(R) Riesz基 若(t)是正交的，則相應

25、的濾波器h有什么性質呢？ 若(t)是正交的，則相應的濾波器hk必須滿足條件： 1)0( 1)()( 22 h hh(3.20) (3.21) 但是，如果hk僅僅滿足(3.20)和(3.21) ，并不能保證由雙尺度 方程構造出的函數(t)是正交尺度函數。 (3.20)和(3.21) 稱為 構造正交小波的。 第46頁/共71頁 僅有必要條件是不夠的，即hkkZ除了滿足條件(3.20)和(3.21) 外，還應滿足其他條件。S. Mallat4，W. Lawton6等都在這 方面作出了重大的貢獻，并給出了一些有意義的結論。下面給 出W. Lawton的充分條件。 定理x2 設h()是FIR濾波器，若滿

26、足 1)0( 1)()( 22 h hh 1,1 2 ) ( 0 2 )12)(12( 1 NjiNhha Ahh N k kijkij NN Zk k j j ， 構造矩陣，由定義 若矩陣A的特征值1是非退化的，則(t-k)kZ是標準正交的。 第47頁/共71頁 構造緊支小波基 尋找滿足雙尺度方程(3.9)和(3.10)的濾波器hk,gkk0,1,N 利用公式(3.15)計算2周期函數h()； 驗證h()是否滿足條件 1 2 ) ( j j h 通過傅立葉反變換求出(t) 驗證矩陣A的特征值1是否非退化； (t-k)kZ是正交的尺度函數，對應的緊支小波由公式 (3.10)計算。 計算 1)0

27、(1)()( 22 hhh和 第48頁/共71頁 我們知道尺度函數和小波函數(t),(t)tR是在時域刻畫信 號的性質，對應的濾波器h(),g()R從頻域上刻畫信號的性 質。實際上，(t),(t)tR大量的性質都可以由對應的 h(),g()R從頻域上反映出來，甚至離散小波變換都可以借 助濾波器來實現，因此小波與濾波器具有緊密的關系。 若尺度函數(t)是正交的，則它所對應的濾波器h()稱為 h()滿足以下條件： 0)( 1)0( 1)()( 22 h h hh 第49頁/共71頁 濾波器hkkZ稱為低通濾波器。所謂低通是指：當信號f(t)被 hkkZ作用后，其低頻成分能被保留下來，而高頻成分(=

28、) 卻被濾掉了。 對應的小波濾波器g()也是也滿足條件 1)()( 22 gg(3.22) 另外，由于(t-k)kZ與(t-k)kZ分別是V0空間和W0空間的規 范正交基，而V0W0，則 0)(),(tkt 0) 1() 1()()(:ghgh由此可導出(3.23) 公式(3.23)反映了低通濾波器h()和高通濾波器g()之間的關系 。 第50頁/共71頁 S. Mallat4同時給出了這樣的結論：若高通濾波器g()滿足公式 ，則由公式 2 2 ) ( g 產生的小波基(t-k)kZ構成W0空間的規范正交基。因此當尺 度函數(t)已經確定時，只要能找到一個滿足公式(3.22)和(3.23) 的

29、g()，就一定能找到對應的小波(t)，但是這樣的解并不是唯 一的。例如可取 )()( heg i (3.24) 可以驗證g()滿足(3.22)和(3.23)，對應的共軛鏡像濾波器為： k k k hg 1 1 ) 1(3.25) 第51頁/共71頁 因此當找到低通共軛鏡像濾波器hkkZ后，利用公式(3.25)馬上 可得高通共軛鏡像濾波器gkkZ。 在一個MRA下的正交尺度函數和小波函數(t),(t)tR， 產生一組共軛鏡像濾波器h,g，滿足： 0)()()()( 1)()( 1)()( 22 22 ghgh gg hh (3.26) 公式(3.26)還有幾個等價形式，下面以定理的形式給出。 第

30、52頁/共71頁 設h,g是由正交尺度函數和小波函數產生的共軛鏡像濾波 器，則以下幾個條件等價： q 在頻域上(3.26)式成立； q 在時域上以下公式成立： Zj kjj Zj kkjj Zj kkjj gh Zkgg hh 0 2 2 2 0 ,2 0 ,2 (3.27) q 定義調制矩陣 ： )()( )()( )( gg hh m(3.28) 第53頁/共71頁 則 Rmm T ，1)()( (3.29) L2(R) 空間的一個MRA產生了兩個子空間：尺度空間VjjZ和 小波空間WjjZ。j,kj,kZ和j,kj,kZ 分別是兩個空間的規范正 交基，信號f(t)L2(R) 在兩個空間上

31、都可以做正交投影： Zk kjkjW Zk kjkjV tttff tttff j j )()(),( )()(),( , , (3.30) 第54頁/共71頁 信號在小波空間的展開為 ZjZk kjkj Zj W tttfftf j )()(),()( , (3.31) 但實踐中不可能進行無窮次逼近，不妨設f(t)VJ，則因為 )( 11 122 11 JjWWWV WWV WVV Jjjj JJJ JJJ 所以 JjjZk kjkj Zk kjkj tttftttftf)()(),()()(),()( , 表示從尺度2-J到2-j進 行了(J-j)次小波分解 (jJ) 第55頁/共71頁

32、實際計算時，可以一次一次地進行小波分解，然后遞推實現(J-j) 次小波分解，不妨記一次小波分解的尺度系數和小波系數為 kjkj kjkj fd fc , , , , n njnjkjkj Znj njjkjjj VVV , 1, 1, , , 11,1 , 來表示：的一組基可由，則由于 (3.32) 第56頁/共71頁 )2()22()( 2 1 )2()2( 2 2 , 1 , 1, kttdtnktt dtntkt j jj j njkj 令 而 因為 dtkttktthk)2()()2(),( 代入(3.32)式得 故 knnjkj htt 2, 1, 2 1 )(),( 第57頁/共7

33、1頁 )2( 2 1 2 1 2, 1, 12, knnhh n knjn n njknkj 令 從而 n knjn n knjnkjkj ch tfhtfc 2, 1 2, 1, 2 1 ),( 2 1 ),( 我們得到如下的遞推公式： Zn knjnkj chc 2, 1, 2 1 (3.33) 第58頁/共71頁 現在來求dj,k的遞推公式， n njnjkjkj Znj njjkjjj VVW , 1, 1, , , 11,1 , 來表示：的一組基可由，則由于 (3.34) )2()22()( 2 1 )2()2( 2 2 , 1 , 1, kttdtnktt dtntkt j jj j njkj 令 而 第59頁/共71頁 因為 dtkttkttgk)2()()2(),( 代入(3.34)式得 )2( 2 1 2 1 2, 1 , 12, knng g n knjn n njknkj 令 故 knnjkj gtt 2, 1, 2 1 )(),(