1、2022-6-261壓縮感知概述壓縮感知概述Introduction to Compressive Sensing22022-6-26目錄目錄一、背景與現狀一、背景與現狀 理論產生背景 研究現狀二、壓縮感知理論介紹二、壓縮感知理論介紹 壓縮感知的基本思想 壓縮感知的數學模型 壓縮感知要解決的問題三、應用與展望三、應用與展望 壓縮感知的初步應用 壓縮感知研究的公開問題 壓縮感知的總結與展望 2022-6-263 一、背景現狀一、背景現狀42022-6-261.1 理論產生背景理論產生背景1、背景現狀、背景現狀 一方面， 在奈奎斯特( Nyquist) 采樣定理為基礎的傳統數字信號處理框架下，若要

2、從采樣得到的離散信號中無失真地恢復模擬信號，采樣速率必須至少是信號帶寬的兩倍。然而，隨著當前信息需求量的日益增加，信號帶寬越來越寬，在信息獲取中對采樣速率和處理速度等提出越來越高的要求，因而對寬帶信號處理的困難在日益加劇。例如高分辨率地理資源觀測， 其巨量數據傳輸和存儲就是一個艱難的工作。52022-6-261.1 理論產生背景理論產生背景1、背景現狀、背景現狀原始圖像采樣數據采樣壓縮數據傳輸解壓縮數據傳輸恢復圖像通過顯示器顯示圖像 另一方面， 在實際應用中, 為了降低存儲、處理和傳輸的成本, 人們常采用壓縮方式以較少的比特數表示信號, 大量的非重要的數據被拋棄。這種高速采樣再壓縮的過程浪費了

3、大量的采樣資源。 62022-6-261.1 理論產生背景理論產生背景1、背景現狀、背景現狀大部分冗余信息在采集后被丟棄采樣時造成很大的資源浪費能否直接采集不被丟棄的信息？72022-6-261.1理論產生背景理論產生背景1、背景現狀、背景現狀被感知對象重建信號壓縮感知名詞解釋：壓縮感知直接感知壓縮后的信息基本方法：信號在某一個正交空間具有稀疏性（即可壓縮性），就能以較低的頻率（遠低于奈奎斯特采樣頻率）采樣該信號，并可能以高概率重建該信號。82022-6-261.2 研究現狀研究現狀1、背景現狀、背景現狀2006Robust Uncertainty Principles：Exact Signa

4、l Reconstruction fromHighly Incomplete Frequency InformationTerence Tao、Emmanuel Cands2006Compressed SensingDavid Donoho2007Compressive SensingRichard Baraniuk上述文章奠定了壓縮感知的理論基礎。國內也將其翻譯成壓縮傳感或壓縮采樣。92022-6-261.2 研究現狀研究現狀1、背景現狀、背景現狀u理論一經提出，就在信息論、信號處理、圖像處理等領域受到高度關注。u在美國、英國、德國、法國、瑞士、以色列等許多國家的知名大學(如麻省理工學院、斯

5、坦福大學、普林斯頓大學、萊斯大學、杜克大學、慕尼黑工業大學、愛丁堡大學等等)成立了專門的課題組對CS進行研究。u此外，萊斯大學還建立了專門的CompressiveSensing網站，及時報道和更新該方向的最新研究成果。102022-6-261.2 研究現狀研究現狀1、背景現狀、背景現狀u西安電子科技大學石光明教授在電子學報發表綜述文章，系統地闡述了壓縮傳感的理論框架以及其中涉及到的關鍵技術問題。燕山大學練秋生教授的課題組針對壓縮感知的稀疏重建算法進行了系統深入的研究，提出一系列高質量的圖像重建算法。中科院電子所的方廣有研究員等，探索了壓縮感知理論在探地雷達三維成像中的應用。u除此之外，還有很多

6、國內學者在壓縮感知方面做了重要的工作，如清華大學、天津大學、國防科技大學、廈門大學、湖南大學、西南交通大學、南京郵電大學、華南理工大學、北京理工大學、北京交通大學等等單位，在此不一一列舉。2022-6-2611 二、壓縮感知理論介紹二、壓縮感知理論介紹122022-6-262.1 壓縮感知的基本思想壓縮感知的基本思想2、壓縮感知理論介紹、壓縮感知理論介紹 壓縮感知理論與傳統奈奎斯特采樣定理不同， 它指出，只要信號是可壓縮的或在某個變換域是稀疏的， 那么就可以用一個與變換基不相關的觀測矩陣將變換所得高維信號投影到一個低維空間上，然后通過求解一個優化問題就可以從這些少量的投影中以高概率重構出原信號

7、，可以證明這樣的投影包含了重構信號的足夠信息。在該理論框架下，采樣速率不決定于信號的帶寬， 而決定于信息在信號中的結構和內容。132022-6-262.2 壓縮感知的數學模型壓縮感知的數學模型2、壓縮感知理論介紹、壓縮感知理論介紹 若將N維實信號 在某組正交基 下進行展開，即： 1NRx Nii1Niiix1xxTiii ,其中，展開系數寫成矩陣形式可以得到：（2）（1）x142022-6-262.2 壓縮感知的數學模型壓縮感知的數學模型2、壓縮感知理論介紹、壓縮感知理論介紹這里NNR),.,(321為正交基字典矩陣，滿足ITT，展開系數向量為TN),.,(21假設系數向量是K稀疏的，即其中非

8、零系數的個數KN，那么采用另一個與正交基不相關的矩陣：MN（MN）（這里的每一行可以看作是一個傳感器，它與系數相乘，獲取了信號的部分信息），對信號執行一個壓縮觀測：xy（3）152022-6-262.2 壓縮感知的數學模型壓縮感知的數學模型2、壓縮感知理論介紹、壓縮感知理論介紹就可以得到M個線性觀測（或投影）MRy，這些少量線性投影中則包含了重構信號X的足夠信息，如下圖所示：162022-6-262.2 壓縮感知的數學模型壓縮感知的數學模型2、壓縮感知理論介紹、壓縮感知理論介紹 從y中恢復x是一個解線性方程組的問題，但從方程（3）上看，這似乎是不可能的，因為這是一個未知數個數大于方程個數的病態

9、方程，存在無窮多個解。但是，將式（2）帶入式（3），記CS信息算子 可以得到： CSACSAy（4） 雖然從y中恢復 也是一個病態問題，但是因為系數 是稀疏的，這樣未知數的個數就大大減少，使得信號重構成為可能。那么在什么情況下式（4）的解是存在的呢？172022-6-262.2 壓縮感知的數學模型壓縮感知的數學模型2、壓縮感知理論介紹、壓縮感知理論介紹 可以證明：只要矩陣 中任意2K列都是線性獨立的，那么至少存在一個K-稀疏的系數向量滿足 。換言之，在滿足上述要求的情況下，通過解一個非線性優化問題就能從觀測y、觀測矩陣 和字典矩陣 中近乎完美的重建信號x。信號壓縮感知的過程如下圖所示： CSA

10、CSAy 182022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 從上述數學模型可知, 壓縮感知理論的實現包含三個關鍵要素：稀疏性、非相關觀測、非線性優化重建，其中信號的稀疏性是壓縮感知的必備條件, 非相關觀測是壓縮感知的關鍵, 非線性優化是壓縮感知重建信號的手段。 要解決的問題有以下三方面： 1、信號的稀疏表示 2、觀測矩陣的設計 3、信號重構算法的設計192022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 1、信號的稀疏表示 稀疏表示是信息優化建模的終極目標, 也是信息處理中一個古老

11、而又嶄新的課題, 利用稀疏性可以解決信號處理中許多復雜的問題, 各種數學分析和信號處理的理論為字典的構建提供了許多良好的工具,如下圖所示。稀疏表示的研究興起于二十世紀九十年代,在本世紀初得到蓬勃發展, 壓縮感知的提出更是為其提供了工程應用的土壤, 極大地豐富了該領域的研究成果。202022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 1、信號的稀疏表示 212022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 1、信號的稀疏表示 研究現狀：（1）多種變換域分析方法為稀疏表示提供了可能。（2）

12、許多信號，諸如自然圖像，本身就存在著變換域稀疏性。（3）信號在冗余字典下的稀疏表示 目前信號在冗余字典下的稀疏表示的研究集中在兩個方面: (a)如何構造一個適合某一類信號的冗余字典; (b)如何設計快速有效的稀疏分解算法. 222022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 2、觀測矩陣的設計 目前, 對觀測矩陣的研究是壓縮感知理論的一個重要方面。在該理論中， 對觀測矩陣的約束是比較寬松的， Donoho在中給出了觀測矩陣所必需具備的三個條件， 并指出大部分一致分布的隨機矩陣都具備這三個條件, 均可作為觀測矩陣， 如：部分Fourier

13、集、部分Hadamard集、一致分布的隨機投影(uniform Random Projection)集等，這與對有限等距性質進行研究得出的結論相一致。但是， 使用上述各種觀測矩陣進行觀測后, 都僅僅能保證以很高的概率去恢復信號， 而不能保證百分之百地精確重構信號。 對于任何穩定的重構算法是否存在一個真實的確定性的觀測矩陣仍是一個有待研究的問題。232022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 3、信號重構算法的設計 目前為止出現的重構算法都可以歸入以下3大類： （1）貪婪追蹤算法：這類方法是通過每次迭代時選擇一個局部最優解 來逐步逼近

14、原始信號，這類算法包括MP（Matching Pursuit,匹配 追蹤）算法，OMP（Orthogonal Matching Pursuit, 正交匹配 追蹤)算法，分段OMP算法和正則化OMP算法。 （2）凸松弛法: 這類方法通過將非凸問題轉化為凸問題求解找到信號 的逼近, 如BP算法, 內點法， 梯度投影方法和迭代閾值法。 （3）組合算法：這類方法要求信號的采樣支持通過分組測試快速重建， 如傅立葉采樣， 鏈式追蹤和HHS(HeavgHitters onSteroids)追蹤等。242022-6-262.3 壓縮感知要解決的問題壓縮感知要解決的問題2、壓縮感知理論介紹、壓縮感知理論介紹 3

15、、信號重構算法的設計 可以看出， 每種算法都有其固有的缺點。凸松弛法重構信號所需的觀測次數最少， 但往往計算負擔很重。貪婪追蹤算法在運行時間和采樣效率上都位于另兩類算法之間。 重構算法和所需的觀測次數密切相關。當前， 壓縮感知理論的信號重構問題的研究主要集中在如何構造穩定的、計算復雜度較低的、對觀測數量要求較少的重構算法來精確地恢復原信號。2022-6-2625 三、應用與展望三、應用與展望262022-6-263.1 壓縮感知的初步應用壓縮感知的初步應用3、應用與展望、應用與展望 直接信息采樣特性使得壓縮感知理論具有巨大的吸引力和應用前景， 隨之出現的是相關的理論完善和實踐成果。應用研究已經

16、涉及到眾多領域，如： CS雷達、DCS(DistributedCompressedSensing)理論、無線傳感網絡、圖像采集設備的開發、醫學圖像處理、生物傳感、Analog 2 to 2 Information、光譜分析、超譜圖像處理等。 1、在成像方面, 壓縮感知理論的出現激起了人們研究新型傳感器的 熱情, 壓縮感知采樣對昂貴的成像器件的設計產生重大影響。 2、在地震勘探成像和核磁共振成像中, 對目標信號將有望采用少量 的隨機觀測次數就能獲得高精度重構。272022-6-263.1 壓縮感知的初步應用壓縮感知的初步應用3、應用與展望、應用與展望 3、取代傳統數碼相機拍照時采集大量像素的一種

17、新型單像素CS相機 已經得到論證。 4、美國Rice 大學也已經研制出單像素相機。 5、在寬帶無線頻率信號分析中, 由于目前A/D轉換器技術的限制, 可以 用遠低于奈奎斯特采樣頻率的速率采集信號。 6、在X射線和生物醫學中, 可以通過采集遠少于未知像素點數的觀測樣 本來獲取感興趣的圖像信息。 7、基因表達研究也開始使用壓縮感知理論, 試圖從少量的觀測樣本中, 例如幾十種來推斷成千上萬種基因的表達。282022-6-263.2 壓縮感知研究的公開問題（摘自壓縮感知研究的公開問題（摘自09年文獻）年文獻）3、應用與展望、應用與展望1、p2范數優化問題 壓縮感知理論在圖像壓縮編碼等方面也應該有很廣泛

18、的前景，但由于信號的恢復方法是建立在p2范數意義下，數據之間還有很大的冗余性沒有去除， 相比傳統的小波變換編碼，壓縮感知理論應用于圖像壓縮的效果還不理想， p2范數的優化是提高基于壓縮感知理論的壓縮算法效果的必經之路。 p2范數的優化方法是一個公開問題(open problem)，對它的研究將推動壓縮感知理論在壓縮方面的應用，具有很深遠的意義。292022-6-263.2 壓縮感知研究的公開問題（摘自壓縮感知研究的公開問題（摘自09年文獻）年文獻）3、應用與展望、應用與展望2、含噪信號的恢復算法 在實際工程應用中, 待處理信號一般都不同程度地受到各種噪聲的污染。含噪信號不是嚴格的稀疏信號, 但

19、是仍屬于可壓縮信號。 現有的壓縮感知理論中,恢復信號的最基本依據是信號在某個變換空間的分解系數是稀疏的, 而噪聲的存在則破壞了信號在空間中的稀疏性。在使用優化方法恢復信號時, 如果對含噪信號采用單一的稀疏性約束原則, 則無法有效恢復原始稀疏信號。這時, 壓縮感知理論仍然可以采用其它有效的恢復信號的方法, 主要的不同之處在于恢復過程所使用的優化目標函數的形式不同, 參數的設置不同. 不同的優化目標函數使得信號的恢復效果也不盡相同.302022-6-263.2 壓縮感知研究的公開問題（摘自壓縮感知研究的公開問題（摘自09年文獻）年文獻）3、應用與展望、應用與展望3、觀測矩陣與恢復性能關系 觀測矩陣

20、與稀疏變換基的不相干特性是壓縮感知理論具有良好性能的基礎。由于隨機高斯分布的觀測矩陣具有與其它固定基都不相關的特性而被廣泛采用。但在實際的應用中, 這種觀測矩陣存在存儲矩陣元素容量巨大、計算復雜度高的缺點。 觀測矩陣的隨機不相關特性是正確恢復信號的一個充分條件, 觀測矩陣和信號的高度不相干是有效恢復信號的保證。但是, 現在仍然無法確定隨機不相關特性是否是最優恢復信號的必要條件, 這仍是一個公開問題。另外, 如何衡量觀測矩陣的不相干特性, 以及它們與恢復性能之間的關系也是一個尚未解決的問題。312022-6-263.2 壓縮感知研究的公開問題（摘自壓縮感知研究的公開問題（摘自09年文獻）年文獻）

21、3、應用與展望、應用與展望4、分布式壓縮感知理論(Distributed Compressed Sensing, DCS) 目前， 針對單個信號的壓縮感知的研究和應用已經開展得比較深入, 但是對分布式信號的處理仍然研究得不夠。 例如， 對于一個包含大量傳感器節點的傳感器網絡，每個傳感器都會采集大量的數據， 這些數據將會傳輸到一個控制中心， 也會在各個節點之間傳輸。 顯然， 在這種分布式傳感器網絡中， 數據傳輸對功耗和帶寬的需求非常大， 那么， 如何對分布式信號進行壓縮以減少通信壓力成為非常緊迫的需求。 322022-6-263.3 壓縮感知研究的總結與展望壓縮感知研究的總結與展望3、應用與展望、應用與展望 壓縮感知理論利用了信號的稀疏特性, 將原來基于奈奎斯特采樣定理的信號采樣過程轉化為基于優化計算恢復信號的觀測過程。 也就是利用長時間積分換取采樣頻率的降低, 省去了高速采樣過程中獲得大批冗余數據然后再舍去大部分無用數據的中間過程,