現代信號處理電子工程系張旭東zhangxd@一點思考和討論徹底告別應試思維！學習和思考？質疑？知識和興趣？研究生階段的學習？一門課程框架下的多樣化學習？從被動學習，到自主學習，到探求未知，研究生階段必要的角色轉變？本課程要討論的主要問題（1）對信號特性的了解隨機信號（隨機過程，時間序列––隨機過程的一個實現）信號模型→參數估計→現代譜估計：參數化譜估計討論信號模型及模型參數的估計問題，各種信號模型的作用（2）對統計意義下最優濾波器設計的研究平穩條件下：Wiener濾波器理論非平穩條件下：Kalman濾波非線性非高斯：貝葉斯濾波，粒子濾波理論上的目標，實際算法可達到的最佳結果（3）對環境的自適應，有“學習能力”的濾波算法自適應均衡、波束形成、線性自適應濾波器、盲處理（4）信號的統計分析方法現代譜估計方法，信號模型方法的應用，子空間方法更多信息的利用，挖掘（針對非高斯問題）非線性、多譜：高階量，循環平穩信號的盲處理（5）對時間–頻率關系的適應性、稀疏表示信號的時間-頻率聯合分析，反映信號更豐富特性全局特性與局域特性，小波變換，時頻分析，信號的稀疏表示和恢復，CS教材張旭東，陸明泉：離散隨機信號處理，2005年10月，清華大學出版社張旭東，現代信號分析和處理，2017年，清華大學出版社（目前老版教材售罄暫缺，新版教材于2017年出版，網絡學堂將提供新版教材的電子版，由于與出版社版權問題，電子版教材僅供選課同學參考，切勿外傳）

S.Haykin,AdaptiveFiltertheory,Prentice-Hall,FouthEdition2001(電子工業出版社影印本和中文譯本)S.M.Kay,ModernSpectralEstimation:Theory&Application,Prentice-Hall,1988S.M.Kay,FundamentalsofStatisticalSignalProcessing:EstimationTheory,PrenticeHallPTR,1993.（有中文譯本）S.Mallat,AWaveletTourofSignalProcessing,Academicpress,ThirdEdition2009Van

Tree，Optimum

Array

Processing，Wiley，2002（有中文譯本）J.G.Proakis,etal.AlgorithmsforStatisticalSignalProcessing, Prenticehall,2002（有中文譯本）D.SimonOptimalStateEstimation,Wiley,2006S.Foucart,H.Rauhut,AMathematicalIntroductiontoCompressiveSensing,Springer,2013主要參考書IEEE

Signal

Processing

MagazineIEEETrans.OnSignalProcessingSignalProcessingProceedingsofIEEEProceedingsofICASSP，DSP主要雜志和會議文集課程成績平時作業20％3個Matlab作業60％（布置后2周內提交）期末課程報告20％（開放性選題）信號處理算法設計面向的幾個主要因素信噪比信噪比可能顯式或隱式地影響信號處理方法的性能先驗知識雷達通信系統電子對抗對先驗知識的利用：統計基礎上的假設、學習過程算法復雜性與性能要求的匹配性(問題的適宜性）Occam剃刀原理：除非必要，“實體”不應該隨便增加，或：設計者不應該選用比“必要”更加復雜的系統。學術研究和工程應用信號處理的不同對象和方法高斯類信號和非高斯類信號平穩信號與非平穩信號線性系統和非線性系統時間處理、空間處理和時空處理有監督系統和無監督系統建立了系統的科學方法的巨人牛頓艾薩克·牛頓爵士，1643年~1727年(維基百科對他的定義是：英格蘭物理學家、數學家、天文學家、自然哲學家和煉金術士）；1687年發表《自然哲學的數學原理》；其他物理學上的貢獻；與萊布尼茨分享發展了“微積分學”的榮譽；證明了廣義二項式定理，提出了“牛頓法”以趨近函數的零點，并對冪級數的研究作出了貢獻。自然和自然律隱沒在黑暗中；

神說，讓牛頓去吧！萬物遂成光明--浦柏了解一點科學史隨機信號處理與貝葉斯ThomasBayes，貝葉斯(1702-1763)，英國數學家.貝葉斯決策理論方法（1763）是統計模型決策中的一個基本方法，其基本思想是：1、已知條件概率密度參數表達式和先驗概率；2、利用貝葉斯公式轉換成后驗概率；3、根據后驗概率大小進行決策分類。Born:April30,1777,Brunswick,Germany

Died:February23,1855,G?ttingen,Germany

離散隨機信號處理與高斯(CarlFriedrichGauss)

AscientificbiographerswroteinNature(128[1931],341):"Hewasnotreallyaphysicistinthesenseofsearchingfornewphenomena,butratheralwaysamathematicianwhoattemptedtoformulateinexactmathematicaltermstheexperimentalresultsobtainedbyothers."正態分布（高斯分布）最小二乘LSFFT，…傅里葉

BaronJean-Baptiste-JosephFourier(1768-1830)*1807年12月21日，傅里葉提交了一篇關于熱學原理的論文，其中，揭示了：在一個有限區間上任意不規則圖形所定義的一個任意函數（連續或具有不連續點）總是能夠表示為正弦信號的和，這被后來稱為傅里葉級數。*5位法國數學家組成的評審委員會，評審這篇論文，其中包括拉格朗日，拉普拉斯、勒讓德等，最后以拉格朗日的激烈反對，而未能發表。*15年后（1823年），傅里葉在其努力失敗后，以“熱的解析理論”的書的形式發表了他的成果。*一些現在被廣泛接受的方法，在歷史上被不理解，甚至被認為是荒謬的例子，在科學史上很多，科學的進步之路，有時候需要打破權威，持之以恒地堅持。N.Wiener與信號處理的統計學方法NorbertWiener，1894-1964)1942年發表了在統計準則下對時間序列進行外推/濾波和預測的維納濾波理論1948年，出版《控制論》在純數學里的許多貢獻隨機信號處理/信號處理的統計方法盡管從貝葉斯和高斯等的工作中，找到了信號統計處理的一些基本思想，作為學科，隨機信號處理是一個“現代的科學分支”，并從現代統計學中吸收重要思想；Wiener濾波理論，對于推動信號處理的統計方法的發展，有顯著的作用，（李郁榮對于Wiener濾波理論在電子工程的應用有實質貢獻）；二次世界大戰后，雷達，通信，航空和地震勘探等的需求，推動了信號處理統計方法理論上的快速發展，大規模數字計算技術的飛躍，又為應用提供了支持，兩者的推動，使該領域自50年代以來，一直非常活躍，至今，新的問題不斷被提出。一些進展中的課題盲信號處理（無監督學習）序列貝葉斯估計、粒子濾波空時信號處理壓縮傳感和信號的稀疏化表示理論圖上信號采樣、重構和處理等等與信號處理緊密關聯的領域人工神經網絡統計機器學習（機器智能，大數據等）模式識別等等1隨機信號基礎被噪聲干擾的初相位是隨機值的正弦波

信號本質上均是隨機的，但將信號作為隨機信號處理，還是做為確定信號處理，與我們的應用目標和我們的先驗知識有關，一般地，我們總是選擇對應用有利的處理方式。

1.隨機過程(信號)復習隨機信號

簡記為均值自相關自協方差函數

平穩隨機過程：聯合概率密度函數與起始時間無關

寬平穩（二階）

相關函數的性質

寬平穩和嚴格平穩的關系？

互相關

聯合寬平穩有

互相關系數相關不相關正交等價性零均值條件下，不相關就一定是正交例設有兩個測量信號（零均值）

解：可見互相關的最大值發生在處，測量了延遲

2．自相關矩陣

定義：設M維信號矢量用隨機信號的自相關矩陣定義為信號矢量外積的期望值，即這是一個方陣。

表示，自協方差矩陣互相關矩陣、互協方差矩陣的定義類似，不再保證是方陣，自行練習自相關矩陣的幾個性質

Toeplitz矩陣

半正定：對任意

一般情況下，R是正定的，只有當觀察矢量是由K個正弦組成，且

是例外的

特征分解

自相關矩陣的特征值總是大于或等于零

不同的兩個特征值對應的特征矢量是正交的

令：則：增廣性質

高1階自相關矩陣必包含一個完整的低1階的自相關陣。反之，由低1階自相關陣，按一定方式可增廣出高1階自相關陣3．常見信號正弦波加噪聲:

噪聲與正弦波是統計獨立的，噪聲是白噪聲

的自相關函數為由正弦波加噪聲構成的信號矢量

M×M的自相關矩陣R

其中實高斯過程聯合高斯分布的邊際分布和條件分布前提條件4．功率譜密度

復功率譜

功率譜

反變換

維納–––辛欽定理（Wiener-KhinchinTheorem）

5.隨機信號通過線性系統

輸入和輸出的互相關及輸出的自相關序列為:

復功率譜關系

功率譜密度關系

若輸入是白噪聲，方差為,則

6.連續信號與離散信號功率譜的關系

1.2隨機信號模型有理傳遞函數模型

稱做ARMA模型：自回歸滑動平均模型例：AR(1)分析.

一個極點對應左序列，一個極點對應右序列

反變換得

功率譜密度PSD：

a．取a(1)=-0.8,自相關序列和功率譜密度如圖所示

b．取a(1)=0.8,自相關序列和功率譜密度

1.3

自相關與模型參數的關系：

Yule-Walker方程AR過程

重寫差分方程為

兩邊同乘

并取期望值

時

即

(1)

噪聲功率方程模型系數方程矩陣形式

(2)

(1)式和(2)式結合,利用自相關矩陣的增廣特性,得增廣Yule_Walker方程

若知模型階P，P×P相關矩陣R，由Yule-Walker方程，可求得模型參數

進而可以得到PSD

實際中，R是未知的，我們只有一組觀測值，構成觀測矢量，由它估計r(k)或直接估計模型參數。由隨機過程的一組觀測值估計它的有關參數，這個問題是估計理論討論的主要內容。

對于ARMA(p,q)模型

對于MA(q)模型

1.4概率分布模型正態分布模型（高斯分布）可通過采集的樣本進行估計（第二章）其他：超高斯，亞高斯指數類，…混合高斯分布模型且參數估計？附注1在現代信號處理系統和通信系統仿真中，利用ARMA方法，產生規定功率譜性質的隨機信號，是常用的方法之一。ARMA方法可以有效的產生具有規定功率譜的高斯隨機信號，和瑞利隨機信號。用ARMA方法產生平穩隨機信號，要丟棄初始的瞬態值，取進入穩態的序列。同時規定任意譜與任意PDF的隨機信號產生過程可參考文獻：M.M.Sondhi,BellsystemTechnicalJournay,Vol.62,1983,679-700附注2ARMA模型是“時間序列分析”中的重要組成部分。時間序列分析是一個應用范圍很廣泛的學科，屬于統計學中的一個分支，在信息科學和金融學中的應用尤為受到關注。除