多媒體技術(shù)

第2章信號(hào)處理技術(shù)與信息論基礎(chǔ)(4學(xué)時(shí))劉紹輝計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院哈爾濱工業(yè)大學(xué)shliu@2016年秋季第2章信號(hào)處理技術(shù)與信息論基礎(chǔ)2.0引言 2.0.1多媒體系統(tǒng)結(jié)構(gòu)2.0.2視覺(jué)通信系統(tǒng)模型2.0.3模擬與數(shù)字2.0.4幾個(gè)小問(wèn)題2.1信號(hào)與系統(tǒng)2.1.1信號(hào)2.1.2消息2.1.3信號(hào)傳輸與信號(hào)處理2.1.4系統(tǒng)2.2信號(hào)、系統(tǒng)的描述及其分類(lèi) 2.2.1如何描述 2.2.2信號(hào)分類(lèi) 2.2.3系統(tǒng)與系統(tǒng)模型2.2.4系統(tǒng)的分類(lèi)2.2.5系統(tǒng)分析方法2.3連續(xù)時(shí)間信號(hào)2.3.1連續(xù)時(shí)間信號(hào)的抽樣 2.3.2奈奎斯特采樣定理2.3.2信號(hào)重建2.4離散時(shí)間信號(hào)2.4.1離散時(shí)間信號(hào)2.4.2離散時(shí)間系統(tǒng)2.4.3頻域表示2.4.4典型的頻域變換2.4.5模擬到數(shù)字的轉(zhuǎn)換2.5基本信息論2.5.1通信基本模型2.5.2信息度量2.5.3離散信源熵2.5.4連續(xù)信源熵2.5.5熵速率與信道容量2.5.6離散有噪信道中的信道容量2.5.7連續(xù)有噪信道中的信道容量2.6信源與信道匹配的編碼2.6.1編碼定理2.6.2信源最佳化2.6.3符號(hào)獨(dú)立化2.6.4概率均勻化2.7信息率失真函數(shù)參考文獻(xiàn)和站點(diǎn)2.0引言多媒體系統(tǒng)結(jié)構(gòu)(彩色部分為本課程涉及的內(nèi)容)

(引自http://www.kom.tu-darmstadt.de/mm-book/)

2.0引言(續(xù)1)信息論基礎(chǔ)信號(hào)處理手段、方法通信與網(wǎng)絡(luò)傳輸2.0引言(續(xù)2)視覺(jué)通信系統(tǒng)模型2.0引言(續(xù)3)模擬vs.數(shù)字模擬MediarepresentedusingrealvaluesSoundpressureintheair(example)Electronicrepresentationofsoundfromamicrophone數(shù)字Mediarepresentedusingdiscretevalues(integers,quantizednumbers,floatingpointrepresentations)Maybeinfinite,butforafixedrangefinite.2.0引言(續(xù)4)現(xiàn)實(shí)世界是模擬的光的強(qiáng)度聲音的傳送照片電話(huà)數(shù)字信號(hào)出現(xiàn)很晚2.0引言(續(xù)5)數(shù)字信號(hào)怎么來(lái)的從模擬信號(hào)轉(zhuǎn)換過(guò)來(lái)的目前PC機(jī)上的基本都是數(shù)字信號(hào)，如PC上圖像的像素，MP3音樂(lè)問(wèn)題模擬和數(shù)字的是否等價(jià)?asgood,sufficient,better,prettier,slimmer,lessfilling?2.0引言(續(xù)6)幾個(gè)小問(wèn)題MP3的采樣率?128kbps代表什么？CD的比特率大概是多少？kbps與kBps有區(qū)別嗎？如何確定采樣率，有什么準(zhǔn)則？通過(guò)數(shù)字化的信號(hào)與原始信號(hào)有區(qū)別嗎？2.1信號(hào)與系統(tǒng)信號(hào)人們相互問(wèn)迅、發(fā)布新聞、傳遞數(shù)據(jù)：要把某些消息借一定形式的信號(hào)傳送出去定義是消息的表現(xiàn)形式，消息則是信號(hào)的具體內(nèi)容消息有時(shí)也稱(chēng)為信息如何度量？---信息論

t-10t1t2t3……tkt42.1信號(hào)與系統(tǒng)(續(xù)1)信號(hào)傳輸與信號(hào)處理信號(hào)傳輸烽火臺(tái)火炬?zhèn)鬟f信息奴隸剃頭傳遞信息鳴金收兵電信號(hào)：1837，F(xiàn).B.Morse發(fā)明電報(bào)，1876年，A.G.Bell發(fā)明電話(huà)，1901年G.Marconi等發(fā)明無(wú)線(xiàn)電通信電信號(hào)：隨時(shí)間而變化的電壓或電流，電荷，線(xiàn)圈的磁通，空間的電磁波…電信號(hào)與非電信號(hào)可以方便的進(jìn)行轉(zhuǎn)換信號(hào)處理對(duì)信號(hào)進(jìn)行某種加工或變換：削弱信號(hào)中的多余內(nèi)容；濾除混雜的噪聲和干擾；或者將信號(hào)換成容易分析與識(shí)別的形式，便于估計(jì)和選擇它的特征參量2.1信號(hào)與系統(tǒng)(續(xù)2)系統(tǒng)由若干相互作用和相互依賴(lài)的事物組合而成的具有特定功能的整體狹義：無(wú)線(xiàn)電電子學(xué)領(lǐng)域：通信系統(tǒng)，控制系統(tǒng)，計(jì)算機(jī)系統(tǒng)，指揮系統(tǒng)->宇宙航行系統(tǒng)廣義：包括各種物理系統(tǒng)和非物理系統(tǒng)，人工系統(tǒng)和自然系統(tǒng)物理系統(tǒng)：通信，電力，機(jī)械非物理系統(tǒng)：政治結(jié)構(gòu)，經(jīng)濟(jì)組織，生產(chǎn)管理，社交網(wǎng)絡(luò)人工系統(tǒng)：計(jì)算機(jī)網(wǎng)，交通運(yùn)輸自然系統(tǒng)：原子核，太陽(yáng)系，動(dòng)物的神經(jīng)組織系統(tǒng)工程學(xué)將系統(tǒng)理論應(yīng)用于系統(tǒng)工程設(shè)計(jì)，以期使較復(fù)雜的系統(tǒng)最佳地滿(mǎn)足預(yù)定的需求2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)2.2信號(hào)、系統(tǒng)的描述及其分類(lèi) 2.2.1如何描述 2.2.2信號(hào)分類(lèi) 2.2.3系統(tǒng)與系統(tǒng)模型2.2.4系統(tǒng)的分類(lèi)2.2.5系統(tǒng)分析方法2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)信號(hào)的描述信號(hào)描述的基本方法：寫(xiě)出它的數(shù)學(xué)表達(dá)式，是時(shí)間的函數(shù)，繪出函數(shù)的圖像稱(chēng)為信號(hào)的波形信號(hào)的分類(lèi)確定性vs隨機(jī)信號(hào)信號(hào)可表示為一確定的時(shí)間函數(shù)實(shí)際信號(hào)往往具有不可預(yù)知的不確定性：噪聲，干擾隨機(jī)信號(hào)分析周期信號(hào)vs非周期信號(hào)(傅立葉級(jí)數(shù)vs傅立葉變換)依一定時(shí)間間隔周而復(fù)始，無(wú)始無(wú)終的信號(hào)f(t)=f(t+nT)如果T趨近于無(wú)窮，則成為非周期信號(hào)連續(xù)時(shí)間信號(hào)vs離散時(shí)間信號(hào)時(shí)間取值的連續(xù)性與離散性連續(xù)信號(hào)的幅值可連續(xù)—模擬信號(hào)0

t-10t1t2t3……tkt42.2信號(hào)、系統(tǒng)的描述及其分類(lèi)(續(xù)1)離散時(shí)間信號(hào)的幅值連續(xù)，稱(chēng)為抽樣信號(hào)離散時(shí)間信號(hào)的幅值也是離散的，稱(chēng)為數(shù)字信號(hào)能量受限信號(hào)Vs功率受限信號(hào)調(diào)制信號(hào)，載波信號(hào)，已調(diào)信號(hào)…典型的連續(xù)信號(hào)指數(shù)信號(hào)，f(t)=Keat,單邊指數(shù)衰減信號(hào)正弦信號(hào)，f(t)=Ksin(omega*t+theta)復(fù)指數(shù)信號(hào)Sa(t)函數(shù)(抽樣函數(shù))：Sa(t)=sint/t奇異信號(hào)單位斜變信號(hào)單位階躍信號(hào)單位沖擊信號(hào)和2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)(續(xù)2)系統(tǒng)模型模型是系統(tǒng)物理特性的數(shù)學(xué)抽象，以數(shù)學(xué)表達(dá)式或具有理想特性的符號(hào)組合圖形來(lái)表征系統(tǒng)特性系統(tǒng)分類(lèi)連續(xù)時(shí)間系統(tǒng)vs離散時(shí)間系統(tǒng)連續(xù)時(shí)間系統(tǒng)的數(shù)學(xué)模型是微分方程離散時(shí)間系統(tǒng)的數(shù)學(xué)模型是差分方程即時(shí)系統(tǒng)vs動(dòng)態(tài)系統(tǒng)即時(shí)系統(tǒng)：系統(tǒng)輸出與歷史無(wú)關(guān)，模型為代數(shù)方程動(dòng)態(tài)系統(tǒng):模型為微分或差分方程集總參數(shù)系統(tǒng)vs分布參數(shù)系統(tǒng)集總參數(shù)元件:常微分方程分布參數(shù)元件:偏微分方程，考慮空間位置2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)(續(xù)3)線(xiàn)性系統(tǒng)vs非線(xiàn)性系統(tǒng)線(xiàn)性：具有疊加性和均勻性時(shí)變系統(tǒng)vs時(shí)不變系統(tǒng)系統(tǒng)參數(shù)不隨時(shí)間變化一般線(xiàn)性性與時(shí)變性組合，有四種系統(tǒng)系統(tǒng)模型的求解方法時(shí)間域方法時(shí)域特性變換域方法頻域特性2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)(續(xù)4)信號(hào)理論：信號(hào)分析、信號(hào)處理、信號(hào)綜合系統(tǒng)理論：系統(tǒng)分析、系統(tǒng)綜合信號(hào)分析與系統(tǒng)分析是一個(gè)統(tǒng)一的整體：從信號(hào)傳輸?shù)慕嵌葋?lái)看：信號(hào)通過(guò)系統(tǒng)時(shí)，在系統(tǒng)的傳遞特性作用下，信號(hào)的時(shí)間特性和頻率特性會(huì)發(fā)生相應(yīng)的變化，從而變成了新的信號(hào)。從系統(tǒng)響應(yīng)的角度來(lái)看：系統(tǒng)的主要作用是對(duì)信號(hào)進(jìn)行處理與傳輸。在輸入信號(hào)的激勵(lì)下，系統(tǒng)必然會(huì)作出相應(yīng)的反響，其外在的表現(xiàn)形式就是會(huì)有一個(gè)對(duì)應(yīng)的輸出（響應(yīng)）。綜合上述兩個(gè)方面，可以看出：對(duì)信號(hào)的分析與對(duì)系統(tǒng)的分析是密不可分的。從數(shù)學(xué)的角度來(lái)看：時(shí)域分析中信號(hào)與系統(tǒng)的特性都可以表示為時(shí)間的函數(shù)，對(duì)它們也都可以用變換域的方法進(jìn)行分析，只不過(guò)是各自變換域函數(shù)的物理意義不同而已。2.2信號(hào)、系統(tǒng)的描述及其分類(lèi)(續(xù)5)信號(hào)分析：研究信號(hào)的表示、性質(zhì)和特征。系統(tǒng)分析：給定系統(tǒng)，已知輸入，求輸出。研究系統(tǒng)的特征和功能。系統(tǒng)綜合：給定輸入，為了獲得預(yù)期的輸出，要求設(shè)計(jì)系統(tǒng)。注意大多數(shù)系統(tǒng)是線(xiàn)性時(shí)不變系統(tǒng)許多非線(xiàn)性系統(tǒng)和時(shí)變系統(tǒng)經(jīng)過(guò)適當(dāng)處理后，可以近似地化為線(xiàn)性時(shí)不變系統(tǒng)來(lái)分析。2.3連續(xù)時(shí)間信號(hào)-數(shù)字信號(hào)處理的基本步驟1）電壓幅值調(diào)理，以適宜采樣。2）濾波，以提高信噪比。3）隔離信號(hào)中的直流分量。4）調(diào)制解調(diào)。模擬信號(hào)經(jīng)采樣、量化并轉(zhuǎn)化為二進(jìn)制2.3連續(xù)時(shí)間信號(hào)-信號(hào)數(shù)字化出現(xiàn)的問(wèn)題數(shù)字信號(hào)處理：模擬信號(hào)數(shù)字信號(hào)

采樣是用一個(gè)等時(shí)距的周期脈沖序列（或采樣函數(shù)）s(t)去乘原模擬信號(hào)x(t)。時(shí)距Ts稱(chēng)為采樣間隔，1/Ts=fs稱(chēng)為采樣頻率采樣和截?cái)?.3連續(xù)時(shí)間信號(hào)-取樣定理

調(diào)制定理：把信號(hào)搬移到不同的頻段來(lái)實(shí)現(xiàn)頻分多路通信。（頻分復(fù)用）

取樣定理（抽樣定理）：利用連續(xù)信號(hào)在等時(shí)間間隔上的瞬時(shí)值（樣本值）來(lái)表示和恢復(fù)原信號(hào)，實(shí)現(xiàn)時(shí)分復(fù)用。也是連續(xù)信號(hào)與離散信號(hào)之間相互轉(zhuǎn)換的理論依據(jù)。頻分復(fù)用時(shí)分復(fù)用2.3連續(xù)時(shí)間信號(hào)-時(shí)域取樣取樣后得到的離散信號(hào)稱(chēng)之為取樣信號(hào)。抽樣：利用取樣脈沖序列從連續(xù)時(shí)間信號(hào)中抽取一系列離散的樣值的過(guò)程。取樣脈沖序列也稱(chēng)為開(kāi)關(guān)函數(shù)自然取樣由頻域卷積定理理想取樣2.3連續(xù)時(shí)間信號(hào)-時(shí)域取樣定理可見(jiàn)，取樣定理必須滿(mǎn)足兩個(gè)條件：一個(gè)在頻譜區(qū)間()以外為零的頻帶有限信號(hào)(帶限信號(hào))，可以唯一地由其均勻時(shí)間間隔上的取樣值確定。1.必須為帶限信號(hào)，即在時(shí)，其頻譜2.取樣頻率不能過(guò)低，必須滿(mǎn)足定義為奈奎斯特取樣率當(dāng)取樣頻率大于或等于信號(hào)帶寬的兩倍時(shí)，可以從中恢復(fù)原信號(hào)。2.3連續(xù)時(shí)間信號(hào)-信號(hào)的恢復(fù)從頻域的角度來(lái)看，可以通過(guò)理想低通濾波器從取樣信號(hào)中恢復(fù)原來(lái)的連續(xù)信號(hào)。從時(shí)域的角度分析：這里故得可見(jiàn)，任意信號(hào)可以分解為無(wú)窮多個(gè)取樣函數(shù)的代數(shù)和。時(shí)域采樣時(shí)域截?cái)?.3連續(xù)時(shí)間信號(hào)-頻域采樣頻域采樣形成頻域函數(shù)離散化，相應(yīng)地把其時(shí)域函數(shù)周期化了信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—時(shí)域采樣采樣是把連續(xù)時(shí)間信號(hào)變成離散時(shí)間序列的過(guò)程，大部分為等間距地取點(diǎn)。而從數(shù)學(xué)處理上看，則是用采樣函數(shù)去乘連續(xù)信號(hào)。依據(jù)

FT的卷積特性：時(shí)域相乘就等于頻域做卷積依據(jù)δ函數(shù)的卷積特性：頻域作卷積就等于頻譜的周期延拓長(zhǎng)度為T(mén)的連續(xù)時(shí)間信號(hào)x(t),從t=0點(diǎn)開(kāi)始采樣，得到離散時(shí)間序列x(n)為信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—時(shí)域采樣(續(xù)1)注意：采樣間隔的選擇是個(gè)重要的問(wèn)題！信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—時(shí)域采樣(續(xù)2)由于采樣頻率過(guò)低造成的混疊現(xiàn)象信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—混疊定義：在頻域中，如果平移距離過(guò)小，平移后的頻譜就會(huì)有一部分相互交疊，從而使新合成的頻譜與原頻譜不一致，因而無(wú)法準(zhǔn)確地恢復(fù)原時(shí)域信號(hào)，這種現(xiàn)象稱(chēng)為混疊。注意：將原頻譜X(f)依次平移1/Ts個(gè)采樣脈沖對(duì)應(yīng)的頻域序列點(diǎn)上，然后全部疊加而成信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—混疊(續(xù)1)混疊產(chǎn)生原因采樣頻率fs太低原模擬信號(hào)不是有限帶寬的信號(hào)，即措施對(duì)非有限帶寬的模擬信號(hào)，在采樣之前先通過(guò)模擬低通濾波器濾去高頻成分，使其成為帶限信號(hào)。這種處理稱(chēng)為抗混疊濾波預(yù)處理。滿(mǎn)足采樣定理信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—采樣定理采樣定理：為了不產(chǎn)生頻率混疊，應(yīng)使采樣頻率大于帶限信號(hào)的最高頻率的2倍，即注意：在實(shí)際工作中，考慮實(shí)際濾波器不可能有理想的截止特性，在其截止頻率fc之后總有一定的過(guò)渡帶，通常取信號(hào)數(shù)字化出現(xiàn)的問(wèn)題—頻域采樣、時(shí)域周期延拓頻域采樣：是使頻率離散化，在頻率軸上等間距地取點(diǎn)的過(guò)程。而從數(shù)學(xué)處理上看，則是用采樣函數(shù)去乘連續(xù)頻譜。依據(jù)FT的卷積特性——頻域相乘就等于時(shí)域做卷積依據(jù)δ函數(shù)的卷積特性——時(shí)域作卷積就等于時(shí)域波形的周期延拓頻域離散化，無(wú)疑已將時(shí)域信號(hào)“改造”成周期信號(hào)頻域采樣和時(shí)域采樣相似，在頻域中用脈沖序列乘信號(hào)的頻譜函數(shù)。離散信號(hào)與系統(tǒng)離散時(shí)間系統(tǒng)傳輸和處理離散時(shí)間信號(hào)的系統(tǒng)數(shù)字計(jì)算機(jī)、數(shù)字通信系統(tǒng)、數(shù)字控制系統(tǒng)精度高、抗干擾能力強(qiáng)、可集成化程度高與連續(xù)時(shí)間系統(tǒng)的聯(lián)系與區(qū)別數(shù)學(xué)模型：差分方程分析方法：時(shí)域、頻域、Z域分析法系統(tǒng)響應(yīng)：零輸入響應(yīng)、零狀態(tài)響應(yīng)離散信號(hào)與系統(tǒng)的時(shí)域分析信號(hào)和系統(tǒng)的整個(gè)分析過(guò)程都在離散時(shí)間域內(nèi)進(jìn)行2.4離散時(shí)間信號(hào)離散時(shí)間信號(hào)的時(shí)域描述模擬信號(hào)量化信號(hào)離散信號(hào)數(shù)字信號(hào)時(shí)間取值：連續(xù)連續(xù)不連續(xù)不連續(xù)幅度取值：連續(xù)不連續(xù)連續(xù)不連續(xù)一.離散時(shí)間信號(hào)的概念1.離散信號(hào)只在離散的時(shí)刻上有定義；2.離散信號(hào)可以看作是（在滿(mǎn)足奈奎斯特抽樣率的條件下）對(duì)連續(xù)信號(hào)進(jìn)行理想抽樣的結(jié)果，此時(shí)4.序列不一定是時(shí)間的函數(shù)。3.離散信號(hào)在數(shù)學(xué)上可以表示為數(shù)值的序列，為了方便，序列f(k)

與序列的第k

個(gè)值兩者在符號(hào)上不加區(qū)別；2.4離散時(shí)間信號(hào)(續(xù)1)離散信號(hào)的表示方法1.解析式2.序列形式3.圖形2.4離散時(shí)間信號(hào)(續(xù)2)2.4離散時(shí)間信號(hào)(續(xù)3)-序列的分類(lèi)雙邊序列序列f(k)

對(duì)所有的整數(shù)k

都存在確定的非零值。2.單邊序列有始序列（右邊序列）：有終序列（左邊序列）：3.有限序列2.4離散時(shí)間信號(hào)(續(xù)3)-離散信號(hào)的一些基本運(yùn)算1.序列相加：兩個(gè)序列同序號(hào)的數(shù)值逐項(xiàng)對(duì)應(yīng)相加。2.序列相乘：兩個(gè)序列同序號(hào)的數(shù)值逐項(xiàng)對(duì)應(yīng)相乘。例：已知序列3.序列移位：4.序列折迭：

f(-k)例：已知序列……………………f(k)右移m位成f(k-m),左移m位成f(k+m)5.序列差分(對(duì)應(yīng)于連續(xù)信號(hào)的微分)一階前向差分二階前向差分一階后向差分二階后向差分6.序列的求和（累加）(對(duì)應(yīng)于連續(xù)信號(hào)的積分)2.4離散時(shí)間信號(hào)(續(xù)4)-常用的離散信號(hào)1.單位函數(shù)(1)篩選特性(2)加權(quán)特性應(yīng)用此性質(zhì)，可以把任意離散信號(hào)f(k)表示為一系列延時(shí)單位函數(shù)的加權(quán)和，即2.單位階躍序列對(duì)比：截取特性3.斜變序列類(lèi)似地，還可以定義余弦序列4.正弦序列正弦序列不一定是周期序列當(dāng)是正整數(shù)時(shí)，正弦序列為周期序列，且周期為N

。當(dāng)是有理數(shù)時(shí)，正弦序列為周期序列，且周期為。當(dāng)是無(wú)理數(shù)時(shí)，正弦序列為非周期序列。5.指數(shù)序列(1)若A和

均為實(shí)數(shù)，設(shè)其中，A和

可以是實(shí)常數(shù)，也可以是復(fù)數(shù)。則為實(shí)指數(shù)序列；(2)若A=1，

為虛指數(shù)序列；根據(jù)歐拉公式，上式可寫(xiě)成可見(jiàn)，虛指序列的實(shí)部和虛部都是正弦序列。當(dāng)滿(mǎn)足為有理數(shù)時(shí)，虛指序列才是周期序列。2.4離散時(shí)間信號(hào)(續(xù)5)-卷積稱(chēng)為卷積和或離散卷積。可以證明，其代數(shù)運(yùn)算與卷積積分相同，也服從交換律、分配律和結(jié)合律。若k<k1

時(shí)，x(k)=0;k<k2

時(shí)，h(k)=0;確定求和限的一般公式為2.4離散時(shí)間信號(hào)(續(xù)6)-卷積計(jì)算步驟：1.換元；2.折疊h(-n)；3.移位h(k-n)；

4.相乘x(n)h(k-n)；5.求和。2.4離散時(shí)間信號(hào)-典型的頻域變換DFT：離散傅里葉變換DCT：離散余弦變換END第2章信號(hào)處理與信息論基礎(chǔ)濾波(filtering)濾波器(filter):

可以改變信號(hào)頻率特性，讓一些信號(hào)頻率通過(guò)，而阻塞另一些信號(hào)頻率。低通濾波器(lowpassfilter)：使低頻(low-frequency)成分通過(guò)。（男低音）高通濾波器(highpassfilter)：使高頻(high-frequency)成分通過(guò)。（女高音）帶通濾波器(bandpassfilter)：允許一定頻帶內(nèi)頻率通過(guò)。帶阻濾波器(bandstopfilter)：允許一定頻帶外頻率通過(guò)。相關(guān)分析及其應(yīng)用-相關(guān)系數(shù)函數(shù)關(guān)系兩個(gè)變量若存在一一對(duì)應(yīng)的確定關(guān)系相關(guān)關(guān)系當(dāng)兩個(gè)隨機(jī)變量之間具有某種關(guān)系時(shí)，隨著一個(gè)變量數(shù)值的確定，另一個(gè)變量卻可能取許多不同值，但取值有一定的概率統(tǒng)計(jì)規(guī)律各態(tài)歷經(jīng)隨機(jī)過(guò)程的一個(gè)樣本函數(shù)兩者具有相同的均值和標(biāo)準(zhǔn)差相關(guān)分析及其應(yīng)用-自相關(guān)系數(shù)自相關(guān)函數(shù)的定義（各態(tài)歷經(jīng)隨機(jī)信號(hào)及功率信號(hào)）相關(guān)分析及其應(yīng)用-自相關(guān)系數(shù)(續(xù)1)（1）（2）自相關(guān)函數(shù)的性質(zhì)自相關(guān)函數(shù)的性質(zhì)(續(xù)1)（3）（4）（5）周期函數(shù)的自相關(guān)函數(shù)仍為同頻率的周期函數(shù)其幅值與原周期函數(shù)的幅值有關(guān)，但丟失了原信號(hào)的相位信息四種典型信號(hào)的自相關(guān)函數(shù)信號(hào)的互相關(guān)函數(shù)兩個(gè)各態(tài)歷經(jīng)的隨機(jī)信號(hào)x(t)和y(t)的互相關(guān)函數(shù)定義為：性質(zhì)信號(hào)的互相關(guān)函數(shù)(續(xù)1)同頻相關(guān)，不同頻不相關(guān)：兩個(gè)均值為零且具有相同頻率的周期信號(hào)，其互相關(guān)函數(shù)保留了原兩信號(hào)的頻率幅值和相位差思考:兩個(gè)非同頻的周期信號(hào)是不相關(guān)的互相關(guān)函數(shù)不是偶函數(shù)，有什么作用？信號(hào)的互相關(guān)函數(shù)(續(xù)2)應(yīng)用相關(guān)濾波利用互相關(guān)函數(shù)同頻相關(guān)、不同頻不相關(guān)的性質(zhì)來(lái)達(dá)到濾波效果應(yīng)用實(shí)例在噪聲背景下提取有用信息。對(duì)一個(gè)線(xiàn)性系統(tǒng)（例如某個(gè)部件、結(jié)構(gòu)或某臺(tái)機(jī)床）激振，所測(cè)得的振動(dòng)信號(hào)中常常含有大量的噪聲干擾。根據(jù)線(xiàn)性系統(tǒng)的頻率保持性，只有和激振頻率相同的成分才可能是由激振而引起的響應(yīng)，其它成分均是干擾。因此只要將激振信號(hào)和所測(cè)得的響應(yīng)信號(hào)進(jìn)行互相關(guān)（不必用時(shí)移，τ=0）處理，就可以得到由激振而引起的響應(yīng)幅值和相位差，消除了噪聲干擾的影響。兩個(gè)間隔一定距離的傳感器測(cè)量運(yùn)動(dòng)物體的速度確定深埋在地下的輸油管裂損位置離散信號(hào)的互相關(guān)函數(shù)知道連續(xù)的情況，離散的怎么辦？時(shí)域的情況，頻域的呢？自功率譜密度函數(shù)m為最大時(shí)移序數(shù)傅立葉變換內(nèi)容引言傅立葉變換離散傅立葉變換快速傅立葉變換結(jié)論內(nèi)容引言傅立葉變換離散傅立葉變換快速傅立葉變換結(jié)論引言變換目的：便于處理，抽取特性，能量集中方法FT系列DCTDWTKL…FT-傅立葉變換傅立葉變換是在傅里葉級(jí)數(shù)正交函數(shù)展開(kāi)的基礎(chǔ)上發(fā)展而產(chǎn)生的。傅立葉分析的研究與應(yīng)用經(jīng)歷了一百余年。1822年法國(guó)數(shù)學(xué)家傅立葉（J.Fourier,1768-1830）在研究熱傳導(dǎo)理論時(shí)發(fā)表了“熱的分析理論”著作，提出并證明了將周期函數(shù)展開(kāi)為正弦級(jí)數(shù)的原理，奠定了傅里葉級(jí)數(shù)的理論基礎(chǔ)。泊松（Poisson）、高斯（Gauss）等人把這一成果應(yīng)用到電學(xué)中去。伴隨電機(jī)制造、交流電的產(chǎn)生與傳輸?shù)葘?shí)際問(wèn)題的需要，三角函數(shù)、指數(shù)函數(shù)以及傅里葉分析等數(shù)學(xué)工具已得到廣泛的應(yīng)用。1965年，Cooley,TukeyFFT1D-FTFourierTransform(FT)逆變換平移定理FT存在的條件：1）f(x)具有有限個(gè)間斷點(diǎn)2）具有有限個(gè)極值點(diǎn)3）絕對(duì)可積一般是個(gè)復(fù)數(shù)：2D-FTFourierTransform(FT)逆變換Properties可分性線(xiàn)性共軛對(duì)稱(chēng)性旋轉(zhuǎn)性Parseval-能量守恒定理卷積定理：DFT(DiscreteFT)可借助離散傅立葉級(jí)數(shù)的概念，把有限長(zhǎng)序列作為周期性離散信號(hào)的一個(gè)周期來(lái)處理DFTInverseDFT2D-DFTDiscreteFourierTransform(DFT)TransformInverseandf(j.k)istheinputsequence.2D-DFTDFT,如果均采用方形陣列，M=NTransformInverseandf(j.k)istheinputsequence.DFTDiscreteFourierTransform(DFT)NotsopopularinimagecompressionbecauseperformanceisnotgoodenoughcomputationalloadforcomplexnumberisheavyComputationalCost：N*NmultiplysComputationalCostofDFTUsingtransformsdirectly:ComputationofN-pointDFTsrequiresmultiplysTheCooley-Tukeyalgorithm-FFTConsidertheDFTalgorithmforanintegerpowerof2,Createseparatesumsforevenandoddvaluesofn:Letting

fornevenandfornodd,weobtain

TheCooley-TukeydecimationintimealgorithmSplittingindicesintime,wehaveobtainedButand

N/2-pointDFTofx[2r]

N/2-pointDFTof[2r+1]Howaboutcost?WehavesplittheDFTcomputationintotwohalves:Havewegainedanything?ConsiderthenominalnumberofmultiplicationsforOriginalformproducesmultiplicationsNewformproducesmultiplications

Signalflowgraphrepresentationof8-pointDFTRecallthattheDFTisnowoftheformTheDFTin(partial)flowgraphnotation:Divide-and-ConquerstrategySowhynotbreakupintoadditionalDFTs?Let’staketheupper4-pointDFTandbreakitupintotwo2-pointDFTs:RecursiveprocedureNowlet’stakeacloserlookatthe2-pointDFTTheexpressionforthe2-pointDFTis:Evaluatingforweobtainwhichinsignalflowgraphnotationlookslike...ThistopologyisreferredtoasthebasicbutterflyThecomplete8-pointFFTComputationalcostofN-pointFFTsLet(log2(N)columns)(N/2butterflys/column)(2mults/butterfly)or~multiplys“Slow”DFTrequiresNmults;FFTrequiresNlog2(N)multsFilteringusingFFTsrequires3(Nlog2(N))+2NmultsLet

N a1 a2 16 .25

.8124

32 .156 .50 64 .0935 .297 128 .055 .171 256 .031 .097 1024 .0097 .0302ComparingprocessingwithandwithoutFFTsNote:1024-pointFFTsaccomplishspeedupsof100forfiltering,30forDFTs!DFT，F(xiàn)FTNDFT(N^2)FFT(O(Nlog2(N))Improved1241421625632835122621442304113.84102410485765120204.852048419430411264372.4Additionaltimesavers:reducingmultiplicationsinthebasicbutterflyAswederivedit,thebasicbutterflyisoftheformSincewecanreducingcomputationby2bypremultiplyingbyAnExampleConsiderthebinaryrepresentationoftheindicesoftheinput:00004100201061101001510130117111BitreversaloftheinputRecallthefirststagesofthe8-pointFFT:Ifthesebinaryindicesaretimereversed,wegetthebinarysequencerepresenting0,1,2,3,4,5,6,7HencetheindicesoftheFFTinputsaresaidtobeinbit-reversedorder結(jié)論FTDFTFFT附錄1熵信道容量編碼定理：信源熵速率R,信道容量C信源最佳化:熵值最大化符號(hào)獨(dú)立化符號(hào)概率均勻化變換去相關(guān)->信源信道匹配關(guān)于正交變換傅里葉變換建立了時(shí)間函數(shù)f(t)與頻譜函數(shù)F(w)之間的對(duì)應(yīng)關(guān)系。其中，一個(gè)函數(shù)確定之后，另一函數(shù)隨之被唯一地確定。1、對(duì)稱(chēng)性2、線(xiàn)性（疊加性）3、奇偶虛實(shí)性4、反折5、共軛性能6、尺度變換特性7、時(shí)移特性8、頻移特性9、微分特性10、積分特性附錄2-傅立葉變換的一些基本性質(zhì)TT附錄2-傅立葉變換的一些基本性質(zhì)TTT其中，a1,a2為常數(shù)線(xiàn)性性為復(fù)函數(shù)當(dāng)信號(hào)在時(shí)域中壓縮（a>0)，等效于在頻域中擴(kuò)展。當(dāng)信號(hào)在時(shí)域中擴(kuò)展（a<0)，等效于在頻域中壓縮。當(dāng)信號(hào)在時(shí)域中沿縱軸反折（a=-1)，說(shuō)明信號(hào)在時(shí)域中沿縱軸反折等效于在頻域中頻譜也沿縱軸反折。即：信號(hào)的波形壓縮a倍，信號(hào)隨時(shí)間變化加快a倍，則它所包含的頻率分量增加a倍。即頻譜展寬a倍。根據(jù)能量守恒定律，各頻率分量的大小必然減小a倍。在通信系統(tǒng)中，通信速度與占用頻帶寬度是一對(duì)矛盾。信號(hào)在時(shí)域中延時(shí)t-t0（沿時(shí)間軸右移），等效于在頻域中相位產(chǎn)生偏差（-wt0),其幅度譜不變。頻譜搬移技術(shù)在通信中應(yīng)用廣泛。如調(diào)幅、同步解調(diào)、變頻等過(guò)程都是在頻譜搬移的基礎(chǔ)上完成的。頻域上右移w0,等效時(shí)域中信號(hào)調(diào)制。即乘以因子附錄3-傅立葉變換與小波變換的關(guān)系Fourier變換小波變換小波母小波第2章信息論基礎(chǔ)2.5基本信息論2.5.1通信基本模型2.5.2信息度量2.5.3離散信源熵2.5.4連續(xù)信源熵2.5.5熵速率與信道容量2.5.6離散有噪信道中的信道容量2.5.7連續(xù)有噪信道中的信道容量2.6信源與信道匹配的編碼2.6.1編碼定理2.6.2信源最佳化2.6.3符號(hào)獨(dú)立化2.6.4概率均勻化2.7信息率失真函數(shù)參考文獻(xiàn)和站點(diǎn)信息論是應(yīng)用近代概率統(tǒng)計(jì)方法研究信息傳輸、交換、存儲(chǔ)和處理的一門(mén)學(xué)科，也是源于通信實(shí)踐發(fā)展起來(lái)的一門(mén)新興應(yīng)用科學(xué)。信息論物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息是物質(zhì)和能量在空間和時(shí)間上分布的不均勻程度，或者說(shuō)信息是關(guān)于事物運(yùn)動(dòng)的狀態(tài)和規(guī)律信息論是研究信息的基本性質(zhì)及度量方法，研究信息的獲取、傳輸、存儲(chǔ)和處理的一般規(guī)律的科學(xué)。三個(gè)不同的范疇的信息論狹義信息論：即通信的數(shù)學(xué)理論，主要研究狹義信息的度量方法，研究各種信源、信道的描述和信源、信道的編碼定理，以Shannon信息論為基本內(nèi)容，也稱(chēng)為基本信息論一般信息論：研究信息傳輸和處理問(wèn)題，也就是狹義信息論方法在調(diào)制解調(diào)、編碼譯碼以及檢測(cè)理論等領(lǐng)域的應(yīng)用，信息傳輸?shù)幕締?wèn)題，即通信理論廣義信息論：包括信息論在自然和社會(huì)中的新的應(yīng)用，如模式識(shí)別、機(jī)器翻譯、自學(xué)習(xí)自組織系統(tǒng)、心理學(xué)、生物學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)等一切與信息問(wèn)題有關(guān)的領(lǐng)域2.5基本信息論通信基本模型

干擾源

信道信道譯碼器信道編碼器信源譯碼器信源編碼器信宿信源等效信源等效信宿等效干擾信道圖2-1通信系統(tǒng)的一般模型變換逆變換2.5基本信息論(續(xù)1)通信基本模型信源，信道，信宿變換編碼，譯碼，調(diào)制，解調(diào)編碼目的改善信源的傳輸效率：有效性編碼，主要針對(duì)信源特性進(jìn)行處理，也稱(chēng)為信源編碼提高信息傳輸?shù)目煽啃裕嚎煽啃跃幋a或抗干擾編碼，主要針對(duì)信道特性進(jìn)行編碼，也稱(chēng)為信道編碼信道分類(lèi)傳輸介質(zhì)：有線(xiàn)，無(wú)線(xiàn)信道特性：恒參信道，特性不隨時(shí)間改變，有線(xiàn)信道，微波接力信道，衛(wèi)星中繼信道；變參信道，短波電離層反射信道，對(duì)流層散射信道信道傳送信號(hào)的形式：離散信道，連續(xù)信道

信息論研究范疇中信道的劃分方式2.5基本信息論(續(xù)2)通信-傳遞信息傳輸信息的速率越大越好，通信的有效性問(wèn)題傳輸?shù)男畔⑹艿礁蓴_和噪聲越小越好，通信的可靠性問(wèn)題矛盾？信息論的研究表明在一定條件下，通信系統(tǒng)能以任意小的差錯(cuò)率實(shí)現(xiàn)最大的傳輸率通信就是用傳遞消息來(lái)消除收信人對(duì)某事情狀態(tài)的不定性信源要傳遞的事情一般是屬于隨機(jī)事件用概率論和隨機(jī)過(guò)程等統(tǒng)計(jì)數(shù)學(xué)工具來(lái)描述和分析通信問(wèn)題------經(jīng)典信息論的基本研究?jī)?nèi)容2.5基本信息論(續(xù)3)離散無(wú)記憶信源(DiscreteMemorylessSource，簡(jiǎn)記為DMS)輸出的是單個(gè)符號(hào)的消息，不同時(shí)刻發(fā)出的符號(hào)之間彼此統(tǒng)計(jì)獨(dú)立，而且符號(hào)集中的符號(hào)數(shù)目是有限的或可數(shù)的。離散無(wú)記憶信源的數(shù)學(xué)模型為離散型的概率空間，即：p(xi

)：信源輸出符號(hào)消息xi的先驗(yàn)概率;滿(mǎn)足：0

p(xi)1，1i

I

2.5基本信息論(續(xù)4)離散平穩(wěn)有記憶信源用聯(lián)合概率空間{X,P(X)}來(lái)描述離散有記憶信源的輸出。信源在i時(shí)刻發(fā)出什么符號(hào)與i時(shí)刻以前信源所發(fā)出的符號(hào)有關(guān)，即由條件概率p(xi

xi-1

xi-2…)確定。如果該條件概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，只與關(guān)聯(lián)長(zhǎng)度有關(guān)，則該信源為平穩(wěn)信源。對(duì)于離散平穩(wěn)有記憶信源，有：p(x1=a1)=p(x2=a1)=

…p(x2=a2

x1=a1)=p(x3=a2

x2=a1)=

…p(x3

x2

x1)=p(x4

x3

x2)=

…┇p(xi+L

xi+L-1

xi+L-2

…xi)=p(xj+L

xj+L-1

xj+L-2

…xj)=

…┇

2.5基本信息論(續(xù)5)離散無(wú)記憶信道離散無(wú)記憶信道的輸入和輸出消息都是離散無(wú)記憶的單個(gè)符號(hào)，輸入符號(hào)xi

{a1,a2,…,ak}，1

i

I，輸出符號(hào)yj

{b1,b2,…,bD

}，1

j

J，信道的特性可表示為轉(zhuǎn)移概率矩陣：p(yj

xi

)對(duì)應(yīng)為已知輸入符號(hào)為xi，當(dāng)輸出符號(hào)為yj時(shí)的信道轉(zhuǎn)移概率，滿(mǎn)足0

p(yj

xi

)1

。

1.二元對(duì)稱(chēng)信道(BinarySymmetricChannel，簡(jiǎn)記為BSC)這是一種很重要的信道，它的輸入符號(hào)x

{0,1}，輸出符號(hào)y

{0,1}，轉(zhuǎn)移概率p(y

x)如圖所示信道特性可表示為信道矩陣，其中p稱(chēng)作信道錯(cuò)誤概率。幾種常見(jiàn)的離散無(wú)記憶信道：二進(jìn)制對(duì)稱(chēng)信道1-p0

p

1011-p

p

無(wú)干擾信道2100111122.

無(wú)干擾信道這是一種最理想的信道，也稱(chēng)作無(wú)噪信道，信道的輸入和輸出符號(hào)間有確定的一一對(duì)應(yīng)關(guān)系，p(y

x)=如圖三元無(wú)干擾信道中，x,y

{0,1,2}，對(duì)應(yīng)信道矩陣是單位矩陣

3.二元?jiǎng)h除信道

對(duì)于接收符號(hào)不能作出肯定或否定判決時(shí)，引入刪除符號(hào)，表示對(duì)該符號(hào)存有疑問(wèn)，作為有誤或等待得到更多信息時(shí)再作判決。二元?jiǎng)h除信道如圖所示，輸入符號(hào)x

{0,1}，輸出符號(hào)y

{0,e,1}，轉(zhuǎn)移概率矩陣為4.二元Z信道

二元Z信道如圖所示，信道輸入符號(hào)x

{0,1}，輸出符號(hào)y

{0,1}轉(zhuǎn)移概率矩陣為

101011-p

p1-p0

p1011-p

p

e圖

二元?jiǎng)h除信道

圖二元Z信道

2.5基本信息論-自信息量和互信息量一個(gè)事件的自信息量就是對(duì)其不確定性的度量,互信息量則表明了兩個(gè)隨機(jī)事件的相互約束程度對(duì)于隨機(jī)事件集X={x1，x2，…，xi，…，xI}中的隨機(jī)事件xi，其出現(xiàn)概率記為p(xi)，將兩個(gè)事件xi

,yj同時(shí)出現(xiàn)的概率記為p(xiyj)，則p(xi)，p(xiyj)應(yīng)滿(mǎn)足：相應(yīng)的條件概率為信息量直觀的定義為：收到某消息獲得的信息量=不確定性減少的量將某事件發(fā)生所得到的信息量記為I(x)，I(x)應(yīng)該是該事件發(fā)生的概率的函數(shù)，即I(x)=f[p(x)]2.5基本信息論-自信息量和互信息量(續(xù)1)研究信息度量的必要性評(píng)價(jià)通信系統(tǒng)的標(biāo)準(zhǔn)：誤碼率，接收信噪比，傳信率等，傳信率：?jiǎn)挝粫r(shí)間內(nèi)所傳遞的信息量，為了評(píng)價(jià)它，就必須對(duì)消息或信源所含有的信息有一個(gè)數(shù)量上的度量信源的不肯定性不肯定程度與信源概率空間的狀態(tài)數(shù)及其概率分布有關(guān)，信源概率空間的概率分布為等概時(shí)，不肯定程度最大；等概時(shí)，不肯定程度與信源概率空間的可能狀態(tài)數(shù)或相應(yīng)的概率有關(guān)，狀態(tài)數(shù)愈多或相應(yīng)的概率愈小，不肯定程度愈大100個(gè)球的例子:99vs1,50vs50,25vs25vs25vs252.5基本信息論-自信息量和互信息量(續(xù)2)直觀觀察，信息量應(yīng)滿(mǎn)足

I(x)應(yīng)該是p(x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量小信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各事件自信息量之和當(dāng)p(x)=1時(shí)，I(x)=0：表示確定事件發(fā)生得不到任何信息當(dāng)p(x)=0時(shí)，I(x)→∞：表示不可能事件一旦發(fā)生，信息量將無(wú)窮大自信息量自信息量的單位與log函數(shù)所選用的對(duì)數(shù)底數(shù)有關(guān)，如底數(shù)分別取2、 e、10，則自信息量單位分別為：比特、奈特、哈特事件xi發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性當(dāng)事件xi發(fā)生以后，表示事件xi所能提供的最大信息量（在無(wú)噪情況下）2.5基本信息論-自信息量和互信息量(續(xù)3)二維聯(lián)合集XY上元素xi

yj的聯(lián)合自信息量I(xi

yj)定義為條件自信息量，在已知事件yj條件下,隨機(jī)事件xi發(fā)生的概率為條件概率p(xi︱yj),條件自信息量定義為2.5基本信息論-自信息量和互信息量(續(xù)4)從通信的角度考慮，假設(shè)信源的不肯定性用H表示信源X的概率空間為收信者收到消息Y后，不肯定程度可以描述成:P(X),P(X/Y)分別表示收信者收到信息前后的先驗(yàn)概率和后驗(yàn)概率，這時(shí)候收到消息yj后所獲得的信息量:

Ij=I(xi)-I(xi/yj)=log(后驗(yàn)概率/先驗(yàn)概率)發(fā)送消息H(X)=H(P(X))收到消息H(X/Y)=H(P(X/Y))為什么？【例】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶(hù)，甲要到該住宅區(qū)找他的朋友乙，若：1.

甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶(hù)號(hào)：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

2.5基本信息論-互信息量和條件互信息量互信息量，從通信的角度引出互信息量的概念信源符號(hào)X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,2,…,I，經(jīng)過(guò)信道傳輸，信宿方接收到符號(hào)Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J事件xi是否發(fā)生具有不確定性，用I(xi)度量；接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi︱yj)度量；觀察事件前后，這兩者之差就是通信過(guò)程中所獲得的信息量，則互信息量用I(xi

;yj)表示：根據(jù)概率互換公式p(xi

yj)=p(yj︱xi)p(xi)=p(xi︱yj)p(yj)

互信息量I(xi;yj)有多種表達(dá)形式:

將事件互信息量的概念推廣至多維空間： 在三維XYZ聯(lián)合集中，有：

I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)

類(lèi)似，在N維U1U2

…

UN聯(lián)合空間,有：I(u1;u2u3…

uN)=I(u1;u2)+I(u1;u3︱u2)+…

+I(u1;ui︱u2…ui-1)+

…+I(u1;uN︱u2…uN-1)

2.5基本信息論-互信息量和條件互信息量(續(xù)1)條件互信息量三維XYZ聯(lián)合集中，在給定條件zk的情況下,xi,yj的互信息量I(xi

;yj︱zk)定義為：【例】信源包含7個(gè)消息x0,x1,x2,x3,x4,x5,x6

信源編碼器將其對(duì)應(yīng)編成7個(gè)三位二進(jìn)制數(shù)000，001,…,110。各消息的先驗(yàn)概率已知，在接收過(guò)程中，每收到一個(gè)數(shù)字，各消息的后驗(yàn)概率都相應(yīng)地發(fā)生變化。考慮在接受100三個(gè)數(shù)字的過(guò)程中，各后驗(yàn)概率的變化，計(jì)算信息量I(x4;100)。信源消息碼字消息先驗(yàn)概率消息后驗(yàn)概率收到1后收到10后收到100后x0

0001/16000x1

0011/16000x2

0101/16000x3

0111/16000x4

1001/22/34/51x5

1011/81/61/50x61101/81/600表為7個(gè)三位二進(jìn)制數(shù)對(duì)應(yīng)的各種概率。根據(jù)給定的先驗(yàn)概率，可算出： 將各種后驗(yàn)概率的計(jì)算結(jié)果列于表中，計(jì)算出互信息量：I(x4;100)=I(x4;1)+I(x4;0︱1)+I(x4;0︱10)

(比特)

也可直接計(jì)算出：(比特)P(x4︱100)=12.5基本信息論-熵平均自信息量概率意義下的平均信息量即為熵人們注意的是整個(gè)系統(tǒng)的統(tǒng)計(jì)特性，當(dāng)信源各個(gè)消息的出現(xiàn)概率相互統(tǒng)計(jì)獨(dú)立時(shí)，這種信源稱(chēng)為無(wú)記憶信源，無(wú)記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類(lèi)似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱(chēng)為集合X的信息熵，簡(jiǎn)稱(chēng)熵條件熵當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p(xiyj)=p(xi)p(yj)，p(xi︱yj)=p(xi)，則從通信角度來(lái)看：若將X={x1，x2，…，xi，…}視為信源輸出符號(hào)；

Y={y1，y2，…，yj，…}視為信宿接收符號(hào)；I(xi︱yj)可看作信宿收到y(tǒng)j后，關(guān)于發(fā)送的是否為xi仍然存在的疑義度（不確定性），則反映了經(jīng)過(guò)通信后，信宿符號(hào)yj（j=1,2,…）關(guān)于信源符號(hào)xi（i=1,2,…）的平均不確定性。2.5基本信息論-熵(續(xù)1)由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式H(XY)=H(X)+H(Y︱X)=H(Y)+H(X︱Y)

H(X

Y)=H(X)+H(Y)

上式反映了信息的可加性。當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有聯(lián)合熵H(XY)(共熵)是定義在二維空間XY上，對(duì)元素xiyj的自信息量的統(tǒng)計(jì)平均值，若記事件xi

yj出現(xiàn)的概率為p(xiyj)，其自信息量為I(xiyj)，則聯(lián)合熵H(X

Y)定義為

2.5基本信息論-熵(續(xù)2)2.5基本信息論-熵(續(xù)3)熵函數(shù)的性質(zhì)極大離散熵定理設(shè)信源的消息個(gè)數(shù)為M，則H(X)

logM，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概(1/M)時(shí)成立，即各消息等概分布時(shí)，信源熵最大。對(duì)稱(chēng)；非負(fù)；H(X︱Y)

H(X)，X,Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立，H(XY)

H(X)+H(Y)；設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0

θ

1，有θf(wàn)(x1)+（1-θ）f(x2)

f[θx1+（1-θ）x2]，則f(x)為∩型凸函數(shù)，反之為∪型凸函數(shù)2.5基本信息論-平均互信息量如果將發(fā)送符號(hào)與接收符號(hào)看成兩個(gè)不同的“信源”，則通過(guò)信道的轉(zhuǎn)移概率來(lái)討論信息的流通問(wèn)題，一次通信從發(fā)送到接收究竟能得到多少信息量呢，這就是平均互信息量定義xi

∈X和yj

∈Y之間的互信息量為I(xi

;yj

)，在集合X上對(duì)I(xi

;yj

)進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I(X;yj)為：【例】二元等概信源，通過(guò)信道轉(zhuǎn)移概率為的信道傳輸，信宿接收符號(hào)Y={y0,y1}，計(jì)算信源與信宿間的平均互信息量I（X；Y）。

（1）

先根據(jù)計(jì)算出（2）

由計(jì)算后驗(yàn)概率（3）計(jì)算各消息之間的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

（4）

計(jì)算平均互信息量

（比特）

對(duì)上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量

（2-31）式中p(xi

yj

zk)滿(mǎn)足

平均條件互信息量I(X;Y︱Z)是在聯(lián)合概率空間{XYZ，p(xyz)}上定義的物理量。由式（2-11）知道

2.5基本信息論-條件平均互信息量2.5基本信息論各種信息量之間的關(guān)系：平均互信息量與信源熵、條件熵的關(guān)系I(X;Y)=H（X）-H（X︱Y）I(X;Y)=H（Y）-H（Y︱X）I(X;Y)=H(X)+H(Y)-H(XY)維拉圖設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過(guò)程中得到的關(guān)于X,Y的平均互信息量。對(duì)于無(wú)擾信道，I(X;Y)=H(X)對(duì)于強(qiáng)噪信道，I(X;Y)=0從通信的角度來(lái)討論平均互信息量I(X;Y)的物理意義由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義對(duì)于無(wú)擾信道，有I(X;Y)=H(X)=H(Y)。對(duì)于強(qiáng)噪信道，有H（Y︱X）=H（Y），從而I(X;Y)=0。H(Y)是觀察到Y(jié)所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(lǐng)(X;Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+H(Y)，通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信過(guò)程中不確定性減少的量，也就是通信過(guò)程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義2.5基本信息論-連續(xù)信源熵定義：與離散類(lèi)似，采用概率分布來(lái)進(jìn)行定義，假設(shè)分布為p(v)無(wú)窮大2.5基本信息論-連續(xù)信源熵(續(xù)1)連續(xù)信源熵的定義是一個(gè)比無(wú)窮大大多少的相對(duì)量，但離散信源的則不是；但傳信率，信道容量都是熵的差，所以不影響計(jì)算2.5基本信息論-連續(xù)信源熵(續(xù)2)連續(xù)信源的最大熵假設(shè)樣值之間相互獨(dú)立，研究使連續(xù)信源熵為最大時(shí)信號(hào)的一維最佳概率分布一般用變分法解限制條件可寫(xiě)成求積分(泛函)為極值時(shí)函數(shù)p(x):2.5基本信息論-連續(xù)信源熵(續(xù)3)變分法求解2.5基本信息論-連續(xù)信源熵(續(xù)4)連續(xù)信源最大熵信源輸出的瞬時(shí)功率或輸出幅度受限的情況信源輸出的平均功率受限的情況當(dāng)幅度限制在-V1和V2之間時(shí)：2.5基本信息論-連續(xù)信源熵(續(xù)4)連續(xù)信源最大熵信源輸出的平均功率受限的情況信號(hào)平均功率一定時(shí)，信號(hào)的最佳概率分布時(shí)數(shù)學(xué)期望為0，方差等于平均功率的高斯分布2.5基本信息論-連續(xù)信源熵(續(xù)5)熵功率假如信源輸出信號(hào)平均功率為N，但幅度不是高斯分布，那么熵比最大熵偏小，用熵功率來(lái)表示該信源的剩余定義：就是指與這個(gè)平均功率為N的非高斯信源有同樣熵的高斯信源的平均功率，若H為熵，則根據(jù)熵功率定義得2.5基本信息論-熵速率和信道容量信源熵速率定義：信源在單位時(shí)間內(nèi)輸出的熵(或平均信息量)稱(chēng)為信源的熵速率，也叫信息速率離散信源的熵速率離散信源的熵也就是離散信源每個(gè)消息的熵，完全由信源的概率分布決定H(x)=-∑P(x)log(P(x))如果離散信源每秒輸出消息數(shù)目為n/秒，則離散信源的熵速率H’(x)=nH(x)連續(xù)信源的熵速率輸出帶寬為W，采樣率為2W/s連續(xù)信源的熵速率2.5基本信息論-熵速率和信道容量(續(xù)1)信道容量信源輸出的信息通過(guò)信道傳送到收信者，需要度量信道的傳輸能力定義：信道對(duì)信源的一切可能的概率分布而言能夠傳送的最大熵速率離散信道的信道容量信源等概時(shí)，輸出熵最大，每秒傳輸n個(gè)等寬度，有K中狀態(tài)的脈沖為什么要做信源信道匹配連續(xù)信道的信道容量對(duì)頻帶為W，平均功率為N的受限的連續(xù)信源，其幅度分布為高斯分布時(shí)，其熵最大，且為要求將信源改造成隨機(jī)噪聲，才能與信道匹配2.5基本信息論-離散有噪信道中的熵速率和信道容量接收熵速率收信者接收一個(gè)消息符號(hào)所獲得的信息量或收到的熵I=log(后驗(yàn)概率/先驗(yàn)概率)p(i),p(j),p(i,j),p(i/j):發(fā)送第i個(gè)消息,接收第j個(gè)消息的概率情況表示收到Y(jié)后獲得的關(guān)于X的信息，稱(chēng)為他們的互信息。可見(jiàn)，由于干擾或噪聲，信道沒(méi)有把信源熵H(x)全部傳輸過(guò)去，傳輸過(guò)程中損失的信息量稱(chēng)為疑義度、可疑度或含糊度統(tǒng)計(jì)平均對(duì)i進(jìn)行統(tǒng)計(jì)平均2.5基本信息論-離散有噪信道中的熵速率和信道容量(續(xù)1)共熵H(x,y)Icp=H(x)-H(x/y)=H(y)-H(y/x)=H(x)+H(y)-H(x,y)H(y/x)表示信道輸入信號(hào)(即信源熵)由于干擾作用在輸出端表現(xiàn)的散布范圍，稱(chēng)為散布度如果信道每秒傳輸消息數(shù)為n/s,則接收者收到的熵速率R為H’(x/y),H’(y/x)分別表示疑義度熵速率和散布度熵速率疑義度H(x/y)的意義：為了克服信道中噪聲的影響，從而使接收的信息仍然被正確識(shí)別必須額外提供的糾正信息信道容量定義：為信道提供給收信者的最大熵速率(或信息速率)2.5基本信息論-連續(xù)有噪信道中的熵速率和信道容量接收熵速率收信者接收的消息y是由發(fā)送消息x和信道噪聲n所組成

y=x+n信源x與噪聲n的共熵為

H(x,n)=H(x)+H(n/x)信源和噪聲獨(dú)立：H(x,n)=H(x)+H(n),且y=x+n，因此y的概率分布規(guī)律與噪聲的概率分布規(guī)律一樣，p(y/x)=p(n/x）H(y/x)=H(n/x)=>H(x,y)=H(x,n)=>H(y)+H(x/y)=H(x)+H(n)與離散信道一樣，定義接收熵為:H(x)-H(x/y)=H(y)-H(n)接收熵速率(信道傳信率)R=H’(x)-H’(x/y)=H’(y)-H’(n)(bit/s)2.5基本信息論-連續(xù)有噪信道中的熵速率和信道容量(續(xù)1)信道容量X與n無(wú)關(guān)，故H’(n)與p(x)無(wú)關(guān)假定信道如下特性，干擾為隨機(jī)噪聲，功率譜均勻，幅度為高斯分布，平均功率為N;信道帶寬為矩形帶寬，寬度為W;信道輸入信號(hào)平均功率受限，為P，如何計(jì)算信道容量?Shannon公式2.5基本信息論-連續(xù)有噪信道中的熵速率和信道容量(續(xù)2)結(jié)論平均功率受限的高斯白噪聲信道，其信道容量C與信道帶寬W和信號(hào)噪聲功率比P/N有關(guān)平均功率受限的信道，當(dāng)其輸入信號(hào)為高斯分布式，該信道的傳信率R可以達(dá)到傳信率理論極限值-容量平均功率受限的信道，高斯白噪聲危害最大。因?yàn)檫@時(shí)候H’(n)最大目前還沒(méi)有實(shí)際系統(tǒng)其傳信率達(dá)到信道容量，但指出了現(xiàn)實(shí)系統(tǒng)的潛在能力和理論極限值，可以作為通信系統(tǒng)中帶寬與信號(hào)噪聲比進(jìn)行互換的理論基礎(chǔ)2.6信源與信道匹配的編碼2.6.1編碼定理2.6.2信源最佳化2.6.3符號(hào)獨(dú)立化2.6.4概率均勻化2.6信源與信道匹配的編碼-編碼定理當(dāng)信源輸出有剩余的消息時(shí)，信道的傳信率或熵速率就小于信道容量Shannon指出:可以通過(guò)適當(dāng)?shù)木幋a方法使信道的傳信率無(wú)限接近信道容量無(wú)噪聲離散信道的編碼定理假設(shè)信源熵為H(bit/符號(hào))，無(wú)噪聲信道容量為C(bit/秒),則總可以找到一種方法對(duì)信源的輸出進(jìn)行編碼，使得在信道上傳輸?shù)钠骄俾蕿槊棵?C/H-e)個(gè)符號(hào)，其中e為任意小的正數(shù)，但要使傳輸速率大于C/H是不可能的定理的逆命題，即速率不可能超過(guò)C/H可以這樣說(shuō)明，信源每秒送入信道的熵等于信源的熵速率，這個(gè)速率不能超過(guò)信道容量，也就是說(shuō)H’<=C,并且每秒鐘符號(hào)個(gè)數(shù)H’/H<=C/H為使信源與信道在統(tǒng)計(jì)意義上達(dá)到匹配，應(yīng)當(dāng)在信源信道之間加入編碼器，使得從信道輸入端來(lái)看，輸入信源應(yīng)當(dāng)與使信道中熵最大的信源具有同樣的統(tǒng)計(jì)特性，這就是信源信道之間達(dá)到最佳匹配理想和近似理想的編碼系統(tǒng)均有長(zhǎng)時(shí)間的延遲，實(shí)用性受限2.6信源與信道匹配的編碼-編碼定理(續(xù)1)有噪聲離散信道的編碼定理假設(shè)離散信源的熵速率為R，噪聲信道容量為C(bit/秒)，如果R<=C,則存在一種編碼方法，使信源的輸出能以任意小的錯(cuò)誤概率在信道上傳輸，如果R>C，就不可能有象R<=C時(shí)的編碼方法定理本身沒(méi)有給出編碼方法，而是存在性！信源和信道給定后，編碼器的設(shè)計(jì)分為兩大類(lèi)變換信源符號(hào)間的概率分布使之達(dá)到最佳，從而使信息傳輸速率任意逼近信道容量，這類(lèi)編碼稱(chēng)為有效性編碼，主要針對(duì)信源特性實(shí)現(xiàn)信源與信道之間的匹配，也稱(chēng)為信源編碼變換信源符號(hào)間的規(guī)律性或相關(guān)性，使之在一定傳信條件下錯(cuò)誤概率任意小，這類(lèi)編碼主要為了提高抗干擾性，稱(chēng)為抗干擾編碼，針對(duì)信道特性而采取的措施，也稱(chēng)為信道編碼有噪信道的編碼定理在原則上給出了有效性和抗干擾性?xún)煞矫娴淖罴呀y(tǒng)一，但目前沒(méi)找到！2.6信源與信道匹配的編碼-信源最佳化通信系統(tǒng)的傳輸效率就是指給定信道的信道容量利用率，表示信道的實(shí)際傳信率與信道容量的比值無(wú)噪聲信道中提高傳輸效率，基本任務(wù)就是要改造信源，使其熵最大化，此時(shí)，達(dá)到這個(gè)目的的過(guò)程就是信源最佳化的過(guò)程。而信源熵H(x)最大化的實(shí)際上就是找到一種最佳的概率分布根據(jù)熵函數(shù)的性質(zhì)，在離散信源情況下，當(dāng)各個(gè)符號(hào)彼此獨(dú)立并且概率相等時(shí)，信源熵達(dá)到最大值2.6信源與信道匹配的編碼-信源最佳化(續(xù)1)信源熵的最大化首先：進(jìn)行符號(hào)獨(dú)立化，解除符號(hào)間的相關(guān)性各個(gè)符號(hào)概率均勻化實(shí)際操作如果符號(hào)已經(jīng)相互獨(dú)立了，那就只需要概率均勻化一般先解除符號(hào)間的相關(guān)性，再進(jìn)行概率均勻化問(wèn)題：Huffman編碼屬于那一種？為什么？2.6信源與信道匹配的編碼-符號(hào)獨(dú)立化符號(hào)獨(dú)立化解除信源各個(gè)符號(hào)間的相關(guān)性弱記憶信源和強(qiáng)記憶信源弱記憶信源(弱相關(guān)信源)信源符號(hào)序列中，只有相鄰的少數(shù)幾個(gè)符號(hào)之間有統(tǒng)計(jì)相關(guān)性，而距離較遠(yuǎn)的符號(hào)之間的統(tǒng)計(jì)相關(guān)性可以忽略不計(jì)怎么去相關(guān)？把相關(guān)性強(qiáng)的幾個(gè)符號(hào)看成一個(gè)符號(hào)，這樣這些大符號(hào)之間的相關(guān)性就小得多(延長(zhǎng)或合并法)等價(jià)于把基本信源空間變成多重空間，重?cái)?shù)越多越好嗎？復(fù)雜性2.6信源與信道匹配的編碼-符號(hào)獨(dú)立化(例)二元序列:000101101011…,變成二重空間的四元序列00，01，01，10，10，11…,新序列的符號(hào)熵?原始信源序列的熵為條件熵2.6信源與信道匹配的編碼-符號(hào)獨(dú)立化(續(xù)1)強(qiáng)記憶信源(相關(guān)信源)信源符號(hào)序列具有很強(qiáng)的相關(guān)性，根據(jù)一部分可以推測(cè)出其余部分的符號(hào)可以根據(jù)統(tǒng)計(jì)特性做預(yù)測(cè)，能預(yù)測(cè)的不需要傳送，例如只傳送預(yù)測(cè)差值，從而節(jié)約信道容量--------預(yù)測(cè)法例如增量調(diào)制，差分編碼調(diào)制(DPCM)別的方法也可以解除相關(guān)，壓縮信源和提高傳輸效率模式識(shí)別技術(shù)，變換編碼技術(shù)，