1、2110)()(xpxpjijiijxxxxd當當,10例：若有一個離散、等概率單消息（或無記憶）二元信源：例：若有一個離散、等概率單消息（或無記憶）二元信源： ,且采用漢明距離作為失真度量標準：即且采用漢明距離作為失真度量標準：即有一具體信源編碼方案為：有一具體信源編碼方案為：N個碼元中允許錯一個碼元，實現時個碼元中允許錯一個碼元，實現時N個碼元僅個碼元僅送送N-1個，剩下一個不送，在接收端用隨機方式決定（為擲硬幣方式）。個，剩下一個不送，在接收端用隨機方式決定（為擲硬幣方式）。 陰影范圍表示實際信源編碼方案陰影范圍表示實際信源編碼方案與理論值間的差距，我們完全可以與理論值間的差距，我們完全

2、可以找到更好，即更靠近理論值，縮小找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務。界尋找好的信源編碼的方向和任務。1()( )()2R DHH D二元信源的理論信息率失真函數二元信源的理論信息率失真函數()1 2R DD 二元信源的實際信息率失真函數二元信源的實際信息率失真函數例：設信源具有一百個以等概率出現的符號例：設信源具有一百個以等概率出現的符號a a1 1， a a2 2， a a9999，a a100100，并以每秒，并以每秒發出一個符號的速率從信源輸出。試求在允許失真度發出一個符號的速率從信源輸出。試求在允許

3、失真度D D0.10.1條件下，傳輸這些條件下，傳輸這些消息所需要的最小信息率。消息所需要的最小信息率。 信源a1, a2,., a99, a100試驗信道p(yj|xi)無擾離散信道失真信源a1a100a1a90(a)解：在不失真傳輸條件下的信息率解：在不失真傳輸條件下的信息率R R為：為： 因為允許失真度因為允許失真度D D0.10.1，可設想信源，可設想信源100100個符號經過假想的試驗個符號經過假想的試驗信道只輸出信道只輸出a a1 1， a a2 2， a a8989，a a9090，即輸出，即輸出9090個符號，而余下的個符號，而余下的a a9191， a a100 100 都用

4、都用a a9090代替代替 ()log1006.6441H XRbbit/sbit/sXYa1a2a90a91a100a90a2a1 除除a a1 1， a a2 2， a a8989，a a9090對應位置上的元素為對應位置上的元素為0 0外，其余元素外，其余元素為為1 1或或（假想試驗信道傳輸概率假想試驗信道傳輸概率P(P(y yj j|x xi i) )為零時，所對應的為零時，所對應的d dij ij為無限大）為無限大） 1290919210012909192100000111aaaaaaaaaDaaa失真矩陣：該失真信源的組合方案的平均失真函數為：該失真信源的組合方案的平均失真函數為：

5、 2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中：上式中： X1Y1a1， a2， a89，a90，屬于不失真的符號集合，屬于不失真的符號集合，對應對應dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，屬于失真集合，對應，屬于失真集合，對應dij1，其中其中i91，91，100，j90 據題意，據題意，P(P(x xi i) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函數：所以得平均失真函數： 可見，這樣設想的失真信源的組合方案能滿足對失真度的要可見，這樣設

6、想的失真信源的組合方案能滿足對失真度的要求。求。 22()(|)1101 10.1100ijiijX YdP xP yxd 該試驗信道為無噪有損信道，即該試驗信道為無噪有損信道，即H(Y|X)=0,H(Y|X)=0,所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在試驗信道的輸出端在試驗信道的輸出端Y Y，a a1 1， a a2 2， a a8989的出現概率仍為的出現概率仍為1/1001/100, ,而而a a9090的出現概率的出現概率P(aP(a9090) )11/10011/100，可知相應的信息傳輸速，可知相應的信息傳

7、輸速率為：率為： 899019011()log()log()()11110089log100log10010011log1000.11log116.264 (/ )iiiRP aP aP aP abits 比較比較 R與無失真傳輸條件下的信息率與無失真傳輸條件下的信息率R ,R ,可知在可知在D D0.10.1的的條件下，所需信息率減小了條件下，所需信息率減小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的條件下的條件下( (假定后假定后5050個符號均產生失真，這后個符號均產生失真，這后5050個符號均用個符號均用a

8、a5050來代替來代替) )信息率信息率R”為：為： 495015011()log()log()()15110049log100log10010051log1000.51log513.751(/ )iiiRP aP aP aP abit s 與無失真傳輸條件下的信息率與無失真傳輸條件下的信息率R R想比較減小想比較減小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。信道容量與信息率失真函數的比較(1) 求極值問題求極值問題平均均信息平均均信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率或概率密度函數密度函數p(x)的上凸函數

9、。根據上凸函數定義，如果的上凸函數。根據上凸函數定義，如果I(X;Y)在定在定義域內對義域內對p(xi)或或p(x)的極值存在，則該極值一定是極大值。信的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均均信息極大值的問題，道容量就是在固定信道情況下，求平均均信息極大值的問題，即即 I(X;Y)又是信道轉移概率分布又是信道轉移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或條或條件概率密度函數件概率密度函數p(y/x)的下凸函數，因此在滿足保真度準則條的下凸函數，因此在滿足保真度準則條件下，件下，I(X;Y)對對p(yj/xi)或或p(y/x)的條件極值若存在，則

10、一定是極的條件極值若存在，則一定是極小值。信息率失真函數就是在試驗信道（滿足保真度準則的信小值。信息率失真函數就是在試驗信道（滿足保真度準則的信道）中尋找平均均信息極小值的問題，即道）中尋找平均均信息極小值的問題，即 (|)()min(; )jiDP y xPR DI X Y()max (; )ip xCI X Y信道容量與信息率失真函數的比較信道容量與信息率失真函數的比較信道容量與信息率失真函數的比較信道容量與信息率失真函數的比較(2)特性特性信道容量信道容量C一旦求出后，就只與信道轉移概率一旦求出后，就只與信道轉移概率p(yj/xi)或條件概或條件概率密度率密度p(y/x)有關，反映信道特

11、性，與信源特性無關；由于平均有關，反映信道特性，與信源特性無關；由于平均均信息與信源的特性有關，為了排除信源特性對信道容量的影均信息與信源的特性有關，為了排除信源特性對信道容量的影響，采用的做法是在所有的信源中以那個能夠使平均均信息達響，采用的做法是在所有的信源中以那個能夠使平均均信息達到最大的信源為參考，從而使信道容量僅與信道特性有關，信到最大的信源為參考，從而使信道容量僅與信道特性有關，信道不同，道不同，C亦不同。亦不同。信息率失真函數信息率失真函數R(D)一旦求出后，就只與信源概率分布一旦求出后，就只與信源概率分布p(xi)或概率密度函數或概率密度函數p(x)有關，反映信源特性，與信道特

12、性無關。有關，反映信源特性，與信道特性無關。由于平均均信息與信道的特性有關，為了排除信道特性對信息由于平均均信息與信道的特性有關，為了排除信道特性對信息率失真函數的影響，采用的做法是在所有的信道中以那個能使率失真函數的影響，采用的做法是在所有的信道中以那個能使平均均信息達到最小的信道為參考，從而使信息率失真函數僅平均均信息達到最小的信道為參考，從而使信息率失真函數僅僅與信源特性有關，信源不同，僅與信源特性有關，信源不同，R(D)亦不同。亦不同。(3) 解決的問題解決的問題信道容量是為了解決決信的可靠性問題，是信息傳輸的理信道容量是為了解決決信的可靠性問題，是信息傳輸的理論基礎，決過信道編碼增加

13、信息的冗余度來實現；論基礎，決過信道編碼增加信息的冗余度來實現；信息率失真函數是為了解決決信的有有性問題，是信源源信息率失真函數是為了解決決信的有有性問題，是信源源縮的理論基礎，決過信源編碼減少信息的冗余度來實現。縮的理論基礎，決過信源編碼減少信息的冗余度來實現。例：刪除信源例：刪除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩陣為。而失真矩陣為求求Dmin。min1( )min ( ,)( ) 00nniijijiiDp xd x yp x滿足最小失真度的試驗信道是個無噪無損信道，轉移矩陣為滿足最小失真度的試驗信道是個無噪無損信道，轉移矩陣為100010Q在這個無噪無損信道中，

14、可得在這個無噪無損信道中，可得(; )()I X YH X( / )(0)min (; )()Dp y xPRI X YH X例：例：例：已知信源的消息集合例：已知信源的消息集合X X中包含中包含x x0 0和和x x1 1兩個消息，并設它們的概率為兩個消息，并設它們的概率為P(P(X X1 1) )p 1/2，P(P(X X2 2) )1 1p，而信宿符號集合而信宿符號集合Y Y也包含兩個符號也包含兩個符號y y0 0和和y y1 1 ，失真矩陣，失真矩陣為為 ，試求，試求D Dmaxmax0011100100 ddddD 解：接收符號解：接收符號y y0 0的平均失真函數的平均失真函數 為

15、：為： 接收符號接收符號y y1 1的平均失真函數的平均失真函數 為：為： 因為因為 p K4 K8，進制，進制n越小，源縮比越小，源縮比K越大；越大； 隨著允許失真度隨著允許失真度D的增加，源縮比的增加，源縮比K隨之增加，但相對關系不變隨之增加，但相對關系不變引用拉氏乘子法。約束條件為下列引用拉氏乘子法。約束條件為下列 ( (n n+1)+1)組等式：組等式： R R( (D D) )的參量表達式的參量表達式 求均信息求均信息 的極小值。的極小值。 jjiijjiijijqPPpPqI log);(1(1)1,1,2ijiijijmjijDdp P dnPi in組約束對 例：設要把例：設要

16、把1616個等概率出現的消息構造成線性分組碼，設信息位為個等概率出現的消息構造成線性分組碼，設信息位為k k，校驗位，校驗位為為r,r,碼子長度為碼子長度為n=k+rn=k+r。解：從題意可知，解：從題意可知，16162 2k k ，k k4 4。為了糾正一個錯誤，為了糾正一個錯誤，r r2 2，即，即n n4+24+26 6。這種編碼方式不行，校驗矩陣。這種編碼方式不行，校驗矩陣H H只有只有2 2行，行，6 6列，無法排出各不相同的列，無法排出各不相同的6 6列。列。6 6列各不相同，主要目的是使校正子列各不相同，主要目的是使校正子s s能能定出錯誤位置進行糾正定出錯誤位置進行糾正 若若r

17、 r3 3，可排出（，可排出（7 7，4 4）分組碼的校驗矩陣）分組碼的校驗矩陣H H： 111010011010101011001H m1m2m3m4p1p2p3行1行2行3 如消息為如消息為10101010，則從上列關系可得出：，則從上列關系可得出：即可得碼字為即可得碼字為10100101010010m1m2m3m4p1p2p3m1m2m3m4p1p2p3m1m2m3m4p1p2p31010p1p2p31+0+1=0=p11010p1p2p31+0+0=1=p21010p1p2p31+1+0=0=p3該碼編碼方法如下：該碼編碼方法如下： 下表列出了（下表列出了（7 7，4 4）碼的）碼的2 24 41616個碼字個碼字m1m2m3m4p1p2p3漢明距離0000000100011101001101100001001010110100100110011111010000010111001100010110111010100011110101100