信息論及編碼-曹雪虹張宗橙(第二版)課后習題答案

第二章

人「AA-A-i-iP(U\IUl)=1/2P(U1\U\\=\I2

2.1一個馬爾可夫信源有3個符號I),轉移概率為：?17

p(?31wi)=0p(u\|?2)=1/3p(ui\u2)=0p(w31W2)=2/3p｛u\|?3)=1/3

，，，，J

P(〃2|〃3)=2/3,p(，3|W=0,畫出狀態圖并求出各符號穩態概札

解：狀態圖如下

狀態轉移矩陣為：

設狀態U,5,5穩定后的概率分別為W”W,、K

-W}+-W2+-Wi==仍

233"1=10

一

2295

■:%

23-一

25

-W2=Wi6

一

WP=W3少3-

心+%2+〃3=:1得心+仍+仍=125

由

2.2由符號集｛0,1｝組成的二階馬爾可夫鏈，其轉移概率為：=0.8,P(°HD=0.2,

p(l100)=02,P("ll)=0.8,M0⑼)=0.5,。⑼10)=0,5,刈°1)=。.5,。⑴1°)=0.5。

畫出狀態圖，并計算各狀態的穩態概率。

P(O|OO)=/?(OO|OO)=O.8p(0101)=X10101)=0.5

用牛：

0.80.200、

000.50.5

p

0.50.500

000.20.8

于是可以列出轉移概率矩陣：7

狀態圖為：

設各狀態00,01,10,11的穩態分布概率為K,WIM.W,有

W\=—

14

0.8億+0.5%=%%2=」

7

0.2粕+0.5%=仍

0.5仍+0.2%4=%Wi=-

WP=W7

40.5匹2+0.8%4=%4

WA=—

粕+%2+%3+%4=1

./=1得計算得到14

2.3同時擲出兩個正常的骰子，也就是各面呈現的概率都為1/6,求:

(1)“3和5同時出現“這事件的自信息；

(2)“兩個1同時出現”這事件的自信息；

(3)兩個點數的各種組合(無序)對的熠和平均信息量；

(4)兩個點數之和(即2,3,…，12構成的子集)的熠;

(5)兩個點數中至少有一個是1的自信息量。

解：

(1)

⑵

⑶

兩個點數的排列如下：

111213141516

212223242526

3

414243444546

5

616263646566

共有21種組合：

111

—X——.......

其中11,22,33,44,55,66的概率是6636

,111

2x—x—二—

其他15個組合的概率是6618

(4)

參考上面的兩個點數的排列，可以得出兩個點數求和的概率分布如下:

2678910U

一-1

1515111112

=---1--

一--

6912

一-36363611836

"(X)=-Ep(x,)logP(Xj)

cl,1.1,1,1,1,1,15,51,1

2x—log—+2x—log—+2x—log—+2x—log—+2nx——log—+—log-

36361818121299363666

=3.274bit/symbol

⑸

2-4

2.5居住某地區的女孩子有25%是大學生，在女大學生中有75%是身高160厘米以上的，而女孩子中身高

160厘米以上的占總數的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息，問獲得多

少信息量？

解：

設隨機變量X代表女孩子學歷

XX,(是大學生)感(不是大學生)

P(X)0.250.75

設隨機變量Y代表女孩子身高

Yy,(身高＞160cm)y?(身高＜160cm)

P(Y)0.50.5

已知：在女大學生中有75%是身高160厘米以上的

即：PUJxJ=0.75bit

求：身高160厘米以上的某女孩是大學生的信息量

/(X|/必)=一logMM/必)=Tog二I_-=-log—————=1.415hit

即：。(必)0.5

2.6擲兩顆骰子，當其向上的面的小圓點之和是3時，該消息包含的信息量是多少？當小圓點之和是7時,

該消息所包含的信息量又是多少？

解：

Mx)=ML2)+p(2,l)=上

1)因圓點之和為3的概率18

該消息自信息量/(X)=TogP(x)=log18=4.1706”

2)因圓點之和為7的概率

該消息自信息量/(X)=T°gP(x)=log6=2.5856/7

'X、XI=0X2=1X3=2X4=3]

2.7設有-離散無記憶信源，其概率空間為(PJ(3/81/41/41/8)

(1)求每個符號的自信息量

(2)信源發出一消息符號序列為｛202120130213001203210110321010021032

011223210｝,求該序列的自信息量和平均每個符號攜帶的信息量

1Q

/(Xi)=log2-----=log2—=1.415bit

解：P(M3

同理可以求得/("2)=2b”,/(X3)=2bit,I(xj)=3bit

因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和

就有:1=14/(xi)+13/(x2)+12/(x3)+6/(x4)=87.8\bit

平均每個符號攜帶的信息量為45bit/符號

2.8試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？

解：

四進制脈沖可以表示4個不同的消息,，例如：｛0,1,2,3)

八進制脈沖可以表示8個不同的消息，例如：｛0,1,2,3,4,5,6,7｝

二進制脈沖可以表示2個不同的消息，例如：｛0,1)

假設每個消息的發出都是等概率的，則：

四進制脈沖的平均信息量H(XJ=log"=log4=2bit/symbol

八進制脈沖的平均信息量〃（丫2）=log"=log8=3bit/symbol

二進制脈沖的平均信息量“（X。）=唾〃=皿2=1bit/symhol

所以:

四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。

2-9“一”用三個脈沖“?"用一個脈沖

(1)l(?)=Log(4)=2

一Log(4)+—Log|-|=0.811

⑵H=4"4

(1)|tog(3)+|Log(|)=0.918

410

⑵p(黑/黑)=14P泊/黑)=14

11410

Io+一0.381

H(Y/黑)=1414

5

⑶P(黑/白)=14P(白/白)=14

5T39,

—Log—+—Log0.94

H(Y/白)=1414

52

(4)P(黑)=15P(白)=3

1,…2,

-E電+-Log0.918

H(Y)=33

2.11有一個可以旋轉的圓盤，盤面上被均勻的分成38份，用1,…，38的數字標示，其中有兩份涂綠色,

18份涂紅色，18份涂黑色，圓盤停轉后，盤面上的指針指向某一數字和顏色。

（1）如果僅對顏色感興趣，則計算平均不確定度

（2）如果僅對顏色和數字感興趣，則計算平均不確定度

（3）如果顏色已知時,則計算條件烯

解：令X表示指針指向某一數字，則*={1,2,38}

Y衣示指針指向某種顏色，則Y={1綠色，紅色，黑色}

Y是X的函數，由題意可知P（X'%）=P（x'）

-1

Wrr/)v、=XVM"t)\l1og—1—=2—log3—8+c2x1—81log3—8=1..24

月曲/符號

(I)P(yj)3823818

H(X,Y)="(X)=log238=5.25符號

(3)H(X|Y)=H(X,H(Y)=5.25-1.24=4.01爪/符號

兩個實驗X和Y,X=HX?xJ,Y=M%yj,l聯合概率'(孫”’)

2.12切為

（1）如果有人告訴你X和Y的實驗結果，你得到的平均信息量是多少？

（2）如果有人告訴你Y的實驗結果，你得到的平均信息量是多少？

（3）在已知Y實驗結果的情況下，告訴你X的實驗結果，你得到的平均信息量是多少？

解：聯合概率夕（用力）為

Y

yiy2y：；

X〃(x,y)=Zp(x,,以)bg2J

Tp(x，,％)

Xi7/241/240

72411

=2x—log2—+4x—log224+—log24

x21/241/41/24

01/247/24

xs=2.3bit/符號

x概率分布

XX]X2x：.

P8/248/248/24H(y)=3x-log23=1.58

3bit/符號

H(XIy)=H(X,X)-H(Y)=2.3-1.58

=0.72bit/符號

Yyiy2y3

P8/248/248/24

2.13有兩個二元隨機變量A?和丫,它們的聯合概率為

YXx尸0x2=l

y,=o1/83/8

3/81/8

y2=i

并定義另一隨機變量Z=XV(一般乘積)，試計算：

(1)H(X),H(Y),H(Z),H(XZ),〃儂和?⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),和

⑶/優〃I(X:Z),I(Y:Z),I(X:Y/Z),/化加和/(X2/W。

解：

(1)

z=力7的概率分布如下：

(2)

(3)

2-14

(1)

79

+02360311

⑵*i￡l：!(X；Y)=p(yO)l(X;yO)+p(y1)l(X;y1)=?°頡^=

0.311

方法2:

2-15

(\8、

p(bl)=p(b2)=；

P(j/i)=\81-S

2.16黑白傳真機的消息元只有黑色和白色兩種,即*=｛黑，白｝,一般氣象圖上，黑色的出現概率P（黑）

=0.3,白色出現的概率p（白）=0.7.

（1）假設黑白消息視為前后無關，求信源燧H（X）,并畫出該信源的香農線圖

（2）實際上各個元素之間是有關聯的，其轉移概率為：P（白I白）=0.9143,P（黑|白）=0.0857,P（白|黑）

=0.2,P（黑I黑）=0.8,求這個--階馬爾可夫信源的信源燧，并畫出該信源的香農線圖。

（3）比較兩種信源燧的大小，并說明原因。

H(X)=0.3log2—+0.7log2—=0.8813

解：⑴37bit/符號

P（黑I白）=P（黑）

P（白I白）=P（白）

P（黑I黑）=P（黑）

P（白I黑）=P（白）

（2）根據題意，此一階馬爾可夫鏈是平穩的（P（白）=0.7不隨時間變化，P（黑）=0.3不隨時

間變化）

=0.512bit/符號

2.17每幀電視圖像可以認為是由310'個像素組成的，所有像素均是獨立變化，且每像素乂取128個不

同的亮度電平，并設亮度電平是等概出現，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個

漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設漢字字

匯是等概率分布，并彼此無依賴）？若要恰當的描述此圖像,廣播員在口述中至少需要多少漢字？

解：

1）

2）

3）

p（x）=-Ae~A^

2.20給定語音信號樣值X的概率密度為2一00<%<+8）,求比（刈，并證明它小于同

樣方差的正態變量的連續焙。

解：

1

x2+y2<r2

P(x,y)=

0其他

2.24連續隨機變量乃和y的聯合概率密度為:,求，⑴，H（Y）,

切和I(X；Y)O

logsinxdx=--log2

。22

(提示：°2)

解：

2.25某一無記憶信源的符號集為{0,1},已知戶=1/4,P(l)=3/4。

(1)求符號的平均焙；

(2)有100個符號構成的序列，求某一特定序列(例如有"個“0”和(100-加個“1”)的自信息量

的表達式；

(3)計算(2)中序列的列。

wT?

(1\

/!

(2X

/I

(3X

/I

2-26

1

11

--J)ri_￡J.1

44

4428888

31

*113

po-一J1111

Io

105310L515Io

1J11111

<%

66>P(i)=P(ij)=<36石3636

4-Log(8)+2—Log(10)+2—Log(15)+3—Log(36)+—Log(12)=3.415

H(IJ)=310153612

A

2.29有一個一階平穩馬爾可夫鏈XL,…,名,…各xr取值于集合={"""203},已知起始概率

P(X^8=l/2,p2=p3=l/4,轉移概率如下圖所示

j123

11/21/41/4

22/301/3

32/31/30

(1)求(XI，X2,X3)的聯合端和平均符號燧

(2)求這個鏈的極限平均符號嫡

(3)求和它們說對應的冗余度

解：⑴

-log-log-—log—=l.5bit/

2&24444

x?X2的聯合概率分布為

123%的概率分布為

P(X1,X2,)

那么

11/41/81/8=1.209bit/符號

XX的聯合概率分布為

21/601/12

31/61/120

123

14/245/245/24

123

P(X2iX3j)

17/247/487/48

25/3605/12

35/365/120

那么

=1.26bit/符號

H(Xi,X2,^3)=1.5+1.209+1.26=3.9696〃/符號

3969

Xi)==1.323b“

所以平均符號搞3/符號

(\1、

24

2

P0

3

21

0

(2)設a?包,a,穩定后的概率分布分別為Wl,W2,W3,轉移概率距陣為337

122

-W\+-Wi+-Wi=\W\^-

2337

少2=2

-W\+-Wi=W2

4314

WP=WW\+Wi+W3=\

W^—

14

由得到計算得到

又滿足不可約性和非周期性

_3A111321

"我乃=Z%以%I=-//(-,-,-)+2x—H(0)=1.25bit

i\/14

=/符號

1.5+1.209

1.355677

⑶=bg3=1.58b"/符號Hi=\.5bit/符號2/符號

2-30

<2J、

33

(1)求平穩概率P(j/i)=1l0，

解方程組

4

嚴2,1

⑺

得到

⑵H(S/s1)=|Log(|)+|Log(3)=0.918

信源野為:

2-31

P(j/i)=\22/解方程組Wl+W2+W3=1得到Wl=W2=0,W3=4

2.32一階馬爾可夫信源的狀態圖如圖2—13所示，信源X的符號集為(0,1,2)。

(1)求信源平穩后的概率分布P(0),P(l),P(2)

(2)求此信源的燧

(3)近似認為此信源為無記憶時，符號的概率分布為平穩分布。求近似信源的炳H(X)并及48進行比較

1-。p/2p/2

PpHl-pp/2

p/2p/2

解:根據香農線圖，列出轉移概率距陣l-p

令狀態0,1,2平穩后的概率分布分別為Wl,W2,W3

(\-p)W\+^Wi+^W3=W\w=-

3

-?^粕+(l-p)%2+^■憶=%W=-

WP=W3

3W\+Wz+W3=\

W=-

3

」=1得到-計算得到

由齊次遍歷可得

"(X)=log3=1.586/7/符號由最大燃定理可知"MX)存在極大值

或者也可以通過下面的方法得出存在極大值:

P11Pr1P,

---------------1------------------G0A.+X--------=1

2(1—p)22(1—p)又所以2(l—p)L」當值/3時2(1一必

0<p<2/3時前2(1-p)

陰8(不).pn

2/3<p〈l時EMBEDEquation.DSMT4dP2(1-p)

所以當p=2/3時"“(X)存在極大值,且"MX)max=1.58bit/符號

所以

2-33

(1)

解方程組：

得p(0)=p6=p(2)=W

(2)

(3)

當p=0或p=l時信源熠為0

練習題：有一離散無記憶信源，其輸出為Xe{0」，2},相應的概率為

po=l/4,pi=l/4,p2=l/2,設計兩個獨立的實驗去觀察它，其結果分別為

yie{0,l},y2e{0,l})已知條件概率:

P(y,|x)01

011

101

21/21/2

P(y2|x)01

010

110

201

(1)求/(X；H)和/(X；Y2),并判斷哪一個實驗好些

⑵求/(X；y>2),并計算做Y,和匕兩個實驗比做匕和匕中的一個實驗可多得多少關于X的信息

(3)求"X；711⑸和/(X；Yi|Ki),并解釋它們的含義

解：(1)由題意可知

Y,01

X

01/40

101/4

21/41/4

01

Y2

X

01/4