信息理論基礎(chǔ)(周蔭清著)課后習(xí)題答案

2.1試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？

解：

四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}

八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：［0,1,2,3,4,5、6,7)

二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}

假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：

四進(jìn)制脈沖的平均信息量H(Xi)=log2n=Iog24=2bit/symbol

八進(jìn)制脈沖的平均信息量H(X：)=log2n=log28=3bit/symbol

二進(jìn)制脈沖的平:均信息量H(X>)=log2n=log22=1bit/symbol

所以：

四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。

2.2居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女

孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大

學(xué)生”的消息，問(wèn)獲得多少信息量？

解：

設(shè)隨機(jī)變量X代表女孩子學(xué)歷

X內(nèi)(是大學(xué)生)A-2(不是大學(xué)生)

P(X)0.250.75

設(shè)隨機(jī)變量Y代表女孩子身高

Yy,(身高>160cm)y2(身高＜160cm)

P(Y)0.50.5

己知：在女大學(xué)生中有75%是身高160厘米以上的

即：p(yi/xi)=0.75

求：身高160厘米以上的某女孩是大學(xué)生的信息量

p*l)p(y/西)0.25x0.75)

即:/(玉/y)二一log〃區(qū)/X)=Tog2=1.415bit

My)-63)

2.3一副充分洗亂了的牌(含52張牌)，試問(wèn)

(1)任一特定排列所給出的信息量是多少？

(2)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？

解：

(1)52張牌共有52!種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是:

/(為)=-logp(x.)=log252!=225.581hit

(2)52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下:

413

C52

413

/(xz)=-log2p(xi)=-log2-75-=13.208bit

C52

2.4設(shè)離散無(wú)記憶信源［X［=h=°々=1%=2々=3］其發(fā)出的信息為

_P(X)J3/81/41/41/8

(202120130213001203210110321010021032011223210),求

(1)此消息的自信息量是多少？

(2)此消息中平均每符號(hào)攜帶的信息量是多少？

解：

(1)此消息總共有14個(gè)()、13個(gè)1、12個(gè)2、6個(gè)3,因此此消息發(fā)出的概率是：

、14、6

31

p=xX

4J

此消息的信息量是：/=-log2p=87.811bit

(2)此消息中平均每符號(hào)攜帶的信息量是：//〃=87.811/45=1.951

2.5從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%,如果你問(wèn)一

位男士：“你是否是色盲,”他的回答可能是“是”，可能是“否”，問(wèn)這兩個(gè)回答中各含

多少信息量，平均每個(gè)回答中含有多少信息量？如果問(wèn)一位女士，則答案中含有的平均自信

息量是多少？

解：

男士：

〃(8)=7%

I(xY)=-log2p(xY)=-log20.07=3.837bit

p(x,v)=93%

/(xA.)=-log2p(xN)=-log20.93=0.105bit

2

H(X)=-^2p(-v,)log2=-(0.07log,0.07+0.93log20.93)=0.366bit/symbol

i

女士：

2

//(X)=_^/?(A-.)log2/?(%,)=-(0.005log20.005+0.995log20.995)=0.045bit(symbol

XXxxxx

2.6設(shè)信源2456求這個(gè)信源的炳，并解釋為什么

p(x)0.20.190.180.170.160.17

H(X)>Iog6不滿足信源燧的極值性。

解：

6

"(X)=-Z〃(Xi)bg2P(巧)

=-(0.21og20.2+0.191og20.19+0.181og20.18+O.171og20.17+0.161og20.16+0.171og20.17)

=2.657bit/symbol

//(X)>log26=2.585

6

不滿足極值性的原因是，>(否)=1.07>1。

2.7證明：H(XJX,X?)WH(X3/XJ,并說(shuō)明當(dāng)心X?,尤是馬氏鏈時(shí)等式成立。

證明：

7/(X3/X,X,)-/7(X3/X1)

二-ZZZP(XM2%3)lOg〃(占3/%d2)+Z￡pCVi3)bgP*,3//)

/Ii2|3i\r3

=〃(*西2七3)bg〃(七3/XilXi2)+ZZZ〃(七丙2七3)噢〃(七3//)

i\i2i3

=ZZZp("2%)bg

i\i2i3P\Xi3/XnXj2)

-XZZP("2和)f嚴(yán)")-[log2e

/IZ2?3(〃(///冷)J

=ZZZP(32)P%//)-ZZZP533)略6

\11i2i3i\i2i3J

=EEP("2)ZP?3/%)Tbg2e

\"i2Li3JJ

=0

/.H(X3/X,X2)<H(X3/X,)

當(dāng)P(///)—1=面等式成立

〃(//蒼內(nèi)2)

=>p(xi3/xn)=p(xi3/x：[xi2)

=>P("2)P("i3//)=〃(//七居2)〃(/玉2)

=>P(/)PC%//)〃(///)=PQ“芭2%)

=>P(xi2/xi])p(xi3/xil)=p(xi2xi3/xi})

---等式成立的條件整1,X"X,是馬一氏鏈

2.8證明：H(X,X?.…Xn)WH(X)+H(X?)+…+H(XJ°

證明：

H(X1X2...X,V)=//(%,)+H(X2/X1)+H(X3/X1X2)+...+H(XAr/X1X2...XjV_l)

I(X：XJNUnH(X1)NH(XJX)

/(X3;X,X2)>0=>/7(X3)>//(X3/XIX2)

I(XN；X\X?…XN_\)N0OH(XN)NH(xN/X'X/.XNT)

:.H(XXX1...XN)<H{X})+H(X2)+H(X3)+...+H(XN)

2.9設(shè)有一個(gè)信源，它產(chǎn)生0,1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào),

均按P(0)=0.4,P(1)=0.6的概率發(fā)出符號(hào)。

(1)試問(wèn)這個(gè)信源是否是平穩(wěn)的？

(2)試計(jì)算，的，HIX/XX)及心

(3)試計(jì)算并寫(xiě)出/信源中可能有的所有符號(hào)。

解：

(1)

〃（G）=p（G）p（G/，）+p（g）p（eje2）

,P&）=P（『）p（s/S）+P（S）/6）

P（q）=P（e3）p（ei/ei）+〃（,）〃（內(nèi)/q）

p（ej=p,p（ej+p,p（e?）

■〃包）=〃〃（。2）+〃〃（6〕

Pg=P?P（e3）+P?P（eJ

〃（q）=〃（《2）=〃（《3）

〃（勺）+〃（《2）+〃（03）=1

〃（q）=l/3

?〃（/）=l/3

p（q）=l/3

〃（為）=p（6）p*|/6）+M/）〃（X|/4）=〃?〃（6）+P〃（/）=（〃+〃）/3=l/3

e

P（x2）=p（e2）p（%2/g）+P（6）P（%2/1）=P，P（2）+P，P（4）=（〃+p）/3=1/3

p（x3）=p（e3）p（x3/0）+p（q）p（x3/ej=p?p（e3）+p?p（q）=（p+p）/3=1/3

X012

P（X）1/31/31/3

⑵

33

He="XZP（ei）P（e,/e,）bgP（eJ4）

=-IP（，/q）log2〃（，/《）+；P（G/巧）log2p（4/e”；p（1/，）log2“（6/ex）

+1〃匕/e2）log2Me"/）+；Mg/6）log2〃（//e?）+；P（%/%）log2p（e3/e2）

+1p（eje3）log2"（《/%）+；p（e2/e、）log2p（e2/e3）+1p（6/ey）log2p（6/e3）

-1——111——11——

=--plogp+-plogp+-plogp+--plogp+--p-logp+--p-IogP

J2J2j）2J2J2J2

=-\p-log,p+plog2p）hit/symbol

2.11黑白氣象傳真圖的消息只有黑色和白色兩種，即信源后｛黑，白｝。設(shè)黑色出現(xiàn)的概率為

P（黑）=0.3,白色出現(xiàn)的概率為/Y白）=0.7o

（1）假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求焰，⑴；

（2）假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為白/即=0.9,P（黑/白）=0.',P（白/黑）=0.2,

P（黑/黑）=0.8,求此一階馬爾可夫信源的熠兒⑴；

（3）分別求上述兩種信源的剩余度，比較和兒仞的大小，并說(shuō)明其物理含義。

解：

（1）

”（X）=〃（七）log〃（玉）=-（0.3log0.3+0.7log0.7）k）g210=0.881bit/symbol

⑵

*P(eJ=/q)+心)

p(e2)=p(e2)p(e2/g)十p(q)p(g/e,)

p(el)=O.8p(el)+O.lp(e2)

p(e2)=0.9p(e2)+0.2〃(q)

p(e2)=2p(ei)

p(e1)+p(e2)=\

p(q)=l/3

p(?2)=2/3

"g=NZ"(4)P(€J6)log〃(巧/e,)

=-(ix().8log().8+1x0.2log0.2+|x().1log().l+|x0.9log0.9)log21()

=().553bit/symbol

⑶

%-兒二*2-0.881

“obg22

H0-H.二電2-0.553_

"obg22

H(X)>H2(X)

表示的物理含義是：無(wú)記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)溝化信息較多,

能夠進(jìn)行較大程度的壓縮。

2.12同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6,求:

⑴“3和5同時(shí)出現(xiàn)”這事件的自信息；

⑵“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；

⑶兩個(gè)點(diǎn)數(shù)的各種組合(無(wú)序)對(duì)的煽和平均信息量；

(4)兩個(gè)點(diǎn)數(shù)之和(即2,3,…，12構(gòu)成的子集)的熠;

⑸兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。

解:

(1)

11111

z=—x—+—x—=—

'666618

/(x,)=-log2p(x,)=-log2-^=4.170bit

1o

(2)

/、_11

P(xj=-1x—=_---

'6636

/(%)=一嘀p(x,)=-log2-i-=5.170bit

36

(3)

兩個(gè)點(diǎn)數(shù)的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21種組合：

其中11,22,33,44,55,66的概率是2x2=」-

6636

其他15個(gè)組合的概率是2X4X1=L

6618

H(X)=-V〃(七)log〃(玉)=-(6x—log—+15x—log—)log^10=4.337bit/symbol

,36361818

(4)

參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：

「X1f234567891()11121

=111115151111>

_P(X)」［36789366369-121836l

H(X)=-工P($)logP(七)

i

1.1cli1cli1cli1c5151|1、1s

=-(2x——log—+2x——log——+2x——log—+2x—log—+2x——log—+—log—)log010

36361818121299363666-

=3.274bit/symbol

⑸

,.11,,H

p(x.)=—x—x11=——

'6636

/(不)=一咋2p(x,)=-log2^=1.710bit

36

2.13某一無(wú)記憶信源的符號(hào)集為{0.1},已知"@=1/4,P(1)=3/4o

(1)求符號(hào)的平均燃；

(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列(例如有勿個(gè)“0”和(100-㈤個(gè)“1”)

的自信息量的表達(dá)式；

(3)計(jì)算⑵中序列的熠。

解：

(1)

11Q3

x

H(X)=一Z〃(七)bgP(i)=-(—log—+—log—)log210=0.811bit!symbol

⑵

o100-w

/(七)=-iog2p(xj=-log?=41.5+1.585〃？bit

⑶

H(Xlw)=100H(X)=100x0.811=81.1bitIsymbol

2.14對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài),

調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下：

冷12冷8

晴晴

暖8暖15

忙閑

冷27冷5

雨雨

暖16暖12

若把這些頻度看作概率測(cè)度，求：

(D忙閑的無(wú)條件煽；

(2)天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熠；

(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。

解：

(1)

根據(jù)忙閑的頻率,得到忙閑的概率分布如下:

%忙心閑

X

6340>

P(x)二

、而同

口/V、/\(63.6340.4())八八c/iI

"(x)=-ZP(N)=T訴bg2而+而log277K=0964bit!symbol

j11UJ1UJ1UJ1UJ,

(2)

設(shè)忙閑為隨機(jī)變量X,天氣狀態(tài)為隨機(jī)變量匕氣溫狀態(tài)為隨機(jī)變量Z

”(XYZ)=-ZZZP(芭XZk)10g2p(xy}zk)

12,128,827,2716.16

log2----1log2----1log,1----log2---

103---~103103----103103----103103---~103

8bg，+叵陶旦+二喀二+馬。g,烏

+而103103103103103103103J

=2.836bit/symbol

zlo

H(YZ)=P^yjk)e2P(yjZk)

(2(),2023.2332.3228.28)

1103-103103-103103~103103~103；

=1.977bit!symbol

H(X/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bitIsymbol

(3)

Z(X;YZ)=〃(X)-〃(X/YZ)=0.964-0.859二().159bit/symbol

2.15有兩個(gè)二元隨機(jī)變量彳和r,它們的聯(lián)合概率為

x,=0x2=1

Yi=01/83/8

y?二13/81/8

并定義另一隨機(jī)變量z=AT(一般乘積)，試計(jì)算：

(1)H(X),H(Y),H(Z),H(XZ),⑵和〃夕⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y)fH(X/YZ),和，必斤；

(3)I(X：Y),/(X;Z)fKY;Z),I(X;Y/Z),I(Y;Z/X)^W/(X;Z/Y)。

解：

(1)

131

p(再)=p(再y)+p(My2)=-+-=-

311

pM=p(xy))+pay)=-+-=-

222oo2

H(X)=_￡〃(3)log2P(M)=1bit!symbol

i

131

P(居)=〃(％%)+=-+-=-

ooZ

311

p(%)=〃區(qū)>J)+/Xxy)=-+-=-

222ooZ

H(Y)=一Z〃(匕)bg2〃(M)=1bit!symbol

J

z=xy的概率分布如下：

z,=0z=1

Z2

=?71

p（z）、又A.

2/77ii\

H(Z)=p(z)=--^2-+-10§2Q=0544bit!symbol

kk18o88/

PUI)=PU|21)+P(XIZ2)

p(xiz2)=0

p(g)=p(x)=0.5

p(zj=p(XR)+M/zJ

73

)=p(2,)-〃(24)=￡-0.5=3

oo

p(z2)=p(XtZ2)+p(x2z2)

P(XZ)=p(z)=-

222o

ilo]3Io31lo]1406

"(XZ)=—ZZ〃(中人)log2P^k)=-(-§2-+-g2-+-§2-)=bit/symbol

P(X)=P(，Z|)+p()，|Z2)

〃(+2)二°

P()R)=〃(凹)=。.5

j

p(z1)=p(>,z1)+p(y2zl)

r3

p(MZ|)=P(Z|)-〃([/])=--0.5=-

oo

p(z2)=p(y]z2)+p(y2z2)

p(yz)=p(z)=-

222o

I]331j

)log.)=-(-log,-+-log-+-log-)=1.406

H(YZ)=p(yjzk22bit/symbol

jkZoooo

，區(qū))，仔2)=0

〃(太必2)=。

p(x2ylz2)=0

P(再PZ|)+pQ?|Z2)=P(FK)

p(x1y1z1)=p(x,y1)=l/8

〃(王)，24)+P($yZ[)=Mw)

/、/、、113

P(K%ZI)=PC。4)-p(z玉yz)=---=-

}iZoo

p(x2y,z1)+/Xx2j1z2)=p(x2y,)

3

p(x2y,z,)=p(x2y1)=-

o

P(x2y2zl)=0

p(x2MzI)+"a2y2)

P(x2y2z2)=

p(xyz)=p(xy)=-

22222o

H(XYZ)=-2ZZPGy：zk)log2〃(巧匕Z。

iJ卜

fl，01+3,033311)

=-ig2ong2^+^^g2-4--log2-=1.811bit!symbol

\ooooooooy

(2)

/1iQ3331i\

H(XY)=~YYP(F>,PI°O2P(xy)==--log-+^-log-+-log-+-iog-=1.811bit/symbol

jj\^OijOOO2OO2O22

H(X/Y)=H(XY)H(y)=1.8111=0.811bit/symbol

H(Y/X)=H(XY)-H(X)=1.811-l=0.811bitIsymbol

H(X/Z)=H(XZ)-/7(Z)=1.406-0.544=0.862bitIsymbol

H(Z/X)=/7(XZ)-/7(X)=1.406-1=0.406bit!symbol

H(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bitIsymbol

H(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bit/symbol

H(X/YZ)=H(XYZ)-H(rZ)=1.811-1.406=0.405bitIsymbol

H(Y/XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symbol

H(Z/XY)=H(XYZ)-H(XY)=1.811-1.811=0bit/symbol

(3)

Z(X；y)=H(X)-7/(X/y)=1-0.811=0.189hit/symbol

I(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bitIsymbol

I(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bitIsymbol

I(XyY/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbol

/(y；Z/X)="(y/X)—“(y/XZ)=0.862—0.405=0.457bit/symbol

Z(X;Z/y)=H(X/r)-Z/(X/yZ)=0.811-0.405=0.406bit/symbol

2.16有兩個(gè)隨機(jī)變量彳和匕其和為Z=X+Y(一般加法)，若X和V相互獨(dú)立，求證:

H(X)WH⑵,H(Y)WH(Z)。

證明：

\'Z=X+Y

P(3)

???P(zJXi)=p(z「xj=4

0(zk-x^^Y

”(Z/X)=ZMx%,)log2p(zk/xi)=-Z〃(巧)ZP?/x,.)log2p(z?/%)

ik?Lk

=Zp(%)2p(x)iog2P(x)="(y)

?LJ_

v/7(Z)>//(Z/X)

:.H(Z}>H(Y)

同理可得"(Z)2”(X)。

2.17給定聲音樣值X的概率密度為拉普拉斯分布〃(工)二方,-co<x<+oo,求He(X),并證

明它小于同樣方差的正態(tài)變量的連續(xù)爆。

解：

"<(x)=-匚〃。)加的p(x)dx=p(x)log2Ae

；M

=-log2-p{x}dx-p(x)log2e~dx

乙

=log，￡一「'：曲-冰10g,e~^dx

'xj2

2c+s

=log27~￡ZvIog2L

/v

其中：

="『og2""I：-『『”(log2)=["[；)log2e=log2e

22e

:.H(\X)=log2—+log2e=log2—bit/symbol

in=E(X)=Jp(x)-xdx=J—Ae~^xdx=10—xdx+￡gAe^'xdx

v￡|ke^xdx=￡^AeA(-y)(_)，)d(—y)=￡gZe-Ayydy=12e-Ayydy

:.in=-[—xdx+[—Ae~Zxxdx=0

Jo2J。2

o2=E[(X-tn)2=E(x2)=jp(x)'x2dx=|+；Ae^x^dx=￡Xe^x2dx

=一廣—=—―[；一『"的=「」加=2「小

1GG

"<.(X正態(tài))=-log17ieo-=log—而>"c(X)=log2一

2AA

廠+)Y\求〃⑺，H(Y),

2.18連續(xù)隨機(jī)變量*和v的聯(lián)合概率密度為：〃*,)，)=加「

0其他

，例0和I(X;Y)。

_￡兀

f2

(提示：Jolog2sinAYZx=——log22)

解:

I.2A/r2-x

/)、=--------1一(-r<x<r)

]-\r'-TH'TO-

H<(X)=-￡P(guān)(x)logp(x)dx

「2ylr-x2

=-〃(x)bg--------o-----dx

J-rm-

=-[pWlog—Jx-Jp(x)logVr2-x1dx

J-rm-

-Jp(x)log7r2-x2dx

TH-

=log-logr+1--loge

22

=log2——log2ebit!symbol

其中：

Jp(x)logVr2-x2dx

3Jr2-x2logy/r2-x1dx

令x=rcosO--，/-sinolog/-sin6t/(?-cos^)

=kt

4roe1

--Lr?sin-6logrsinBel0

7ir~

4產(chǎn).，

=J02sin"^log/,sinOdO

44JL

=-|2sin-0logrdO+—\2sin26logsin例6

萬(wàn)J。0儲(chǔ)。

1-cos2^...4痔l-cos26

-------------dO+—2-------------logsinOdO

22

個(gè)了)開(kāi))N、界

=—logd；dO-----logcos2用0+—￡2logsinOdO-—￡2cos2^logsinOdO

2

=logr-----logr，dsin2。+—(-^-log22)-----￡cos2^1ogsinGciG

=logr-1——「cos2,logsin勿夕

,,1,

=logr-I+-log2e

其中：

0￡

—pcosZeiogsinOclO

i￡

=—j^logsin^/sin20

1(￡￡

=—sin2^logsin喟-￡2sin23dlogsin。

=-耳2sin%os。空如配曲

7tJosin。

2

=--log2(?j^cosOdG

21r?l+cos2<9tn

11

=——log,e|2dO-----log,e\2cos20d0

乃~JonJo

I|￡

=-3log2e一尸。g2esin哪

乙乙，I

1,

=--log2e

P(加展p(xy)小咯土小號(hào)王Or)

p(y)=p(尤)

HC(Y)=HC(X)=log,^r--log2ebit/symbol

Hc(XY)=-jjp(肛)bgp(xy)dxdy

R

=-jjp(xy)\o^-^dxdy

R勿.

=log^r2jjp(xy)dxdy

R

=log2m,bit/symbol

IC(X\Y)=HC(X)+HC(Y)-HC(XY)

=21og2^r-log2e-logm-~

=iog2Iog2ebit/symbol

2.19每幀電視圖像可以認(rèn)為是由3X105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又

取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一

個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像

所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴)？若要哈當(dāng)?shù)拿枋龃?/p>

圖像，廣播員在口述中至少需要多少漢字？

解：

I)

H(X)=log,n=log2128=7bit/symbol

H(XN)=NH(X)=3X105X7=2.1X106bitIsymbol

2)

H(X)=log2n=log210000=13.288bit/symbol

H(XN)=NH(X)=1000X13.288=13288bit/symbol

3)

H(XN)2.lxl06

N==158037

H(X)13.288

2.20設(shè)X=X1X2...XN是平穩(wěn)離散有記憶信源，試證明：

/7(X1X2...XAr)=77(X1)+H(X2/X1)+//(X3/XIX2)+...+/7(XiV/X1X2...XiV_I)o

證明：

HIX]X2...XN)

二一￡Z…Z7…％)log“(％%…%)

*1?2%

=V)logp(七)p(z/%)..(況,

?i>2i”

=NE..2p(演z..陽(yáng))log〃(％)-ZZ-Zpg%??5)叫p(z/%)

?lLh%J?l*2L'N_

…?%)bgpCV%』T)

A<2>N

=-X〃(Z)bg〃(七)一ZE〃(七%)bg〃(4/%)

八八*2

…一〃(七)(玉,」必)

Zi2*2??,%Z4??4bgp&/

="(X1)+"(X?/XJ+H(X3/X]X2)+…+H(XN/X&.XNT)

2.21設(shè)X=Xd2...X”是力維高斯分布的連續(xù)信源，且的X?,…，尤的方差分別是

瓏㈤…城，它們之間的相關(guān)系數(shù)aXiXj)=oa,/=i,2...,N,w)。試證明：力維高斯分布的

連續(xù)信源炳

1N

H(X)=H(XX...X)=-X^2^(y：

ili2N2i2

證明：

相關(guān)系數(shù)夕(x//)=0(i,j=1,2,…,N,i*j),說(shuō)明XJ2…X,y是相互獨(dú)立的。

H,(X)=HC(X,X2...XN)=H,(XJ+HIX?)+...+H,(XN)

???乩(XJ=glog22點(diǎn)0；

?.H1.(X)=Hc(Xi)+H((X2)+..^Hc(XN)

=—log2盛(7；+-log17ieo\+...+—Iog

222222

]N

=TZ1O222^2

,i=\

0<x<a

2.22設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù)p(x)=.

其他

(1)試求信源才的炳"少；

(2)試求Y=X+，〉0)的烯〃。9;

(3)試求V=2#的炳40%

解：

1)

2

H,.(X)=-JR/(x)log2f(x)dx=-￡f(x)log2bxdx

2

=-log2/?-￡f(x)dx-￡/(x)log2xdx

1

=-log2/7-2“xlog2xdx

,,2ba3a?

=Tog2b---tlog—

92e

尸x⑴=，，F(xiàn)x(。)二號(hào)=1

，He(X)=-log2b-----log2—bit!symbol

2)

'.'0<x<a^>0<y-A<a

A<y<a+A

FY(y)=P(Y<y)=P(X+A<y)=P(X<y-A)

=^Abx2dx=-(y-A)3

/(y)=Fr(y)=Z?(y-A)2

2

H,(y)=-)R/(y)log2/'(y)力=-￡/(刈o(hù)g2h(y-A)dy

2

=-log2/??￡f(y)dy-￡/(y)log2(y-A)dy

=-log/?-2/?f(y-.A)2log(>*-A)d(y-A)

2JR2

^-loe,—bitIsymbol

=-log/?

29-e

??.4()')=g(y_A)3,4(a+A)=?=l

2〃3

H(Y)=-log,/?-----log,—bit!symbol

c■3~e

3)

*/0<x<?=>0<^<6/

2

0<y<2a

4(),)=P(Y<y)=P(2X<y)=P(X<+

=gbx2dx=4>3

2

/(y)=r(y)=1y

o

⑺=一工/⑴嗅2f(y)dy=—Jj(y)I%：產(chǎn)小

2

=Tog2tl/(y)<V-￡/(y)log2ydy

=Tog2,_q(y2bg2)d)，

o4”

,b2酎8/

=-log,------------log.-----

52898，e

..2ha3.ay9-2后

=->og/?-log—+

292e3

.??46')=Fy(2。)=4=1

4fJ

Hc(Y)=-log2Z7--1?log2—+1bit/symbol

X

3.1設(shè)信源通過(guò)一干擾信道，接收符號(hào)為Y={y1,y2},信道轉(zhuǎn)移矩

P(X)0.60.4

51

--

為

陣66

13

--,求:

44

一

⑴信源彳中事件M和事件x?分別包含的自信息量；

⑵收到消息匕。42)后，獲得的關(guān)于x,("7,2)的信息量;

(3)信源/和信宿丫的信息崎；

(4)信道疑義度仞和噪聲炳人萬(wàn)勿；

(5)接收到信息r后獲得的平均互信息量。

解：

1)

/(M)=-log2〃(X)=一bg20.6=0.737bit

/(x2)=-log2p(x2)=-log20.4=1.322bit

2)

p(y)=〃(xi)p(y/%)+〃(x，)p(y/弓)=。6、?+0.4><!=0.6

o4

13

〃()'2)=〃區(qū))〃()'2/尤1)+〃(工2)〃(%/々)=°6三+0.4、:=0.4

64

/(x/X)=k)g2一J=log,——=0.474bit

P(M)0.6

〃(乃/七)=log2—=-1.263bit

/(x,;^2)=log2

”(%)().4

P(X/%2)=log,—=-1.263bit

/(x;y,)=log

22P(H)-0.6

/(招;必)=log,P(J，：2)=iOg,照=().907bit

~P(乃)-0.4

3)

”(X)=_￡p(Xj)log〃(Xj)=-(0.6log0.6+0.4log0.4)log210=0.971bitIsymbol

i

_

H(Y)=一Z〃(匕)l°g〃G")=(0.6log0.6+0.4log0.4)log21()=0.971bit!symbol

4)

H(Y/X)=ZP(七)P(X/七)bg〃(3/蒼)

55111133

=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog,10

66664444

=0.715bit/symbol

???H(X)+H(Y/X)=H(Y)+H(X/Y)

H(X/Y)=H(X)+H(Y/X)-H(Y)

=0.971+().715-0.971=0.715billsymbol

5)

/(X；y)=//(X)-//(X/r)=0.971-0.715=0.256bit/symbol

21

3.2設(shè)二元對(duì)稱信道的傳遞矩陣為；I

53.

(1)若P(0)=3/4,P(1)=1/4,求，⑴，HCX/Y),“化勿和l(X：Y)^

(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；

解：

1)

331I

H(X)=-ZP(M)=-(—xlog2—+—xlog2—)=0.811bit!symbol

“(y/x)=-gZ)p(匕/巧)嗟P()J%)

?J

32,231,111,112.2,s

=-(—x—]g—+—x—]g—+—x—1g—+—x—Ig—)Xxlog,10

433433433433

=0.918bit!symbol

3211

"(y)=)+〃(工2乃)=P(F)P(Y/2)+〃(X2)P()'1/%2)=.x5+1x5=0.5833

3112

P(y)=P&l匕)+P(W>2)=M%)P(%/內(nèi))+P(x2)P()'2/W)=:X；+7X；=0.4167

24343

H(Y)=—Zp{yj)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbol

j

I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

H(X/Y)=H(X)-H(Y)+H(r/X)=0.8U-0.980+0.918=0.749bitIsymbol

/(X；y)=H(X)-H(X/Y)==0.811-0.749=0.062bit/symbol

2)

1122

C=max/(X;K)=log2m-Hmi=log22+(-1g—4--1g—)xlog210=0.082bit/symbol

/、1

〃(七)=3

J

3.3設(shè)有一批電阻，按阻值分70%是2KQ,30%是5KQ；按瓦分64%是0.125W,其余是0.25W。

現(xiàn)已