1、2022/10/91習題課2.3 擲一對無偏的骰子，若告訴你得到的總的點數為：(a) 7；(b) 12。試問各得到了多少信息量? 2.3的解答 這是求事件的自信息量。記隨機變量X=“總的點數”，則所以，事件“X=7”的自信息量為log2(36/6)；事件“X=12”的自信息量為log2(36)。2022/10/92習題課2.4 經過充分洗牌后的一付撲克(含52張牌)，試問：(a) 任何一種特定排列所給出的信息量是多少?(b) 若從中抽取13張牌，所給出的點數都不相同時得到多少信息量?2.4的解答 這是求事件的自信息量。(a) 任一特定排列的概率都是(1/52!)，所以自信息量為log2(52!

2、)；(b) 從52張牌中抽取13張牌，共有 種抽取方法。而使得所給出的點數都不相同的抽取方法有 種。所以事件“點數都不相同”的概率為 ，自信息量為 。2022/10/93習題課2.6 園丁植樹一行，若有3棵白楊、4棵白樺和5棵梧桐。設這12棵樹可隨機地排列，且每一種排列都是等可能的。若告訴你沒有兩棵梧桐樹相鄰時，你得到了多少關于樹的排列的信息? 2.6的解答 共有12！種不同的排列。滿足“沒有兩棵梧桐樹相鄰”的排列個數為81+72+63+54+45+36+27+18=120（為什么？）記X=“樹的排列情況”， Y=“梧桐樹有無相鄰位置”。則本題要求半平均互信息量2022/10/94習題課X有1

3、2！個不同的事件x，每個事件x的概率為1/(12！)。Y有2個不同的事件，“Y=無”的概率為120/(12！)，“Y=有”的概率為(12！-120)/(12！)。以下要計算：在“Y=無”的條件下， X= x（ x為某個特定排列）的條件概率P(X=x|Y=無)。若在x這個特定排列中，梧桐樹有相鄰位置，則P(X=x|Y=無)=0；若在x這個特定排列中，梧桐樹無相鄰位置，則2022/10/95習題課2022/10/96習題課2.7 某校入學考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10來自本市。所有本市的考生都學過英語，而外地落榜考生中以及被錄取的外

4、地考生中都有40%學過英語。(a) 當己知考生來自本市時，給出多少關于考生是否被錄取的信息?(b) 當已知考生學過英語時，給出多少有關考生是否被錄取的信息?(c) 以x表示是否被錄取，y表示是否為本市學生，z表示是否學過英語，x、y和z取值為0或1。試求H(x)，H(y|x)，H(z|y)。2022/10/972.7的解答 (a)是求事件“來自本市”與隨機變量“是否被錄取”的半平均互信息量。 (b)是求事件“學過英語”與隨機變量“是否被錄取”的半平均互信息量。以x表示是否被錄取（0表示被錄取，1表示未被錄取），y表示是否為本市學生（0表示本市學生，1表示非本市學生） ，z表示是否學過英語（0表

5、示學過英語，1表示未學過英語） ，則P(xyz=000)=(1/4)(50%)1=12.5%；P(xyz=001)=(1/4)(50%)0=0；P(xyz=010)=(1/4)(50%)(40%)=5%；P(xyz=011)=(1/4)(50%)(60%)=7.5%；P(xyz=100)=(3/4)(10%)1=7.5%；P(xyz=101)=(3/4)(10%)0=0；P(xyz=110)=(3/4)(90%)(40%)=27%；P(xyz=111)=(3/4)(90%)(60%)=40.5%。2022/10/98各個邊際分布(xy)聯合分布P(xy=00)=12.5%；P(xy=01)=1

6、2.5%；P(xy=10)=7.5%；P(xy=11)=67.5%。(xz)聯合分布P(xz=00)=17.5%；P(xz=01)=7.5%；P(xz=10)=34.5%；P(xz=11)=40.5%。x概率分布P(x=0)=25%；P(x=1)=75%。y概率分布P(y=0)=20%；P(y=1)=80%。z概率分布P(z=0)=52%；P(z=1)=48%。(yz)聯合分布P(yz=00)=20%；P(yz=01)=0；P(yz=10)=32%；P(yz=11)=48%。2022/10/99習題課2022/10/910習題課2022/10/911習題課2.8 在A、B兩組人中進行民意測驗，

7、組A中的人有50%講真話(T)，30%講假話(F)，20%拒絕回答(R)。而組B中有30%講真話，50%講假話和20%拒絕回答。設選A組進行測驗的概率為p，若以I(p)表示給定T、F或R條件下得到的有關消息來自組A或組B的平均信息量，試求I(p)的最大值。 2.8的解答 I(p)是什么信息量？記X=“選擇的組號”，X的事件有A和B；Y=“得到的回答”，Y的事件有T、F、R。則I(p)=I(X; Y)。2022/10/912習題課計算X的概率分布：P(X=A)=p；P(X=B)=1-p。計算Y的概率分布：P(Y=T)=p50%+(1-p)30%=30%+ p20%；P(Y=F)=p30%+(1-

8、p)50%=50%- p20%；P(Y=R)=p20%+(1-p)20%=20%。計算聯合概率分布：P(XY=AT)=50p/100；P(XY=BT)=30(1-p)/100；P(XY=AF)=30p/100；P(XY=BF)=50(1-p)/100；P(XY=AR)=20p/100；P(XY=BR)=20(1-p)/100。2022/10/913習題課2022/10/914習題課2.9 隨機擲三顆骰子，以X表示第一顆骰子拋擲的結果，以Y表示第一和第二顆骰子拋擲的點數之和，以Z表示三顆骰子的點數之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。2.9的解答求H

9、(Z|Y)，必須先求(YZ)的聯合概率分布和Y的概率分布；求H(X|Y)，必須先求(XY)的聯合概率分布和Y的概率分布；求H(Z|X)，必須先求(XZ)的聯合概率分布和X的概率分布；求H(Z|XY)，必須先求(XYZ)的聯合概率分布和(XY)的聯合概率分布；求H(XZ|Y)，必須先求(XYZ)的聯合概率分布和Y的概率分布。2022/10/915(XYZ)的聯合概率分布為：P(XYZ)=(x,y,z)=1/216；x=16，y=x+1x+6，z=y+1y+6。(XY)的聯合概率分布為：P(XY)=(x,y)=1/36；x=16，y=x+1x+6。2022/10/916習題課(YZ)的聯合概率分布

10、為：P(YZ)=(2,3)=1/63，P(YZ)=(2,4)=1/63， ， P(YZ)=(2,8)=1/63，P(YZ)=(3,4)=2/63，P(YZ)=(3,5)=2/63， ， P(YZ)=(3,9)=2/63，P(YZ)=(6,7)=5/63，P(YZ)=(6,8)=5/63， ， P(YZ)=(6,12)=5/63，P(YZ)=(7,8)=6/63，P(YZ)=(7,9)=6/63， ， P(YZ)=(7,13)=6/63，P(YZ)=(8,9)=5/63，P(YZ)=(8,10)=5/63， ， P(YZ)=(8,14)=5/63，P(YZ)=(11,12)=2/63，P(YZ)

11、=(11,13)=2/63， ， P(YZ)=(11,17)=2/63，P(YZ)=(12,13)=1/63，P(YZ)=(12,14)=1/63， ， P(YZ)=(12,18)=1/63。2022/10/9172022/10/918習題課(XZ)的聯合概率分布為：P(XZ)=(1,3)=1/63，P(XZ)=(1,4)=2/63，P(XZ)=(1,7)=5/63，P(XZ)=(1,8)=6/63，P(XZ)=(1,9)=5/63，P(XZ)=(1,12)=2/63，P(XZ)=(1,13)=1/63；P(XZ)=(2,4)=1/63，P(XZ)=(2,5)=2/63，P(XZ)=(2,8)

12、=5/63，P(XZ)=(2,9)=6/63，P(XZ)=(2,10)=5/63，P(XZ)=(2,13)=2/63，P(XZ)=(2,14)=1/63；，P(XZ)=(6,7)=1/63，P(XZ)=(6,8)=2/63，P(XZ)=(6,12)=5/63，P(XZ)=(6,13)=6/63，P(XZ)=(6,14)=5/63，P(XZ)=(6,17)=2/63，P(XZ)=(6,18)=1/63。2022/10/919習題課2022/10/920習題課X的概率分布： P(X=x)=1/6，其中x=16。Y的概率分布：當y=27時，P(Y=y)=(y-1)/36；當y=812時，P(Y=y)

13、=(13-y)/36 。Z的概率分布： P(Z=3)=1/216，P(Z=4)=3/216，P(Z=5)=6/216，P(Z=6)=10/216，P(Z=7)=15/216，P(Z=8)=21/216，P(Z=9)=25/216，P(Z=10)=27/216，P(Z=11)=27/216，P(Z=12)=25/216，P(Z=13)=21/216，P(Z=14)=15/216，P(Z=15)=10/216，P(Z=16)=6/216，P(Z=17)=3/216，P(Z=18)=1/216。2022/10/921習題課X值123456概率1/61/61/61/61/61/6Y值234567891

14、01112概率1/362/363/364/365/366/365/364/363/362/361/36Z3456789101112131415161718概率13610152125272725211510631636363636363636363636363636363632022/10/922將以上的概率分布代入以下的計算公式：2022/10/923習題課2022/10/9242022/10/925習題課2.10 設有一個系統傳送10個數字：0, 1, , 9。奇數在傳送時以0.5的概率錯成另外的奇數（？！），而偶數總能正確接收。試求收到一個數字平均得到的信息量。2.10的解答 問題一：這是

15、什么信息量？“收到一個數字平均得到的信息量”似乎指的是“收到的數字”這個隨機變量的平均自信息量（熵）：H(收到的數字)。“發送一個數字x時，所給出的收到數字的平均信息量”應該指的是半平均互信息量： I(發送的數字=x；收到的數字)。“發送數字時，所給出的收到數字的平均信息量”應該指的是平均互信息量： I(發送的數字；收到的數字)。2022/10/926習題課問題二：既然是求 “收到的數字”這個隨機變量的平均自信息量（熵），那么“收到的數字”的概率分布如何計算？假設“發送的數字”服從等概分布：P(發送的數字=j)=1/10， j=09則P(收到的數字=偶數x)=P(發送的數字=偶數x)=1/10

16、；P(收到的數字=奇數x)=P(發送的數字=奇數x) 0.5+P(發送的數字=另個奇數u1) 0.125+P(發送的數字=另個奇數u2) 0.125+P(發送的數字=另個奇數u3) 0.125+P(發送的數字=另個奇數u4) 0.125=1/10(bits)2022/10/927習題課這就是說，當假設“發送的數字”服從等概分布時， “收到的數字”服從等概分布。 H(收到的數字)=log10。I(發送的數字；收到的數字)2022/10/928習題課2.11 令ul, u2, , u8為一等概消息集，各消息相應被編成下述二元碼字:ul=0000，u2=0011，u3=0101，u4=0110u5=

17、1001，u6=1010，u7=1100，u8=1111碼字通過轉移概率為p的BSC傳送。試求(a) 接收的第一個數字0與ul之間的互信息量。(b) 接收的前二個數字00與ul之間的互信息量。(c) 接收的前三個數字000與ul之間酌互信息量。(d) 接收的前四個數字0000與ul之間的互信息量。2.11的解答 顯然是求事件之間的（非平均）互信息量。首先什么是“轉移概率為p的BSC”？解釋如下（詳見第四章）。2022/10/929習題課“轉移概率為p的BSC”是這樣一種輸入/輸出機制：（1）在一個固定時刻，P(輸出0|輸入0)=P(輸出1|輸入1)= 1-pP(輸出1|輸入0)=P(輸出0|輸

18、入1)= p（2）在不同時刻的輸入/輸出操作是相互獨立的：P(t1t2tn時刻輸出v1v2vn |t1t2tn時刻輸入u1u2un)=P(t1時刻輸出v1|t1時刻輸入u1)P(t2時刻輸出v2|t2時刻輸入u2)P(tn時刻輸出vn|tn時刻輸入un)2022/10/930習題課(a)P(接收的第一個數字為0)=P(發送的第一個數字為0)P(接收的第一個數字為0|發送的第一個數字為0)+P(發送的第一個數字為1)P(接收的第一個數字為0|發送的第一個數字為1)=P(發送的第一個數字為0)(1-p)+P(發送的第一個數字為1)p=P(發送ul或u2或u3或u4)(1-p)+P(發送u5或u6或

19、u7或u8)p=(1/2)(1-p)+(1/2)p=1/2。2022/10/931習題課P(發送ul)=1/8。P(發送ul，且接收的第一個數字為0)=P(發送ul)P(接收的第一個數字為0|發送ul)=P(發送ul)P(接收的第一個數字為0|發送的第一個數字為0)=(1/8)(1-p)。因此，I(發送ul；接收的第一個數字為0)2022/10/932(b)P(接收的前兩個數字為00)=P(發送的前兩個數字為00)P(接收的前兩個數字為00|發送的前兩個數字為00)+P(發送的前兩個數字為01)P(接收的前兩個數字為00|發送的前兩個數字為01)+P(發送的前兩個數字為10)P(接收的前兩個數

20、字為00|發送的前兩個數字為10)+P(發送的前兩個數字為11)P(接收的前兩個數字為00|發送的前兩個數字為11)=P(發送ul或u2)(1-p)2+P(發送u3或u4)(1-p)p+P(發送u5或u6)p(1-p)+P(發送u7或u8)p2=1/42022/10/933習題課P(發送ul，且接收的前兩個數字為00)=P(發送ul)P(接收的前兩個數字為00 |發送ul)=P(發送ul)P(接收的前兩個數字為00 |發送的前兩個數字為00) =(1/8)(1-p)2。因此，I(發送ul；接收的前兩個數字為00)2022/10/934(c)P(接收的前三個數字為000)=P(發的前面為000)

21、P(收的前面為000|發的前面為000)+P(發的前面為001)P(收的前面為000|發的前面為001) +P(發的前面為010)P(收的前面為000|發的前面為010)+P(發的前面為011)P(收的前面為000|發的前面為011) +P(發的前面為100)P(收的前面為000|發的前面為100)+P(發的前面為101)P(收的前面為000|發的前面為101) +P(發的前面為110)P(收的前面為000|發的前面為110)+P(發的前面為111)P(收的前面為000|發的前面為111)=P(發u1)(1-p)3+P(發u2)p(1-p)2+P(發u3)p(1-p)2+P(發u4)p2(1-

22、p) +P(發u5)p(1-p)2+P(發u6)p2(1-p)+P(發u7)p2(1-p)+P(發u8)p3=1/82022/10/935習題課P(發送ul，且接收的前三個數字為000)=P(發送ul)P(接收的前三個數字為000 |發送ul)=P(發送ul)P(接收的前三個數字為000 |發送的前三個數字為000) =(1/8)(1-p)3。因此，I(發送ul；接收的前三個數字為000)2022/10/936(d)P(接收的前四個數字為0000)=P(發u1=0000)P(接收的前四個數字為0000 |發0000)+P(發u2=0011)P(接收的前四個數字為0000 |發0011)+P(發

23、u3=0101)P(接收的前四個數字為0000 |發0101)+P(發u4=0110)P(接收的前四個數字為0000 |發0110)+P(發u5=1001)P(接收的前四個數字為0000 |發1001)+P(發u6=1010)P(接收的前四個數字為0000 |發1010)+P(發u7=1100)P(接收的前四個數字為0000 |發1100)+P(發u8=1111)P(接收的前四個數字為0000 |發1111)=(1/8)(1-p)4+(1/8)p2(1-p)2+(1/8)p2(1-p)2+(1/8)p2(1-p)2+(1/8)p2(1-p)2+(1/8)p2(1-p)2+(1/8)p2(1-p

24、)2+(1/8)p4=(1/8)(1-p)4+6p2(1-p)2+p42022/10/937習題課P(發送ul，且接收的前四個數字為0000)=P(發送ul)P(接收的前四個數字為0000 |發送ul=0000)=(1/8)(1-p)4。因此，I(發送ul；接收的前四個數字為0000)2022/10/938習題課2.13 令X、Y、Z是概率空間（即隨機變量），試證明下述關系式成立。(a) H(YZ|X)H(Y|X)H(Z|X)，給出等號成立的條件。(b) H(YZ|X)=H(Y|X)H(Z|XY)。(c) H(Z|XY)H(Z|X)，給出等號成立的條件。2.13的解答2022/10/939(a) 在以下的推導式中，不等號成立的理由來自于引理2。2022/10/940(b)2022/10/941(c) 在以下的推導式中，不等號成立的理由來自于引理2。不等號變成等號的充要條件是