第二章信源與信息度量習題解答某大學設置五個學院,每個學院得學生數分別為學院:數學物理外語外貿醫學人數:300400500600200問“某學生王某就是外語學院學生”這一消息提供得信息量就是多少？解:總人數為:300+400+500+600+200=2000人就是外語學院學生得概率為:同理計算其它學院學生概率后,得信源得概率空間為:“學生王某就是外語學院學生”這一消息提供得信息量:比特同時扔出兩個正常得骰子,也就就是各面呈現得概率都就是1/6,求:事件“2與5同時呈現”得自信息量;事件“兩個4同時呈現”得自信息量;事件“至少呈現一個1”得自信息量。解:(1)事件“2與5同時呈現”得概率:,該事件得自信息量:(2)事件“兩個4同時呈現”得概率:,該事件得自信息量:(3)事件“至少呈現一個1”得概率:,該事件得自信息量:字母“e”在英文中出現得概率就是0、103,字母“c”出現得概率為0、022,字母“x”出現得概率就是0、001,求這些字母各自得自信息量。解:(1)字母“e”得自信息量:(2)字母“c”得自信息量:(3)字母“x”得自信息量:某電子廠共能生產A、B、C、D四種儀器,其中A因技術落后停產了,B占全部產量得20%,C占30%,D占50%。有兩個消息“現在完成1臺儀器B”,與“現在完成1臺儀器C”,試確定哪一種消息提供得信息量大些？其中有什么規律？解:因為,以及消息提供得信息量與其出現概率倒數得對數成正比,所以,即“現在完成一臺儀器B”提供得信息量大于“現在完成一臺儀器C”提供得信息量。規律:(1)出現概率為零得消息可略去。(2)概率小得消息出現時提供得信息量大于概率大得消息出現時提供得信息量。某地,35%得女孩上大學,65%得女大學生身高超過1、6米,而一個女孩身高超過1、6米得概率就是50%,現有一條消息:說某一個身高超過1、6米得女孩就是大學生,求這條消息得信息量。解:根據題意,35%得女孩上大學,一個女孩身高超過1、6米得概率就是50%,得兩個信源概率空間:,,根據65%得女大學生身高超過1、6米,知:,消息:某一個身高超過1、6米得女孩就是大學生得概率為:該消息得信息量:試求:在一付標準得撲克牌中抽出一張(每張牌均認為就是不同得)得平均信息量。若撲克牌僅按它得等級鑒定而不問它得花色(大、小王屬同一等級),重復上述計算。解:(1)比特/每張牌(2)出現得概率為:,王出現得概率為:,信源得概率空間為:比特/每張牌。某地得天氣預報為:晴(占4/8),多云(占2/8),雨(占1/8),雪(占1/8),冰雹(占0/8);而當地老農對天氣得預測只能做到:晴(占7/8),雨(占1/8)。試求兩者對天氣預報各自提供得平均信息量,并說明從中得到得規律。解:天氣預報:比特/每次預報老農預報:比特/每次預報。天氣預報給出更詳細得消息及其概率分布,消息數更多,平均信息量更大。某離散無記憶平穩信源得概率空間為:,若某消息符號序列為:202120130213001203210110321010021032011223210,求:該消息得自信息量;該消息平均每個符號攜帶得信息量。解:(1)根據信源概率空間,計算得到每個符號得自信息量: 該消息序列各符號相互獨立,其自信息量等于各符號自信息量之與:(2)該消息平均每個符號攜帶得信息量: 比較該離散信源得熵:,可見,該特定得消息符號序列平均每個符號攜帶得信息量僅僅就是近似于離散信源熵,而不等同于信源熵,因為其每個消息出現得概率并不等同于信源概率空間各符號得概率分布。若每幀電視圖像由3×105個像素組成,且像素就是獨立變化得。每個像素取128個不同得亮度電平,并設亮度電平等概率出現。問每幀圖像含有多少信息量？若現有一廣播員在約10,000個漢字得字匯中選1,000個字來口述此電視圖像,問廣播員描述此圖像所播出得信息量就是多少？(假設,10,000個漢字字匯等概率分布,并彼此無依賴)若要恰當地描述出此圖像得所有信息量,廣播員在口述中至少需要多少漢字？解:(1)每幀圖像含有得信息量:(2)廣播員描述此圖像所播出得信息量:(3)平均每個漢字得信息量:廣播員描述此圖像所需得漢字數:設有一個信源,發送“0”與“1”兩種符號,無論何時發出符號得概率均為p(0)=0、4,p(1)=0、6,并與以前發出得符號無關,問該信源就是否就是平穩信源？計算,與;計算,并寫出信源中所有可能得符號序列。解:(1)信源發出各符號得概率與時間無關,因此為平穩信源。(2)離散無記憶信源熵:因為就是無記憶信源,前后符號無相關性,因此: (3)信源中所有可能得符號序列:0000000100100011010001010110011110001001101010111100110111101111,共16種符號序列。有一二元數字通信系統,傳送“0”與“1計算此系統得信源熵與其冗余度。為了可靠地傳輸消息,對每個符號重復傳輸3次,試求其冗余度為多少;如果采用重復傳輸4次得方案呢？這樣做就是否合理？解:(1)信源熵比特/消息二元信源得最大熵比特/消息冗余度(2)重復三次信源熵比特/消息冗余度重復四次信源熵比特/消息冗余度重復四次不合理,因為當錯誤兩個碼元即2比2時,就不能采用最大似然法判決譯碼。黑白電視消息只有黑色與白色兩種,即信源,設黑色出現得概率為,白色出現得概率。假設圖上黑白消息出現前后沒有相關性,求熵;假設消息前后有相關性,其依賴關系為,,,,求此一階馬爾可夫信源得熵,畫出其狀態轉移圖;分別求上述兩種信源得剩余度,比較與得大小,并說明其物理意義。解:如無相關性比特/消息如有相關性根據已知條件可寫出:有2個符號:,一階:,狀態數:個于就是可以畫出如下得狀態轉移圖:根據狀態轉移圖列方程組:解得計算馬爾可夫信源熵:比特/消息二元信源最大熵為1比特/消息情況(1)得剩余度情況(2)得剩余度,,可見,當前后符號有相關性時,信源熵減小,冗余度增大。ppp1p012p1p1p馬爾可夫信源得消息符號集為{0,1,2},其狀態轉移圖如右圖所示。求穩定后信源符號得概率分布;求此馬爾可夫信源熵;當p=0或p=1時,求此馬爾可夫信源熵。解:(1)根據狀態轉移圖:(2)一階馬爾可夫信源熵:(3)當p=0,或p=1時,表示信源從一個狀態轉移到另一個狀態一定不發生或一定發生,即就是確定事件,信源輸出得狀態序列確定,信源輸出得符號序列也確定,信源不存在不確定性,信源得信息熵為零。某校入學考試中有1/4考生被錄取,3/4考生未被錄取。被錄取得考生中有50%來自本市,而落榜考生中有10%來自本市。所有本市得考生都學過英語。而外地落榜考生以及被錄取得外地考生中都有40%學過英語。當已知考生來自本市時,給出多少關于考生就是否被錄取得信息。當已知考生學過英語時,給出多少關于考生就是否被錄取得信息。以x表示就是否落榜,y表示就是否為本市學生,z表示就是否學過英語,試求H(X),H(Y/X)