信息能否度量？物質、能量和信息是構成客觀世界的三大要素。信息（information）是什么?至今信息還沒有一個公認的定義一般定義：常常把消息中有意義的內容稱為信息。信息能否度量？物質、能量和信息是構成客觀世界的三大要素。1認識問題的過程：當我們對一問題毫無了解時，對它的認識是不確定的，在對問題的了解過程中，通過各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來度量信息量的大小。例：會堂有20排、每排20個座位。找一個人。甲告訴消息：此人在第10排；乙告訴消息：此人在第10排、第10座。認識問題的過程：例：會堂有20排、每排20個座位。找一個人。2是否存在信息量的度量公式？1948年，美國數學家、信息論的創始人Shannon在題為“通訊的數學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。并應用概率論知識和邏輯方法推導出了信息量的計算公式ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".是否存在信息量的度量公式？1948年，美國數學家、信息論的3公理1：信息量是事件發生概率的連續函數；公理2：信息量是有限值；公理3：如果事件A和事件B的發生是相互獨立的，則獲知事件A和事件B將同時發生的信息量是單獨獲知兩事件發生的信息量之和。設事件發生的概率為P，則滿足上述公理的信息量函數為為應用方便，可取c=1，a=e，單位為奈特（nat）公理1：信息量是事件發生概率的連續函數；設事件發生的概率為P4信息量函數I=-lnp如何體現不確定性的消除？信息量函數I=-lnp如何體現不確定性的消除5例：會堂有20排、每排20個座位。找一個人。甲告訴消息(A)：此人在第10排；乙告訴消息(B)：此人在第10排、第10座。由信息量公式I=-lnp可知I是p的單調下降函數例：會堂有20排、每排20個座位。找一個人。由信息量公式I6信息熵(entropy

)的概念設離散型隨機變量X的概率分布為

X的信息熵定義為“加權平均信息量”

信息熵(entropy)的概念設離散型隨機變量X的概率分布7信息熵的直觀意義

變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以，信息熵也可以說是系統有序化程度的一個度量。X甲贏乙贏P0.90.1H0.325X甲贏乙贏P0.50.5H0.693信息熵的直觀意義變量的不確定性越大，熵也就越大8熵的性質連續非負性對稱性擴展性可加性極值性：熵的性質連續非負性91948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門科學學科的誕生。近年來，隨著計算機應用的發展和信息時代的來臨，信息論理論和應用的研究更顯示出其重要意義。1948年，Shannon提出了熵的概念，并以此作為信息的度10應用1：識別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒有砝碼的天平用最少次數找出假幣？每個硬幣可能是真，也可能是假，且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為ln24。應用1：識別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量11將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性：假幣在天平左邊、右邊、不在天平上。當3種可能性概率相同時，熵最大，因此每次實驗提供的最大信息熵為ln3。設至少秤k次，k次實驗提供的信息熵最多為kln3,有ln24=kln3可得k至少為3。將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性12應用2：熵與參數估計的似然函數應用2：熵與參數估計的似然函數13應用3：群體遺傳學AaAa應用3：群體遺傳學AA14平均信息熵及其應用課件15由此可見，無論第一代基因型概率分布為何值，第二代基因型熵即達到最大

多對等位基因也有相同的結論AaBbAaBb由此可見，無論第一代基因型概率分布為何值，第二代基因型熵即達16Hardy–Weinberg平衡

(H–W平衡)定律一個隨機交配的群體中，等位基因頻率保持不變，基因型頻率至多經過一個世代也將保持不變。Hardy–Weinberg平衡

(H–W平衡)定律17問題的提出在信息論中，如何評價信源提供信息量的多少，是一個值得探討的問題。現在用的是相對率的概念，是以信息熵與最大信息熵之比作為依據的。問題：該值多大才算提供較多的信息量？問題的提出在信息論中，如何評價信源提供信息量的多少，是一個值18問題的設想提出平均信息熵作為評價依據。在信息論中也是如此，當信源提供的信息量達到或超過平均信息熵時，可認為已提供了較多的信息。以學習成績比較為例，眾所周知，成績好壞，除了與最高分比較，更多的是與平均成績比較，當某個學生的成績超過平均成績時，說明該生的成績較好，否則說明應該發奮努力了。問題的設想提出平均信息熵作為評價依據。在信息論中也是如此，當19問題的解決提出了平均信息熵的概念推導了計算公式、性質給出了應用：作為信源提供信息量多少的評價依據。

問題的解決提出了平均信息熵的概念20平均值概念的推廣平均值概念的推廣21平均信息熵的定義平均信息熵的定義22平均信息熵及其應用課件23平均信息熵及其應用課件24平均信息熵公式公式：與調和級數有關n23456789100.50.831.081.281.451.591.721.831.93平均信息熵公式公式：n23456789100.50.831.25平均信息熵的性質平均信息量至少占最大值72%平均信息熵的性質平均信息量至少26平均信息熵的性質C為歐拉常數，近似值約0.5772，已計算到了108,000,000位，目前還不知道它是有理數還是無理數。平均信息熵的性質C為歐拉常數，近似值約0.5772，已計算到27平均信息熵的性質平均信息熵的性質28平均信息熵的性質隨機變量X的函數f(X)的平均信息熵：

當f為單調函數時，

平均信息熵的性質隨機變量X的函數f(X)的平均信息熵：29平均信息熵的性質等值面

等值面位于如下的多面體中：

其中p*為下式的解

平均信息熵的性質等值面等值面位于如下的多面體中：其中p*30平均信息熵的性質

等值面外的點組成一個凸集

平均信息熵的性質等值面外的點組成一個凸集31平均信息熵及其應用課件32應用1：食物營養價值的評價食物中蛋白質的氨基酸種類多、組成復雜，營養豐富，對機體的生長發育有利，我們可根據蛋白質的氨基酸組成比率計算信息熵，并與平均信息熵比較，作為評價營養價值的一個依據

應用1：食物營養價值的評價食物中蛋白質的氨基酸種類多、組成復33稻米中8種氨基酸營養當量X分布表

蘇氨酸0.049纈氨酸0.120蛋氨酸0.113異亮氨酸0.113亮氨酸0.115苯丙氨酸0.134賴氨酸0.08色氨酸0.231稻米中

大部分氨基酸可在人體內合成，但這8種氨基酸需從食物中攝取，可知稻米的營養價值是非常豐富的。王德仁，等．施氮對稻米蛋白質、氨基酸含量的影響[J]．植物營養與肥料學報．2001，7（3）：353-6

稻米中8種氨基酸營養當量X分布表王德仁，等．施氮對稻米蛋白34應用：基因信息熵根據四個堿基出現的概率，7個物種細胞色素C基因的信息熵如下表，由表可知，無論是高等生物還是低等生物，其信息熵都遠大于平均信息熵Human1.9966Chicken1.9886Yeast1.9817Rat1.9699Mouse1.9599Bovine1.9582D.melangaster1.9529

應用：基因信息熵根據四個堿基出現的概率，7個物種細胞色素C基35LIMBACH,K.J.&WU,R.Isolationandcharacterizationoftwoallelesofthechickencytochromecgene[J].Nucl.AcidRes.1983(11):8931-8941NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M.etal.IsolationofacDNAcloneforhumancytochromec:fromagt11expressionlibrary[J].BiochemicalandBiophysicalResearchcommunications,1987(145):34-44LIMBACH,K.J.&WU,R.Isolatio36應用：英文字母信息熵計算機鍵盤設計參考了英文字母在文章中出現的頻率，根據英文26個字母及空格出現的頻率，可求出其信息熵（bit）為

由此可知，大自然基因的“天書”信息量更豐富，比人類用英文字母寫的文章更復雜，讀懂它任重而道遠。

應用：英文字母信息熵計算機鍵盤設計參考了英文字母在文章中出現37拋磚引玉如何將本問題推廣到連續性隨機變量？拋磚引玉如何將本問題推廣到連續性隨機變量？38信息能否度量？物質、能量和信息是構成客觀世界的三大要素。信息（information）是什么?至今信息還沒有一個公認的定義一般定義：常常把消息中有意義的內容稱為信息。信息能否度量？物質、能量和信息是構成客觀世界的三大要素。39認識問題的過程：當我們對一問題毫無了解時，對它的認識是不確定的，在對問題的了解過程中，通過各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來度量信息量的大小。例：會堂有20排、每排20個座位。找一個人。甲告訴消息：此人在第10排；乙告訴消息：此人在第10排、第10座。認識問題的過程：例：會堂有20排、每排20個座位。找一個人。40是否存在信息量的度量公式？1948年，美國數學家、信息論的創始人Shannon在題為“通訊的數學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。并應用概率論知識和邏輯方法推導出了信息量的計算公式ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".是否存在信息量的度量公式？1948年，美國數學家、信息論的41公理1：信息量是事件發生概率的連續函數；公理2：信息量是有限值；公理3：如果事件A和事件B的發生是相互獨立的，則獲知事件A和事件B將同時發生的信息量是單獨獲知兩事件發生的信息量之和。設事件發生的概率為P，則滿足上述公理的信息量函數為為應用方便，可取c=1，a=e，單位為奈特（nat）公理1：信息量是事件發生概率的連續函數；設事件發生的概率為P42信息量函數I=-lnp如何體現不確定性的消除？信息量函數I=-lnp如何體現不確定性的消除43例：會堂有20排、每排20個座位。找一個人。甲告訴消息(A)：此人在第10排；乙告訴消息(B)：此人在第10排、第10座。由信息量公式I=-lnp可知I是p的單調下降函數例：會堂有20排、每排20個座位。找一個人。由信息量公式I44信息熵(entropy

)的概念設離散型隨機變量X的概率分布為

X的信息熵定義為“加權平均信息量”

信息熵(entropy)的概念設離散型隨機變量X的概率分布45信息熵的直觀意義

變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以，信息熵也可以說是系統有序化程度的一個度量。X甲贏乙贏P0.90.1H0.325X甲贏乙贏P0.50.5H0.693信息熵的直觀意義變量的不確定性越大，熵也就越大46熵的性質連續非負性對稱性擴展性可加性極值性：熵的性質連續非負性471948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門科學學科的誕生。近年來，隨著計算機應用的發展和信息時代的來臨，信息論理論和應用的研究更顯示出其重要意義。1948年，Shannon提出了熵的概念，并以此作為信息的度48應用1：識別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒有砝碼的天平用最少次數找出假幣？每個硬幣可能是真，也可能是假，且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為ln24。應用1：識別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量49將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性：假幣在天平左邊、右邊、不在天平上。當3種可能性概率相同時，熵最大，因此每次實驗提供的最大信息熵為ln3。設至少秤k次，k次實驗提供的信息熵最多為kln3,有ln24=kln3可得k至少為3。將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性50應用2：熵與參數估計的似然函數應用2：熵與參數估計的似然函數51應用3：群體遺傳學AaAa應用3：群體遺傳學AA52平均信息熵及其應用課件53由此可見，無論第一代基因型概率分布為何值，第二代基因型熵即達到最大

多對等位基因也有相同的結論AaBbAaBb由此可見，無論第一代基因型概率分布為何值，第二代基因型熵即達54Hardy–Weinberg平衡

(H–W平衡)定律一個隨機交配的群體中，等位基因頻率保持不變，基因型頻率至多經過一個世代也將保持不變。Hardy–Weinberg平衡

(H–W平衡)定律55問題的提出在信息論中，如何評價信源提供信息量的多少，是一個值得探討的問題。現在用的是相對率的概念，是以信息熵與最大信息熵之比作為依據的。問題：該值多大才算提供較多的信息量？問題的提出在信息論中，如何評價信源提供信息量的多少，是一個值56問題的設想提出平均信息熵作為評價依據。在信息論中也是如此，當信源提供的信息量達到或超過平均信息熵時，可認為已提供了較多的信息。以學習成績比較為例，眾所周知，成績好壞，除了與最高分比較，更多的是與平均成績比較，當某個學生的成績超過平均成績時，說明該生的成績較好，否則說明應該發奮努力了。問題的設想提出平均信息熵作為評價依據。在信息論中也是如此，當57問題的解決提出了平均信息熵的概念推導了計算公式、性質給出了應用：作為信源提供信息量多少的評價依據。

問題的解決提出了平均信息熵的概念58平均值概念的推廣平均值概念的推廣59平均信息熵的定義平均信息熵的定義60平均信息熵及其應用課件61平均信息熵及其應用課件62平均信息熵公式公式：與調和級數有關n23456789100.50.831.081.281.451.591.721.831.93平均信息熵公式公式：n23456789100.50.831.63平均信息熵的性質平均信息量至少占最大值72%平均信息熵的性質平均信息量至少64平均信息熵的性質C為歐拉常數，近似值約0.5772，已計算到了108,000,000位，目前還不知道它是有理數還是無理數。平均信息熵的性質C為歐拉常數，近似值約0.5772，已計算到65平均信息熵的性質平均信息熵的性質66平均信息熵的性質隨機變量X的函數f(X)的平均信息熵：

當f為單調函數時，

平均信息熵的性質隨機變量X的函數f(X)的平均信息熵：67平均信息熵的性質等值面

等值面位于如下的多面體中：

其中p*為下式的解

平均信息熵的性質等值面等值面位于如下的多面體中：其中p*68平均信息熵的性質

等值面外的點組成一個凸集

平均信息熵的性質等值面外的點組成一個凸集69平均信息熵及其應用課件70應用1：食物營養價值的評價食物中蛋白質的氨基酸種類多、組成復雜，營養豐富，對機體的生長發育有利，我們可根據蛋白質的氨基酸組成比率計算信息熵，并與平均信息熵比較，作為評價營養價值的一個依據

應用1：食物營養價值的評價食物中蛋白質的氨基酸種類多、組成復71稻米中8種氨基酸營養當量X分布表

蘇氨酸0.049纈氨酸0.120蛋氨酸0.113異亮氨酸0.113亮氨酸0.115苯丙氨酸0.134賴氨酸0.08色氨酸0.231稻米中

大部分氨基酸可在人體內合成，但這8種氨基酸需從食物中攝取，可知稻米的營養價值是非常豐富的。王德仁，等．施氮對稻米蛋白質、氨基酸含量的影響[J]．植物營養與肥料學報．2001，7（3）：353-6

稻米中8種氨基酸營養當量X分布表