測量信息論

“信息”一詞是本世紀20年代人們在研究通信的一般規律時由哈特來（R.V.Hartley）等人提出。而仙農（C.E.Shannon）在1948年發表的<通信的數學理論>的著名論文中奠定了信息論的理論基礎。信息論源于通信工程，背景是關于通訊中的：

⒈

信息傳輸的效率⒉

信息傳輸的準確性⒊

噪聲干擾⒋

信道頻率特性廣義通信系統，即信息流通系統

廣義通信系統模型

信息從信息源（informationsource）傳送到信宿。發信器（transmitter）又稱編碼器，把信息變換成物理信號。受信器（receiver）又稱譯碼器，把物理信號轉換成信宿能感知的信息的裝置。信宿（destination）是信息傳輸的對象。信息的定量描述——信源模型與信息熵。

自然科學通常都應作定量的描述，定性描述只能解釋一些現象。從理論上研究信息大小當作定量描述。Shannon信息理論的貢獻在于：運用概率論與數理統計學方法，對信息給予了數學描述。從而使信息論作為一門科學建立起來。

信源的輸出是隨機的。信源的輸出常用隨機變量或隨機矢量來描述，從隨機變量出發研究信息，是shannon信息理論的基本假設。由概率論可知，隨機變量可取值于某一離散集合，也可取值于某一連續區間，相應的信源稱為離散信源及連續信源。離散信源模型

離散信源模型是離散型概率空間，即:x1,x2,…,xN

描述信源輸出的可能狀態。P（x1）P（x2）P（xN）

描述各種狀態出現的可能性。

信源狀態的出現是不相容的。

例如：拋硬幣其中，P（x1）=P（x2）=0.5，該系統為等概率事件，稱為先驗概率。

用超聲波檢測物體內部有無裂紋

X1

代表物體內部有裂紋X2

代表物體內部無裂紋自信息某事件發生所含有信息量稱為自信息，它是該事件發生的先驗概率的函數，即

I（xi）=f[P（xi）]P（xi）是事件xi發生的先驗概率；I（xi）表示事件xi發生所含有的信息量。

信源中某一狀態發生的先驗概率很小，但一旦發生，所獲得的信息量就多。例如：一臺新機器，具有正常工作和發生事故兩種可能狀態。

正常工作概率為P（x1）=0.99，

發生故障概率為P（x2）=0.01。一旦發生故障，則是一件引人注目的事件。I（xi）與P（xi）有以下關系：

I（xi）是P（xi）的單調遞減函數；當P（xi）=1時，I（xi）=0，必然事件信息量為零；當P（xi）=0時，I（xi）=∞，不可能發生的事件發生了，信息量為無窮大；兩個獨立事件的聯合信息量，應等于它們各自信息量之和。I（xi）與P（xi）關系用下圖表示：根據上述條件，I（xi）與P（xi）用下式表達：I（xi）代表兩種含義：

A.當事件xi發生以前，表示事件xi發生的不確定性；B.當事件xi發生以前，表示事件xi所含有的信息量。信息量單位取決于所取對數之底：以2為底，信息量單位為比特（bit），以e為底，信息量單位為奈特（nat），以10為底，信息量單位為哈特（Hart）。一般采用以2為底的對數，當P（xi）=1/2，I（xi）=1比特。

熵---新的顯世界惜觀地球叔是一蕉個封現閉系乞統，庸其能劫源、壤資源碌和容歇積有羽限，然人類偉會的判發展魂增長譽必然培有一插個極傲限。熱力井學定于律熵的妹概念躍是從婆熱力仁學引交導出銀來的城。熱力披學第0定律尤：溫度柔與熱豪平衡。17牲09年荷廊蘭G。D。Fa閥hr綢en易he蕉it建立競華氏視溫標倡，17鴉42年瑞協典天陶文學方家A。Ce富ls片iu它s建立順攝氏彎溫標沒，熱力看學第堡一定趴律(能量區守恒黨定律)：能尺量是圍守恒的、穗不滅梨的，闖只能蠢從一紐奉種形獻式轉稍變成使另一佩種形京式。亞從而乞否認膚了第覺一類喂“永鐘動機臉”。臺物理嶼學家棟焦耳拳經30年的缺研究查，于18賄48年提遠出。熱力教學定譽律熱力足學第浴二定妨律（熵增蓋加原勵理）胳：研究糞熱效份率，騙否認粥了第手二類銳“永錦動機勵”（滋即認影為能蒜量是旺取之償不竭丙的）欣。18蟲50年科借學家覺克勞鑼休斯/1將85勻1年科伸學家鑼開爾條芬提探出。熱力角學第羨三定解律：絕對罰溫度0K不可拉達定規理，即票稱能斯氣脫定貍理。19菠06年科隙學家沖能斯勁脫提蠻出。駕如果廉一個棕系統堵的溫付度趨池近于店絕對留溫度0K時，講其熵趨肅于0，且囑不隨在時間威而變槳化，他即有至：實驗賊證明膝：是碰不能幅達到葉的，退因此繡，上分式也趣不可脹能實秘現。熵（En套tr普op廣y）熵的咸定義暴：在一持個熱夾力體燥系中劫，熱常能的敞利用未是與奮環境贊溫度遭有關剃的。漫蒸汽泛雖然拍有熱吉能，瘋但如伍果周矮圍的趕環境識溫度穩與蒸懸汽一準樣，奧則蒸嬌汽的屑熱能鏡就無嗚法利堪用。窮如果鉗周圍糟溫度災略為澆降低貨，則疲一部稈分蒸塔汽的唐熱能介就可電變為田功，炭而仍牛有一罵部分跡不能貍利用把。不巨論在晝任何甲熱力侵體系常中，用這種愁不能館利用皇的熱創能可誼以用比熱能牌除以筑溫度挨所得授的商驢來量宣度它益，這謊個商騾就定咽義為熵。熵的某特性物理套學家R.待Cl眾au頭si桐us提出廢了熱倆熵的磚概念稈，它芝是熱卻系統克的一股個狀殿態函乏數，批反映熄狀態耀的多紫樣性撈和不情可期監望性質的程任度。在熱塊力學起中，送“熵晌是能償量轉陽變為冰有用故功的頁能量據多少易的量很度”根據湊物理念學原爺理，壓自然滿界具狂有三顯種平恨衡：力學次平衡熱平拍衡化學災平衡一個腿系統您愈接寫近平際衡，繳則可敗用于就作功淚的能稼量就肢愈少紹。因悶此，必一個怖系統推的熵辛愈大況，不粘能作院功的確能量水就愈戶多，始能量睡的品宵質就羅愈差稈。熵的掠特性能量墾只能徑不可溫逆轉刊地沿義著一奏個方畝向轉呀化，防即從幣對人接類來玻說是岡可利顛用的貢到不零可利秋用的拼狀態朽，從舊有效料的到炕無效膠的狀染態轉削化。電用加爾遲文的話陳說：賄這種屈無效攔能量棵已從結人們碎那里身不可芬挽回酸地失館去了糧，盡綿管它益并沒洋有消丸滅。熵就是爸這種閃不能綠再被獲轉化較作功毫的能殘量的曠總和篩，即熵是無秘效能轉量（涂無序辰狀態答）的帥總和宵，熵的增膝加就噴意味夜著有震效能夸量的倦減少罷。在一啟個封殿閉的乞系統悄里，表所有舍能量傳是從節有序稍狀態普到無讀序狀免態轉馬化，排物質啦的熵最終妻將達意到最堡大值脊。當熵處于屢最小走值時部，能價量集鈔中程勵度最錦高，蜻有效遼能量童最大惡，系悅統處扁于最具有序偽狀態您；反遍之，熵為最恒大時梨，有逢效能壘量完醋全耗狡盡，擱也就援是混亡亂度項最大般的狀春態。澇所以五熱力舉學第甲二定都律也勾稱之憐為熵定律瓶。熵定酬律是拴自然矛界一走切定羅律中欺的最秧高定玩律。熱寂旁學說墨與大撐爆炸--地球恢的起炸源與遞毀滅熵定律臟不僅教適于份地球蒜，也吊適于里整個刻宇宙減。這往與赫爾智姆霍姥茨的熱寂悲學說是一伙致的圍。他認些為整妙個宇監宙是款一個準密集埋能源條的大豬爆炸夢開始密的。躺當這程個稠帳密能末源向須外膨常脹時餅，它蛙的膨攏脹速休度逐項漸減益慢，納從而墊形成救了銀嶼河系握、恒鹿星、元行星箱和地悔球。能源煌也漸灘漸失兄去原藍來的栗次序衣，最集后達妙到最豬大熵惠，即熱寂的最識終熱凍平衡疏狀態紀，一潮切能效量差標別趨簡于零效，所美有能亦量已隔消耗枕一空輔，處歐于永諸恒的學死寂疾。大爆慶炸學撫說與熵定律倚是一嚇致的鏈。熵與霉時間熵是軟時光久之箭，熵定絡律與畝時間的概低念也非是一府致的桌：熵不能煙減少被，時勵間也煩不能乏倒流池。時窮間推座延的神過程坦就是替熵增立加的盼過程襪，我嫌們無午法逆辱轉時大間和互熵的贈過程存，熵判定律遞展示籃了時集間的尼方向符。人們歷的意幕識與字時間制、生棵命和摩熵是衣緊密難聯系亞的。宇宙崇達到主熱寂皺的平劑衡狀街態，呢任何鳴事情拒也不社會發聯生，凍時間璃也就圓不復儲存在循了。熵與孩生命有機吹體的和生長吼都伴擇隨宇億宙總講熵的編遞增辨。科學秒家們勢認識己到收寇集信刃息和棚儲存碼知識靈都要碧花費瓜能量孝，因恥此也技是熵般增加況的過欲程。饒從本刻能、降直覺附、理舟智到蟻抽象噸思維反，人胡類思厭想都匪愈來話愈復奧雜、墳集中我、抽丑象。獎而且捎信息亮越多碑，反滑而更芬加糊搬涂。累心理譽學家救稱之括為“蓄信息薄超載雷”。事實閥上能辰源和諸物資胸是一鼻項資火本，創它不比是人鞏們生膨產出菊來的滿，而犁是地榨球所壤賦予惡的，亦是不控可替充代的穗有限籃資本悔。因圓此，俯世界支非再咐生能損源和報物資詢的消員耗正灶在使熵提高敵到一挽個危霜險的嗽水平蛙。信息槳熵發扔展歷逃程信息故論的余創始慌人香群農（C.畏E.稍Sh馳an糟no微m）19談48年發孕表的閣“通史信的企數學愧理論登”中揀提出昆信息醉論并考提出汽信息基熵(e柔nt缺ro播py供)—香農鑄熵和秩互信格息（mu狂ty律alin瓶fo府rm狠at枕io坦n）的概孟念，宏奠定扛了信弊息論英基礎饑。具有困劃時精代意政義。漢明紐奉（R.均W.愛Ha刪mm膨in曾g）提出勝：信恐息論--悶--新--信道你編碼皇構造角理論E.洲T.儉Ja涼yn爬es19桂57年提圈出最葵大熵爹原理S.粒K.帥Ku奏ll叮ba圾ck19數59年提女出并軋為J.音S.廁Sh賄or商e等人19筒80年發允展的詠鑒別婚信息冊及最恢小鑒補別信敵息(d綁is無cr隊im相in拒at曉io務n塌in延fo抓rm萍at丈io艦n)原理孤理論信息蕩熵發渣展歷它程蘇聯煤學者A.認N.鄰Ko協lm刮og售or王ov19歐58年指狐出“著熵”艦相等汁是動濾力系軟統同們構的駝必要鋤條件旦，開惹辟了渡遍歷牙理論寧，即朽動力望系統養的熵愿及其膚在同某構中虧的應崖用。竄并提估出ε熵，作解決講了連掘續變尤量下嬸熵的靜定義膝問題沉。19歸65年提燈出信尤息量暈度定怨義的旬三種椅方法泡：概掛率法丘，組滿合法挽，計們算法19裝68年提孟出算舞法信盛息理肌論Re摩ny插i19盆61年提此出α熵概苗念J.圈Ha黑vr財da19幫67年提伙出β熵概雖念S.艘Ar細im阻ot擦o19裝71年提叼出γ熵概鳳念S.通Gu饅ia次su19雹77年提茄出加鎖權熵嗚概念C.舟Fe哥rr猾er盆i19蟻80年提黨出次鞏熵E.農T.你Ja荷yn偷es19頌57年提果出的申最大爪熵原悶理是株信號隨處理縮慧的一揭個重秩要方油法。使最大器熵譜非估計湖標志絲式著熵扮已開蕉始取棵代其貿它信捧號處朵理方誤法。20世紀80年代灶又提口出交蠢叉熵浩的概烘念，蟻用于毀信號賠處理浙。信息文熵發笛展歷夾程信息乒量度盞已系倒統地禿發展狹成為逃信息公處理謊的一妨種準濱則，渡并在信軍息技袖術領輛域逐束步取質代功誘率的然最小樣均方釣誤差撐準則扁。信票息論魯已成萬為信稿號與尊信息惠處理宮的基成本理進論。信息哥論已頸廣泛齡應用黑于各扯科學禍領域敢，測如試領翠域也您不例擦外。信息隙熵的宗計算Sh掩an利no南n定義豪自信枯息的晶數學戚期望繳為信技息熵死，即禁信源照的平閱均信六息量熵的引單位流是[b販it企/事件]。不同劃信源再，其旋統計院特性仁不同踢，熵墊也不脅同。信息光熵分路別為戀：信息任熵的西特性浮（性怨質）助：⒈對稱姻性當概屋率空勤間P（x1），P（x2）…順序孝任意爹互換賄時，嚷熵函以數值爸不變竊。⒉確定蘇性如果丸信源柜的輸枕出只處有一凈個狀碧態是姑必然求的，尸即P（x1）=1，P（x2）=膝P（x3）=…勿=0，則信栽源的平熵⒊非負拉性即H（X）≥0因為呀：0<蠻P（xi）<1，所取授對數收的底系大于1，lo沒g耽P（xi）<0，-P（xi）lo倘g評P（xi）>0，即熵豪為正枯值。⒋壤可加主性統計貪獨立徒信號寬源X和Y的聯呆合信想號源普的熵丙等于耕它們謀各自喉的熵搞之和兼。⒌極值端性信號哄源各唐個狀菌態為乞等概肆率分父部時斯，熵能值最舌大，左并等唐于信住源輸送出符編號（經狀態零）數澤。即連續往信源松及最澡大熵右定理連續很信源即的數雨學模普型為垃連續抗型的善概率界空間岔。P（x）是隨驗機變雖量x的概脈率密圾度函葵數。連續眾信源蟲的熵寶為：該熵抹又稱城為相堡對熵具或差贊熵。最大跡熵定吵理在連些續信雄源中持，當次各約行束條朋件不月同時貫，信峽源的喉最大慕相對份熵值朱不同捏。峰值賢功率賢受限蓬條件倘下信密源的輸最大上熵概率妨密度平均否功率祖受限條條件盡下信笛源的兩最大厭熵若一將個信莖源輸宿出的棟平均社功率野有限付，則嘩其輸犯出信存號的童概率甘密度商分布爭是高懲斯分另布時仍，信犬源有筐最大寺熵。一維淚隨機策變量x的概沿率密批度分唯布為叼：M是x的均榨值，σ2是x的方度差。揀該連怨續信俱源的彩熵正態甲分布需的連脹續信牧源的筐熵與同數學無期望m無關犁，只形與方疑差σ2有關掀。N維：式中發：信息譜與熵傲的守枯恒定宮律熵描冒述了釘系統叼的不健確定犯性程多度，夕而信的息則冷是消染除了公系統故不確弱定性損而得葉到的鄙東西水。一個詠體系舍的信璃息與譯熵的蛛和保嬌持恒鐵定，罪并等味于該習體系業在給回定條腿件下姿所能崖達到瞎的最柔多信脈息或謹最大透熵。數學僵表達邁式為:式中皆：I——對系壘統觀兆測后狠所獲公得的層信息殼；Hma茄x——系統狐的原傾始熵久；H——觀測偷以后芹系統梁仍具翼有不巖確定護性所梨具有植的熵義。測量險信息摩論原雞理測量葡的目塞的是擠為了撫獲得闖被測招對象簽的信頑息，稍確定洞被測沈量的譜量值野。因鏈此，秩測量恐系統凱也就律是一軍個信仰息系箏統。野從信魯息的坦角度說來看悠，測乳量系蠻統的劫作用翠是傳戒輸信奧息，溜以消坐除觀夸察者距對被欲測量話的不通確定瞇性；關于雙測量翁誤差曬的分謎析與批處理騎，在鐵前面丑我們愛是以姥概率象論為形基礎耀進行旬的。曾然而釋，信瓶息的白概念裂比概度率更接為基獻本，百信息萬方法羅比傳產統數爐理統遵計方暫法的餅應用見更為顆廣泛網。尤狀其在犧誤差況概率帳估計宅、數笑據處得理和鼠參數呼估計桐等分京析中飼，測叢量信沃息論牧具有估更強腳的能啄力。用測逮量信燃息論共來處邁理測抵量誤管差，歡主要努研究驗以下癥問題系：測釀量信則息系裁統的截模型窄；測腹量信匙息的命量度豆；最鍋大信禁息熵支原理杜及其披誤差杜概率個估計嫁；利賀用誤矛差熵響來計手算測澇量不矩確定五度等預。測試叮系統扇的基毅本模沙型系統輝的輸美入是彼被測攀量A，輸出潔是經判測量借系統將所得均的測箏量值X。信息典測量死的過箱程信息咱測量普的過膏程就漆是將額被測沸信息憑從無蟻限多江個物羅理復迫雜過銀程的陷集合碌中分拔離出言來的犯過程敬。因較此，屑必須吊去除澡多余榮信息督：初始刊信息哭形成喉，全房誠部物午理信靜息；草（物理馳連接）信息天結構導綜合鋪，濾趣除無梁關物招理信削息；射（傳感糾器）信息斷語義率綜合蜂，提倆取有摘價值瓶的信稼息，膨實現缸信息陵測量考；（測量寇原理）信息寸統計邪綜合調，利增用信卸息隨喂機特繪性的雖計算錄，減祖少信謙息的菜隨機清誤差被；（信息舉熵）信息亦密度爹逐漸滑減少條件遼熵由于炭被測站量A是離蝕散隨究機變雄量，甘所以序，測隆量值X也是擾隨機謎變量遙：x1暗,x兄2,礎…xn。由于曬任何眠一次申測量貝都會慶有測膏量誤倦差，給即測亭量的時不確繭定性罷，因既此，卵測量愚到一再個測懇量值接后，傻被測叛量值弱與測選量值蹤蝶兩個婆隨機拼變量邊之間鴨的不化確定將性，啞可用飼條件衰熵來推表示難：條件呆熵表鹿示兩粗個隨籌機變朽量之集間的紋統計毀依賴歷關系料，即H（A/致X）表示誤已知X時，A的不框確定腫性；H（X/呆A）表示眼已知A時，X的不速確定陜性。測量消信息米量測量姥信息業量等駕于測磨量A的信萬息熵H（A）減去價條件涉熵H（A/漫X），它等漢于從億測量述值X中提著取的刃關于舟被測返量A的信市息量孩，故喊測量鄙信息鏟量可格表示梢為：如果痕沒有對測量炭誤差書，測情量值涌就等拒于被漏測值嫂，即P（a1遼/x末1）=1，也就蠢是H（A/夏X）=0，所以辱，測開量信鉆息量供就為艇：即表雅示測躍量可摩以獲春得被匆測量植值的芬全部逐信息樣。