最大信息熵原理_第1頁
最大信息熵原理_第2頁
最大信息熵原理_第3頁
最大信息熵原理_第4頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

—* JB大信息館腺理 —熱力學統計物理中有熵增加原理，在信息論中也有對應的關于信息熵的著名定理――最大信息熵原理。在很多情況下，對一些隨機事件，我們并不了解其概率分布，所掌握的只是與隨機事件有關的一個或幾個隨機變量的平均值。例如，我們只知道一個班的學生考試成績有三個分數檔：80分、90分、100分，且已知平均成績為90分。顯然在這種情況下，三種分數檔的概率分布并不是唯一的。因為在下列已知條件限制下P1*80+P2*90+p3*100=90（平均成績）P1+P2+P3=1（概率歸一化條件）有無限多組解，該選哪一組解呢？即如何從這些相容的分布中挑選出“最佳的”、“最合理”的分布來呢？這個挑選標準就是最大信息熵原理。按最大信息熵原理，我們從全部相容的分布中挑選這樣的分布，它是在某些約束條件下（通常是給定的某些隨機變量的平均值）使信息熵達到極大值的分布。這一原理是由楊乃斯提出的。這是因為信息熵取得極大值時對應的一組概率分布出現的概率占絕對優勢。從理論上可以證明這一點。在我們把熵看作是計量不確定程度的最合適的標尺時，我們就基本已經認可在給定約束下選擇不確定程度最大的那種分布作為隨機變量的分布。因為這種隨機分布是最為隨機的，是主觀成分最少，把不確定的東西作最大估計的分布。任何物質系統除了都受到或多或少的外部約束外，其內部總是具有一定的自由度，這種自由度導致系統內的各元素處于不同的狀態。而狀態的多樣性，狀態的豐富程度（混亂程度、復雜程度）的定量計量標尺就是熵，熵最大就是事物狀態的豐富程度自動達到最大值。換句話說，事物總是在約束下爭取（或呈現）最大的自由權，我們把這看作是自然界的根本原則。在給定的約束條件下，由最大信息熵原理求“最佳”概率分布，就是求解條件極值問題。在某些場合，常用拉格朗日乘子法來確定此分布。一般地，拉格朗日乘子法的法則可敘述如下：欲求n元函數（X、,，…，x）在m個血5約束條件2 n&（獨吃=a＜他（心冷…?兀）=D （6）_為舗居，…衛J=D下的條件極值，可用常數1,仏九，…，九依次乘f,仇嘰…嘰把結果加起來，得函數廳〔?；?，…，兀）=f+^+^+'"+aA

然后列出%也??用無約束條件時具有極值的必要條件然后列出%也??用無約束條件時具有極值的必要條件7）這n個方程（7）與m個方程（6）聯立解出n+m個未知數x1，x2，?，x，。而其中x1，x2，?，x就是可能為極值點的坐2n12n標，稱為駐點。從信息論中發展起來的最大信息

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論