第2版《電子工業出版社》第二章信息論初步2.1

信息論的兩條發展途徑2.2

信息論研究的主要內容2.3

信息的對數量度

2.4

離散信源與連續信源

2.5

信道容量與香農公式

2.6

信道編碼

Chapter2PreparationofInformationTheory2.1信息論的兩條發展途徑

維納和香農都認為信號和噪聲均可用規定集合的統計規律來描述，但他們探討的數學模型卻大不相同。不過，目的都是要在接收端盡可能地重現原信號。簡介研究對象噪聲對接收端重現原信號的影響代表人物理論研究側重應用途徑一維納微弱信號檢測理論自動控制過程中的信號預測問題

在干擾作用下信號的最佳接收問題，它是通信、雷達、導航、遙測、遙控以及電子對抗等的理論基礎。途徑二香農信道設計和編碼理論重現正時延的原信號

信源和信道的統計特性及編碼方法，目的是提高信息傳輸的效率和可靠性。2.2信息論研究的主要內容

信息論研究的基本問題則是有關信源、信宿和信道的統計特性，以及信源編碼和信道編碼等問題。它對通信體制和通信系統的研究具有指導意義。簡介◆信息論在理論上指出了建立最佳編碼、最佳調制和最佳接收方法的最佳系統的理論原則。

信源

信源所包含的信息量，以及在單位時間內信源發出的信息量（信息熵）信源編碼

使信源發出的消息變換成其碼長度與信源各消息概率分布達到匹配的代碼組，以提高傳輸消息的有效性信宿在無擾信道和有擾信道上信宿能收到的信息量的多少

信道信道傳輸信息量的能力（信道容量），并敘述了有擾離散信道的信道編碼定理

信道編碼各種糾錯編碼方式的數學理論、糾錯能力和實施方案

2.3信息的對數量度

一個預先確知的消息不會給接收者帶來任何信息，沒有傳遞的必要。為了衡量通信系統的傳輸能力，需要對被傳輸的信息進行定量的測度，如互信息量、熵等。簡介2.3.1互信息量◆兩個隨機變量

——發生事件X

——觀察事件Y◆事件Y=yj

出現，說明事件X=xi提供的信息量：條件概率：事件Y=yj出現時，事件X=xi發生的概率先驗概率：事件X=xi發生的概率情況條件概率信息量隨機變量X和Y統計獨立事件Y=yj

的出現唯一地決定事件X=xi

的發生——X=xi的自信息量I(xi)◆條件自信息量：能在規定條件下唯一地確定該事件必須提供的信息量。隨機事件的不確定性（或不肯定性）◆一個隨機事件出現的概率接近于1，說明該事件發生的可能性很大，它所包含的不確定性就很小。◆出現概率很小的隨機事件，它所包含的不確定性就很大。◆極限情況下，當出現P(xi)=1的確定事件，則有I(xi)=0。出現概率小的隨機事件所包含的不確定性大，也就是它的自信息量大。出現概率大的隨機事件所包含的不確定性小，也就是它的自信息量小。

互信息量的三個特征

1）互易性

2）當xi與yj

相互獨立時，互信息量為零3）互信息量可正可負——Y=yj

的出現提供事件X=xi

發生的信息量等于的出現X=xi

提供事件Y=yj發生的信息量。2.3.2通信熵◆信源熵：無記憶信源的平均自信息量是各消息自信息量的概率加權平均值(統計平均值)。◆定理1：熵滿足不等式，當且僅當當且僅當信源X中各消息的出現概率P(x)都等于1/M時，等號成立。二元信源：◆條件熵：二維聯合空間XY上的條件自信息量的概率加權平均值。聯合概率或同理，◆共熵：(又稱聯合熵)是聯合空間XY上的每個元素對xy的自信息量的概率加權平均值。或互換關系OrOr2.3.3各種熵的性質聯合集XY上的條件熵H(Y|X)滿足下式：◆定理2：當且僅當y和x是相互獨立時，即在P(y|x)=P(y)的條件下，等號成立。◆定理3：聯合集XYZ上的條件熵，即H(Z|XY)和H(Z|Y)滿足下列不等式：◆定理4：聯合集上的聯合熵小于或等于各個集合的熵之和。當且僅當各個集合相互獨立時，聯合熵等于各個集合的熵之和，并且為聯合熵的最大值。條件愈多，熵就愈小。2.3.4平均互信息量◆XY聯合集上的平均條件互信息量：◆定理5：XY聯合集上的平均條件互信息量滿足下式：當且僅當X集合中的各個x都與yj互相獨立，即P(x|yj)=P(x)時，才取等號。And平均互信息量的性質

1）互易性2）平均互信息量與熵和條件熵的關系And3）4）平均互信息量與熵和共熵的關系2.4離散信源與連續信源

產生離散消息的信源稱為離散信源，其統計特性用離散型隨機過程描述；產生連續消息的信源則稱為連續信源，其統計特性用概率密度函數描述。簡介2.4.1離散信源離散消息可以看成是一種有限個狀態的隨機序列，它可以用離散型隨機過程的統計特性予以描述。◆離散消息xi所攜帶的信息量◆如果消息中各符號的出現統計相關，則必須用條件概率來計算平均信息量。條件熵如右定義：例2.1某離散信源由A、B、C三種符號組成，相鄰兩符號的出現統計相關，其轉移概率矩陣為：已知，求信源的平均信息量？◆信源的條件平均信息量為：◆若A、B、C符號統計獨立，則平均信息量為：當符號間統計獨立時信源的熵高于統計相關時的熵，也就是說，符號間相互關聯將使平均信息量減小。說明◆當離散信源中各符號等概率出現，而且各符號的出現為統計獨立時，該信源的平均信息量最大。◆相對熵：◆信源的冗余度：

無用信息比例

2.4.2連續信源◆連續信源產生的是連續消息。◆連續消息：實際上是一個統計過程X(t)。◆連續信息的平均信息量：◆若發送的離散消息為xi，而相應的接收消息為yj，那么接收端收到的信息量等于yj接收到之前對發送消息xi的不確定性，減去接收到yj之后對xi余留的不確定性。◆在x和y的全部幅度上的平均信息量：2.4.3信源編碼◆信源編碼的目的：-把信源發出的符號消息（或數字消息）變換為用信道的基本符號構成的代碼組；-壓縮信息速率，以提高傳輸消息的有效性。信源編碼器的數學模型◆正規編碼器：能把信源發出的所有消息一一對應地變換成相應代碼組的信源編碼器，不會損失能量。

◆非正規編碼器：會有一部分消息沒有相應的代碼組，在編碼過程中損失掉這部分信息量。

VsVs設◆消息能在信道上不失真傳輸的條件是信息傳輸速率必須小于或等于信道的信道容量。若信息傳輸速率大于信道容量，則所傳輸的消息必然產生失真。

◆均勻編碼信道：各代碼組包含的碼元個數相同，即各個代碼組的時間長度都相同。

代碼組時間長度為b秒，包含的碼元個數為m個，每個碼元為D進制，則Dm個狀態，每個狀態對應一個代碼組。設-等效信源的熵：

-時間熵：-信息傳輸速率：

-最大信息傳輸速率：

◆編碼效率：信息傳輸速率R與信道容量C的比值。

◆最佳編碼的兩個原則：-把信源符號集合中出現概率大的符號編成長度較短的代碼組，而把出現概率小的符號編成長度較長的代碼組；-在信源編碼器輸出的代碼組序列中不必使用碼組間隔就能把序列逐個分成代碼組。2.5信道容量與香農公式

實際的通信信道都是存在著干擾的有擾信道，其信道容量與帶寬、干擾有關。香農公式給出了在傳輸信號的平均功率受限制和峰值功率受限制的條件下的信道容量。簡介2.5.1無擾離散信道的信道容量◆信道的信道容量：單位時間內信道上所能傳輸的最大信息量。若對數的底為2，時間單位為秒，則信道容量的單位比特/秒。◆若給定的無擾離散信道在時間T內能傳輸的不同消息的總數為N(T)，則此信道的信道容量為2.5.2有擾離散信道的信道容量◆若信道中存在干擾，則輸入符號與輸出符號之間存在某種隨機性，具有一定的統計相關性，取決于轉移概率P(yi|xi)，即信道輸入符號（即發送符號）為xi，信道輸出符號（即接收符號）為yi的條件概率。二進制有擾信道傳輸特征◆信道矩陣◆對稱信道：信道矩陣的各行和各列分別具有相同集合的元素。

◆具有L種消息的有擾離散的對稱信道，其信道容量為：若信源發出的符號序列的各符號之間互相獨立，并在無擾信道或弱干擾的信道上傳輸，則信道輸出的各符號之間也是互相獨立的，且傳送的符號序列的平均互信息量等于各個符號的平均互信息量之和。當信道的輸入消息集合與輸出消息集合互相獨立時，信道不能傳送任何信息。對稱信道的信道容量在給定信道輸入消息概率分布的條件下能使誤碼率最小的方案稱為最佳譯碼方案，能夠實現最佳譯碼方案的檢測器就稱為理想觀察者。通常使用的最佳譯碼方案是按照后驗概率最大的譯碼準則設計的，這個準則又稱為最大似然判決準則。最佳譯碼方案若，把yj譯成xi*。◆當信息傳輸速率R小于信道容量C時，傳輸消息的誤碼率為：碼組長度（碼元數目）隨機編碼指數2.5.3有擾連續信道的信道容量◆有擾連續信道中，接收到的信號y是發送信號x和信道噪聲n的線性疊加，且x和n在各抽樣點上均為獨立正態分布。◆條件概率密度函數p(y|x)等于噪聲的概率密度函數f(n)。◆連續信源的相對條件熵：◆連續信道的信道容量：2.5.4香農公式香農信道容量公式：帶寬信號功率噪聲功率◆結論1：若提高信噪比S/N，則信道容量C也提高。

◆結論2：若噪聲的功率譜密度n0→0，噪聲功率，則信道容量C→∞，也就是說無干擾信道的信道容量為無窮大。

◆結論3：若增加信道帶寬B，則信道容量C也增加，但不能無限制地增加，即當B→∞時，。◆結論4：信道容量C一定時，帶寬B和信噪比S/N可以互換。◆結論5：若信源的信息速率R小于或等于信道容量C，則理論上可以實現無差錯傳輸。若信息速率R大于信道容量C，則不可能實現無差錯傳輸。

香農信道容量公式：帶寬信號功率噪聲功率香農公式曲線歸一化信道容量和信噪比

歸一化信道帶寬與信噪比

2.6信道編碼

若信道容量為C，消息源產生信息的速率為R，只要C≥R，則總可以找到一種信道編碼方式實現無誤傳輸；若C<R，則不可能實現無誤傳輸，即香農第二定理。簡介2.6.1香農第二定理◆定理6：有噪信道編碼定理設離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當信息傳輸率R<C時，只要碼長n足夠長，總可以在輸入的符號集中找到2nR個碼字組成的一組碼和相應的譯碼規則，使譯碼的錯誤概率任意小(Pe→0)。◆定理7：有噪信道編碼逆定理設離散無記憶信道，P(x|y)為信道傳遞概率，信道容量為C。當信息傳輸率R>C時，無論碼長n多長，均找不到一種編碼2nR，使譯碼的錯誤概率任意小。當n→∞時，差錯概率接近為1.2.6.2編碼方法無錯傳送的界限【二元對稱信道為例】

n個輸入符號共有2n種序列，只選用2k種序列(k＜n)作為碼字（k個信息位，r=n-k個監督位），則信息率R＝k/n比特/符號。倘若這種編碼方法能糾正傳輸引起的t個錯誤符號，則當n→∞、信道的誤碼率ε<t/n時，能達到無錯誤的傳輸。信道容量為1-H(ε)bit／符號。取等號時的曲線稱為漢明上限。任何編碼方法不可能超過此界限。2.6.3檢錯與糾錯◆信道編碼的本質是引入冗余度，即在傳輸的信息碼元后面增加一定數量的碼元，使接收端能根據這些碼元檢測錯誤，并糾正。-檢錯編碼：檢查有無錯誤發生的編碼-糾錯編碼：能糾正已發生錯誤的編碼。差錯類型1）隨機差錯：熱噪聲引起的差錯，