第5章信源編碼技術(shù)5.1最佳變長(zhǎng)編碼回顧：1、根據(jù)信源編碼理論，將能夠荷載一定信息量，且碼字的平均長(zhǎng)度最短，可分離的變長(zhǎng)碼字集合稱為最佳變長(zhǎng)碼。2、最佳變長(zhǎng)碼編碼的基本原則是：概率大的信源符號(hào)分配短的碼字，而概率小的信源符號(hào)分配長(zhǎng)碼字，從而使得平均碼長(zhǎng)最短。具有代表性變長(zhǎng)編碼方法有：香農(nóng)碼，費(fèi)諾碼和哈夫曼碼等。5.1.1香農(nóng)碼香農(nóng)碼的根據(jù)：離散無(wú)記憶信源的自信息量設(shè)離散無(wú)記憶信源所對(duì)應(yīng)的概率空間為對(duì)應(yīng)碼字的長(zhǎng)度Li應(yīng)該滿足下列關(guān)系這樣就可以保證對(duì)于每個(gè)信源符號(hào)而言，碼字長(zhǎng)度是最佳的。符號(hào)自信息量香農(nóng)碼編碼方法

(1)將信源消息符號(hào)按其出現(xiàn)的概率大小依次排列為(2)確定每個(gè)信源符號(hào)的碼長(zhǎng)，同時(shí)保證碼長(zhǎng)為滿足下列不等式的整數(shù)(3)為了編成唯一可譯碼，計(jì)算第i個(gè)消息的累加概率

(4)將累加概率Pi表示為二進(jìn)制形式；(5)取二進(jìn)制數(shù)的小數(shù)點(diǎn)后li位作為該消息符號(hào)的二進(jìn)制碼字。總結(jié)：1、由于每個(gè)信源符號(hào)碼長(zhǎng)是根據(jù)信源符號(hào)的信息量選擇，從局部來(lái)看每個(gè)碼長(zhǎng)的取值都是最佳的。所以從局部看，香農(nóng)碼是最佳碼。但是香農(nóng)碼構(gòu)造碼字時(shí)沒(méi)有綜合使用信源統(tǒng)計(jì)特性，所以碼長(zhǎng)并非最短的。2、香農(nóng)碼編碼采用累計(jì)概率小數(shù)部分的二進(jìn)制表示作為碼字，從而保證了碼字是唯一可譯碼的。

5.1.2費(fèi)諾碼費(fèi)諾碼的基本思想：1、按照累加概率盡可能相等的原則對(duì)信源符號(hào)進(jìn)行分組：對(duì)于二元碼，則每次分為兩組;對(duì)于d元碼，則每次分為d個(gè)組。并且給不同的組分配一個(gè)不同的碼元符號(hào)。2、對(duì)其中的每組按照累計(jì)概率盡可能相等的原則再次進(jìn)行分組，并指定碼元符號(hào)，直到不能再分類為止。3、然后將每個(gè)符號(hào)指定的碼元符號(hào)排列起來(lái)就得到相應(yīng)的碼字。費(fèi)諾二元碼的編碼步驟

1、將源消息符號(hào)按概率大小排序：2、將依次排列的信源符號(hào)分為兩大組，使每組的概率和盡可能相等，且每組賦與二進(jìn)制碼元“0”和“1”。3、將每一大組的信源符號(hào)再分為兩組，使每組的概率和盡可能相等，且每組賦與二進(jìn)制碼元“0”和“1”。4、如此重復(fù)，直至每組只剩下一個(gè)符號(hào)。信源符號(hào)所對(duì)應(yīng)的碼字即費(fèi)諾碼。例5.2對(duì)例5.1的信源進(jìn)行費(fèi)諾編碼,，具體編碼過(guò)程參見(jiàn)表5.2根據(jù)每個(gè)信源符號(hào)的碼長(zhǎng)，得到每個(gè)符號(hào)的平均碼長(zhǎng)為碼元/符號(hào)010000011111000100111011011101111用樹(shù)碼表示的費(fèi)諾碼編碼過(guò)程總結(jié)：1、費(fèi)諾碼要比上述香農(nóng)碼的平均碼長(zhǎng)小，編碼效率高。2、從上面的例子可以看出，p(a4)<p(a2)，而碼長(zhǎng)L4<L2，從統(tǒng)計(jì)角度來(lái)看，平均碼長(zhǎng)一定不是最短的;

如果將兩個(gè)符號(hào)對(duì)應(yīng)的碼字互換，這樣編碼得到的平均碼長(zhǎng)肯定小于原來(lái)的平均碼長(zhǎng)。3、費(fèi)諾碼的平均碼長(zhǎng)滿足編碼效率為費(fèi)諾碼的最佳性1、保證每個(gè)集合概率和近似相等，保證d個(gè)碼元近似等概率，每個(gè)碼字承載的信息量最大，碼長(zhǎng)近似最短。2、是次最佳的編碼方法，只在當(dāng)信源符號(hào)概率滿足：時(shí)達(dá)最佳。012012012012a1a2a3a4a5a6a7a8a9p(a1)=3-1p(a2)=p(a3)=p(a4)=3-2p(a7)=p(a8)=p(a9)=3-3滿足Kraft不等式取1，此時(shí)費(fèi)諾碼最佳。信源符號(hào)概率5.1.3哈夫曼碼基本思想：1、概率大的符號(hào)分配短碼字，而概率小的信源符號(hào)分配長(zhǎng)碼字2、首先為小概率符號(hào)分配碼元3、分配碼元后的符號(hào)進(jìn)行概率合并4、然后按照大小順序重排概率，并對(duì)概率小的符號(hào)或者符號(hào)集合分配碼元，直到概率合并結(jié)束為止。5、然后逆向搜索參與概率合并時(shí)分配的碼元符號(hào)，形成對(duì)應(yīng)的碼字。Huffman碼的最佳性最佳性：所有可能的編碼方法中，平均碼長(zhǎng)最短。定理1對(duì)于給定的信源，有最佳唯一可譯二元碼，其最小概率的兩個(gè)碼字Ck-1和Ck的長(zhǎng)度最長(zhǎng)并且相等①，它們之間僅最后一位碼元的取值不同②（一個(gè)為0、一個(gè)為1）。關(guān)于含義①：對(duì)于符號(hào)a1,a2，碼長(zhǎng)分別為n1,n2如果p(a1)>p(a2),那么當(dāng)n1<n2時(shí)，平均常常最短。假如n1<n2，則有n2p(a1)+n1p(a2)>n1p(a1)+n2p(a2)所以，定理的第①部分成立。關(guān)于含義②：二元Huffman碼不可能出現(xiàn)單分支。對(duì)信源且假定對(duì)aK-1和aK的碼字最后一位分別指定0、1，然后合并，產(chǎn)生輔助符號(hào)a’k-1,做一輔助集排序后ak-1ak-1‘

ak01對(duì)剩下的符號(hào)重復(fù)合并最小概率符號(hào)，分配碼元0、1，到最后對(duì)兩個(gè)符號(hào)重復(fù)上述操作，編碼完成。定理2編碼對(duì)輔助集最佳，對(duì)原始集也最佳。（平均碼長(zhǎng)最短）原始集平均碼長(zhǎng)輔助集平均碼長(zhǎng)合并一次二元碼的哈夫曼編碼步驟

(1)將信源消息符號(hào)按其出現(xiàn)的概率大小依次排列為(2)取兩個(gè)概率最小的兩個(gè)信源符號(hào)分別分配碼元0和1，并將這兩個(gè)概率相加作為一個(gè)新符號(hào)的概率，與未分配的二進(jìn)符號(hào)的符號(hào)一起重新進(jìn)行概率排序。(3)對(duì)重排后的兩個(gè)概率最小符號(hào)重復(fù)步驟（2）的過(guò)程。(4)不斷繼續(xù)上述過(guò)程，直到最后兩個(gè)符號(hào)配以0和1為止。(5)從最后一級(jí)開(kāi)始，反向搜索參與編碼的符號(hào)，得到各個(gè)信源符號(hào)所對(duì)應(yīng)的碼元序列，即相應(yīng)的碼字。例5.3對(duì)例5.1的信源符號(hào)進(jìn)行哈夫曼編碼，給出編碼過(guò)程，每個(gè)信源符號(hào)的碼字，碼長(zhǎng)，求平均碼長(zhǎng)、編碼效率。信源符號(hào)概率0.110.150.170.180.190.200.260.200.190.180.170.350.260.200.190.390.610000011111101021120003001301030110401114碼字碼長(zhǎng)li0.350.260.391.0哈夫曼編碼過(guò)程平均碼長(zhǎng)編碼效率關(guān)于哈夫曼編碼的討論1、每次對(duì)信源縮減時(shí)，賦予信源最后兩個(gè)概率最小的符號(hào)，分配碼元0和1是可以任意的，即大概率符號(hào)或者合并后的符號(hào)集合可以分配碼元0也可以是1，這種選擇任意性可以得到不同的哈夫曼碼，但不會(huì)影響碼字的長(zhǎng)度。2、對(duì)信源進(jìn)行縮減時(shí)，如果兩個(gè)概率最小的符號(hào)合并后的概率與其它信源符號(hào)的概率相同,應(yīng)當(dāng)放在上面，以便減少更多符號(hào)分配更長(zhǎng)碼的可能。例5.4設(shè)有離散無(wú)記憶信源的概率空間為方法1方法2合并后的概率盡量往上根據(jù)兩種方法的編碼結(jié)果，計(jì)算兩種哈夫曼碼的平均碼長(zhǎng)，相等，即

碼元/符號(hào)編碼效率也相等，都為兩種碼的質(zhì)量不完全相同，用碼方差衡量，即

，由于方法2的碼方差比方法1的碼方差小許多，所以方法2編碼質(zhì)量好。哈夫曼碼的主要特點(diǎn)1、哈夫曼碼的編碼方法保證了概率大的符號(hào)對(duì)應(yīng)于短碼，概率小的符號(hào)對(duì)應(yīng)于長(zhǎng)碼，充分利用了短碼；2、縮減信源的兩個(gè)碼字的最后一位總是不同，可以保證構(gòu)造的碼字為即時(shí)碼。3、哈夫曼碼的效率是相當(dāng)高的，既可以使用單個(gè)信源符號(hào)編碼，也可以對(duì)信源序列編碼。4、要得到更高的編碼效率，可以使用較長(zhǎng)的序列進(jìn)行編碼。算術(shù)編碼適用于JPEG2000,H.263等圖像壓縮標(biāo)準(zhǔn)。特點(diǎn)：1、隨著序列的輸入，就可對(duì)序列進(jìn)行編碼2、平均符號(hào)碼長(zhǎng)滿足3、需要知道信源符號(hào)的概率是對(duì)shanno-Fanno-Elias編碼的改進(jìn)。（最佳編碼）累計(jì)分布函數(shù)的定義設(shè)信源輸出累計(jì)分布函數(shù)定義為算術(shù)編碼是累計(jì)函數(shù)的二進(jìn)制表示加截短。算術(shù)編碼的定義算術(shù)編碼是計(jì)算序列的累計(jì)分布，用累計(jì)分布值表示序列，所以稱為算術(shù)編碼。例如，對(duì)輸出的二元序列01110進(jìn)行編碼，將[0,1)區(qū)間分為25=32個(gè)區(qū)段，每個(gè)序列對(duì)應(yīng)一個(gè)區(qū)段，這個(gè)區(qū)段的每個(gè)數(shù)值可用來(lái)表示這個(gè)序列，一般用區(qū)段的最左邊的值來(lái)表示序列。算術(shù)編碼對(duì)于長(zhǎng)為n的符號(hào)序列序列個(gè)數(shù)共有個(gè)(若每個(gè)符號(hào)可取2個(gè)值，比如0,1)分別是對(duì)應(yīng)概率序列k的累計(jì)分布函數(shù)累計(jì)分布函數(shù)的計(jì)算遞推公式：已輸入序列：當(dāng)前輸入符號(hào)算術(shù)編碼將[0,1)分割成小區(qū)間，如長(zhǎng)為n的二元序列，分為2n個(gè)區(qū)間，用區(qū)間[F(u),F(u)+p(u)）表示序列u,實(shí)際取F(u)。將F(u)截短，截?cái)嚅L(zhǎng)度為每個(gè)區(qū)間的寬度等于序列的概率。序列u的自信息量算術(shù)碼的截短規(guī)則假如累計(jì)函數(shù)表示為只要第L位后面的小數(shù)不為0，就要向第L位進(jìn)位，進(jìn)位后得數(shù)值C。例5.7離散無(wú)記憶信源X的概率空間為信源輸出符號(hào)序列，描述算術(shù)編碼過(guò)程。解：首先計(jì)算條件累計(jì)概率令，然后編碼。（1）對(duì)第一個(gè)符號(hào)進(jìn)行編碼，得到（2）對(duì)第二個(gè)符號(hào)進(jìn)行編碼，得到（3）對(duì)第三個(gè)符號(hào)進(jìn)行編碼，得到（4）對(duì)四個(gè)符號(hào)進(jìn)行編碼，得到將用位二進(jìn)制表示將小數(shù)點(diǎn)后8位作為碼字輸出，得編碼圖算術(shù)碼譯碼去掉累計(jì)概率P2，碼字,得符號(hào)放大到[0,1),去掉累計(jì)概率P3，去掉累計(jì)概率P1，放大到[0,1),放大到[0,1),,得符號(hào),得符號(hào),得符號(hào)算術(shù)編碼的特點(diǎn)1、能夠任意擴(kuò)展序列長(zhǎng)度，而又不重復(fù)構(gòu)造碼表，然后再進(jìn)行編碼，算術(shù)編碼能夠?qū)崿F(xiàn)這樣的編碼要求。2、平均符號(hào)碼長(zhǎng)滿足并且唯一可譯，因此最佳。5.2編碼的實(shí)現(xiàn)上面介紹了幾種變長(zhǎng)編碼方法，相對(duì)于等長(zhǎng)編碼，變長(zhǎng)碼可以有效提高編碼效率。即使采用長(zhǎng)度較短的擴(kuò)展信源進(jìn)行編碼，也能夠取得好的編碼效果，這是因?yàn)樽冮L(zhǎng)碼利用了信源統(tǒng)計(jì)冗余指導(dǎo)編碼的結(jié)果。實(shí)際上，上述的幾種變長(zhǎng)編碼只是產(chǎn)生編碼使用的碼表，并不是真正意義上的編碼實(shí)現(xiàn)。信源編碼目的是為了更有效地傳輸信息，即提高通信系統(tǒng)的有效性。為了實(shí)現(xiàn)信息傳輸，信源編碼產(chǎn)生的碼流傳輸?shù)叫潘拗皯?yīng)當(dāng)首先進(jìn)行譯碼，以便按照先后順序再現(xiàn)或者重現(xiàn)信源發(fā)送的消息符號(hào)。對(duì)于譯碼器而言，必須知道信源編碼使用的碼表和每個(gè)碼字對(duì)應(yīng)的長(zhǎng)度等相關(guān)信息，才能夠?qū)崿F(xiàn)正確譯碼，以便重建信源發(fā)送的消息符號(hào)序列。信源變長(zhǎng)碼編碼原理框圖具體步驟如下：分析給定信源統(tǒng)計(jì)特性，得到信源統(tǒng)計(jì)規(guī)律。對(duì)于離散無(wú)記憶信源，得到各個(gè)符號(hào)的概率分布；對(duì)于記憶信源，則得到序列的聯(lián)合概率分布。根據(jù)統(tǒng)計(jì)特性，碼表產(chǎn)生器進(jìn)行編碼，得到每個(gè)信源符號(hào)或者符號(hào)序列對(duì)應(yīng)的碼字和碼長(zhǎng)，即產(chǎn)生碼表。對(duì)于離散無(wú)記憶信源，每個(gè)符號(hào)都對(duì)應(yīng)一個(gè)碼字并有一個(gè)碼長(zhǎng)；而對(duì)于記憶信源，每個(gè)序列對(duì)應(yīng)一個(gè)碼字和碼長(zhǎng)。

將序列符號(hào)、序列長(zhǎng)度、碼字及碼長(zhǎng)等信息按照約定規(guī)則經(jīng)過(guò)信道傳輸給譯碼器，譯碼器才能夠根據(jù)這些信息進(jìn)行正確譯碼。信源編碼器根據(jù)碼表產(chǎn)生器產(chǎn)生的碼表，對(duì)給定信源輸出符號(hào)序列按照先后順序進(jìn)行編碼，產(chǎn)生碼流（碼字序列），并經(jīng)過(guò)信道將碼流傳輸給譯碼器。信源譯碼器根據(jù)接收到的序列符號(hào)、序列長(zhǎng)度、碼字和碼長(zhǎng)，對(duì)接收到的碼流進(jìn)行譯碼，再現(xiàn)或者重建信源發(fā)送的消息。實(shí)際應(yīng)用中，信源編碼使用的碼表是根據(jù)一類信源的統(tǒng)計(jì)特性事先產(chǎn)生的，通過(guò)對(duì)大量同類信源的分布特性進(jìn)行分析，在此基礎(chǔ)上根據(jù)統(tǒng)計(jì)得到的分布特性產(chǎn)生碼表。對(duì)于編碼、譯碼器而言，輔助信息是編譯碼雙方約定的，這些輔助信息不需要再經(jīng)過(guò)信道傳輸，這樣編碼器不需要分析信源統(tǒng)計(jì)特性，也無(wú)需產(chǎn)生和傳輸碼表，從而減輕了編碼復(fù)雜度采用算法約定碼表對(duì)給定信源進(jìn)行編碼，這就意味著編碼建立碼表對(duì)應(yīng)的概率統(tǒng)計(jì)特性與給定信源的概率統(tǒng)計(jì)特性并不相同，這樣就可能會(huì)導(dǎo)致編碼效率下降。下面對(duì)實(shí)際信源編碼進(jìn)行分析。不失一般性，首先討論離散無(wú)記憶信源情況。假設(shè)碼表產(chǎn)生使用的編碼概率空間（也稱為碼表概率空間）為每個(gè)消息符號(hào)對(duì)應(yīng)碼字的長(zhǎng)度為li.對(duì)于給定的離散無(wú)記憶信源，實(shí)際的概率空間為如果采用碼表概率空間編碼，那么信源編碼的實(shí)際平均碼長(zhǎng)只有當(dāng)兩種統(tǒng)計(jì)特性相近時(shí)，采用約定碼表進(jìn)行編碼是一種有效的編碼方法。反之，如果兩種信源統(tǒng)計(jì)模型相差甚遠(yuǎn)，則實(shí)際編碼的平均碼長(zhǎng)與理論值相差甚遠(yuǎn)，此時(shí)編碼冗余度就會(huì)增加，編碼效率下降。此外，信源編碼的模型與實(shí)際的信源模型是否相符，也是影響編碼效率的因素之一。如果實(shí)際信源模型與編碼采用的模型不一致，實(shí)際編碼的效率也會(huì)下降，比如，如果有記憶信源的記憶長(zhǎng)度與實(shí)際給定信源的長(zhǎng)度不一樣，則編碼效率就會(huì)下降。但是在實(shí)際應(yīng)用中，首先需要考慮的是系統(tǒng)編碼復(fù)雜度，如果實(shí)際模型特別復(fù)雜，難以實(shí)現(xiàn)；而如果采用相對(duì)較簡(jiǎn)單的模型也能夠取得好的效果，則就可以簡(jiǎn)化系統(tǒng)模型，得到有意義的結(jié)果。盡管上述討論是針對(duì)平穩(wěn)離散信源進(jìn)行的無(wú)失真編碼，但是得到的結(jié)論可以推廣到非平穩(wěn)信源，包括馬爾可夫信源等。此外，該結(jié)論也適合限失真編碼，當(dāng)統(tǒng)計(jì)特性不相符時(shí)，限失真編碼的信息率失真曲線會(huì)向右邊移動(dòng)，在給定碼率的情況下，編碼產(chǎn)生的失真會(huì)增加。由于信源輸出符號(hào)長(zhǎng)度是有限的，而且許多信源是非平穩(wěn)性、關(guān)聯(lián)性長(zhǎng)度也各有差異，直接對(duì)數(shù)據(jù)進(jìn)行編碼并取得好的編碼效果十分困難。為了減少這些因素的影響，得到簡(jiǎn)單的信源模型和統(tǒng)計(jì)規(guī)律，信源編碼大多在變換域進(jìn)行，而且實(shí)際信源編碼大多采用混合編碼算法以提高編碼效率。5.3編碼方法簡(jiǎn)介前面闡述了無(wú)失真編碼使用的變長(zhǎng)編碼方法，共同點(diǎn)在于都是采用組碼對(duì)信源進(jìn)行編碼。對(duì)于信源符號(hào)數(shù)量較少的無(wú)記憶信源編碼而言，組碼是一種簡(jiǎn)單有效的編碼方法，此時(shí)可以直接傳輸碼表，當(dāng)信源輸出的長(zhǎng)度足夠大時(shí)，碼表的附加信息可以不加考慮。為了提高編碼效率，應(yīng)當(dāng)對(duì)信源進(jìn)行擴(kuò)展，使用序列進(jìn)行編碼，而隨著序列長(zhǎng)度的增加，序列種類也就增加，系統(tǒng)編碼復(fù)雜度也相應(yīng)增加。而且使用擴(kuò)展信源進(jìn)行編碼，效率的提高也是有限的，對(duì)記憶信源更是如此。在實(shí)際應(yīng)用中，信源類型眾多，統(tǒng)計(jì)特性各不相同，特別是大多數(shù)信源并不是離散無(wú)記憶的、許多信源甚至是非平穩(wěn)的，而且信源輸出的長(zhǎng)度也是有限的，所以使用的編碼方法需要根據(jù)信源的具體特點(diǎn)而設(shè)計(jì)或者選擇。在信源編碼理論的指導(dǎo)下，先后出現(xiàn)了許多性能優(yōu)良的編碼方法，這里簡(jiǎn)單介紹常用編碼算法的基本原理。5.3.1游程編碼游程編碼是經(jīng)常使用的編碼方法之一，當(dāng)信源出現(xiàn)連續(xù)相同符號(hào)，或者連續(xù)出現(xiàn)的符號(hào)在允許失真范圍內(nèi)時(shí)，游程編碼是一種有效的描述方法。游程編碼是利用先后符號(hào)之間的關(guān)聯(lián)性進(jìn)行編碼，從而提高編碼效率。游程編碼實(shí)際上是一種特殊的序列編碼方式，利用了符號(hào)（或者是數(shù)據(jù)）之間的相關(guān)性進(jìn)行編碼，從而減少了數(shù)據(jù)描述長(zhǎng)度，提高了編碼效率。但是一般情況下，并不單獨(dú)使用游程編碼對(duì)數(shù)據(jù)進(jìn)行壓縮，總是將其作為整體編碼算法中的一種編碼單元加以使用。游程編碼算法在圖像壓縮中得到廣泛應(yīng)用，連續(xù)色調(diào)靜態(tài)圖像壓縮標(biāo)準(zhǔn)JPEG-LS中就采用了這種游程編碼算法，以提高數(shù)據(jù)壓縮效率。游程編碼有二進(jìn)制和非二進(jìn)制之分，取決于具體編碼要求。對(duì)于二進(jìn)制編碼，就是統(tǒng)計(jì)連續(xù)0或者1的個(gè)數(shù)。由于其特殊性，游程編碼可以不輸出再現(xiàn)符號(hào)，數(shù)據(jù)長(zhǎng)度的交替就是符號(hào)0和1之間的交替，這樣只需要約定或者在開(kāi)始時(shí)給出再現(xiàn)符號(hào)即可。二進(jìn)制游程編碼在信源編碼中得到廣泛應(yīng)用，但是經(jīng)常使用的是上述算法的改進(jìn)算法。如果信源輸出的二進(jìn)制符號(hào)中，符號(hào)0的數(shù)量很多，而且連續(xù)出現(xiàn)的概率也很大，游程編碼算法就可以簡(jiǎn)化。比如，首先約定二進(jìn)制序列的長(zhǎng)度N，如果連續(xù)個(gè)二進(jìn)制符號(hào)都為0，則輸出0；否則輸出1，并對(duì)序列符號(hào)進(jìn)一步處理。許多實(shí)際應(yīng)用中取N=4，下面以此為例介紹游程編碼算法。5.3.2算術(shù)編碼從信源編碼角度來(lái)看，非常希望設(shè)計(jì)一種有效編碼算法對(duì)信源符號(hào)進(jìn)行擴(kuò)展，從而構(gòu)成盡可能長(zhǎng)的序列。盡管哈夫曼編碼是一種有效的編碼算法，但并不滿足這種要求，因?yàn)樗捎米韵露系木幋a方法，要求計(jì)算特定長(zhǎng)度的所有信源序列的概率，并且構(gòu)造完整的碼表。

理想編碼方法是：能夠任意擴(kuò)展序列長(zhǎng)度，而又不重復(fù)構(gòu)造碼表，然后再進(jìn)行編碼，算術(shù)編碼能夠?qū)崿F(xiàn)這樣的編碼要求。與變長(zhǎng)編碼算法一樣，算術(shù)編碼是以信源的概率分布作為編碼的依據(jù)。其基本思想是：綜合上述，算術(shù)編碼過(guò)程如下：5.4變換編碼

在許多情況下，信源輸出符號(hào)之間具有很強(qiáng)的相關(guān)性，如果按照前面介紹的哈夫曼、算術(shù)編碼等編碼算法來(lái)實(shí)現(xiàn)高效數(shù)據(jù)壓縮，需要使用擴(kuò)展信源進(jìn)行編碼，因此需要知道序列之間的聯(lián)合概率分布。當(dāng)信源符號(hào)數(shù)量較多，編碼算法已經(jīng)比較復(fù)雜，如果采用較長(zhǎng)的序列進(jìn)行編碼，會(huì)進(jìn)一步增加編碼系統(tǒng)的復(fù)雜度。為了提高編碼效率，同時(shí)降低編碼復(fù)雜度，可以對(duì)信源輸出的數(shù)據(jù)進(jìn)行變換，