1、u矢量量化的基本原理矢量量化的基本原理u問題分解問題分解1. 1.矢量量化基本原理矢量量化基本原理v量化分為兩類：量化分為兩類： * * 標量量化標量量化：將取樣后的信號值逐個地進行量化。：將取樣后的信號值逐個地進行量化。 * * 矢量量化矢量量化：將若干取樣信號分成一組，即構成一：將若干取樣信號分成一組，即構成一個矢量，然后對此矢量一次進行量化。個矢量，然后對此矢量一次進行量化。v矢量量化（矢量量化（VQVQ，Vector QuantizationVector Quantization）是一種極是一種極其重要的信號壓縮方法。其重要的信號壓縮方法。VQVQ在語音信號處理中占十在語音信號處理中占

2、十分重要的地位。廣泛應用于語音編碼、語音識別和分重要的地位。廣泛應用于語音編碼、語音識別和語音合成等領域。語音合成等領域。v凡是要用量化的地方都可以采用矢量量化凡是要用量化的地方都可以采用矢量量化。VQ的定義vK維歐幾里德空間 中的任意矢量 X 到K維空間 有限子集 Y 的映射KRKRJKYYYYXRQ,:21jiRRRRjiKJjj,1iiRY 術語v碼本 Codebookv碼字 CodeWordv碼本大小 Codebook SizevVoronoi Cell 胞腔v矢量量化簡約歷史矢量量化簡約歷史早在早在5050和和6060年代就被用于語音壓縮編碼。年代就被用于語音壓縮編碼。7070年代線

3、性預測技術被引入語音編碼后，矢量量年代線性預測技術被引入語音編碼后，矢量量化技術才活躍起來。化技術才活躍起來。7070年代末，年代末，Linda, Linda, BuzoBuzo 等人解決了碼本生成問等人解決了碼本生成問題題8080年代初，矢量量化技術的理論和應用研究得到年代初，矢量量化技術的理論和應用研究得到迅速發展。迅速發展。v采用矢量量化的壓縮作用采用矢量量化的壓縮作用對信號波形或參數進行壓縮處理，可以獲得很對信號波形或參數進行壓縮處理，可以獲得很好的效益，使存儲要求、傳輸比特率需求或和好的效益，使存儲要求、傳輸比特率需求或和計算量需求降低計算量需求降低. .量化壓縮案例量化壓縮案例10

4、KHz, 16-bit PCM 160,000bps100 spectral vectors of dimension p=10 1001032 = 32,000bps 51VQ: 1024 codebook 10010 = 1000bps 321采用矢量量化的效果優于標量量化的原因？采用矢量量化的效果優于標量量化的原因？矢量量化能有效的應用矢量中各分量之矢量量化能有效的應用矢量中各分量之間的四種相互關聯性質來消除數據中的冗間的四種相互關聯性質來消除數據中的冗余度。余度。線性依賴線性依賴( (相關性相關性) )非線性依賴非線性依賴( (統計不獨立統計不獨立) )概率密度函數的形狀概率密度函數的

5、形狀矢量量化的維數矢量量化的維數而標量量化僅能利用線性依賴和概率密而標量量化僅能利用線性依賴和概率密度函數的形狀來消除冗余度。度函數的形狀來消除冗余度。矢量量化研究的目的？矢量量化研究的目的？ 針對特定的信息源和矢量維數，設計針對特定的信息源和矢量維數，設計出一種最優化的量化器，在出一種最優化的量化器，在R（量化速（量化速率）一定的情況下，給出的量化失真盡率）一定的情況下，給出的量化失真盡可能接近可能接近D(R)(最小量化失真最小量化失真)。矢量量化的形象說明矢量量化的形象說明 以以K K2 2進行說明進行說明： 當當K K2 2時，所得到的是二維矢量。所有可時，所得到的是二維矢量。所有可能的

6、二維矢量就形成了一個平面。能的二維矢量就形成了一個平面。 記為（記為（a a1 1,a,a2 2）, ,所有可能的（所有可能的（a a1 1,a,a2 2）就是一個二維空間。如圖就是一個二維空間。如圖7-17-1（a a）所示）所示圖圖7-1 7-1 矢量量化概念示意圖矢量量化概念示意圖圖圖7-2 7-2 矢量量化系統的組成矢量量化系統的組成 工作過程工作過程：v在編碼端在編碼端，輸入矢量，輸入矢量X Xi i與碼書中的每一個碼字進行與碼書中的每一個碼字進行比較，分別計算出它們的失真。搜索到失真最小的比較，分別計算出它們的失真。搜索到失真最小的碼字碼字 的序號的序號 （或該碼字所在碼書中的地（

7、或該碼字所在碼書中的地址），這些序號就作為傳輸或存儲的參數。址），這些序號就作為傳輸或存儲的參數。v在恢復時在恢復時，根據此序號從恢復端的碼書中找出相應，根據此序號從恢復端的碼書中找出相應的碼字的碼字 。由于兩本碼書完全相同，此時失真。由于兩本碼書完全相同，此時失真最小，所以最小，所以 就是輸入矢量就是輸入矢量X Xi i的重構矢量。的重構矢量。 minjYjminjYminjY特點：特點：傳輸存儲的不是矢量本身而是其序號，所以傳輸存儲的不是矢量本身而是其序號，所以據有高保密性能據有高保密性能收發兩端沒有反饋回路，因此比較穩定收發兩端沒有反饋回路，因此比較穩定矢量量化器的關鍵是編碼器的設計，譯

8、碼器矢量量化器的關鍵是編碼器的設計，譯碼器只是簡單的的查表過程。只是簡單的的查表過程。VQ的優、劣勢v自由構造量化區域的形狀v碼本大小可隨意選擇v量化失真v碼本存儲. . . . . .101101101011一、如何劃分一、如何劃分M M個區域邊界個區域邊界 方法是：將大量欲處理的信號的矢量進行統計劃分，方法是：將大量欲處理的信號的矢量進行統計劃分，進一步確定這些劃分邊界的中心矢量值來得到碼書。進一步確定這些劃分邊界的中心矢量值來得到碼書。二、類中心計算方法二、類中心計算方法三、兩矢量的相似度測度三、兩矢量的相似度測度 這個測度就是兩矢量間的距離，或以其中某一這個測度就是兩矢量間的距離，或以

9、其中某一矢量為基準時的失真度。它描述了當輸入矢量用碼矢量為基準時的失真度。它描述了當輸入矢量用碼書所對應的矢量來表征時所付出的代價。書所對應的矢量來表征時所付出的代價。四、四、如何準備碼本訓練集如何準備碼本訓練集 完備性：根據具體應用而定完備性：根據具體應用而定 2. VQ問題分解問題分解 失真測度是矢量量化和模式識別中一個失真測度是矢量量化和模式識別中一個十分重要的問題，選擇合適與否直接影響系十分重要的問題，選擇合適與否直接影響系統的性能。統的性能。 失真是將輸入信號矢量用碼書的重構矢量失真是將輸入信號矢量用碼書的重構矢量來表征時的誤差或所付出的代價。這種代價來表征時的誤差或所付出的代價。這

10、種代價的統計平均值（平均失真）描述了矢量量化的統計平均值（平均失真）描述了矢量量化器的工作性。器的工作性。3.3. 失真測度失真測度失真度選擇必須具備的特性失真度選擇必須具備的特性必須在主觀評價上有意義，即小的失真應該對應于必須在主觀評價上有意義，即小的失真應該對應于好的主觀語音質量；好的主觀語音質量；必須是易于處理的，即在數學上易于實現，這樣可必須是易于處理的，即在數學上易于實現，這樣可以用于實際的矢量量化器的設計；以用于實際的矢量量化器的設計；平均失真存在并且可以計算；平均失真存在并且可以計算；易于硬件實現易于硬件實現 失真測度主要有均方誤差失真測度（即歐氏距失真測度主要有均方誤差失真測度

11、（即歐氏距離）、加權的均方誤差失真測度、板倉齋藤離）、加權的均方誤差失真測度、板倉齋藤（ItakuraItakuraSaitoSaito）距離，似然比失真測度等，還）距離，似然比失真測度等，還有人提出的所謂的有人提出的所謂的“主觀的主觀的”失真測度。失真測度。一、歐氏距離均方誤差一、歐氏距離均方誤差 設輸入信號的某個設輸入信號的某個K K維矢量維矢量X X，與碼書中某個，與碼書中某個K K維矢量維矢量Y Y進行比較，進行比較，x xi i,y,yi i分別表示分別表示X X和和Y Y中的各元中的各元素素 ，則定義均方誤差為歐氏距離：則定義均方誤差為歐氏距離： KYXYXyxKYXdTKiii)

12、()()(1),(122 )1 (Ki 幾種其他常用的歐氏距離：幾種其他常用的歐氏距離：1.1.r r方平均誤差方平均誤差 KiriiryxKYXd11),(2. r2. r平均誤差平均誤差 rKiriiryxKYXd111),( 3.3.絕對值平均誤差絕對值平均誤差 KiiiyxKYXd111),(4.4.最大平均誤差最大平均誤差 iiKirrrMyxYXdYXd 11max),(lim),(二、線性預測失真測度二、線性預測失真測度 用全極模型表示的線性預測方法，廣泛應用于語用全極模型表示的線性預測方法，廣泛應用于語音信號處理中。它在分析時得到的是模型的預測系數音信號處理中。它在分析時得到的

13、是模型的預測系數. .僅由預測系數的差值，不能完全表征這兩個語音信息僅由預測系數的差值，不能完全表征這兩個語音信息的差別。應該直接由這些系數所描述的信號模型的功的差別。應該直接由這些系數所描述的信號模型的功率譜來進行比較。率譜來進行比較。222)()()( jjeAeXf 當預測器的階數當預測器的階數 ，信號與模型，信號與模型完全匹配時，信號功率譜為：完全匹配時，信號功率譜為： p信號的功率譜信號的功率譜預測誤差能量預測誤差能量預測逆濾波器的頻率響應預測逆濾波器的頻率響應222)()()( jpjeAeXf 1ln),(2 aRaffdTISTa相應的，設碼書中某重構矢量的功率譜為相應的，設碼

14、書中某重構矢量的功率譜為則定義則定義Itakura-Saito距離為距離為 piaaTirirrrRaa1)()(2)0()0( 這種失真測度是針對線性預測模型、用最這種失真測度是針對線性預測模型、用最大似然準則推導出來，所以特別適用于大似然準則推導出來，所以特別適用于LPC參參數，描述語音信號的情況，常用于數，描述語音信號的情況，常用于LPC編碼中。編碼中。我們由此又推導出兩種線性預測色失真測度，我們由此又推導出兩種線性預測色失真測度，他們比上述具有更好的性能，即他們比上述具有更好的性能，即)ln(ln),(22RaaaRaffdTTpLLR 對比似然比失真測度對比似然比失真測度模型失真測度

15、模型失真測度11),(22 RaaaRaffdTTpm 注：這兩種失真測度都僅僅比較兩矢量的注：這兩種失真測度都僅僅比較兩矢量的功率譜，而沒有考慮其他能量信息。功率譜，而沒有考慮其他能量信息。三、識別失真測度三、識別失真測度失真測度的定義失真測度的定義)(),(),(EEgffdEfdLLR 加權因子加權因子輸入信號矢量的歸一化能量輸入信號矢量的歸一化能量碼書重構矢量的歸一化能量碼書重構矢量的歸一化能量 )()()(0)(FFddxxxxxxxxxxg當兩矢量的能量接近時（即當兩矢量的能量接近時（即 ），忽略能量差異引起的影響；當），忽略能量差異引起的影響；當兩矢量能量相差很大時，即進行線性加

16、權；而當能量差超過門限兩矢量能量相差很大時，即進行線性加權；而當能量差超過門限 時，則時，則為固定值為固定值dxEE Fx4 . 最佳矢量量化器和碼本的設計最佳矢量量化器和碼本的設計最佳設計就是使失真最小最佳設計就是使失真最小1、最佳劃分、最佳劃分2、最佳碼書、最佳碼書一、矢量量化器最佳設計的兩個條件一、矢量量化器最佳設計的兩個條件最佳矢量量化器滿足的兩個必要條件最佳矢量量化器滿足的兩個必要條件1）Voronoi分割條件（最近鄰準則）分割條件（最近鄰準則）對信號空間的分割應滿足對信號空間的分割應滿足);,(),(:liYXdYXdRXSilKl根據該條件可以對信號空間進行最佳劃分，根據該條件可

17、以對信號空間進行最佳劃分，得到的得到的 稱為一個胞腔稱為一個胞腔lS2）Centroid質心條件質心條件子空間分割固定后，子空間分割固定后，Voronoi胞元胞元的質心就是量化器的碼字的質心就是量化器的碼字llSXXEY 對于一般的失真測度和信源分布，很難找到對于一般的失真測度和信源分布，很難找到質心的計算方法，但對于一般的分布和常用的質心的計算方法，但對于一般的分布和常用的均方失真測度，可以證明均方失真測度，可以證明 lSXllXNY1是是 中包含的矢量個數中包含的矢量個數lS二、二、LBG算法算法 K-means clustering algorithm 1980年由年由Linde，Buz

18、o和和Gray提出，提出，它是標量量化器中它是標量量化器中Lloyd算法的推廣，在矢算法的推廣，在矢量量化中是一個基本算法。量量化中是一個基本算法。 LBG算法由于其理論上的算法由于其理論上的嚴密性嚴密性、應用、應用上的上的簡便性簡便性以及以及較好的設計效果較好的設計效果，得到了廣，得到了廣泛的應用，并常被作為各種改進算法的基礎泛的應用，并常被作為各種改進算法的基礎LBG算法步驟算法步驟第一步：初始化第一步：初始化 給出訓練給出訓練VQ碼書所需的全部參考矢量碼書所需的全部參考矢量X，X的集合用的集合用S表示；設定量化級數，失真控制門表示；設定量化級數，失真控制門限限 ，算法最大迭代次數，算法最大迭代次數L以及初始碼以及初始碼書書 ；設總失真；設總失真 ；迭代；迭代次數的初始化為次數的初始化為m1 ,)0()0(2)0(1NYYY ) 0(D第二步：迭代第二步：迭代2）計算失真：）計算失真：1）根據最近鄰準則將）根據最近鄰準則將S分成分成N個子集個子集 ， ， ， 即當即當 時，下式成時，下式成立：立：)(1mS)(mNS)(2mS)(1mSX ljiYXdYXdmiml ,),(,()1()1( NiSXmlmmlYXdD1)1()()(),(4）計算相對失真改進量）計算相對失真改進量 ：3）計算新碼字）計算新碼字)(1)(miSXimiX