1、1ICIEICIE基于紋理相似度判斷的基于紋理相似度判斷的H.264幀內預測幀內預測快速算法研究快速算法研究西安電子科技大學碩士論文中期報告西安電子科技大學碩士論文中期報告報告人：焦昶哲報告人：焦昶哲導導 師：郭寶龍師：郭寶龍 教授教授20122012年年1 1月月2ICIEICIEAgendaAgenda3ICIEICIE 選題意義及背景選題意義及背景1、研究視頻壓縮標準的必要性、研究視頻壓縮標準的必要性眾所周知，視頻信號所包含的信息量大，其內容可以是活動眾所周知，視頻信號所包含的信息量大，其內容可以是活動的，也可以是靜止的；可以是彩色的，也可以是黑白的；有的，也可以是靜止的；可以是彩色的，

2、也可以是黑白的；有時變化多、細節多，有時十分平坦。一路高清晰度電視信號時變化多、細節多，有時十分平坦。一路高清晰度電視信號（HDTV），不壓縮需），不壓縮需1Gbps帶寬來進行傳輸，而一張帶寬來進行傳輸，而一張DVD僅能存儲幾秒鐘相當于電視質量的分辨率和幀率的原始視頻。僅能存儲幾秒鐘相當于電視質量的分辨率和幀率的原始視頻。這都給視頻信息的存儲和傳輸帶來很大困難，使得我們必須這都給視頻信息的存儲和傳輸帶來很大困難，使得我們必須對其進行壓縮。對其進行壓縮。 4ICIEICIE選題意義及背景選題意義及背景2、研究視頻壓縮標準的有利性、研究視頻壓縮標準的有利性 對視頻壓縮標準的研究有利于我國打破國外技

3、術壁壘，在新一對視頻壓縮標準的研究有利于我國打破國外技術壁壘，在新一代視頻編碼標準的制定中獲得話語權。以西班牙電信為例，它代視頻編碼標準的制定中獲得話語權。以西班牙電信為例，它在全球有在全球有22個子公司，個子公司，2011年所支付的年所支付的H.264專利費用超過了專利費用超過了1.5億美元。所以目前學術界和商業界已形成一個共識，就是億美元。所以目前學術界和商業界已形成一個共識，就是一流的企業制定標準，二流的企業運營品牌，三流的企業制造一流的企業制定標準，二流的企業運營品牌，三流的企業制造產品。產品。5ICIEICIE選題意義及背景選題意義及背景視頻壓縮的可能性視頻壓縮的可能性:空間冗余空間

4、冗余6ICIEICIE選題意義及背景選題意義及背景時間冗余時間冗余第一幀第一幀第二幀第二幀7ICIEICIE選題意義及背景選題意義及背景殘差值殘差值8ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹 H.264視頻編碼標準是由國際電信聯盟視頻編碼標準是由國際電信聯盟(ITU)和國際標準和國際標準化組織化組織(ISO)共同成立的聯合視頻專家組（共同成立的聯合視頻專家組（JVT）于）于2003年年3月頒布的，月頒布的，H.264 視頻編碼標準在當前的壓縮標準中效率是視頻編碼標準在當前的壓縮標準中效率是最高的，比最高的，比H.263 標準提高了將近一倍。標準提高了將近一倍。9IC

5、IEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹H.264視頻數據壓縮的三個關鍵環節：視頻數據壓縮的三個關鍵環節： 1、預測編碼、預測編碼 2、變換編碼、變換編碼 3、熵編碼、熵編碼 10ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹預測編碼預測編碼預測編碼分為幀間預測編碼與幀內預測編碼，分別對應壓預測編碼分為幀間預測編碼與幀內預測編碼，分別對應壓縮視頻序列的時間冗余與空間冗余。縮視頻序列的時間冗余與空間冗余。 11ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹變換編碼變換編碼大量統計表明，圖像的能量主要集中在直流部分和低頻區，高大量

6、統計表明，圖像的能量主要集中在直流部分和低頻區，高頻區占小部分。這樣，將空間域的圖像變換到頻域或所謂的變頻區占小部分。這樣，將空間域的圖像變換到頻域或所謂的變換域，會產生相關性很小的一些變換系數，并可對其進行壓縮換域，會產生相關性很小的一些變換系數，并可對其進行壓縮編碼，即所謂的變換編碼。編碼，即所謂的變換編碼。比較常用的有離散余弦變換（比較常用的有離散余弦變換（DCT）和離散小波變換（）和離散小波變換（DWT） 12ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹熵編碼熵編碼利用信源的統計特性進行碼率壓縮的編碼就稱為熵編碼，也叫利用信源的統計特性進行碼率壓縮的編碼就稱為熵

7、編碼，也叫統計編碼。視頻編碼常用的有兩種：變長編碼，也稱哈夫曼編統計編碼。視頻編碼常用的有兩種：變長編碼，也稱哈夫曼編碼及算術編碼。碼及算術編碼。 13ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹H.264編碼器編碼器14ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹H.264解碼器解碼器15ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹幀間預測幀間預測一個最簡單的時域預測方法是采用過去的某幀圖像作為當前幀的一個最簡單的時域預測方法是采用過去的某幀圖像作為當前幀的預測幀。當前幀的殘差值為當前幀減去預測幀。預測幀。當前幀的殘差值

8、為當前幀減去預測幀。 第一幀第一幀第二幀第二幀16ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹殘差（無運動補償）殘差（無運動補償）這種方法的一這種方法的一個明顯問題在個明顯問題在于殘差圖像的于殘差圖像的能量過高，這能量過高，這意味著后續模意味著后續模型仍然存在大型仍然存在大量的信息需要量的信息需要壓縮。壓縮。17ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹現在普遍采用的運動補償方法是將當前幀分成許多長方形的塊，現在普遍采用的運動補償方法是將當前幀分成許多長方形的塊，對每個塊進行運動補償。如將當前幀分成對每個塊進行運動補償。如將當前幀分成MXN大小

9、的塊，對每大小的塊，對每塊圖像可以進行如下操作：塊圖像可以進行如下操作：1. 在參考幀中搜索在參考幀中搜索MXN尺寸的匹配塊。將當前尺寸的匹配塊。將當前MXN塊與參考幀塊與參考幀搜索區域中的部分或所有搜索區域中的部分或所有MXN塊相比較，找出其中的最佳匹配塊相比較，找出其中的最佳匹配塊。搜索最佳匹配塊的過程稱為運動估計。塊。搜索最佳匹配塊的過程稱為運動估計。 18ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹2. 將最佳匹配塊作為當前塊的預測塊，當前塊減去預將最佳匹配塊作為當前塊的預測塊，當前塊減去預測塊后得到相應的測塊后得到相應的MXN殘差塊。殘差塊。3. 對殘差塊進行

10、編碼和傳輸，同時預測塊和當前塊的對殘差塊進行編碼和傳輸，同時預測塊和當前塊的相對位置相對位置d(i, j)（即運動矢量（即運動矢量)也將被傳輸給解碼器。也將被傳輸給解碼器。解碼器根據運動矢量尋找預測塊，與解碼后的殘差塊解碼器根據運動矢量尋找預測塊，與解碼后的殘差塊相加，以重建原始圖像。相加，以重建原始圖像。 19ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹16X16宏塊的運動矢量宏塊的運動矢量20ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹運動補償后的參考幀運動補償后的參考幀運動補償后的殘差幀運動補償后的殘差幀21ICIEICIEH.264H.2

11、64視頻編碼標準介紹視頻編碼標準介紹幀內預測幀內預測H.264/AVC 引入了基于空域的幀內編碼方法，即在空域利用當前引入了基于空域的幀內編碼方法，即在空域利用當前幀中已編碼重建過的宏塊數據對當前待編碼宏塊的像素值進行預幀中已編碼重建過的宏塊數據對當前待編碼宏塊的像素值進行預測，接著再對預測殘差進行變換、量化及熵編碼。測，接著再對預測殘差進行變換、量化及熵編碼。 22ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹因為大量統計表明，同一幅圖像的鄰近像素之間有因為大量統計表明，同一幅圖像的鄰近像素之間有著相關性，或者說這些像素值相似。鄰近像素之間著相關性，或者說這些像素值相似

12、。鄰近像素之間發生突變或發生突變或“很不相似很不相似”概率很小。我們可以利用概率很小。我們可以利用這些性質進行視頻壓縮。這些性質進行視頻壓縮。圖像差值信號的概率分布圖像差值信號的概率分布 23ICIEICIEH.264H.264視頻編碼標準介紹視頻編碼標準介紹一個簡單的一個簡單的幀內預測模幀內預測模型型編碼端：編碼器預測編碼端：編碼器預測 P(X) = (2A + B + C)/4 殘差殘差 R(X) = X P(X) 被編碼傳輸被編碼傳輸解碼端：解碼端：R(X)被傳輸，并得到相同預測被傳輸，并得到相同預測 P(X) 重建值重建值 X = R(X) + P(X)24ICIEICIEH.264H

13、.264幀內預測全搜索算法幀內預測全搜索算法待預測待預測44亮度子塊及其參考像素亮度子塊及其參考像素44亮度塊的幀內預測模式亮度塊的幀內預測模式H.264幀內預測全搜索算法描述幀內預測全搜索算法描述25ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法4X4亮度塊預測模式亮度塊預測模式26ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法QCIF待預測的待預測的4X4亮度塊亮度塊27ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法9種模式得種模式得到的到的4X4亮度塊預亮度塊預測結果測結果28ICIEICIEH.264H.26

14、4幀內預測全搜索算法幀內預測全搜索算法16X16幀內預測模式幀內預測模式對于比較平滑的區域有時會采取對于比較平滑的區域有時會采取16X16宏塊進行亮度預測宏塊進行亮度預測29ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法使用使用H.264幀內預測產生的預測亮度幀幀內預測產生的預測亮度幀30ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法幀內預測的模式決策幀內預測的模式決策Rate Distortion Optimization率失真優化（率失真優化（RDO）全搜索模式）全搜索模式JDR(1 2 ) / 30 .8 5 2Q P2, ( ,)(

15、,)SSDx yDb x ybx y31ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法1 1、將宏塊分為將宏塊分為16個個4x4子塊子塊 ，計算每個子塊的最優值，計算每個子塊的最優值RDcost，相加得，相加得到到Intra_44下的總代價值下的總代價值Cost_44 。2、對當前宏塊進行、對當前宏塊進行Intra_16l6 下的最優預測模式選擇。運用下的最優預測模式選擇。運用Intra_16l6 的的4 種預測模式分別對宏塊進行預測，得到相應的種預測模式分別對宏塊進行預測，得到相應的4 種預測種預測模式中代價值最小的模式中代價值最小的RDcost值記為值記為Cost

16、_1616。3、比較、比較Cost_44 和和Cost_1616，若，若Cost_44 較小，則宏塊的最佳較小，則宏塊的最佳預測模式為預測模式為Intra_44，否則為，否則為Intra_1616。RDO全搜索算法步驟全搜索算法步驟32ICIEICIEH.264H.264幀內預測全搜索算法幀內預測全搜索算法全搜索算法的外循環是色度塊最佳模式的選擇，內循環是亮度塊的最全搜索算法的外循環是色度塊最佳模式的選擇，內循環是亮度塊的最佳模式選擇。因此，佳模式選擇。因此， 要得到一個宏塊的最佳編碼模式，要得到一個宏塊的最佳編碼模式， 需要計算相需要計算相應的應的RDcost代價值的次數為：代價值的次數為：

17、Mode8(Mode416+Mode16)=4(916+4)=592 次次 33ICIEICIEH.264H.264幀內預測經典快速算法幀內預測經典快速算法幀內預測快速算法優化方向：幀內預測快速算法優化方向：1、簡化、簡化 RDO代價函數代價函數2、通過概率預測及閾值判斷來減少候選模式、通過概率預測及閾值判斷來減少候選模式34ICIEICIEH.264H.264幀內預測經典快速算法幀內預測經典快速算法基于優勢邊緣強度的幀內預測快速算法（基于優勢邊緣強度的幀內預測快速算法（J. Wang算法）算法）5種圖像邊緣種圖像邊緣35ICIEICIEH.264H.264幀內預測經典快速算法幀內預測經典快速

18、算法J. Wang通過邊緣強度通過邊緣強度檢測將需要搜索的模式檢測將需要搜索的模式數從數從9種減少到了種減少到了4種。種。最終實驗結果表明，最終實驗結果表明，Wang提出的幀內預測提出的幀內預測快速算法所需要的計算快速算法所需要的計算時間只相當于全搜索算時間只相當于全搜索算法的法的40%。4x44x4亮度塊的候選決策模式亮度塊的候選決策模式36ICIEICIEH.264H.264幀內預測經典快速算法幀內預測經典快速算法類似的還有類似的還有F. Pan等人提出的基于邊緣方向直方圖預測最佳等人提出的基于邊緣方向直方圖預測最佳幀內模式的算法，僅在幾個大概率模式中進行選擇，顯著減幀內模式的算法，僅在幾

19、個大概率模式中進行選擇，顯著減少了候選預測模式數，提高了編碼速度。少了候選預測模式數，提高了編碼速度。然而這些方法在提高編碼速度的同時，編碼性能都有所下降。然而這些方法在提高編碼速度的同時，編碼性能都有所下降。我們對多種序列的我們對多種序列的9種幀內預測模式所占比重進行了統計，種幀內預測模式所占比重進行了統計，并基于統計結果提出了一種單向直接預測與多方向預測相結并基于統計結果提出了一種單向直接預測與多方向預測相結合的自適應算法。合的自適應算法。37ICIEICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法待預測待預測44子塊及其參考像素子塊及其參考像素 38ICI

20、EICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法在這種情況下，使用這些模式進行預測得到的殘差值在這種情況下，使用這些模式進行預測得到的殘差值也很可能相同。當也很可能相同。當 不完全相同但非常近似時，考慮不完全相同但非常近似時，考慮到量化步驟會將比較相近的殘差值量化為相同的值，到量化步驟會將比較相近的殘差值量化為相同的值，我們也可以得出同樣的結論。因此，在上述情況下，我們也可以得出同樣的結論。因此，在上述情況下，我們默認使用一種固定的預測模式進行預測，并且不我們默認使用一種固定的預測模式進行預測，并且不需要在碼流中進行標識，只需在解碼端執行同樣的參需要在碼流中進

21、行標識，只需在解碼端執行同樣的參考像素相似度檢測，從而不但可以節省標識預測模式考像素相似度檢測，從而不但可以節省標識預測模式所需要的碼流，還可以節省其余所需要的碼流，還可以節省其余8種預測所進行的率種預測所進行的率失真決策計算量。失真決策計算量。 ilil39ICIEICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法Sequence (CIF)Mode0 (%)Mode1 (%)Mode2 (%)Mode3 (%)Mode4 (%)Mode5 (%)Mode6 (%)Mode7 (%)Mode8 (%)pairs19.1923.1326.053.284.434.2

22、05.584.0810.06news20.4522.9932.592.753.414.473.914.305.13foreman9.1514.2933.393.9211.915.267.413.9110.76football6.7932.1823.377.474.5610.78mobile15.9315.6928.255.537.535.276.175.749.89container7.5929.3131.593.314.672.308.432.6710.13bus15.6720.5528.484.496.305.004.915.059.55Average13.5422

23、.5929.113.936.354.416.274.339.47表表1 幀內預測各模式分布情況幀內預測各模式分布情況40ICIEICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法（1）（2）122011()132pklkfloorlm21162Q PT hfloor41ICIEICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的基于紋理相似度判斷的的幀內預測流程的幀內預測流程圖圖42ICIEICIE基于紋理相似度判斷的幀內預測快速算法基于紋理相似度判斷的幀內預測快速算法SequenceBit-Rate(%)PSNR(dB)Time saving (%)QCIFForeman