1、PAGE PAGE 60項目名稱稱：基于視覺覺特性的的視頻編編碼理論論與方法法研究首席科學學家：高文 北北京大學學起止年限限：20099.1至至20113.88依托部門門：教育部一、研究究內容由于可以以有效節節省通信信帶寬和和存儲容容量，高高效率的的視頻編編碼技術術已經成成為數字字視頻廣廣播(廣廣播網)、數字字媒體存存儲與網網絡傳輸輸(計算算機網絡絡)、以以及多媒媒體通訊訊(通信信網)等等數字媒媒體產業業的共性性關鍵技技術。特特別是近近年來，我國的的數字媒媒體產業業迅猛發發展，年年均產值值已近萬萬億元，使得音音視頻編編解碼標標準技術術的地位越越來越重重要。經經過多年年努力，20006年中中國終

2、于于有了自自己的視視頻編碼碼國家標標準AVVS。但但我們仍仍需未雨雨綢繆，從模型型、理論論、方法法和技術術上為下下一代視視頻編碼碼國家標標準和國國際標準準的制定定早做準準備，確確保在下下一輪的的標準競競爭中立立于不敗敗之地。從視頻編編碼的需需求角度度看，編編碼的主主要動機機是在盡量量保證高高質量視視覺效果果的前提提下最大大限度地地降低碼碼率，達達到壓縮縮的目的的。眾所所周知，人類視視覺系統統的信息息處理能能力遠遠遠超過目目前的視視頻處理理系統，因此，從方法法論上借借鑒人類類視覺系系統的視視覺信息息處理基基本神經經機制和和心理機機理，構構建統一一的圖像像/視頻頻基本結結構與表表示模型型及其相相應

3、的視視覺計算算方法，發展將將香農信信息論與與人類視視覺系統統信息處處理原理理相結合合的高效效視覺信信息編碼碼理論與與方法，就成為為了本項項目的基基本出發發點和立立項依據據。視頻編碼碼處理的核心環環節要對對視頻中中包含的的視覺信信息進行行高效的的表達和和準確的的重建，其本質質是視覺覺信息的的基本結結構和有有效表示示問題。為此，我們需需要探討討以下關關鍵科學學問題：視頻編碼碼可以借借鑒的視視覺信息息處理機機理是什什么？作作為長期期進化的的結果，人類視視覺信息息處理系系統是至至為精致致的生物物系統之之一。但但遺憾的的是，其其基本神神經機制制、知覺覺和認知知機理目目前尚不不完全清晰晰。本項項目將從從多

4、學科科交叉的的角度出出發，探探索視覺覺信息處處理的基基本神經經機制和和認知機機理，研研究相應應的理論論和模型型，對其其進行實實驗驗證證與計算算仿真，以期能能夠用以以指導建建立更加加有效的的視覺計計算模型型。視頻編碼碼可以利利用的符符合視覺覺信息處處理機理理的計算算模型是是什么？盡管人人類視覺覺系統的的信息處處理機理理尚不完完全明了了，但隨隨著技術術手段的的提高，腦科學學、神經經科學和和認知心心理學專專家已經經掌握了了越來越越多的規規律并提提出了很很多假說說和模型型。如何何基于這這些發現現構建相相應的、可計算算的視覺覺信息處處理數學學模型就就成為一一個重要要的基礎礎科學問問題。其其解決不不僅可以

5、以有效促促進視覺覺編碼技技術的發發展，還還可以從從計算模模擬的角角度反過過來推動動視覺基基本機理理的研究究。與人類視視覺系統統特性相相吻合的的視頻表表示及編編碼的理理論是什什么？香香農信息息論雖然然從理論論上給出出了編碼碼效率的的上界和和失真的的關系，但并未未考慮編編碼的符符號(事事件)集集，因而而對視頻頻中高階階相關缺缺乏有效效的描述述手段。視覺信信息論試試圖借鑒鑒神經生生理學在在不同感感知階段段對感知知對象的的抽象，建立對對應的符符號(事事件)集集，使之之能夠方方便地描描述高階階相關性性，體現現語義結結構，從從而豐富富信息論論理論。符號(事件)是借鑒鑒稀疏編編碼理論論通過采采用貝葉葉斯計算

6、算視覺感感知的后后驗概率率建立的的。這將將為高效效視頻編編碼提供供指導性性的理論論基礎。上述三個個關鍵科科學問題題緊緊圍圍繞視覺覺信息處處理系統統中最核核心的表表示與編編碼問題題，分別別從生理理/心理理基本機機理、視視覺信息息處理計計算模型型、視頻頻編碼基基礎理論論三個層層面展開開。其中中，視覺覺基本機機理既是是基本出出發點也也是落腳腳點，計計算模型型是橋梁梁和紐帶帶，視覺覺信息論論則是設設計和實實現下一一代視頻頻編碼方方法和技技術的理理論基礎礎。圍繞上述述三個關關鍵科學學問題，我們提提出的總總體研究究內容框框架如圖圖2所示示，以期期建立解解決這些些問題的的模型、理論和和方法，構建相相應的驗驗

7、證平臺臺和原型型系統。如圖所所示，對對應三個個關鍵科科學問題題，本項項目的主主要研究究內容自自底向上上分別建建立在三三個層面面，即：機理與與模型層層，理論論與方法法層，關關鍵技術術與驗證證層。下下面我們們分別從從這三個個層面對對本項目目的主要要研究內內容進行行闡述。2.1視視覺基本本機理與與模型層層該層面的的研究內內容面向向的科學學問題主主要是前前兩個：視覺信信息處理理的基本本機理和和符合這這些基本本機理的的計算模模型。不不難理解解，二者者有天然然的緊密密聯系：一方面面，視覺覺信息處處理基本本機理為為視覺信信息處理理的計算算仿真、計算模模型建立立等提供供了良好好的生理理學和心心理學參參照系，對

8、其基基本規律律的認識識為計算算模型的的建立提提供了良良好的技技術可能能性和努努力方向向。另一一方面，計算模模型也為為基本機機理的正正確性和和模型的的有效性性提供了了驗證機機會，有有利于推推動視覺覺基本機機理的研研究。下下面分別別敘述本本項目在在視覺基基本機理理和計算算模型方方面擬開開展的研研究。2.1.1視覺覺信息處處理基本本機理研研究在視知覺覺機理方方面，將將主要從從生理、心理角角度，通通過神經經電生理理學、視視覺行為為學、藥藥物學等等研究手手段，在在靈長類類動物上上采用包包括微電電極矩陣陣記錄方方法、高時間間分辨率率的事件件相關電電位(EERP)、功能能核磁共共振(ffMRII)等技技術手

9、段段從初級級視覺皮皮層V11神經元元群體反反應特性性入手，研究VV1神經經元經典典和非經經典感受受野與上上級視覺覺皮層區區域神經經元正向向和反向向聯系、V1神神經元之之間的橫橫向聯系系，以及及視覺學學習過程程中神經經元群視視覺編碼碼模式的的變化特特性，探探索初級級和高級級皮層中中的神經經元群在在視覺處處理中對對簡單和和復雜視視覺刺激激的編碼碼模式以以及動態態反應模模式，各各級皮層層神經元元群對不不同視覺覺模式識識別的貢貢獻，考考察視覺覺注意和和知覺組組織之間間相互影影響和交交互作用用，以驗驗證或改改進現有有假說或或理論模模型(如如稀疏編編碼、群群組編碼碼、視覺覺注意、增量成成組假說說等)，乃至

10、提提出有關關視覺模模式識別別的神經經機制及及編碼機機理的新新假說、新模型型，為后后續的計計算模型型的研究究提供神神經機制制和心理理機理方方面的基基礎。圖圖3給出出了本項項目在視視知覺基基本機理理方面擬擬開展的的主要研研究內容容，涉及及的主要要關鍵問問題，機機理模型型/假說說，以及及擬采用用的技術術手段。視知覺基基本機理理的研究究成果為為實現人人工視覺覺提供了了一條可可行的道道路，利利用基本本視覺機機理如稀稀疏編碼碼、群組組編碼、增量成成組等，根據人人類視覺覺系統在在平移、旋轉、尺度下下的不變變性以及及對數據據缺失、噪聲等等問題的的自適應應性，從從計算仿仿真的角角度研究究相應的的視覺信信息處理理

11、計算結結構，探探討視知知覺的計計算機理理，建立立相應的的表示和和計算模模型。我們將在在這一框框架下研研究包括括視覺信信息的稀稀疏表示示、初級級視覺皮皮層(VV1區)、V22區、VV4區和和IT區區的各個個層次、不同復復雜度下下特征形形成的計計算模型型和實現現算法。具體研研究內容容包括：在視皮皮層網絡絡結構第第一層上上研究視視覺信息息稀疏表表示的機機器學習習算法、超完備備表示對對實現魯魯棒圖像像編碼的的作用以以及基于于超完備備表示的的特征提提取方法法等。在在第二網網絡層次次上將研研究視覺覺特征成成組(FFeatturee Grrouppingg)機理理以及神神經網絡絡拓撲結結構和學學習算法法。在

12、皮皮層型網網絡的第第三層上上則研究究整體特特征形成成機理及及計算模模擬算法法，在最最高層則則研究基基于整體體特征的的物體識識別模型型與算法法。2.1.2面向向視頻編編碼的視視覺計算算模型研研究在上述視視知覺機機理研究究基礎上上，我們們將從功功能模擬擬的角度度，采用用統計學學習方法法，研究究從圖像像和視頻頻中學習習與視覺覺感知相相對應的的視覺信信息表示示基本粒粒子結構構，建立立形式化化數學描描述的有有關理論論和方法法。特別別要重點點研究稀稀疏編碼碼、增量量成組和和視覺注注意機制制所遵循循的基本本規律及及其可能能的計算算模型，進而建建立與視視覺信息息處理相相關的統統計模型型和計算算方法。在本項目目

13、的研究究中，我我們將基基于靜態態要素圖圖模型，提出一一個針對對視覺運運動的、統一的的視覺表表示模型型時時空要素素圖(SSpattiall Teempoorall prrImaal sskeTTCh graaph SSTITTCH)系統。該系統統包含了了運動圖圖像序列列中每一一幀的要要素圖表表示。這這些要素素圖比以以往從靜靜態圖像像中所獲獲得的要要素圖顯顯示出更更強的語語義信息息。這些些語義信信息主要要來源于于運動所所提供的的豐富線線索考慮到到運動的的時空相相關性以以及整體體運動的的一致性性(cooherrencce)，我們可可以對每每幀靜態態要素圖圖做進一一步的分分析處理理，如層層次化連連接不

14、同同粒度的的基元和和模式等等。圖與與圖之間間元素的的對應關關系表示示了這些些元素在在時間上上的動態態對應關關系。此此外，SSTITTCH系系統還包包括驅使使這些要要素圖產產生變化化的動力力學模型型，如：要素圖圖或其子子圖的運運動、幾幾何變形形、以及及拓撲結結構的變變化模型型等。我我們認為為時空要要素圖模模型是對對運動圖圖像序列列的一種種內在本本質表示示，它將將為編碼碼提供稀稀疏、高高效的表表示，從從而有望望使得新新一代編編碼技術術獲得本本質性的的飛躍。本項目將將通過提提出上述述針對視視頻信息息的“時時空要素素圖”表表示模型型和計算算方法，研究將將視頻分分解為層層次化基基元結構構的可行行性，探探

15、討視頻頻表示及及編碼的的基本數數學模型型問題，進而探探索視頻頻的內在在基本結結構，為為后續的的“視知知覺熵”、“視視覺信息息論”、基于視視覺特性性的高效效視頻壓壓縮、多多維度可可伸縮編編碼、分分布式多多視點編編碼和面面向智能能監控的的視頻編編碼等研研究內容容提供基基礎性的的視覺表表示和計計算模型型。在視覺注注意計算算方面，項目將基基于前面面討論的的STIITCHH表示，研究視視頻的注注意選擇擇計算模模型。將將視頻分分解成基基元結構構后，根根據視覺覺機理中中的“中中心-環環繞”機機制，視視頻中的的注意區區域可定定義為運運動基元元的時空空特征拐拐點，如如飛翔的的小鳥、飄落的的雪花可可能會因因其空間

16、間特征與與周圍區區域有顯顯著差異異而顯著著性高，而快速速行走的的人突然然停下來來可能會會引起運運動特征征與周圍圍(時間間軸)有有變化而而被關注注。顯著性可可以用特特征與中中心/環環繞類別別標記之之間的互互信息來來描述，特征與與類別標標記關聯聯越緊密密，該特特征越能能將中心心和環繞繞區域分分離開，即中心心與環繞繞區域之之間的特特征分布布差異越越大，則則顯著性性越高這種定義義在運動動基元上上的顯著著性與現現有的基基于低級級特征(如顏色色、亮度度、方向向和光流流)的顯顯著性相相比更加加符合人人類的視視覺特性性，可以以為后續續基于注注意的視視頻編碼碼和內容容監控提提供更多多信息。2.2視視頻編碼碼理論

17、與與方法層層上述視覺覺基本機機理與模模型層研研究的核核心內容容是視覺覺信息的的有效表表示問題題，而視視頻編碼碼的根本本目標則則是要使使用盡可可能少的的比特來來編碼表表達原始始視頻中中包含的的視覺信信息，因因此，上上述基本本機理和和數學模模型恰可可以利用用以進行行高效的的視頻編編碼，而而且這為為突破現現有技術術框架提提出了新新思路，即基于于視覺特特性的高高效視頻頻編碼理理論。從視頻編編碼領域域自身技技術發展展趨勢來來看，除除了提高高編碼效效率這一一核心目目標之外外，也需需要在其其他角度度上發展展。首先先，需要要適應不不同的傳傳輸帶寬寬、存儲儲和檢索索目的，實現多多個維度度上的可可伸縮編編碼。傳統

18、的的可伸縮縮編碼重重點在時時間、空空間和質質量上進進行伸縮縮，我們們則提出出了更多多的維度度，包括括注意可可伸縮、動態范范圍可伸伸縮等。其次，分布式式系統、立體視視系統(尤其是是三維電電視)等等應用需需求越來來越強烈烈，因此此也特別別有必要要針對這這類多視視頻源編編碼問題題進行探探討，即即所謂分分布式多多視點編編碼。最最后，在在視頻監監控領域域，對智智能視頻頻監控的的需求日日益強烈烈。目前前的監控控系統均均直接采采用面向向廣播或或通信業業務的視視頻編碼碼方法，而沒有有針對監監控任務務本身進進行特殊殊的編碼碼，因此此編碼和和后端的的智能分分析功能能是割裂裂開的。為此本本項目提提出一種種新的解解決

19、思路路，試圖圖將二者者更加緊緊密地聯聯系起來來，即在在前端編編碼階段段就盡量量多地考考慮后端端的智能能分析需需求。在視頻編編碼理論論與方法法層面，我們將將重點開開展四個個方面的的研究，即：基基于視覺覺模型的的高效視視頻編碼碼理論、多維度度可伸縮縮編碼方方法、分分布式多多視點視視頻編碼碼方法和和面向智智能監控控的視頻頻編碼方方法。它它們之間間的關系系如表11所示：表1 編編碼理論論與方法法主要研研究內容容之間的的關系編碼方法法涉及的機機理與計計算模型型主要的理理論與方方法主要應用用領域基于視覺覺模型的的高效視視頻編碼碼視知覺機機理，特特別是稀稀疏編碼碼理論，視覺計計算模型型，特別別是局部部視覺（

20、基元）模型視覺信息息論，視視覺要素素編碼方方法，局局部視覺覺模型參參數編碼碼高清、超超高清視視頻廣播播，視頻頻存儲多維度可可伸縮編編碼視覺注意意機理，圖像/視頻顯顯著性計計算模型型可伸縮編編碼理論論，注意意區域編編碼方法法流媒體服服務，可可伸縮質質量服務務分布式多多視點視視頻編碼碼分布式信信源相關關模型，深度視視覺計算算模型分布式編編碼理論論，Wyynerr-Ziiv編碼碼多視點視視頻，33D電視視面向智能能監控的的視頻編編碼群組編碼碼機理，對象檢檢測與識識別模型型，視覺覺注意機機理面向對象象編碼方方法，智智能視頻頻分析與與編碼，索引編編碼智能視頻頻監控，視頻檢檢索四個主要要研究內內容各自自具

21、體描描述如下下：2.2.1基于于視覺模模型的高高效視頻頻編碼理理論結合視知知覺機理理和視覺覺計算模模型，研研究符合合人類視視知覺機機理的視視頻壓縮縮理論與與方法。本部分分研究內內容將從從基礎理理論、算算法與框框架以及及應用三三個方面面開展。在基礎理理論方面面，研究究基于視視知覺熵熵的視覺覺信息論論，探討討視知覺覺機理中中給出的的視覺基基本組成成單元與與視覺信信息論中中基本信信源符號號的關系系，定義義合理的的基本信信源符號號，進而而提出視視知覺熵熵的概念念；研究究視知覺覺熵的測測度和數數量化方方法，特特別是視視知覺熵熵的動態態測度特特性，探探索魯棒棒、易行行的視知知覺質量量評價方方法，及及其基于

22、于視知覺覺熵的率率失真理理論，進進而提出出視覺信信息論，為基于于視知覺覺的視頻頻壓縮提提供理論論依據。在算法及及系統方方面，以以視覺信信息論為為指導，研究基基于視知知覺的視視頻壓縮縮算法及及系統，設計理理論上最最優的壓壓縮系統統，尋找找基于視視知覺率率失真理理論的系系統優化化方法。具體而而言，就就是從人人的視覺覺特性出出發，對對視頻內內容進行行分析，從中提提取出視視頻的關關鍵特征征，如邊邊緣、紋紋理、運運動等人人眼所關關注的局局部特征征，探索索針對這這些局部部特征的的參數化化算法、根據局局部特征征參數的的視覺掩掩蔽模型型的動態態調整方方法、以以及相應應的量化化算法和和編碼算算法，建建立空域域、

23、時域域、局部部特征的的相關性性模型。在這里里如何進進行局部部特征的的提取，以及利利用這些些局部特特征對視視覺模型型的調整整與具體體編碼模模塊間的的聯系成成為整個個編碼系系統的關關鍵問題題，因此此，找出出這些特特征的規規律，并并用其指指導壓縮縮成為提提高壓縮縮效率的的關鍵，為此項項目研究究還將對對基于模模型的圖圖像/視視頻局部部特征提提取進行行深入研研究，從從而可以以通過學學習訓練練適應性性地進行行特征提提取與編編碼。在應用方方面，我我們擬研研究基于于視覺的的動畫壓壓縮和基基于視覺覺的超高高清視頻頻編碼以以及超分分辨率視視頻編碼碼。動畫畫本身的的產生機機制非常常有利于于采用基基于視覺覺的編碼碼方

24、法，和自然然視頻相相比，動動畫一般般有著較較明顯的的邊緣特特征、紋紋理特征征、或色色彩一致致的區域域，運動動模型也也相對較較容易建建立，因因此我們們擬結合合動畫制制作的基基本原理理，對基基于視覺覺特征的的動畫編編碼進行行研究，搭建基基于視覺覺的動畫畫壓縮系系統,提提高動畫畫的壓縮縮效率，為推動動基于視視覺的視視頻壓縮縮應用邁邁出關鍵鍵的一步步。對于超高高清分辨辨率視頻頻，目前前的壓縮縮效率還還難以滿滿足應用用需求，本項目目擬研究究基于視視覺的超超分辨率率視頻編編碼技術術，提高高超高清清視頻的的編碼效效率。我我們擬在在原始分分辨率視視頻上提提取邊緣緣、紋理理等視覺覺特征并并進行編編碼，然然后對原

25、原始分辨辨率視頻頻進行下下采樣編編碼，在在解碼端端通過超超分辨率率插值技技術重構構高分辨辨率視頻頻。隨著硬件件技術的的快速發發展，高高分辨率率的逐行行顯示設設備越來來越普及及，但在在許多應應用場合合由于歷歷史的原原因隔行行視頻還還將長期期存在一一段時間間，對此此我們擬擬研究基基于超分分辨率技技術的去去隔行效效應研究究，實現現低分辨辨率、低低幀率的的隔行視視頻到高高分辨率率、高幀幀率的視視頻轉換換，取得得更好的的主觀效效果。2.2.2多維維度可伸伸縮編碼碼方法對此問題題將從理理論層和和算法層層分別展展開。理理論部分分主要結結合香農農傳統信信息論和和視覺信信息論，根據視視知覺熵熵的定義義、測度度及

26、相關關率失真真理論，探求可可伸縮編編碼的視視知覺率率失真曲曲線，及及其與傳傳統率失失真曲線線的關系系。在此此理論研研究基礎礎上我們們將探索索基于視視覺信息息論的SSVC編編碼框架架及算法法。通過過在傳統統三維SSVC框框架上引引入注意意度，進進一步提提高SVVC編碼碼的性能能；引入入針對高高動態范范圍視頻頻輸入的的動態范范圍這一一自由度度，支持持高動態態范圍圖圖像的編編碼顯示示。對于這一一問題重重點研究究注意模模型的建建立及基基于注意意模型的的感興趣趣區域的的提取、表達和和編碼，力圖尋尋求具有有最高率率失真性性能的可可伸縮編編碼；研研究具有有強容錯錯能力并并且能夠夠適應各各種動態態變化網網絡和

27、不不同的用用戶終端端設備的的可伸縮縮視頻編編碼方法法，主要要基于視視頻內容容的視知知覺熵，為視頻頻要素提提供不同同級別的的糾錯保保護，盡盡可能提提高重建建視頻的的主觀滿滿意度；研究基基于注意意度的碼碼流優化化截取方方法，其其目標即即為最大大化重建建視頻的的視知覺覺率失真真性能，同時兼兼顧復雜雜度。2.2.3分布布式多視視點視頻頻編碼方方法在資源受受限的分分布式視視頻應用用中，鑒鑒于現有有分布式式視頻編編碼的低低效性，需要利利用視覺覺特性，研究分分布式多多視點編編碼理論論，從而而提高編編碼效率率。同時時，必須須充分利利用分布布式信源源之間的的相關性性，去除除分布式式信源的的視間冗冗余，達達到分布

28、布式視頻頻信息高高效解碼碼。在立立體視編編碼方面面，需要要利用深深度輔助助信息來來精確描描述真實實的三維維世界。根據立立體視覺覺成像的的原理, 利用用多個視視點圖像像的空間間幾何關關系以及及圖示線線索知識識獲取深深度信息息是立體體視點視視頻處理理的重點點研究內內容；同同時，需需要研究究利用多多視點視視頻編碼碼對大量量的視頻頻原始數數據和輔輔助信息息進行壓壓縮并且且通過網網絡進行行有效傳傳輸；通通過自由由視點切切換保證證用戶的的交互功功能，使使用戶可可以根據據自己的的興趣選選擇不同同的視角角具體的研研究內容容包括：(1) 基于視視覺特性性的視頻頻源分割割在視覺模模型的指指導下，研究基基于視覺覺特

29、性與與統計特特性的信信源分割割準則。根據這這種分割割準則，將視頻頻源劃分分為若干干個視覺覺特性、統計特特性相異異的子視視頻源。然后對對每個子子視頻源源使用相相應的高高效編碼碼方法，以期獲獲取好的的主觀質質量。(2) 基于多多視頻源源相關模模型的分分布式編編碼根據視頻頻序列的的具體分分割形式式，利用用多視點點信源的的相關特特性、視視點間的的幾何位位置以及及采集參參數，研研究其相相應的相相關模型型以及參參數估計計方法，指導編編碼器進進行高效效的分布布式編碼碼。(3) 研究多多視頻源源時間、視間聯聯合相關關性，實實現高效效解碼分布式編編碼理論論要求獨獨立編碼碼的信源源碼流必必須在解解碼端聯聯合解碼碼

30、，通過過充分挖挖掘信源源間的相相關性來來高質量量地重建建源數據據。利用用基于視視間運動動的邊信信息導出出、數據據融合等等技術，研究高高效的邊邊信息生生成、信信道解碼碼以及源源數據重重建等方方法。(4) 面向視視覺質量量的自適適應解碼碼將主觀視視覺質量量評價模模型嵌入入到分布式式解碼器器中，當當目標視視頻區域域解碼質質量達到到主觀質質量要求求時，即即終止解解碼過程程。這樣樣既可以以達到更更優的碼碼率與視視覺質量量平衡，還可以以控制解解碼器的的計算復復雜度。(5) 基于立立體視覺覺機理的的多視編編碼研究利用用多個視視點圖像像的空間間幾何關關系以及及圖示線線索知識識生成深深度序列列，用以以精確表表達

31、真實實世界的的立體視視覺信息息。基于于立體視視覺機理理，進一一步研究究深度序序列與彩彩色視頻頻的聯合合高效壓壓縮，重重構出最最優的三三維視頻頻。為了了支持多多視點切切換，研研究高效效靈活的的低延遲遲視點切切換，同同時使壓壓縮效率率和視點點切換代代價之間間達到最最優的平平衡。(6)三三維顯示示技術研究高效效虛擬視視合成技技術，可可使用戶戶按照深深度感知知能力選選擇合適適的欣賞賞視點；研究多多視點的的三維顯顯示器，使觀察察者具有有更加廣廣闊的視視域。2.2.4面向向智能監監控的視視頻編碼碼方法雖然視頻頻監控部部署規模模已經比比較龐大大，而且且發揮著著重要作作用，但但是目前前系統的的應用模模式比較較

32、落后，主要靠靠人工監監視多路路視頻和和事發后后的人工工搜檢，其中實實時現場場人工監監視耗費費大量人人力，而而且監視視人員易易疲勞、漏檢風風險大，亟待半半自動乃乃至全自自動預警警的支持持。這需需要我們們從視頻頻編碼層層次進行行基礎性性創新，從而構構建新一一代的智智能化、高效能能視頻監監控體系系。針對視頻頻監控的的特點與與需求，研究三三層碼流流結構(基本層層、對象象層和索索引層)的新一一代監控控視頻編編碼方法法與標準準，擬利利用本項項目研究究的視頻頻編碼方方法進行行基本層層編碼，通過在在視頻碼碼流中增增加對象象層和索索引層，將滿足足視頻監監控智能能化和高高效率的的需要。基本層編編碼方法法采用本本項

33、目研研究的基基于視覺覺特性的的視頻編編碼方法法，針對對監控視視頻的特特點和需需求，提提出適合合監控需需要的視視頻編碼碼方案并并進行標標準化。針對重重要場合合監控中中可獲得得多攝像像源的特特點，通通過多源源視頻融融合獲得得廣視角角、高清清晰的監監控效果果。對象層編編碼面向向監控智智能化的的需要，基于基基本層碼碼流中的的視覺基基元、運運動向量量等要素素，研究究監控背背景、場場景、物物體、人人物等對對象模型型，分析析異常行行為和異異常事件件，形成成描述監監控目標標及其關關系的對對象層碼碼流，發發揮基于于視覺特特性的編編碼理論論與方法法的優越越性，提提高視頻頻監控系系統的效效率。索引層以以提高海海量監

34、控控視頻的的檢索和和存儲效效率為目目標，基基于基本本層中的的感興趣趣區域、視覺基基元和對對象層中中的對象象描述信信息，研研究監控控場景變變化的檢檢測方法法，提出出評價視視頻片段段重要性性的計量量方法，獲得場場景變換換位置、視頻片片段重要要程度等等描述信信息，形形成描述述視頻結結構的索索引，支支持對監監控視頻頻的提綱綱攜領式式檢索、摘要和和存儲容容量縮減減。2.3原原型研究究與驗證證層上述兩個個層面所所研究的的基礎性性的模型型、理論論和方法法還需要要通過設設計原型型系統或或者應用用平臺進進行驗證證。我們們重點考考慮在寬寬帶移動動多媒體體應用中中進行原原型研究究和系統統驗證，構建相相應的驗驗證平臺

35、臺。具體體研究內內容如下下：(1)面面向遠程程醫療的的高動態態視頻采采集技術術：高動動態范圍圍視頻采采集通過過多個攝攝像頭協協同采集集同一場場景不同同動態范范圍的圖圖像，生生成高保保真的高高動態范范圍視頻頻源。(2) 視頻轉轉碼技術術研究：主要解解決流媒媒體系統統平移過過程中的的轉碼關關鍵問題題，特別別是多種種其它編編碼格式式到AVVS等視視頻格式式的轉碼碼技術，在此基基礎上突突破解決決轉碼的的一些共共性的關關鍵技術術，例如如新的轉轉碼結構構的設計計、視頻頻圖像的的濾波預預處理、轉碼運運動矢量量的預測測等。同同時在轉轉碼過程程中研究究編碼的的率失真真屬性，為視頻頻的有效效調度打打下基礎礎。(3

36、) 多流封封裝技術術：針對對網絡傳傳輸介質質誤碼率率高、帶帶寬差異異等問題題，本項項目基于于可伸縮縮編碼方方法研究究多流封封裝技術術，將一一個視頻頻源分拆拆為多個個獨立的的視頻流流單獨傳傳輸，從從而確保保傳輸的的健壯性性。研究究基于傳傳輸通道道的冗余余編碼技技術，減減少傳輸輸過程對對誤碼率率的影響響，適應應不同帶帶寬。(4) 面向遠遠程醫療療的視頻頻編碼應應用技術術研究：根據基基于視覺覺特性的的視頻編編碼理論論和遠程程醫療業業務應用用需求， 針對對遠程醫醫療的視視頻編碼碼技術應應用場景景進行分分析和研研究，主主要包括括：感興興趣區域域編碼的的遠程醫醫療會診診技術應應用研究究,高動動態范圍圍視頻

37、手手術監測測技術應應用研究究等。(5) 高清IIPTVV和固定定移動融融合（FFMC）視頻應應用驗證證平臺實實現技術術：研究面面向遠程程醫療的的高清IIPTVV網絡流流媒體系系統架構構，固定定移動融融合（FFMC）環境下下的網絡絡流媒體體系統架架構，搭搭建相應應的寬帶帶移動多多媒體傳傳輸驗證證平臺，對新一一代基于于視覺特特性的視視頻編碼碼理論和和方法進進行驗證證。二、預期期目標3.1總總體目標標本項目針針對高效效視頻編編碼所涉涉及的視視覺信息息處理基基礎科學學問題開開展多學學科交叉叉的共同同研究，借鑒神神經科學學的最新新研究成成果，以以探索視視覺信息息表示和和編碼的的基本神神經機制制和心理理機

38、理為為出發點點，構建建視頻內內容表示示的時空空要素圖圖模型及及其統一一的計算算模型。在這些些研究的的基礎上上，針對對視覺信信息編碼碼與傳輸輸問題，將香農農信息論論與人類類視覺系系統信息息處理原原理相結結合，并并以此作作為視頻頻編碼的的理論基基礎，從從而提出出新的基基于視覺覺模型的的下一代代高效視視頻編碼碼框架，并擴展展研究包包括視覺覺注意和和高動態態范圍在在內的多多維度可可伸縮編編碼方法法、面向向多視頻頻源的分分布式多多視點編編碼方法法以及面面向智能能監控的的視頻編編碼方法法，從而而構建一一套基于于視覺特特性的高高效視頻頻編碼理理論、模模型和方方法體系系這這即是本本項目在在理論方方面的總總體目

39、標標。本項目在在解決國國家重大大需求和和產業創創新方面面的總體體目標包包括兩方方面。首首先，以以此為基基礎衍生生出的視視頻編碼碼技術可可為下一一代視頻頻編碼國國家標準準做出不不可替代代的貢獻獻，并深深度參與與未來視視頻編碼碼國際標標準的制制訂工作作，從而而提高我我國信息息通信產產業的國國際競爭爭力。其其次，本本項目面面向智能能監控的的編碼方方法等研研究成果果預期可可以改變變傳統視視頻監控控的應用用模式，從而服服務于國國家公共共安全、重大事事件應急急管理等等國家重重大需求求；通用用編碼方方法則還還可以為為下一代代寬帶移移動多媒媒體應用用技術提提供理論論與核心心技術基基礎，并并為航天天遙現遙遙控等

40、國國家重大大工程提提供技術術儲備。3.2五五年預期期目標根據上述述總體目目標，未未來五年年內本項項目預期期在理論論與方法法、解決決國家重重大需求求、科研研成果和和人才培培養方面面達到如如下目標標：1、預期期在理論論與方法法方面取取得的進進展、突突破及其其科學價價值如前所所述，理理論層面面我們的的總體目目標是構構建一套套高效的的基于視視覺特性性的視頻頻編碼理理論、模模型和方方法體系系，具體體的五年年目標主主要體現現在以下下幾個方方面：在視覺基基本機理理層面，探索視覺覺信息處處理的基基本神經經機制和和認知機機理并對對其進行行計算仿仿真。特特別要采采用先進進的多電電極矩陣陣技術手手段，為為揭示視視知

41、覺的的神經機機制提供供經驗和和第一手手實驗證證據。期期望能探探明稀疏疏編碼與與群組編編碼這兩兩類編碼碼方式的的區別與與聯系、轉化機機制及相相應的心心理機理理；探明明基本成成組和增增量成組組兩種成成組方式式之間的的相互作作用以及及視覺注注意在其其中的調調節機制制，從而而為建立立視覺計計算模型型提供基基本機理理基礎。在視覺計計算模型型層面，建立統統一的統統計視覺覺表示與與計算模模型。提提出并完完成面向向視頻處處理的“時空要要素圖”模型，建立視視頻內容容基本要要素的數數學統計計模型及及其符號號化的形形式化描描述以及及相應的的計算推推理方法法。在視頻編編碼理論論層面，提出與視視覺感知知一致的的視頻編編

42、碼與傳傳輸理論論。建立立視覺信信息量、視知覺覺熵等概概念的形形式化描描述，從從而構建建符合視視覺特性性的視頻頻編碼理理論。在視頻編編碼方法法層面，構建包包括基于于視覺模模型的新新型編碼碼方法、多維度度可伸縮縮編碼方方法、分分布式多多視點編編碼方法法和面向向智能監監控的視視頻編碼碼方法等等在內的的下一代代高效視視頻編碼碼理論與與方法體體系。2、預期期在解決決國家重重大需求求方面的的研究目目標突破數字字視頻編編解碼核核心技術術，為制制定下一一代自主主知識產產權的高高效視頻頻壓縮國國際/國國家標準準提供理理論、方方法和關關鍵技術術上的支支持，實實現5年年內視頻頻壓縮率率再提高高1倍的的目標(即從目目

43、前的約約1:1100提提高到11:2000)。預期能能夠為下下一代視視頻編碼碼國家標標準(AAVS階階段2)做出不不可替代代的貢獻獻(預期期本項目目組成員員貢獻率率不低于于40%)。同同時，至少少申請110項以以上具有有我國自自主知識識產權的的國際專專利，扭轉中中國視頻頻產業核核心技術術長期受受制于人人的被動動局面，推動我我國數字字視音頻頻產業的的戰略轉轉型。突破面向向智能監監控的視視頻編碼碼關鍵技技術，通通過在編編碼過程程中引入入局部視視覺模型型和視覺覺注意等等新要素素，從而而有效支支持自動動異常發發現和報報警、目目標檢索索等功能能，從而而改變智智能視頻頻監控的的應用模模式，滿滿足國家家在公

44、共共安全和和重大應應急事件件管理中中，對智智能視頻頻監控系系統的重重大需求求。突破寬帶帶移動多多媒體應應用系統統涉及的的關鍵技技術，本本項目在在視頻編編碼方面面的研究究成果可可以有效效支持面面向高清清的IPPTV、具有三三維和高高動態范范圍視頻頻屬性的的遠程醫醫療系統統等，提提高我國國在寬帶帶移動多多媒體應應用方面面的技術術水平并并得到產產業應用用。3、在科科研產出出、優秀秀人才培培養等方方面的預預期目標標預期在視視頻編碼碼領域的的部分研研究成果果達到國國際領先先水平，促進相相關學科科的發展展。預期期五年內內發表SSCI、EI收收錄學術術論文3300篇篇以上，其中國國際期刊刊論文1100篇篇以

45、上，出版專專著2本本以上，申請專專利400項以上上，爭取取獲得112項項國家級級科技獎獎勵。在相關領領域形成成一支思思維活躍躍、創新新能力強強的國際際知名研研究團隊隊，培養養高水平平學術人人才，造造就一批批在國內內外相關關領域有有相當影影響力的的學術帶帶頭人。培養博士660人、碩士1100人人。三、研究究方案4.1總總體學術術思路與與技術路路線如前所述述，傳統統的視頻頻編碼技技術建立立在香農農信息論論基礎上上，只能能在信號號層面上上采用統統計處理理的手段段對視頻頻進行壓壓縮，所所以，基基于傳統統信息論論的方法法流行多多年，形形成了延延續至今今的基于于變換與與預測的的混合編編碼框架架，基于于此的

46、編編碼效率率已遭遇遇瓶頸。我們可可以認為為，這種種傳統的的編碼方方法主要要停留在在以像素素或圖像像塊為基基本表示示單元的的層次上上，這這在某種種意義上上對應著著人類“眼腦”視覺信信息處理理通路的的視網膜膜層面，至多部部分延伸伸至側膝膝體。因此，本本項目的的總體研研究思路路就是(如圖112中間間虛線右右側部分分)：借借鑒人類類視覺系系統的信信息處理理過程，將編碼碼的理論論基礎向向視覺通通路的后后端延伸伸，即延延伸至視視覺皮層層的V11區，VV2區，V3區區，V44區，乃乃至ITT/MTT區。從從視覺信信息表示示的基本本對象角度度來看，該思路路主要采采用視覺覺基元作作為視覺覺內容的的基本單單元，而

47、而不再是是傳統方方法中的的像素或或者圖像像塊。這這種信息息表示機機制變化化的意義義在于：通過將將編碼符符號集合合定義在在具有視視覺意義義的基元元上，傳傳統的信信息論就就可以被被擴展，我們稱稱之為“視覺信信息論”，以區區分一般般意義上上的信息息論。為為此，我我們就需需要探討討符合視視覺感知知的視覺覺基元與與視覺信信息論中中基本信信源符號號的關系系，尋找找基本信信源符號號的合理理定義，進而提提出并形形式化視視覺信息息量、視視知覺熵熵等概念念，研究究其測度度和數量量化方法法，尋找找并借助助客觀、魯棒、易行的的視覺質質量評價價方法，探索基基于視知知覺熵的的率失真真關系，進而形形成新的的率失真真理論。從

48、而以以視知覺覺熵和視視知覺率率失真理理論為基基礎，建建立視覺覺信息論論，為基基于視覺覺模型的的新型高高效視頻頻編碼技技術奠定定堅實的的理論基基礎。本項目研研究將基基于上述述總體思思路展開開，分別別在視覺覺信息處處理基本本機理、視覺表表示與計計算模型型、視頻頻編碼理理論與方方法以及及系統驗驗證等幾幾個層面面展開。具體的，在視覺覺基本機機理方面面，我們們將采用用多電極極矩陣植植入猴腦腦和計算算仿真兩兩種方法法，重點點探討稀稀疏編碼碼、群組組編碼、增量成成組、運運動感知知、視覺覺注意等等主要內內容。這這些機理理可以指指導我們們研究新新的視頻頻內容表表示與計計算模型型，具體體的，我我們擬沿沿著對視視覺

49、信息息進行統統計學習習的思路路，學習習圖像/視頻的的基本要要素，建建立時空空要素圖圖模型，并在此此基礎上上對視覺覺注意進進行建模模分析。最后則則可以基基于這些些計算模模型研究究基于局局部視覺覺模型的的高效視視頻編碼碼、包含含注意機機制的多多維度可可伸縮編編碼、分分布式多多視編碼碼和面向向智能監監控的視視頻編碼碼等理論論與方法法。需要指出出的是，本項目目的上述述研究方方案強調調了神經經科學、生理學學、心理理學、數數學、計計算科學學和電子子學等多多學科的的交叉從從而有效效地促進進我國科科學與技技術研究究在上述述領域中中的進一一步發展展。4.2各各主要研研究內容容的研究究方案基于上述述總體學學術思路

50、路和技術術路線，本項目目各個主主要研究究內容的的研究方方案概述述如下：4.2.1視覺覺信息處處理基本本機理方方面這部分的的研究將將采用包包括清醒醒動物神神經電生生理學、視覺行行為學和和藥物學學方法以以及ERRP、ffMRII等技術術手段研研究生物物視覺系系統知覺覺組織主主要環節節的神經經機制和和心理機機理。對視皮層層神經元元群反應應特性等等問題的的研究方方案，簡簡述如下下：采用用不同的的視覺刺刺激模式式(刺激激-背景景和自然然景物圖圖像)對對靈長類類動物進進行視覺覺行為學學訓練；在動物物V1 區植入入多電極極矩陣；采用神神經電生生理學記記錄研究究動物作作視覺識識別和視視覺學習習時V11區神經經

51、元群反反應模式式；在各各級皮層層采用物物理或化化學藥品品手段改改變縱向向神經輸輸入對VV1區的的作用；研究當當動物作作視覺識識別時記記錄V11區神經經元群反反應特征征。視覺注意意的生理理心理基基礎及在在視覺認認知組織織中的作作用則將將主要采采用ERRP和ffMRII技術，對被測測試人的的腦電活活動進行行測量，研究知知覺組織織和視覺覺信息處處理過程程中，基基本成組組和增量量成組過過程在時時序和腦腦區上的的差異，以及注注意等認認知過程程對其之之間的相相互影響響的差異異以加工工及相應應的腦機機制。具體方方案為：向被試試呈現不不同的刺刺激圖片片(背景景和圖像像容易分分離或不不易分離離，自然然圖像或或刺

52、激背景圖圖形)，考察在在給不同同線索(cuee)情況況下，EERP的的波形，反應時時間以及及激活腦腦區的差差異。在模型研研究方面面，考慮慮圖像在在不同感感覺、知知覺層面面上的不不同表示示，對于于視覺信信息的稀稀疏表示示、視覺覺皮層VV2區、V4區區和ITT區的各各個層次次采用前前饋聯接接，采用用無監督督和有監監督兩種種不同學學習方式式解決局局部特征征和整體體特征的的學習任任務。總總體上采采用階層層、模塊塊化網絡絡結構。其中，第一層層對應稀稀疏表示示，目標標是建立立視覺信信息的超超完備表表示，模模擬視覺覺初始皮皮層的功功能，該該層的學學習算法法采用自自適應的的視覺信信息稀疏疏表示算算法，在在神經

53、信信息內部部編碼方方面，研研究基于于神經元元信號獨獨立分解解機理的的內部稀稀疏表示示的統計計模型，使得該該層的神神經元具具有超完完備稀疏疏響應特特征。第二層的的功能是是局部特特征成組組(Feeatuure Grooupiing)，該層層的學習習準則是是使得具具有相近近響應特特征的神神經元盡盡可能集集群到相相近的鄰鄰域，我我們擬引引入鄰域域神經元元之間的的能量變變化極小小化實現現局部特特征成組組和無監監督學習習機制。第三層的的功能是是視覺整整體特征征的形成成，該層層依賴于于具體的的視覺處處理任務務。我們們將針對對某些特特定的典典型任務務設計相相應的整整體特征征形成與與學習方方法，研研究如何何將任

54、務務的先驗驗知識或或領域知知識融入入到整體體特征的的表示與與學習中中。在最高的的識別層層，考慮慮到不可可預測的的信息包包含更多多信息量量的情況況，試圖圖對給定定的圖像像計算其其不可預預測信息息。擬采采用局部部譜能量量對數的的殘余量量來定義義感興趣趣區域。殘差值值越大，該區域域的可預預測性越越差，因因此我們們把局部部圖像譜譜能量對對數值殘殘差超過過一定閥閥值的區區域定義義為感興興趣的區區域。通通過大量量的計算算機實驗驗，利用用該殘差差定義的的感興趣趣區域與與人類視視知覺的的注意區區域相吻吻合。在在定義感感興趣區區域的基基礎上，我們將將利用IIttii的貝葉葉斯模型型，定義義視覺注注意區域域，并且

55、且給出計計算算法法。4.2.2面向向視頻編編碼的視視覺計算算模型與與方法概括來說說，我們們擬采用用產生式式的、多多層結構構時空要要素圖(STIITCHH)系統統作為視視頻運動動的統一一表示，并采用用貝葉斯斯理論框框架下的的最大似似然估計計(Maaximmum likkeliihoood eestiimattionn)方法法實現推推理計算算。具體體地我們們擬定以以下研究究方案：1.運動動的統一一視覺表表示首先，我我們提出出“時空空要素圖圖系統”來統一一地表示示視頻中中復雜的的運動內內容。作作為一種種產生式式系統，它包括括三層結結構，：(i)系統的的底層為為圖像層層，是我我們觀察察到的視視頻序列列

56、。(iii)系系統的中中層為要要素圖層層。為靜靜態圖像像表示提提出的要要素圖模模型，其其本質上上是一種種屬性圖圖表示。本層是是我們需需要推理理演算出出的隱變變量(hhiddden varriabble)層，是是以產生生式要素素圖模型型生成底底層的圖圖像。(iiii)系統統的上層層也是隱隱變量層層，它代代表使要要素圖在在運動過過程中發發生結構構變化的的因素，擬采用用圖語法法表示。2.針對對視頻的的時空要要素圖系系統表示示的計算算方法我們將在在貝葉斯斯理論框框架下通通過最大大似然估估計的方方法學習習時空要要素圖系系統中的的最優參參數(包包括以上上提到的的各方面面內容)，從而而實現對對要素圖圖的整合

57、合、分割割、與組組合，并并實現對對運動基基元(或或子圖)的提取取、跟蹤蹤，以及及對圖語語法規則則的學習習。具體研究究方案如如下：(1) 基元在在不同子子空間中中的動態態特性分分析在確立了了以時空空要素圖圖系統作作為運動動圖像序序列的表表示模型型后，我我們將運運動基元元定義為為時空要要素圖中中的子圖圖，如飄飄落著的的雪花、飛翔的的小鳥等等。運動動基元也也可以按按粒度近近一步的的分解，如一個個行走的的人作為為某一層層上的運運動基元元可被進進一步分分解成為為頭、軀軀干、四四肢等具具有不同同運動特特性卻又又相互關關聯的不不同運動動基元。由于運動動的物體體處于不不同的熵熵域中，所以對對不同類類型的靜靜態

58、圖像像基元有有不同的的表示，如表示示低熵結結構“可可勾畫”部分(skeetchhablle)的的簡約圖圖模型和和表示高高熵“不不可勾畫畫”部分分(noon-sskettchaablee) 的的紋理模模型。這這些不同同熵域中中的靜態態基元在在時空中中的動態態特性很很不一樣樣。因此此，(a) 我們首首先要定定義各種種圖像基基元在時時空中的的“可跟跟蹤性”(trrackkabiilitty)及及其度量量。我們們將借鑒鑒對一般般跟蹤系系統的分分析方法法，在貝貝葉斯推推理理論論框架下下用信息息論的方方法(iinfoormaatioon ttheoorettic appproaach)，將物物體狀態態的“

59、不不可跟蹤蹤性”度量定定義為其其后驗條條件熵。它體現現了狀態態估計或或跟蹤過過程中的的狀態的的不確定定性。由由此我們們可以導導出可跟跟蹤性度度量。為了獲得得視頻的的最優的的時空要要素圖表表示，我我們將可可跟蹤性性度量作作為此優優化問題題的一個個重要參參量置于于系統動動態模型型 QUOTE p(St|St-1,Rt-1;D,R,R)中，使系系統能夠夠通過計計算，在在不同基基元優化化自身可可跟蹤性性度量的的同時，能夠自自動地選選擇適應應不同視視頻內容容的基元元表示方方法，從從而獲得得最優的的表示。我們稱稱之為基基元對視視頻的“競爭解解釋機制制”。這這里我們們所說的的“最優優”或者者定義在在對視頻頻

60、內容的的最小描描述長度度(Miinimmum desscriiptiive lenngthh)理論論框架下下，或者者定義在在貝葉斯斯推理理理論下的的最大后后驗概率率(Maaximmum a ppostteriiorii)估計計意義下下。(b) 我們將將通過基基于采樣樣的學習習(leearnningg byy saampllingg)方法法，以及及可跟蹤蹤性與不不可跟蹤蹤性基元元對視頻頻的競爭爭解釋機機制，實實現對運運動圖像像序列的的全面分分析，得得到不同同粒度上上的基元元、運動動層次(layyer)或物體體，以及及它們在在時空中中的對應應關系，并可以以對運動動基元進進行自動動分類(可跟蹤蹤與不