1、使用opengl es實現離屏視頻幀合成與分解的可移植可擴展解決方案 1.0 引言 用于處理離屏頁面的視頻幀合成與分解模塊是視頻通信、視頻網絡、視頻安防等多媒體應用中最重要的軟件組件之一。離屏頁面是指沒有在屏幕上顯示的那些視頻幀。視頻幀合成模塊能夠接入多個視頻輸入通道，每個通道可以有各自不同的屬性，如像素格式、像素辨別率等。然后未來自這些通道的幀合成到單個或多個視頻輸出通道(同樣可以有不同的屬性)的輸出幀上。當這種合成幀經編碼并從一臺設備發送出去時，接收設備中的幀分解模塊將會完成相反的功能，即提取輸入通道的視頻幀中的合成幀。圖1和圖2顯示了這些組件的功能描述。本文將研究需要用法這些模塊的各種用

2、例，在平臺上實現幀合成器/分解器的不同辦法以及這些辦法各自的優缺點，并推舉一種用法opengl es構架和圖形處理單元(gpu)的具有高度可移植性和可擴展性的設計解決計劃。【分頁導航】第1頁：引言第2頁：視頻通信系統第3頁：外部第4頁：3d視頻會議第5頁：用法自立于平臺的算法第6頁：用法特別平臺縮放器2.0 用例多媒體系統有許多不同的應用場合需要用法幀合成器/分解器功能性組件。下面的說明研究了其中的一些用法案例。2.1 視頻通信系統在涉及到雙方舉行高清視頻呼叫的ip視頻通信系統中(即在點到點視頻呼叫中)，要求每臺設備與另外一臺設備交換從各自攝像機捕捉到的視頻幀。每臺設備上可能會用法不同的視頻壓

3、縮技術(如mpeg、h.264等)對捕捉到的攝像機圖像幀舉行壓縮/編碼。壓縮后的比特流再用法各種網絡協議(如rtp、udp)在網絡上傳送。在接收端，首先要接收來自發送端的編過碼的數據流，然后用法mpeg、h.264等視頻解壓縮算法舉行解碼/解壓縮。終于在接收端顯示解碼后的幀。這樣，呼叫雙方都起碼需要具有同時解碼從網絡上收到的幀和編碼自己的攝像機捕捉到的幀的功能。在智能手機、等典型的嵌入式系統中，實現點到點視頻呼叫所需的這些編碼/解碼算法因所用的處理器架構而成為可能。這些算法要么在多內核cpu或低功耗數字信號處理器()上實現，要么用法硬件視頻加速器實現。但在視頻會議狀況下，會有多臺設備舉行視頻呼

4、叫。因此假如一臺設備想要參加視頻會議呼叫，它需要支持一個以上的解碼實例來解碼從多方收到的視頻，還需要一個編碼實例來編碼自己攝像機的內容。因為設備存在最多一路高清幀的編碼和解碼限制，低端平板電腦和智能手機不行能支持涉及多路高清幀解碼和單路高清幀編碼的會議呼叫。為了讓這種系統支持高清視頻會議，它們需要采納全部設備能夠撥入的高端視頻通信橋。圖3顯示了這種視頻橋的功能。視頻橋接收來自全部設備的多路編碼過的輸入視頻流，然后將它們解碼為幀。來自多方的解碼幀再合成為單個幀。這種視頻橋將為每個銜接的用戶設備生成合成幀。視頻橋為某個用戶設備產生的合成幀包含有除該臺設備自己產生的幀以外的全部其它用戶設備產生的視頻

5、幀。因此為了在全部設備之間建立視頻會議，必需起碼有一個橋。這種橋可以是一個高端視頻卡，也可以是具有更強編碼和解碼功能的這些設備之一。正如我們在上述例子中看到的那樣，飾演視頻橋角色的嵌入式設備需要具有離屏視頻幀合成組件。【分頁導航】第1頁：引言第2頁：視頻通信系統第3頁：外部顯示器第4頁：3d視頻會議第5頁：用法自立于平臺的算法第6頁：用法特別平臺縮放器2.2 外部顯示器對上述視頻會議用例中與視頻橋銜接的每臺設備來說，可能要求從輸入的單路視頻通道中提取/分解合成視頻幀，并將它們顯示到各臺顯示設備，或者出于演示等目的在接收終端的屏幕各窗口上顯示。下面的圖4就展示了這樣的一個用例，其中來自用戶a、c

6、和d的幀被顯示在用戶a的屏幕的各個自立窗口上，而來自用戶b的幀顯示在諸如電視機等外部顯示器上?！痉猪搶Ш健康?頁：引言第2頁：視頻通信系統第3頁：外部顯示器第4頁：3d視頻會議第5頁：用法自立于平臺的算法第6頁：用法特別平臺縮放器2.3 3d視頻會議在5所示的3d視頻會議應用案例中，要求未來自兩個攝像的輸入幀合成在一起，經編碼后在網絡上以數據流的形式傳輸。接收端則要求提取/分解出來自每個攝像傳感器的幀，以便將各個通道的幀渲染到顯示器的不同通道上，實現立體觀察體驗?！痉猪搶Ш健康?頁：引言第2頁：視頻通信系統第3頁：外部顯示器第4頁：3d視頻會議第5頁：用法自立于平臺的算法第6頁：用法特別平臺縮

7、放器3.0 實現離屏幀合成器/分解器功能可以有多種實現方式：3.1 用法自立于平臺的算法這種辦法采納可以在cpu上運行的通用算法。雖然這種實現具有很好的可移植性，但會導致cpu負擔過重。這是由于幀的合成/分解過程通常包含以下一些操作：縮放或重新調節視頻幀尺寸(放大或縮小)輸入視頻幀在輸出幀中的定位輸入幀的剪切輸出幀的剪切輸入通道的alpha混合輸入/輸出幀的旋轉在幀速率為30fps的視頻流狀況下，這些操作必需以1/30s即33.33ms的幀周期執行。假如幀的像素辨別率更高，比如720p、1080p，那么處理這些幀將成為cpu很重的負擔。cpu負擔的加重將導致不良的用戶界面，由于i/o互動少了。

8、假如處理器不能在如此短的幀周期內處理完一幀，那么在幀合成過程中有可能發生丟幀現象?！痉猪搶Ш健康?頁：引言第2頁：視頻通信系統第3頁：外部顯示器第4頁：3d視頻會議第5頁：用法自立于平臺的算法第6頁：用法特別平臺縮放器3.2 用法特別平臺縮放器一些嵌入式處理器提供特別平臺縮放器的硬件實現，它們事實上是用硬件方式實現的多相過濾器，可以針對不同縮放比例提供可編程的過濾系數。為了在應用程序中發揮這種特別平臺功能，cpu芯片供給商將提供定制的設備驅動程序。我們可以通過縮放器設備驅動程序用法這種縮放器來實現合勝利能。應用程序可以利用不同的輸入/輸出剪切參數一次調節一個輸入幀并合成到輸出幀中。一旦縮放器調

9、節好了一個輸入幀的大小并將它放到輸入幀中，它就會向cpu內核發出中斷信號。針對將n個輸入幀合成到一個輸出幀的應用而言，它必需在一個幀周期內完成n次尺寸調節操作。這些縮放器十分高效，可以在可接受的時光限制內完成縮放處理。合成幀的輸出幀速率取決于單次縮放操作所占用的時光。假如是n到1的合成、并且輸入/輸出幀具有相同的像素辨別率，那么n代表輸入數量t代表一次縮放操作所花的時光假如合成中的輸入/輸出幀具有不同的像素辨別率，那么：tn代表將第n個輸入通道的幀縮放后放到輸出通道所花的時光。其中n:0->n上述公式同樣可以應用于具有一個輸入和n個輸出通道的分解器。雖然用法這種辦法可以提供高效的解決計劃，但它不具有可移植性。這些硬件功能