DesignandImplementationofALarge-scaleRemoteRenderingSystemforMobileTerminalsAuthor:JunTutor:XiaohuiRemoterenderingformobileterminalsisatechnologyusedbydistributedcollaborativeuserstointeractwiththevirtualscene,whichdoesnotneedtorenderontheserverside,butratherreceivestheinformationofpointofviewsentbytheclientovertheinternet,determineitsvisibility,selecttheappropriatemodeldataandsenditbacktotheclientthroughthenetworkforrendering.Inthispaper,wedesignandimplementalarge-scaleremoterenderingsystemformobileterminals.Thispaperincludesthefollowingworks.First,westudyandimplementthesceneorganizationwithanout-of-coreindexedoctree,throughwhichwecangetsmallscenedatablocks.Second,basedontheblockswejustpartitioned,weimplementawaytopickvisiblesetsunderaparticularviewpoint.Finally,basedonmobileterminals,wedesignandimplementaremoterenderingsystemformobileclients,whichconnectsandtransferdatawithserverviawirelessnetwork,parsingthereceiveddatasetsandusingOpenGLEStechnologytorendermodels.：remoterendering,out-of-core,OpenGL 緒 研究背 國內外研究現 基于傳輸的數據類型的分 基于繪制位置的分 研究目標與內 課題來 的組織結 相關技術現 模型組 幾何壓 Socket技 OpenGL 本章小 面向移動終端的大規模場景繪制系統設 系統功能需 設計原 系統總體架構設 系統功能模塊詳細設 場景組織模塊設 可視集選取模塊設 網絡通信模塊設 模型繪制模塊設 用戶交互模塊設 本章小 面向移動終端的大規模場景繪制系統實 系統開發環 場景組織模塊實 可視集選取模塊實 網絡通信模塊實 服務器端網絡通信模塊實 客戶端網絡通信模塊實 模型繪制模塊實 用戶交互模塊實 本章小 系統實 實驗環 功能實 實驗目 實驗過 實驗總結與分 性能實 實驗目 實驗過 實驗總結與分 本章小 總結與展 工作總 工作展 致 參考文 緒、個人數字助理(PDA)、平板電腦等移動設備逐漸普及。相PC平臺，移動設PC平臺移植到移動終端上，如地理信息系統、普適游戲等。然而由于計算機圖形技含13,000,000個面片[1]。1.1PowerPlantPC機，移動設備自身也存在著諸多不足，這些不足主要ARM10+MHzARM7(1993年)，發展較普遍的配置為1GHz-2GHzIn處理器[2]。雖然目前移動設備處理器已經能夠處理一些較復雜的任務，如動畫、和復雜的幾何應用等，但是其與當前PC的CPU配(2.2GHz-3.6GHz)相比還是存在很大的差圖形處理單元。GPU(GraphicProcessingUnit)CPU的一GPUGPU相GPU在短時間內無法器。移動設備通常采用整合式設計，即將CPU、GPU、RAM等放置在同一個上。由于面積的約束，移動設備的容量也有限制，目前主流移動設備的容量為512M-1G，遠遠低于PC。議主要包括802.11b(即Wi-Fi)、802.11a、802.11g等。無線局域網的傳輸速率較低，IEEE802.112Mbit/sPC相比，移動設備在網絡端利用較高性能的PC進行圖形的處理和運算工作，減輕移動設備的處理負擔。型，可以將繪制分類如下：傳輸圖像的繪制系統以圖像的格式在網絡上傳輸數據，在接收端對其進行型以幀圖像的形式傳輸至客戶端，故用戶的交互空間在已定義好的路徑范圍內被限制。比較著名的傳輸圖像的繪制系統有加州大學伯克利的基于網格的分布架i[][]SGI司提出了域網(viulrantok)的概念。視域網指通過標準的網絡先進的pnGLPI[]。傳輸幾何模型的繪制系統在網絡上傳輸的是幾何模型數據，客戶端接收模Web3D技術[8]，Web3D以網絡瀏覽器插件的形式服務器端的VRML／X3D數據，在本地顯進表示[11]，有利于提高實時性。通常傳輸幾何模型的繪制方法為客戶端繪制。服務器端繪制。該方法基于可視化服務器實現可視化和協作，使得客戶端3D模型的多級別分辨率模型，向客戶端發送殘余的誤差圖像和低本課題的目標是，設計實現一個面向移動終端的大規模場景繪制系統。使用換成視點給服務器進行后續處理。研究外存場景組織方法，設計基于外存索引的八叉樹構造算法，得到八PC內存的大型場景模型，不能一視在在基于移動終端，設計實現一個繪制系統移動客戶端，使用無線網絡與服務的幾何數據集進行解析，并使用OpenGLES進行場景模型繪制。第一章緒論網絡傳輸技術、幾何壓縮技術和OpenGLES的相關知識。第三章面向移動終端的大規模場景繪制系統設第四章面向移動終端的大規模場景繪制系統實完成系統的設計后，根據第三章功能需求對系統功能與性能進試實驗并給出評價。功能測試主要對系統能否實現基礎的繪制功能進試，性能測試主要對于繪制的幀率設置對比實驗進試。相關技術景八叉樹，在移動客戶端使用OpenGLES實現模型的繪制，服務器與客戶端間通過socket實現互聯及數據傳輸。本章對相應的技術進行概述。PC機的內存，故一般采用外存模型組織。如何對復雜2.1所示為二維空間下四叉樹的建立過程。 2.1幾何壓縮[15]是Deering在1995年研究方向。幾何壓縮就是根據幾何模型的遞進網格壓縮方法模式為先傳輸并顯示一個較低精度模型的粗網格，再邊傳輸邊顯Hoppe1996年首先提出了遞進網格(ProgresiveMesh,PM的算法[18]，可以將拓撲網格表示為一種無損且連續的編碼方式，圖2.2為邊折疊操作圖示。2.2SocketSocket（套接字BSD套接字）是一個應用程序接口，使用一個Internet套接字的概念，使主機之間或者計算機上的進程之間可以互相通信[19]。Socket最初由加利福尼亞的伯克利大學開發，最初用于Unix系統。由于伯克利套接字是第一個套接字，API。SocketI/O設備和驅動上運行。SocketTCP/IPInternet基本技術TCP/IPSocket分成三類[20]：流式套接字(SOCK_STREAM)TCP協議，提供一個面向數據報套接字(SOCK_DGRAM)UDP協議，提供一個原始套接字(SOCK_RAW)。原始套IP、ICMP協API，包括但不限于：WindowsSockets(WinsockJavaSocketsPythonSocketsPerlSockets。雖然調用bind()函數，將套接字與一個套接字地址結構相關聯。這個套接字地址結構一般為指定的本地IP地址和端口。調用listen()函數使綁定的套接字進入狀態來自客戶端的連接請求調用accept()函數，接受一個客戶端發來的創建新連接的接入請求，創建一個新的與客戶端建立連接之后，可以調用send()和recv()函數，通過建立連接的套接字接close()函數關閉套接字，系統釋放分配給套接字的資源，如果該套接字連接使用的是TCP連接，連接將會被中斷。 socket()函數，創建一個新的確定類型的套接字接字，則它會試圖獲得一個新的TCP連接。close()函數關閉套接字。服務器和客戶端close()函數，連接都會被關閉。OpenGLOpenGLES(OpenGLforEmbeddedSystems)是OpenGL圖形API的子集，針對、OpenGLESOpenGL裁剪而來，相比于OpenGL，去除了很多不是必須的特性，比如四邊形(GL_QUADS)和多邊形(GL_POLYGONS)(glBegin)(glEnd)操作等[21]。到目前為止，OpenGLES主要可以分為兩個主要版本，OpenGLES1.xOpenGL定渲染管線，可以由硬件GPU支持或軟件模擬實現，渲染能力有限，在純軟件模擬情況下性能也較弱；OpenGLES2.0OpenGL2.0規范定義的，采用的是可編程渲染管線，渲染能力大大提高。OpenGLES2.0GPU硬件支持，目ES1.0標準在移動終端進行繪制。OpenGLES繪制物體的過程是采用渲染管線實現的。GPUGPU的帶寬，提高渲染深度測試：深度測試主要是將片元的深度值與幀緩沖區中的對應位置片元幀緩沖：OpenGLES在繪制物體時，先是將物體在幀緩沖區中繪制，再將繪制顏色緩沖每個面片的顏色值，通常用RGBA（紅、綠、藍、）四個值表示，顏色緩沖區的值就是顯示到屏幕上的值；深度緩沖用來每個片元的深度值，若啟用本章主要介紹了本文所需要實現的面向移動終端的大規模場景繪制系統在設SoktOpnGLS技術做了詳細的介紹。面向移動終端的大規模場景繪制系統設本章主要是兩章的基礎上，首先分析了面向移動終端的大規模場景繪制系隨著計算機技術的日漸發展，智能、平板電腦登移動設備漸漸普及。相較于解決方案，即將三維數據到服務器端，并在服務器端利用較高性能的PC進行圖形服務器端場景模型文件，使用外存索引八叉樹算法，得到八叉樹劃分之后PC服務器端和移動移動終端的大規模場景繪制系統的總體架構如圖3.1所示。3.1預處理階段完成后，服務器端開啟socket網絡功能，并請求socket與服務器端相連，獲取初始的視點；此時服務器端根據收到這些數據后，對其中的幾何信息進行解析，并使用OpenGLES進行繪制。的視點信息，同樣使用socket將新的視點信息傳輸給服務器端并等待；服務器接收到新模型數據，并使用OpenGLES繪制。為該模塊的算法。場景數據，由于其往往不能調入內存進行處理，并且在繪制中，若將文件的數據部分，以單精度浮點數類型依次頂點坐標值；以字符型（即單前面說到，在大規模場景繪制系統中，對于大規模場景進行分塊處理，并根據一致。表3.1為視點信息數據結構的定義。3.1出于系統對于發送和接收數據正確性要求較高的考慮，其網絡通信模塊采用TCP3.2123103.2Android系統中，用戶的交互操作主要是觸控操作，如單點拖拽、多點觸控等。下走等。通過上述表述，可以對用戶交互操作與漫游動作做如表3.3對應：3.3面向移動終端的大規模場景繪制系統實功能模塊詳細設計，本章將對各個模塊的實現、模塊中算法的流程進行闡述。最低版本為2.2。本系統服務器端的開發環境為Linux系統下的GCCc++語言進行編寫；客戶端的開發環境為Eclipse集成編譯器，使用Java語言進行安卓程序的編寫。首先，由于場景模型數據文件的容量可能大于PC的內存容量，故不能讀入加入該葉節點中。由于三角形可能多個葉節點，為了不引起數據丟失，在每個與該需要再次檢查其是否超過閾值h。4.1圖4.2為該算法的流程圖。下面對該算法的流程做一個闡述。4.2值改為1；否則，丟棄該塊，不進行傳輸。返回一個用于傳送數據的socket。到此，服務器與客戶端的連接便建立了起來。intread_int(intfd)doubleread_double(intfd)voidwrite_int(intfd,intdata)voidwrite_float(intfd,floatdata)voidwrite_double(intfd,doubledata)voidwrite_buffer(intfd,char*buffer,int其中，fd為創建socket連接時所返回的socket描述符。read_int()，read_float()和能類似，都是對于send()函數進行封裝，保證將完整的數據發送出去。的getInputStream()和getOutputStream()方法獲取其輸入流和輸出流。由于本系統兩個平臺，PC和移動終端，而且需要實現兩個平臺之間的網絡通intbytesToInt(byte[]b)REQ_NODE請求，即請求服務器傳送可視節點數據，并接收和保存響應用戶交互操作，在探測到有用戶交互操作時，根據操作的不同，改變視點S_CM_E4.3OctreeNodegetOctreeNode()方法，該方法的功能內容提取出來，新一個OctreeNode對象，并將這些內容存放進去，并返回這個對象的。便于更好地管理和操作。Camera類中的成員變量為定義好的視點信息，主要的成員函voidrecvCamera(InputStreamin)voidsetCamera(GL10gl)voidgetLeft(floatdy)voidgetRight(floatdy)voidgetUp(floatdz)其中，sendCamera()函數和recvCamera()函數為對整體視點和接收的一個錯誤。setCamera()函數中調OpenGLESgluLookAt()函數，通過該函數改方法。獲取用戶的操作后，根據操作的不同，調用Camera類中的getLeft()，getRight()，getUp()，getDown()，getBackward()方法，對視點進行操作，并setCamera()方法改前兩個章節分別介紹了面向移動終端的大規模場景繪制系統的詳細設計及核操作系統：UbuntuCPU：In(R)Corie3470內存：4G操作系統：AndroidCPUExynos5410OpenGLES版本：OpenGLES 無線網樹葉節點的頂點數為3000，得到的節點文件大小為130KB左右。服務器端開啟socket進行，同時在保證無線網絡連接的情況下，開啟移動5.15.1 52所示為頂點閾值分別為、、、5000時，客戶端在交互5.2地繪制時間）較長，在500ms至4s之間。1000ms以上，在交互時表現為總體刷新率較低；在頂點閾總結與面向移動終端的繪制是應用于分布式協同用戶對于虛擬場景信息進行交互的首先，研究外存場景組織方法，對于遠大于PC內存容量場景數據，采用基于外存索引的八叉樹構造算法，對于大規模場景進行劃分。對于數據量遠大于一般PC內存的服務器端載入PowerPlant模型，開啟客戶端進行連接和繪制，測試系統是否正常實現致感謝答辯組的各位老師，老師、郝愛民老師、老師、老師，在感謝學長、學長、胡山峰學長，在我系統設計、實現以及實驗的最后我要感謝我的，在我畢設過程中，用實際行動督促我，在我失落的信心面對人生中的和。參考[1]DAliaga,etal1MMR:Aninteractivemassivemodelrenderingsystemusinggeometricandimage-basedacceleration[C]11999ACMSymponInteractive3DGraphics,LosAngeles,CA,1999.[2].面向移動設備的圖形繪制技術研究 [3].無線局域網(WLAN)標準與實現.計算機與數字工程 [4]全，黨崗.基于幾何模型的自適應實時繪制技術綜述[J].計算機研究與發展，2005,42:277-281.DIVA．．2004-ShuShi,MahsaKamali.AHigh-QualityLow-DelayRemoteRenderingSystemfor3D[D].UniversityofIllinoisatUrbana-Champaign,USA,2010.SiliconGraphicsInc．,OpenGLVizserver3.1． Web3D /,2005-JavierLluch,RafaelGait′an.InteractiveThree-DimensionalRenderingonMobileComputerDevices[D].Polytechn