第1章緒論1.1研究背景虛擬現(xiàn)實（VirtualReality，VR）技術(shù)開創(chuàng)了一種全新的視頻觀看方式與環(huán)境感知概念，讓使用者如同身歷其境一般，可以及時、沒有限制地觀察三度空間內(nèi)的事物。其中沉浸感(immersion)、交互性(interaction)和構(gòu)想性(imagination)是虛擬現(xiàn)實系統(tǒng)的三個基本特征。（1）沉浸感：所謂沉浸感是指虛擬現(xiàn)實系統(tǒng)必須提供所描述事物的物理和心理的場景，要求對現(xiàn)實世界中各事物本質(zhì)與內(nèi)在進行模擬和仿真虛擬[1]。體現(xiàn)了虛擬現(xiàn)實系統(tǒng)是對主客觀事物的反映。沉浸感其實意為多感知，除了計算機技術(shù)所具有的視覺感知之外，還有聽覺感知、力覺感知、觸覺感知、運動感知，甚至還可以包括味覺感知、嗅覺感知等。理想的虛擬現(xiàn)實技術(shù)應該具有一切人所具有的感知功能。理想的模擬環(huán)境應該達到使用戶難以分辨真假的程度[2]。（2）交互性：交互性是指用戶對虛擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度，體現(xiàn)了虛擬現(xiàn)實系統(tǒng)與人的互動關(guān)系。虛擬現(xiàn)實系統(tǒng)是因人而動，通過用戶與虛擬環(huán)境之間的雙向感知建立起一個更為自然，和諧的人機環(huán)境[3]。（3）構(gòu)想性：構(gòu)想性是指人們在進入虛擬現(xiàn)實系統(tǒng)過程中要具有合理的想象和推理[4]。虛擬現(xiàn)實系統(tǒng)能給操作人員提供一個合理的想象空間，使操作人員身處虛擬環(huán)境能進行有效的操作。但是目前VR技術(shù)仍然具有一定局限性，目前主要的VR人機交互方式有如下兩種：（1）3D視覺：利用人左右眼觀看的視角不同，利用雙目攝像機錄制與計算機處理制作視頻，營造立體感。其原理與主流電影院3D電影類似。（2）體感交互：通過在VR設備中裝入體感傳感器，實時跟蹤人體頭部的運動，以此控制視頻畫面的變化，營造臨場感[5]。其實現(xiàn)方式一般為全景攝像機錄制加VR前端軟件算法。然而，目前如上兩種交互方式并沒法有機結(jié)合起來，主要原因是雙目攝像與全景攝像難以融合到一起。此外，無論3D視覺還是體感交互，都是錄制-處理-播放的流程，并不能實現(xiàn)遠程人與環(huán)境的實時交互。遠程VR實景交互功能將實現(xiàn)如遠程會議、遠程專家指導和遠程親友會面等功能，其體驗與傳統(tǒng)視頻方式不可同日而語，而在諸如遠程門診與手術(shù)等方面更是傳統(tǒng)視頻方式所無法實現(xiàn)的。而遠程實時環(huán)境交互需要滿足如下兩個方面：融合3D視覺與體感交互的全新實時交互平臺與低延遲的遠程無線通訊[6]。遠程通訊技術(shù)的延遲與速度會直接影響VR人與環(huán)境交互的臨場感。目前4G技術(shù)已經(jīng)十分成熟，具有數(shù)十Mb/s的傳輸速率與50ms的傳輸延遲，是遠程實時VR技術(shù)的較好選擇。而5G技術(shù)也日漸成熟，其具有理論10Gb/s的傳輸速度與1ms的傳輸延遲，各方面均大幅超越4G技術(shù)。在5G網(wǎng)絡普及后，遠程VR交互技術(shù)將給人提供真正的“遠程虛擬現(xiàn)實”。1.2本文主要研究內(nèi)容（1）設計融合3D視覺與體感交互的VR平臺：利用雙目攝像頭實現(xiàn)3D視覺，并利用高精度的擬人結(jié)構(gòu)云臺實現(xiàn)雙目攝像頭與人眼的同步運動。（2）搭建4G網(wǎng)絡下的遠程VR通訊系統(tǒng)：包括實時視頻傳輸與體感儀的數(shù)據(jù)發(fā)送。在此基礎(chǔ)上做好5G網(wǎng)絡普及后的準備，包括通訊硬件的更換與網(wǎng)絡服務器的選擇。（3）定性以及定量分析本作品的實用性，并通過實際體驗來分析本作品的體驗感；展望5G網(wǎng)絡普及后對作品體驗感的提升以及應用本作品的應用場合分析。

第2章技術(shù)方案2.1整體設計理念及總體結(jié)構(gòu)遠程VR視界交互系統(tǒng)分為VR人與環(huán)境交互平臺與遠程4G/5G通訊系統(tǒng)，整體結(jié)構(gòu)如圖2-1所示。圖2-1遠程VR視界交互系統(tǒng)整體結(jié)構(gòu)VR人與環(huán)境交互平臺分為前端VR系統(tǒng)與后端云臺雙目攝像機系統(tǒng)，前端VR頭顯上設置超低延遲陀電子陀螺儀，將人體頭部運動姿態(tài)信息通過4G/5G傳送至網(wǎng)絡云服務器，然后送給后端云臺系統(tǒng)；云臺系統(tǒng)同樣含有電子陀螺儀，作為云臺系統(tǒng)的姿態(tài)反饋，并結(jié)合前端姿態(tài)信號作為給定，形成擬人云臺x、y軸雙電機的閉環(huán)控制；雙目攝像機將采集到的視頻/聲音信號通過4G/5G發(fā)送回前端VR頭顯，實現(xiàn)跟蹤人體頭部運動的3D視界交互流程。其中，為了實現(xiàn)真正的擬人“沉浸感”，后端云臺雙目攝像機系統(tǒng)采用擬人化設計。其中擬人云臺采用與成年人頭骨運動系統(tǒng)相同的結(jié)構(gòu)，保證頭部轉(zhuǎn)動跟蹤對應視覺采集的過程更符合實際，這種設計的優(yōu)勢在觀測近景時尤為明顯。其次，雙目攝像頭采用大廣角鏡頭，接近人眼視野；雙目攝像機含有左右雙麥克風，實現(xiàn)聲音的臨場交互感；雙目攝像機采用硬件同步技術(shù)，保證雙攝像頭視頻畫面的絕對同步。最后，云臺陀螺儀的位置與VR陀螺儀的相對位置相同，保證頭部姿態(tài)跟蹤與擬人云臺運動軌跡完全相同。由于4G/5G網(wǎng)絡與中央云服務器的應用，VR視界交互系統(tǒng)可以實現(xiàn)任意距離之間的應用，如相隔數(shù)百公里的遠程手術(shù)指導，又如相隔數(shù)千公里的親友、情侶會面，距離對基于云服務器的網(wǎng)絡傳輸延遲可以忽略不計。2.2技術(shù)方案2.2.1整體控制方案遠程VR視界交互系統(tǒng)的控制方案如圖2-2所示。圖2-2遠程VR視界交互系統(tǒng)整體控制方案VR陀螺儀作為姿態(tài)給定遠程輸出給擬人云臺，云臺陀螺儀作為云臺的位置變送器反饋回控制器，通過PD控制輸出給云臺電機的速度給定值，云臺電機內(nèi)部含有速度內(nèi)環(huán)，保證轉(zhuǎn)速嚴格跟蹤給定。電機繼續(xù)帶動雙目攝像機和云臺陀螺儀運動，云臺陀螺儀再次檢測角度值，反饋構(gòu)成位置外環(huán)。值得注意的是，x、y軸的云臺電機分別與陀螺儀的x、y軸角度信號構(gòu)成圖2-2所示的雙閉環(huán)。無論是VR頭顯上的姿態(tài)跟蹤還是擬人云臺上的位置閉環(huán)，陀螺儀模塊都扮演了至關(guān)重要的角色。作品采用的MPU6050六軸傳感器芯片集成了3軸MEMS陀螺儀和3軸MEMS加速度計，每個軸對應有一個16位AD轉(zhuǎn)換器，其高分辨率(3.9mg/LSB)能夠測量不到1.0?的傾斜角度變化。芯片正常工作時，采集x軸、y軸和z軸的加速度值(電壓信號)，經(jīng)過AD轉(zhuǎn)換，通過板上集成的姿態(tài)解算器，配合動態(tài)卡爾曼濾波算法，計算出三軸解耦后的角度值。為了得到當前姿態(tài)，本項目使用MEMS測量單元，通過融合陀螺儀，加速度計和磁力計數(shù)據(jù)計算出姿態(tài)角。磁力計的引入，徹底解決了陀螺儀的零飄問題。解算流程如下：圖2-3陀螺儀EKF姿態(tài)更新解算流程由于云臺系統(tǒng)狀態(tài)方程是一個非線性系統(tǒng)，單純的線性卡爾曼濾波并不合適，因此本項目選用擴展卡爾曼濾波，將狀態(tài)方程通過泰勒展開線性化，得到線性化的展開式，此時即可使用擴展卡爾曼濾波進行數(shù)據(jù)的互補融合與濾波。選取四元數(shù)作為狀態(tài)變量，通過四元數(shù)的更新方程即可建立狀態(tài)更新方程，建立流程如下：q使用一階龍格庫塔法求解上述微分方程可得：qq引入系統(tǒng)噪聲W，滿足正態(tài)分布，即可得到系統(tǒng)的狀態(tài)更新方程：x其中，x為四元數(shù)，I為單位矩陣，T為采樣周期。以東北天建立參考坐標系，將加速度計和磁力計的數(shù)據(jù)投影到參考坐標系中，可以作為擴展卡爾曼的測量方程，用于實時修正陀螺儀因零偏而引入的積分誤差。投影可由如下公式轉(zhuǎn)換：am其中，ax，ay和az表示由加速度計獲取的加速度測量值，mx，my和mz表示由磁力計獲取的地磁數(shù)據(jù)，CgC由此可建議系統(tǒng)的量測方程，其表達式如下：zz其中V(k)為量測噪聲，滿足正態(tài)分布，hxh令y 可得z H(k)即為Jacobi矩陣。上式即為系統(tǒng)的量測方程。 綜上，擴展卡爾曼的系統(tǒng)方程建立完畢，如下：高速處理器STM32基于專為要求高性能、低成本、低功耗的嵌入式應用專門設計的ARMCortex-M3內(nèi)核，增強型系列時鐘頻率達到72MHz，是同類產(chǎn)品中性能最高的產(chǎn)品；內(nèi)置32K到128K的閃存，不同的是SRAM的最大容量和外設接口的組合。時鐘頻率72MHz時，從閃存執(zhí)行代碼。其可以很容易的輸出多路互補的PWM，擁有8個定時器，其功能十分強大，具有低功耗、高性能、運算速度快的優(yōu)點。在遠程VR視界交互系統(tǒng)的整體控制方案設計中，無論控制算法的設計還是硬件電路的選取，都以低延遲高精度為準則，其根本目標就是實現(xiàn)擬人云臺對頭部運動跟蹤的試試準確性，營造身臨其境的交互感。2.2.2擬人云臺結(jié)構(gòu)設計為了保證人體頭部運動對眼睛視角的影響與擬人云臺運動對雙目攝像機采集視角的影響完全相同，應結(jié)合人體頭部結(jié)構(gòu)設計云臺的結(jié)構(gòu)。如圖2-4所示為成年人抬頭喝水時的頭部運動分析，x軸約在脖頸中部A點處，指向屏幕并與y軸相交。x軸是抬頭低頭動作的主軸，y軸是左右搖頭動作的主軸；而相較于低頭抬頭與搖頭動作來說，歪頭的動作的環(huán)境并不多見，所以為了降低云臺復雜度和降低整體慣性，不考慮z軸。云臺電機按照正交的x、y兩軸進行設計，而圖2-2中可以看出，人眼睛所在位置為B點，并不在正交點A點。目前市面上的VR方案是按照軟件方式跟蹤頭部運動來控制圖像的變化，然而視頻錄制時全景相機只能建設于一點，也就相當于圖2-4中的A點。這就意味著傳統(tǒng)VR的體感交互功能不僅無法實現(xiàn)3D效果，更無法模擬真人眼睛的實際運動軌跡，在觀看近景時，這種差異尤其明顯。為此，云臺在A點設計x、y兩軸的同時，應考慮到A點到B點的距離。A點到C點為云臺的可調(diào)高度支撐架，其高度為用戶坐姿脖頸中部離桌面的距離（云臺固定在桌面）。圖2-4中D點為位置閉環(huán)所用陀螺儀的固定位置，其與前端VR上部所固定的姿態(tài)跟蹤陀螺儀是相同位置。圖2-4人體頭部運動分析擬人云臺本體機械結(jié)構(gòu)如圖2-5所示。圖2-5擬人云臺機械結(jié)構(gòu)擬人云臺所用電機是實現(xiàn)云臺實時跟蹤頭部姿態(tài)的關(guān)鍵，在選取電機之前，我們結(jié)合云臺結(jié)構(gòu)以及所需特性測試并分析了各種類電機，以尋找出最佳方案，分為以下三個方面：低速特性、跟蹤特性和控制精度，如表2-1。表2-1不同電機特性比較低速特性跟蹤特性控制精度步進電機低速扭矩大但震動明顯開環(huán)控制有最小步長限制減速直流電機在零附近調(diào)速有死區(qū)依賴傳感器做內(nèi)環(huán)減速器有空程無刷電機線性調(diào)速且轉(zhuǎn)矩大依賴傳感器做內(nèi)環(huán)控制精度極高無刷與有刷電機最大的區(qū)別在于換向器，無刷電機沒有換向機構(gòu)，因此大大降低了因換向機構(gòu)而造成的機械故障。同時利用外轉(zhuǎn)子無刷電機可以做到直驅(qū)，降低機械結(jié)構(gòu)設計難度，節(jié)約成本。無刷電機驅(qū)動可以分為六步換向法（方波）控制和磁場重定向技術(shù)（FOC）控制。本項目采用的是FOC控制，利用SVPWM進行調(diào)制，相較于傳統(tǒng)的方波控制，其具有更小的轉(zhuǎn)矩脈動和能量損耗，大大提高電機轉(zhuǎn)換效率。圖2-6FOC控制框圖綜上，無刷電機在各項性能上都非常適合做擬人云臺，固采用了兩臺大疆公司的GM6020云臺專用直流無刷電機，如圖2-4所示，電機采用空心軸設計，扭矩密度大、控制精度高、交互方式靈活，適用于低轉(zhuǎn)速、大扭矩直接驅(qū)動的應用場景，是擬人云臺電機方案的不二之選。此外，電機內(nèi)置驅(qū)動器和角度傳感器，可以方便地構(gòu)建速度內(nèi)環(huán)。圖2-7大疆GM6020云臺電機云臺控制采用速度-位置串級閉環(huán)控制技術(shù)，相較于單純位置環(huán)PID控制，具有調(diào)參快速，控制穩(wěn)定的特點為了抑制給定數(shù)據(jù)的抖動，本項目在云臺給定角度之前設計了一斜坡函數(shù)，使控制效果更平滑，斜坡函數(shù)如下：圖2-8斜坡函數(shù)只需要將給定值乘以對應的斜坡函數(shù)，即可實現(xiàn)云臺給定值的平滑變化。其中云臺運用的速度-位置串級閉環(huán)控制框圖如圖2-9所示。圖2-9速度-位置串級閉環(huán)控制2.2.3遠程通訊方案設計為實現(xiàn)前端VR頭顯系統(tǒng)與后端擬人云臺系統(tǒng)的遠程通訊，需要借助互聯(lián)網(wǎng)來跨越距離的鴻溝，目前設備連接互聯(lián)網(wǎng)的方式常見有三種：網(wǎng)線、Wifi和移動通訊網(wǎng)絡。在遠程VR視界交互系統(tǒng)的常規(guī)應用場合下，前端VR頭顯系統(tǒng)需要脫離主機獨立運行，這就意味著網(wǎng)線并不可取，此外，網(wǎng)線和Wifi都依賴網(wǎng)絡路由器的支持，許多應用場合受到限制。隨著4G網(wǎng)絡技術(shù)的全面普及以及5G網(wǎng)絡技術(shù)的逐步發(fā)展，移動網(wǎng)絡技術(shù)的傳輸速度及延遲甚至趕超網(wǎng)線的并網(wǎng)方式，真正做到了隨時隨地、超低延遲和高清實時傳輸。5G的出現(xiàn)不僅意味著更快的傳輸速率和更大的網(wǎng)絡容載能力，而且在傳輸中呈現(xiàn)出低時延、高可靠、低功耗的特點，其特點如圖2-10，是一個真正意義上的融合網(wǎng)絡。圖2-105G移動網(wǎng)絡通訊技術(shù)特點5G的設計非常靈活，它可以識別數(shù)據(jù)的傳輸類型，對于特殊的設備將轉(zhuǎn)換成低功耗模式，而對于高分辨率的視頻，網(wǎng)絡將自動切換成高大功率模式，提供高達10Gbps的峰值數(shù)據(jù)下載速度。4K視頻流所需最低下載速度為25Mbps，而5G將能提供100Mbps的最低下載速度，而4G則只會低于10Mbps。4G的網(wǎng)絡延遲約50ms，而5G網(wǎng)絡延遲僅為1ms。相較之下，在使用VR看流媒體視頻時，當延遲超過20毫秒，用戶就會出現(xiàn)不適，最好的情況時延遲時間也為7毫秒。因此目前的4G技術(shù)無法為VR流媒體提供一個十分理想的硬件環(huán)境，不過5G技術(shù)可以同步視頻和音頻，提供更好的使用體驗，使AR和VR的應用更加真實化。5G技術(shù)將大大促進VR市場發(fā)展，助力VR通過虛擬物品、虛擬人物、增強情景信息等方式給人們帶來連接媒體的全新方式。本作品目前以4G網(wǎng)絡技術(shù)為基礎(chǔ)進行研發(fā)，其應用在VR陀螺儀的姿態(tài)角度信號發(fā)送與擬人云臺的角度信號接收；雙目攝像機的視頻信號發(fā)送與VR頭顯視頻信號的接收。發(fā)送與接收通過租賃第三方公司的云服務器作為中介媒介。如果本作品得以進一步發(fā)展或者有望商品化，云服務器或?qū)⒉捎觅徺I的方式。若5G技術(shù)普及，本作品只需要替換4G通訊模塊為5G通訊模塊，其他無任何變化。

第3章系統(tǒng)測試與成本分析3.1系統(tǒng)測試前端VR頭顯測試：圖3-1前端VR頭顯測試擬人云臺系統(tǒng)測試：圖3-2擬人云臺系統(tǒng)測試3.2成本分析成本對于產(chǎn)品是否能過投入生產(chǎn)，具有至關(guān)重要的意義。因此，產(chǎn)品的成本分析一定程度上影響著設計方案的可實施性。工業(yè)產(chǎn)品生產(chǎn)成本的構(gòu)成包括生產(chǎn)過程中的實際消耗的直接材料、直接工資、其它支出和制造費用。由于本作品的實現(xiàn)效果與器件的性能高低成直接正比，而器件的性能又與成本息息相關(guān)，所以只考慮本文所做樣品的固有器件以及機械材料和電路消耗器材的成本。作品使用器件詳細型號及成本如表3-1所示。表3-1成本表部件價錢云臺電機899x2=1798元雙目攝像機480元中央處理器52元4G通訊模塊155x2=310元陀螺儀76x2=152元VR頭顯1200元云服務器租賃3元/天機械材料與電路耗材50元左右從表3-1中看出，總體制造成本在4045元左右。由總體的成本分析可以看出，組成元件數(shù)量少，價格低廉，所以裝置整體的生產(chǎn)成本在可接受范圍內(nèi)，遠低于市場上單單一只專業(yè)VR體感游戲機的價格，因此更加證明此設計方案的可行性。

第4章產(chǎn)品的應用前景4.1產(chǎn)品未來的研究方向目前本作品已基本達到設計功能，但在實際軟件設計與實物開發(fā)的過程中，發(fā)現(xiàn)在一些方面仍有改進空間。以下部分將列出該設計的未來研究方向。（1）新增：由于佩戴VR頭顯之后只能看到擬人云臺所在位置的場景，而不能看到自身周圍的場景，這為使用者帶來了一些困難，如無法手寫字記筆記等。未來將在VR頭顯中同樣安裝雙目攝像頭，利用前端VR頭顯中對二者視頻信號進行融合處理，形成類似于增強現(xiàn)實（AR）的功能。使得VR頭顯自動分辨遠處景物與用戶手部接觸范圍內(nèi)的實際交互物體，實現(xiàn)自動融合二者圖像。（2）改善：目前擬人云臺的控制算法雖然能實現(xiàn)基本功能，但跟蹤精度可以進一步提高，這需要更復雜的人工神經(jīng)網(wǎng)絡控制器，對人體頭部運動的過程與軌跡做出提前預判，進一步提高跟蹤效果。其次，針對于“歪頭”所用的z軸目前暫未考慮，以后為了營造更真實的臨場感，還應加入z軸。（3）產(chǎn)品化設計：依托于商業(yè)化的云服務器租賃平臺，實現(xiàn)在線的視頻信號壓縮減量處理，降低用戶的5G流量消耗。與目前VR一體機公司進行合作，降低已有VR的用戶的二次消耗。4.2產(chǎn)品的應用前景在VR產(chǎn)業(yè)發(fā)展初期，由于用戶體驗不佳、內(nèi)容生態(tài)不完善，產(chǎn)業(yè)一度陷入低谷。如今，隨著高質(zhì)量內(nèi)容的涌現(xiàn)，VR產(chǎn)業(yè)已步入復蘇期。更為關(guān)鍵的是，5G逐步走向商用，VR技術(shù)從本地走向了云端，創(chuàng)造了一種全新的商業(yè)模式—智終端、寬管道、云應用。VR技術(shù)業(yè)在5G助力下，將從“虛擬”走向“現(xiàn)實”，其沉浸式體驗將在多個行業(yè)中得到更廣泛的發(fā)展，有望代替目前的遠程視頻交互方式，實現(xiàn)人與人、人與物、人與景真正“零距離”接觸。（1）設備的遠程操作指導與維護。可以將后端擬人云臺裝置在遙控載具上，實現(xiàn)諸如遠程管道巡檢、遠程電纜巡檢、遠程工廠維護與指導等功能。（2）遠程駕駛。目前的遠程駕駛主要依賴于視頻方式，但是視頻方式本身為2D圖像，不利于司機辨認前方車距。并且即使最昂貴的全景相機也無法做到無畸變無死角的全景視頻采集。所以本作品可以完全替代目前的遠程駕駛系統(tǒng)，并不改變司機的原有操作習慣。（3）遠程手術(shù)與門診。目前國外已經(jīng)有VR手術(shù)指導的案例，但是廣角鏡頭與無畸變鏡頭相矛盾，而在手術(shù)與門診中，靈活的無畸變的視角尤為重要。（4）親友遠程見面。目前親友遠程見面主要是視頻方式，這種方式與VR遠程視界交互系統(tǒng)不可同日而語。如目前越來越常見的異地戀情侶之間，一種身臨其境的見面方式毫不意外會成為一種剛需。若前端VR和后端擬人云臺都以電池驅(qū)動，成為便攜式，或成為親友之間遠程相伴的一種理想解決方案。可能在不遠的將來，基于5G的VR應用還會擴展到更高級的形態(tài)，具備更深層的沉浸感，實現(xiàn)“萬物互聯(lián)”，我們指日可待。

第5章總結(jié)本文