基于邊緣計算的沉浸式VR崔勇清華大學

計算機系cuiyong@1VR/AR應用精靈寶可夢Go任天堂和谷歌通過智能手機在現實世界里發現精靈，進行抓捕和戰斗房屋裝修HouseVR想看看將來裝修好的房子？想和設計師一起所見即所得？HouseVR發展難點室內模型構造麻煩，設計師？–家具模型更不易，家具城？“+互聯網”Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大社交VRFacebook

Social

VR

Avatar實現Face-to-Face社交連線型頭戴式VRVR的性能需求極低響應延遲：小于25ms較高刷新率(FPS)：大于60Hz復雜的場景：真實環境、全景視角…社交VR給移動終端和網絡傳輸架構帶來了巨大挑戰Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大VR市場問題VR市場現狀2016

VR元年2017寒冬將至？

VR市場現狀用戶持續增加商家生產VR設備數持續增多大品牌居多Google、HTC寒冬？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大臺式VR

vs手機VR臺式機VR畫質體驗好但價格高移動受到限制手機VR畫質體驗待優化但價格低用戶可自由移動市場對比手機VR將成主流？數據線限制Wednesday,

April

28,

2021傳感器采集運動輸入數據采集到的數據進行過濾并通過線纜傳輸到主機游戲引擎根據獲取的輸入數據更新邏輯和渲染視口提交到驅動并由驅動發送到顯卡進行渲染把渲染的結果提交到屏幕,像素進行顏色的切換用戶在屏幕上看到相應的畫面VR延時需求手機VR顯示過程流程復雜導致延遲延時需求高延時導致用戶暈眩用戶視覺反饋受限如何克服延時？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大手機VR相關試驗方法1：云端渲染高質量VR畫面發至手機幀率受帶寬波動影響帶寬不足方法2：手機本地渲染高質量VR應用手機溫度過高用戶體驗畫面卡頓如何結合兩者優勢？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大未來的手機VR將來無線網能帶來幫助?將來硬件能帶來幫助?400Mbps

TCP吞吐量已經包含27%CPU（在谷歌Pixel手機中）高質量VR幀流的傳輸需要大約6

Gbps的吞吐量

[MoVR,NSDI’2017]CPU/GPU在高端手機中Wednesday,

April

28,

2021發展的非常緩慢的進展:由于電源的約束，GPU

Frequency(MHz)Nexus

4(2012)Nexus

5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(201

CPU

Frequency7)

(GHz)Blockage產生的主要原因是用戶變化的動作（如圖所示的抬手）會阻擋mmWave信號-解決方案是架設可編程的mmWave反射鏡Mobility的問題在于mmWave的波長非常小，頭盔的移動（用戶移動）會導致天線需要重新校準（確保天線發射的方向能到達頭盔），校準的時間會影響到VR的響應性-解決方案是利用VR系統本身的定位傳感器等功能，快速、實時確定頭盔的位置，并以此計算、調整天線邊緣計算＋手機VR傳統做法–服務器放在云端延時高創新思路：邊緣計算手機VR放云端延時高！Wednesday,

April

28,

2021引入邊緣計算(VR服務器)Blockage產生的主要原因是用戶變化的動作（如圖所示的抬手）會阻擋mmWave信號-解決方案是架設可編程的mmWave反射鏡Mobility的問題在于mmWave的波長非常小，頭盔的移動（用戶移動）會導致天線需要重新校準（確保天線發射的方向能到達頭盔），校準的時間會影響到VR的響應性-解決方案是利用VR系統本身的定位傳感器等功能，快速、實時確定頭盔的位置，并以此計算、調整天線“剪掉繩子”的高質量VR邊緣計算＋手機VRMIT的Dina嘗試采用新型高速無線傳輸–

Enabling

High-Quality

Untethered

VR

[NSDI17]手機VR設備無法提供好的用戶體驗？核心思想：60GHz＋本地緩存響應性處理產生時延設備精確性被波長影響移動中及時加載預測點60GHz

AP微波反射器Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大發現手機VR改進點改進點1:內容可分為前景交互和背景環境改進點2：前景交互和背景環境有可預測性的渲染工作云朵和山脈

(背景環境)Wednesday,

April

28,

2021賽車手Daydream

VR應用故障率渲染工作量Karts游戲,相對低(前景交互)前景交互背景環境可預測性

隨機,不可預測連續,

可

測的高考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大“本地手機”的高質量VR微軟提出FlashBackImmersive

Virtual

Reality..[MobiSys16]手機VR設備無法提供好的用戶體驗？核心思想：預渲染＋緩存預測用戶三維空間->離散點每一個點->預測緩存移動中及時加載預測點Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第一步協同渲染手機GPU→前景交互遠端GPU→背景環境結合它們到手機關鍵優勢互作用耗時顯著降低解碼

(16ms)背景環境(≈48ms)請求

(3ms)渲染背景環境

(11ms)編碼

(10ms)傳輸

(8ms)每一幀合并(<1ms)渲染前景環境(12ms)前景交互

(≈12ms)樣例輸入瓶頸!Wednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第二步離散化虛擬世界借移動時延去預先取臨近的幀使用預先渲染和預先編碼的全景幀去批處理所有可能的方向預取臨近的全景照片

一般來說,運動延時≈20msWednesday,

April

28,

2021離散化的虛擬世界考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第三步手機上解碼一個全景幀大約需要40ms的延時并行解碼互作用耗時顯著降低并行解碼多核解碼，解碼時間:≈13msWednesday,

April

28,

2021考慮到Mobile

VR在短期內更具前景…網絡延遲無法規避○