虛擬現實(VR)技術實現難點分析及應用案例_第1頁
虛擬現實(VR)技術實現難點分析及應用案例_第2頁
虛擬現實(VR)技術實現難點分析及應用案例_第3頁
虛擬現實(VR)技術實現難點分析及應用案例_第4頁
虛擬現實(VR)技術實現難點分析及應用案例_第5頁
已閱讀5頁,還剩82頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

虛擬現實(VR)技術實現難點分析及應用案例

-3-VR搞笑集錦視頻-4-VR/AR虛擬現實(Virtual

Reality,VR)是3D視頻或虛擬世界,遮蔽了現實世界,增強現實(Augmented

Reality,AR)則是將電子信息疊加于現實世界中,

構想性Imagination

交互性Interaction虛擬現實三大屬性

沉浸性

Immersion

智能性Intelligence

交互性Interaction增強現實三大屬性

集成性

IntegrationVR/AR雖在技術上有相通性,但用途有差異,我們認為二者一定要分開單論!VR沉浸感AR智能化軟硬件

入門VR+AR+周邊硬件

復活VR/AR全新體驗是VR生存的基礎,智能支持是AR終極的任務,下一代計算平臺,下一個入口。可以+的大生態有哪些?最新的是互聯網+、移動互聯網+、大數據+、云計算+,往以前看,電力+、蒸汽動力+等,往以后看,AI機器人+、區塊鏈+等。Leap

Motion的手勢識別、Lytro的光場相機等產品在剛出場的時候都被認為是革命性的產品,但很快被發現叫好不叫座,不過它們未來的機會正逐步到來。

-5-

現有的CPU/GPU、屏幕等硬件都已經能足夠滿足用戶的需求,升級的機會在哪里?工業界興奮地發現這些頂級軟硬件相對于VR/AR來說才剛剛入門。-6-2016是VR元年Oculus

Rift2014年3月被Facebook以20億美元收購,VR技術進入資本前臺,扎克伯格說“虛擬現實會是繼個人電腦和移動設備后第三個改變人們生活的重要領域”,下一代計算平臺!高盛2016年1月13日VR/AR產業報告中性預測2025年市場規模將達到800億美元(其中硬件450億,軟件350億),并給出1820億美元的樂觀估計及230億美元的悲觀估計。高盛從游戲、實況、視頻娛樂、健康、房地產、零售、教育、工程、軍事等9大領域做了非常精細的收入預測。高盛預測正常情形下三大頭顯2016年銷量311萬部,2020年2455.6萬部,我們很認同,未來五年由于價高并不會爆發太快,限于游戲視頻等垂直領域;高盛預測2020-2025年時按正常、樂觀、悲觀情形分別對標筆記本、手機、PC的發展速度,我們認同VR以筆記本為對標,想補充的是,AR在16年始第一個十年無足輕重,第二個十年逐步追趕VR銷量,第三個十年成為手機的一類重要載體(手機其它載體包括微投影/微全息、折疊卷曲屏等,便捷性優于AR、隱私性不如AR)。VR/AR這類重磅產品的誕生將推動整個產業跨越式大發展,這次VR大潮,中國技術力量的跟隨速度還是很快的,但產業生態布局要求高,我們能否取得優于智能手機行業的地位還需要觀察。工信部很重視,16年4月發布14000字《VR產業白皮書》

/RqO8Cw6

,并組織成立了中國虛擬現實產業聯盟。-7-2016是VR元年1962年的虛擬現實設備Sensorama,可以讓人們坐在椅子上、把頭探進去,通過三面顯示屏來形成空間感,從而實現虛擬現實體驗。2016是VR元年資料來源:王元,凌感的早期員工36氪《虛擬現實50年》

-8-1968年第一臺頭戴式原型機,因為體積十分沉重,需要在天花板上設計專門的支撐桿,被笑稱為“達摩克利斯之劍”,作者是被譽為計算機圖形學之父和虛擬現實之父的著名計算機科學家Ivan

Sutherland。它定義了虛擬現實的幾個要素:立體顯示:兩個1吋CRT顯示器不同視角顯示創造立體視覺。虛擬畫面生成:視頻中的立方體是實時計算渲染出來的。頭部位置跟蹤:使用了兩種方式來對頭部位置進行跟蹤,機械連桿和超聲波檢測,居然有三個超聲波發生器和四個接收器。虛擬環境互動:與原型互動的手段還僅限于雙手操作的把手。模型生成:雖然視頻只是個簡單的立方體,但8個頂點的確是通過空間坐標建立的模型,并且立方體是隨著人的視角在變化的。2016是VR元年1980年代早期,美國軍方開始大量關于飛行頭盔、軍事訓練仿真器的研究。1987年一位著名的計算機科學家Jaron

Lanier,搗鼓出一款價值10萬美元的虛擬現實頭盔,第一款真正投放市場的VR商業產品。1980年代,最重要的改變是,組成虛擬現實的各個設備都可以獨立購買了!立體顯示:市場上已經可以買到Sony生產的便攜式LCD顯示器、35mm廣角鏡片,使得近距離下視場的廣度也能得到保證(只是沒有變形校正);虛擬畫面生成:顯卡每秒可渲染上千個三角形,已經可展示復雜的圖像了。頭部位置跟蹤:Polhemus公司開發出了6個自由度的頭部追蹤設備,雖然使用距離還有局限,但是比起機械連桿和超聲波,精度大大提高,還少了束縛。虛擬環境互動:帶有關節動作傳感器的手套。模型生成:當時的顯卡也可以做到實時三維建模了。資料來源:36氪《虛擬現實50年》

-9-2016是VR元年

1996任天堂第一次將VR帶入家庭,一套價值180美金、名叫Virtual

Boy的電子

游戲操控系統,但因為體驗差,最后產品賣了不到80萬套;

2010年代后,隨著電子元器件,尤其是智能手機和智能硬件的發展、電子元

器件的小型化和計算的高效化、顯示屏幕技術的成熟、內容開發工具的進步,

虛擬現實從軍工走向了民用化;

2012年Oculus

Rift眾籌大獲成功、2014年3月Facebook耗資20億美元(4億美

元現金,以及2.31億股普通股票)將其收購,將VR技術由開發者層面推向了

資本的前臺,Sony、HTC等大廠紛紛跟進;

2014年6月谷歌在I/O大會上發布了第一代CardBoard,帶來了超廉價版VR解

決方案,年底時走同樣插手機路線的三星Gear

VR發售;

2014年9月Oculus宣布公開Oculus

Rift

DK1外設源代碼及工程原理圖,國內

VR頭盔設備開發商大量涌現,產品兼容DK1(DK2兼容則需破解);

2016為什么是VR元年?公認的三大頭盔廠Oculus、Sony、HTC之前只是推出

了開發者版,2016年將正式推出消費版產品,Oculus

Rift、HTC

Vive分別于1

月6日、2月29日預售,Sony

PlayStation

VR于3月15日發布。

-

10

-2016是VR元年

連PC式頭盔:主流方向,還包括連Xbox、PS4、手機等外設來運算與圖形渲

染,可以適配重度游戲,連PC式頭盔可以適配所有PC內容。缺點是連線不便

利,代表是三大頭盔廠Oculus、Sony、HTC;

插手機式頭盔:也叫手機殼子、手機架,定位為入門級VR產品,谷歌

CardBoard是鼻祖,三星Gear

VR則是其中技術佼佼者。輕產品,靠低價格迅

速普及VR體驗,比較適合觀影與輕度游戲,缺點是重度游戲玩不轉、手機容

易發熱掉電快、延遲眩暈、視場FOV普遍都沒有達到90度、難有沉浸感,以

及高端手機流行金屬機殼、對VR頭盔來說太重。也有觀點認為VR手機殼市場

亂象在損毀用戶體驗。

一體機、分體機:全移動,不需要電腦,優點不僅僅是便攜,而是適合需走動

的大型游戲,但硬件性能、電池續航都是短板。有國內公司表示,趕超Oculus

一步到一體機,錯!1、元器件性能提升還有個過程;2、硬件核心技術都在海

外大廠手上;3、硬件換代速度快,買早了吃虧。中期可考慮做分體機,還可

為頭盔減重,北京Pico于2016年4月發布Neo分體機,采用高通驍龍820芯片。

-

11

--

12

-2016是VR元年資料來源:招商證券研究類型連

PC

式公司OculusSonyHTC&Valve樂相科技最新產品CV1PlayStation

VRViveD?ePoon

E2M2價格599

美元499

美元799

美元1799

元待定上市時間

適配設備2016.3.28

PC、Xbox

2016.10

PS4

2016.4.1

PC

2015.11

PC

待定

一體機技虛擬現實科

3Glasses

D2藍珀/Blubur

S1/W12199

元待定待定2015.9

PCPC/一體機手機架蟻視AvegantSamsungGoogle暴風影音蟻視蟻視+聯想頭盔+控制器二代

CyclopGlyphGear

VR1Gear

VR2Cardboard1Cardboard2暴風魔鏡

5機饕樂檬蟻視

VR

眼鏡1888

元待定3688

元699

美元199

美元99

美元25

美元16.99

美元499

元149

元199

元2015

各類設備全兼容

待定2015Q4

各類設備全兼容2014.12

S5、Note4

等手機2015.11

S6、Note5

等最新手機

2014.5

安卓手機

2015.5

所有大屏手機

2016.6

大屏手機2015

大屏手機2015.11

樂檬手機-

13

-游戲

360攝像機游戲引擎影視

C端分發渠道

直播內容

應用

商店

視頻

網站

內容制作廠垂直社區

頭盔

操控

手柄體感手套衣服

B端

應用體驗店、主題公園、網吧、野戰館、旅游等

工業、軍事、醫療、教育、房地產等社交設備軟件跑步機蛋殼機等動感

設備

OS屏幕或微投影、透鏡、CPU/GPU

九軸傳感器、定位器等2016是VR元年

VR產業鏈大圖2016是VR元年資料來源:

Greenlight

Vr

-

14

-2016是VR元年資料來源:

Greenlight

Vr

-

15

-2016是VR元年資料來源:

Greenlight

Vr

-

16

-2016是VR元年資料來源:

Greenlight

Vr

-

17

-2016是VR元年資料來源:

Greenlight

Vr

-

18

-Oculus

RiftOculus

Rift

消費者版CV1于2016年1月6日預售,3月28日開始發貨。定價599美元,高于市場預期(之前的工程機DK2是350美元),創始人說599是成本價了,Oculus預計2016年發售100萬部。首發地沒有中國大陸,大陸發售時間尚未落實,-

20

-Oculus

RiftPalmer

Luckey2012年眾籌時才19歲,他是個VR發燒友,酷愛收藏拆解舊式VR頭戴設備,他攢出的原型產品視場之寬廣完敗市場上所有競品。-

21

-Oculus

Rift貴人相助:重磅級VR發燒友John

Carmack(第一人稱射擊游戲之父)2012年6月E3大展把

Oculus

Rift

介紹給全世界,他本人親自用原型展示

Doom

3

BFGEdition游戲,Oculus在Kickstarter上8月眾籌爆收243萬美金,13年8月,Carmack加入Oculus任CTO。Carmack作為游戲界的教父級人物,是id

Software的聯合創始人之一,對3D

加速技術的貢獻無人能及,代表作有

Quake、Doom系列和

Wolfenstein3D

等。卡馬克被授予英國電影學院獎最高榮譽,于4月7日登上頒獎典禮領取“British

Academy

Games

Awards”大獎杯。約翰·D·

卡馬克二世John

D.

Carmack

II1970年8月20日--

22

-Oculus

Rift2013年6月,Oculus獲得A輪融資1600萬美元,投資方包括美國經緯和SparkCapital等;2013年8月發布了開發者版本DK1

,售價300美金;2013年底再次獲得7500萬美元的B輪融資,領投方為Oculus

VR的天使投資方A16Z,A16Z的創始人Mark

Andreessen加入了Oculus

VR的董事會。2014年3月Facebook耗資20億美元(4億美元現金,以及2.31億股Facebook普通股票)收購了Oculus。DK1-

23

-Oculus

RiftOculus

為什么要賣給Facebook?

背靠大樹好乘涼,容易得到其他大廠的合作機會。

做硬件很燒錢,VR屏幕的參數與手機參數很不一樣,要找三星這種大廠,開

屏費用可能就要幾百萬美金,還要保證一定的量才行。Oculus需要三星的

OLED屏幕以及處理器,它可能在消費版頭盔中加入了處理器以加快處理頭部

運動偵測。

內容制作上前期要給游戲開發商50萬至100萬美金不等的定制費,才有人愿意

做,因為導入期游戲開發商基本拿不到收入。

Facebook和它的小伙伴們-

24

-Oculus

Rift現在3D視頻已經很豐富,但戴上3D眼鏡看電影,需要坐近點,這樣3D效果更好、視野更寬、沉浸感更佳,但電影屏幕再大總有邊界。如果大到沒有邊界?頭部轉動時畫面也能同步移動讓人感覺可以360度環視,沉浸感會更好。打破邊界,怎么解決?-

25

-Oculus

RiftVR原理很簡單:不同于偏光式、快門式的3D眼鏡,也不同于光柵式的裸眼3D,怎么解決?1、近距離雙眼雙屏模式,視差相疊騙過大腦、簡單粗暴!2、為了解決視頻放大、視場擴大到110度的問題,要加兩個高倍凸透鏡;3、透鏡邊緣變形問題,需要軟件矯正;4、開始時是一個屏幕一分為二,比如DK1的屏幕分辨率只有1280*800,分成兩塊顯示后、單幅畫面其實只有640*800的分辨率,非常低!后來者則多采用獨立雙屏模式,不僅提升分辨率,還方便調整瞳距。-

26

-Oculus

RiftDK2成為2014、2015年的業內標桿。Crystal

Cove

DK2于2014年1月CES發布、7月發貨,售價350美元,使用了一塊三星NOTE3的屏幕,分辨率提升到1920x1080的,但清晰度還是非常不夠。增加外部動作追蹤的攝像頭,偵測頭部運動的精度與延遲較僅有陀螺儀的DK1大為進步。傳感器數據采集頻率達到1000Hz,屏幕刷新率從60Hz提升到75Hz,但重量DK2是440g,高過DK1的380g。DK2的目鏡只有兩組替換(一組針對視力一般和輕度近視的A組鏡組,一組針對高度近視的B組鏡組,DK1則是附帶了三組替換鏡組),且目鏡安裝采用固定方式,瞳距不可調。作為標桿,國內頭盔總是喜歡跟它比較硬件參數,其實意義不大,因為DK2考慮價格因素,根本沒有用上好的硬件。-

27

-Oculus

Rift時隔僅兩個月,2014年9月Oculus公司首屆Oculus

connect大會,公布了內部原型Crescent

Bay(參數未公開,屏幕清晰度估計是1440p,90fps)、3D音效、眼罩四周增加大量紅外LED,利用前方的攝像頭,實現頭部360度運動偵測(星座系統),允許各方向移動3英尺(不過公司比較慎重,仍鼓勵開發者多為設計“落座體驗”),鏡片形狀不是正圓,而是一個類四邊形形狀,所以畸變算法也隨之改變,不過視野還是與DK2類似,有邊框。2016年正式發售的消費版CV1則改為菲涅爾透鏡,又名同心螺紋透鏡,相比凸透鏡能減厚減重,短焦距大視野,畸變算法更復雜,菲涅爾透鏡正成為行業標配。-

28

-Oculus

Rift獨家輸入設備Oculus

Touch于2015年6月發布,9月的Oculus

Connect2

大會上做了詳細說明與體驗,這是一對擁有六自由度定位的虛擬現實輸入控制器。配套了Oculus

Medium應用工具,讓用戶在VR中“做黏土”,正式銷售要到2016年6月,沒有趕上這次CV1的發售,沒有Touch時的Oculus被人認為是殘缺的。-

29

-Oculus

Rift2015年9月的Oculus

Connect2

大會,

Oculus宣布將在聯合推出的三星Gear

VR上發布大批新的專為

VR

設計打造的游戲,包括

UsTwo

Land’s

End,CCPGames

Gunjack,以及

Mediocre

Smash

Hit,微軟Mojang的Minecraft,Epic

Games的Bullet

Train等;和21世紀福克斯、獅門影業等公司建立伙伴關系,未來也將攜手Netflix和Hulu等流媒體視頻服務提供商,以及亞馬遜旗下的Twitch游戲直播平臺為用戶提供更多的內容,還有Facebook

也在他們的新聞流

NewsFeed

里啟用了

360°

的視頻應用。-

30

-Oculus

RiftOculus的CV1用戶將免費獲得游戲《Eve:

Valkyrie》太空題材的3D射擊游戲、《Lucky’s

Tale》VR中的超級馬里奧。應用收費則按傳統的開發商、平臺七三分成,應用內收費的模式還需要摸索。Oculus應用商店的審核共有3個環節,包括:技術審核(Technique

Review)、內容審核(Content

Review)、舒適度審核(Comfort

Review),每一個app和游戲的下載頁面都加上了舒適度標注:Comfortable

for

most或Comfortable

forsome,絕大部分游戲還是第三人稱視角游戲,少部分是第一人稱定點視角游戲,極少數是第一人稱運動視角游戲,Oculus對避免眩暈感的重視已經到了可以妥協游戲類型的程度。(資料來源:TVR訪談)

Oculus的內容是獨占的,而Libre

VR

制作出第三方應用Revive將其破解,

讓HTC

Vive用戶也可體驗Oculus的內

容,16年5月Oculus升級“平臺完整

性檢查”程序,結果很快又被Revive

破解,且權限大到不用識別是否合法擁有軟件。拉鋸戰將繼續。-

31

-rockychuOculus

RiftOculus15年12月25日公布了Oculus

Rift零售版的PC配置要求,900美元,合計頭盔一共1500美元:操作系統:64位Windows7/8.1/10;處理器:Intel

Core

i5-4590或更高;內存:8GB;顯卡:NVIDIA

GeForce

GTX970或AMD

R9

290;接口:3個USB3.0+1個USB2.0。Nvidia的Jason

Paul稱市場上只有1300萬臺PC符合資格,我們倒認為正是PC升級的契機。我們在京東組裝電腦中配置了一款含1T固態硬盤的電腦,價格5499元,

/1101213525.html

不過,VR頭盔要大賣,整個硬件

套餐價格最好控制在800美元以

內,根據硬件降價規律,可能需

要五年時間,注視點渲染視頻技

術突破則可加速這個時間。-

32

-VR技術難點-

33

-VR技術難點VR最重要的沉浸感決定于以下的一些指標(需牢記!)1.眩暈感:延遲需控制在20ms以內(奇點);2.屏幕分辨率:2K以上分辨率(低了會有紗窗效應、或晶格);3.屏幕刷新率與視頻幀速:屏幕刷新率一般只是60Hz,但VR最低90Hz、最好120Hz,不過刷新率上升了很耗電(

80Hz的耗電量估計就能是60Hz的兩倍),此外,視頻幀速fps與之相適應,達不到需要用插值算法;4.可視角度FOV:至少110度,甚至120度(雙眼重合區才能看到立體物體,水平角度122°、垂直角度120°,鼻子越高,水平視角越小,最外側各30

°

為余光區,看不清楚物體,但影響沉浸感);5.頭盔輕盈度:200g以內,否則戴久了脖子痛,近視眼鏡一般在7-35g;6.交互方式:手持、體感等,對精準、延遲都有較高要求。圖片來源:Yivian-

34

-VR技術難點眩暈感:最大障礙,主要源于使用者所見所感不同步,不同健康狀況的人敏感度又不同,延遲度的度在哪里?20ms是個臨界點,跨進來就能化腐朽為神奇。怎么解決?后文詳述。屏幕:從雙眼單屏到雙眼雙屏后,單眼要從現在的1K清晰度一直發展到未來的單眼8K(屏幕主要來自三星與索尼),刷新率從75赫茲、90赫茲直至120赫茲。GPU運算能力:Nvidia與AMD雄霸PC端的GPU(分占75%、25%份額),移動GPU芯片集中在高通Adreno、ARM的Mali、蘋果Imagination的PowerVR手中,不過,移動GPU的性能僅是PC端GPU十年前水平,一體機突破需要其它輔助。軟件算法:包括圖形圖像的核心算法(反畸變、反色散和頭部運動預測、硬件訪問能力)、與各類外設交互的算法、兼容各類游戲引擎。谷歌一直說要做安卓VR版OS,騰訊在15年7月份發布了VROS,外設大廠雷蛇Razer聯合

Sensics發布了開源VR系統

OSVR,想打造成VR領域的Android。頭盔重量:400克以上的重量,戴20-30分鐘,脖子會受不了;300克重量,佩戴時間可能延續到1小時左右;如果200克左右,佩戴更自如。目前的頭盔相當于90年代的“大哥大”。-

35

-VR技術難點(20ms延遲之戰)Oculus怎么解決眩暈感的?Motion-to-photons

latency,指玩家運動頭部到在屏幕上看到新圖像這整個周期里延遲時長總和,分解為6個環節:1、用戶輸入;2、USB電纜從Rift向電腦傳送指令;3、游戲引掣為GPU翻譯指令;4、處理器發布寫出“新圖像”的命令;5、Rift的顯示屏將像素轉化為新圖像;6、完整延遲時長。新圖像完全生成。

取自Nvidia的技術文檔

《Gameworks

VR》

資料來源:36氪,作者:

Chloe頭盔內置一個集陀螺儀、加速計、磁力計為一體的追蹤器,1000HZ,第一環節的延遲時長已由最初的15毫秒降至1毫秒;信號從Rift傳輸至PC又會產生1-2毫秒的延遲,所以需要USB3.0;大部分現代游戲約為60fps,每張圖傳輸至GPU的時間為16.67毫秒,如果幀速提高1倍,延時能省半,屏幕刷新率要相應提升;GPU再通過USB線纜給Rift顯示屏寫圖;屏幕響應速度,LCD屏還是需要5ms、2ms,三星AMOLED在數微秒之內(無余暉),Oculus還要三星放開硬件權限可以直接訪問前置內存。2014年10月份Oculus推出Latency

Tester小工具讓開發者測量VR技術難點(GPU性能天梯)

PC顯卡方面,

Nvidia于16年5月7日發布基于新的Pascal架構、全球首款16nm制程游戲顯卡GeForce

GTX1080/1070,前者核心頻率達1860~1886MHz,售價599美元,國行5399元,后者售價379美元,國行3499元。GPU并行計算能力令其可廣泛用于圖形視頻處理、AI深度學習、智能駕駛等領域,Nvidia股價迭創新高。移動顯卡有功耗的約束,目前最頂級的Adreno

530,雖然最高主頻650MHz,性能只相當于PC顯卡十年前水平,幾十倍的差距。

-

36

--

37

-VR技術難點(GPU

VR跑分)

評測先鋒Futuremark的3DMark基于5種場景對GPU的3D性能進行測評,結果見左圖,同價位產品AMD的要小勝Nvidia,但后者性能上更勝一籌。3DMark還于2015年12月發布VRMark測試的預覽版,針對當時市面上的VR頭盔,4個場景、按場景真實性、延遲(分段與全程)、準確度等維度測評,GPU跑分未公布,但對比結論與前述測評差不多,VRMark正式版將于近期推出。-

38

-VR技術難點(VR

SDK)Nvidia推出VR

SDK-VRworks,消費級GeForce、專業級Quadro、移動Tegra都支持,其中VR

SLI分屏刷新、Multi-Resolution

Shading一屏分九塊差異化渲染;16年5月基于GeForce

GTX1080/1070,同時增強功能推出該高端顯卡專屬的曲面屏/多聯屏/VR圖像矯正技術Simultaneous

Multi-Projection引擎,其中的Single

Pass

Stereo可渲染出左眼圖像后,迅速轉換出右眼圖像,以及擬真VR音頻技術VRWorks

Audio。高通驍龍820作為當今最強的移動處理器、三星代工14nm

FinFET工藝,包含KyroCPU架構、AdrenoGPU圖形核心、HexagonDPS傳感中心,其中Adreno530率先支持最新的OpenCL2.0和Renderscript。高通還為該芯片發布VR

SDK,可大大降低渲染延遲,支持3D立體注視點渲染和鏡頭矯正、色彩矯正、畸變矯正等,低功耗360度4K

HEVC視頻解碼、幀率60fps。ARM當紅的CPU是Cortex-A72,GPU為Mali

T880最高主頻850MHz

。ARM也推出了Mali

VR

SDK,完全基于NDK和OpenGL

ES

開發,將許多VR處理需求直接嵌入ARM架構的硬件IP和驅動里,改善立體渲染、校準、各種透鏡效果以及光學畸變的軟件修正,且也可像Nvidia那樣對屏幕分塊處理,以及支持高效內存壓縮。-

39

-VR技術難點游戲和視頻是目前VR行業最先啟動的兩個內容模塊:

絕大部分3D的PC或手游都不適合移植到VR平臺,SDK包轉換不是問題,關鍵

是它們不能提供沉浸感的要素比如全景視角和足夠的清晰度與幀速,VR游戲

需要選定平臺重新開發。

需要一門VR交互語言,比如用戶怎么移動?很多游戲干脆落座不移動,要移

動則分真實移動、跑步機、瞬移、行走重定向等不同方法,有人發明貼傳感器

于大腿外側的原地踏步移動法;另外,VR社交的模式也要重新探討。

VR視頻首先是沉浸式觀影,無邊大屏幕,3D內容已現成。而全景視頻內容需

要進一步豐富,這又包括兩類,第一類場景式視頻拍攝難度較小,例如全景視

頻或實況比賽,直播、錄播皆可。

全景視頻第二類為劇情式視頻,拍攝甚難,為了不穿幫,整個畫面構成將要發

生革命性的顛覆,最快發展的劇情式拍攝主要還是動漫電影,但制作成本也很

高昂。蘭亭數字VR電影的拍攝經驗:主線故事要能抓住觀眾注意力(否則容

易出戲);導演不在現場,要有全局觀、演員要一鏡到底、要求高;切換鏡頭也要務必保證過渡的自然性并減少切換的頻率。-

40

-VR技術難點-游戲引擎靈活度高、最具人氣的游戲引擎是Unity引擎與Epic旗下的Unreal引擎。Unity1.0始于2005年,它于手游時代迅速崛起,最新是5.4β版,3D引擎口碑佳主要在于開發方便、一次開發適用所有終端,開發者占比超50%,三倍于Unreal,Oculus

Rift首發30款游戲中有16款、Gear

VR90%以上的游戲都是使用Unity引擎。Unity于2016年2月首度舉辦Vision

Summit

2016

大會,意圖打造VR/AR界的奧斯卡獎盛會。目前該公司正在以15億美元估值融資。Unreal則表示全球收益超過10億美元的7大游戲都是用他們引擎,他們認可Unity游戲開發寫代碼更便捷,但他們優勢在于游戲整個發行、運營維護的便利。

Unreal虛幻引擎4于16年3月率

先拿出殺手锏-VR編輯器,開發

者可以直接在VR環境下構建所

見即所得的場景,視野從50x到

1x可隨意縮放。一周后Unity也

宣布他們也在開發類似系統。

Unreal的VR編輯器視頻/RqY6Mco-

41

-VR技術難點-全景攝像機全景攝像機廠商已經大量涌現:Jaunt、360Heros、谷歌Jump、Panocam3d、Bublcam、諾基亞OZO、三星Gear360、Lytro

Immerge,國內Insta360等等。

要拍3D全景,攝像頭至

少在8個以上,少了只能

拍2D全景。硬件方面難

點是所有攝像頭的同步

性,后期要無縫拼接則

需要調整多幅圖像的曝

光度、對比度、白平衡

等參數,渲染需要相當

時間。-

42

-VR技術難點-全景攝像機Google在2015I/O大會上發布了虛擬現實內容解決方案Jump,包含CameraGeometry、Assembler和Player三大部分。Google與GoPro達成合作,由16臺GoPro組成的陣列Odyssey進行360°同步拍攝,Jump后續處理,全景視頻在Youtube360視頻頻道上,供Cardboard及其他VR設備觀賞。單臺GoPro

Hero4相機售價499美元,而整套Odyssey定價1.5萬美元!GoPro于15年4月收購VR

軟件公司

Kolor,16年4月推出自家6攝像機組合產品Omni,售價4999美元,同時推出GoPro

VR視頻網站,并吸引全球領先音頻公司森海塞爾加入開發者計劃,

該公司VR

麥克風

AMBEO可抗惡劣拍攝條件,不過可能也要2000美元,預計于16年4季度發售。

GoPro的攝像機需求看來將來會不少-

43

-VR技術難點-全景攝像機Jaunt是目前全景攝像機的領軍者,已經拍攝了很多最受歡迎的視頻,如McCartney現場音樂會Live

and

Let

Die、二戰營救類動作片The

Mission、驚悚片Black

Mass、怪獸電影Kaiju

Fury等。Jaunt于2015年6月底發布了代號NEO(后改名為ONE)的第五代影視級別虛擬現實攝像機原型,8月后只租不售,2016年準備上市銷售。Jaunt成立于2013年,2014年4月獲得

680

萬美元的

A

輪融資,8月獲得GoogleVentures領投的2780萬美元B輪融資,2015年9月獲得黎瑞剛的華人文化、迪斯尼領投的6500萬美元C輪融資。

Jaunt

ONE,貌似混元錘(很多研

究報告弄錯圖片),有24個攝像頭,

一周16個,上下各4個,號稱可捕捉

(偽)3D光場,單鏡頭4K分辨率、

60FPS的360度視頻,且能適應弱光

與運動場景,不過拼接和渲染工作

量不小,一分鐘的Jaunt視頻要花費15至20分鐘。VR技術難點-聽覺VR要實現沉浸感,聲音元素少不了,尤其是昏暗場景中,聲音還能給出提示、引導劇情。我們知道VR視覺三要素是分辨率、延遲與追蹤,而VR聽覺最重要的是營造空間感,這跟音響播放的杜比環繞立體聲5.1或7.1沒有一點關系,它要的是360度“聲場”,并且必須通過耳機還放!為音響錄制的音效用耳機播放可能造成聽覺敏感者“頭中效應”。定位聲源的方向與距離,OculusAudioSDK(

/RqU9Mt5

)有詳細說明,先看人耳是怎么做的:人耳怎么給聲源定位方向?每個聲源都是立體聲雙聲道,左右定位時用時間差及響度差,前后上下定位時則通過耳廓、頭部、肩部等反射或遮擋衍射及干涉混響后大腦綜合判定,如果還不能定位則需要移動頭部二次定位。人耳怎么給聲源定位距離?就是通過響度與周遭熟悉聲音這一參照系的大小比較、高頻聲音衰減速度、原聲與混聲比例、運動聲源的聽覺差等綜合判斷,有稱作“心理聲學”。資料來源:poemqiong,

-

44

-VR技術難點-聽覺聲音到鼓膜的反射混響過程,工業界有比較成熟的音效算法,叫頭部相關傳輸函數head-related

transfer

function

(HRTF),把單一音源轉化為雙聲道欺騙人耳來定位。這要用到人頭錄音(Dummy

head

recording),即采用仿真人頭模型、在人耳鼓膜位置放置兩個麥克風來錄制聲音,比較原音與雙耳錄制音即可得到HRTF,然后用HRTF對其它原音編碼即可,這方面有很多公開數據集,比如:IRCAM

Listen

Database,但有的數據集采樣自由度稀疏,需要插值。HRTF技術在定聲音方向上非常不錯,距離感差點,因為混聲回聲缺乏很好的構建模型,另外一個難點是每個人的HRTF是不一樣的,怎么預設?基于HRTF的耳機音效系統,從很早就投入商用的SRS到后來三星DNSe再到DTS的Headphone:X(迅雷移動端為其開辟電影專區),之前僅在耳機發燒友這一小眾群體中流行,但,這在VR中確是必需的!計算密度巨大!每個聲源都要計算雙耳效果,要求好的直達聲與回響之間的初始時間延遲、混響、衰減曲線,并且當頭部有移動時,更要迅速對聲源方位、耳間聽覺差等重新計算。人頭錄音小站:黑木的錄音筆/rtlyxz資料來源:胡岐山等,知乎

-

45

--

46

-VR技術難點-交互設備交互模式的四代革命:CLI命令行界面GUI圖形用戶界面TUI可觸摸用戶界面NUI自然用戶界面NUI包括頭部與全身運動、眼球追蹤、語音識別、手勢及全身動捕與力反饋、腦機接口等,交互設備各家有各家的想法:包括手柄、魔戒、手套、體感槍、座椅、跑步機、光學或傳感器動作捕捉等等,但大家都在等Oculus、HTC

Vive開放追蹤系統的API。VR技術難點-交互設備(語音交互)語音交互于VR非常重要

一是聲場音效,前文已詳述,另,Facebook于16年5月收購虛擬現實音頻公

司Two

Big

Ears以助力Oculus,TBE的“3Dception

Spacial

Workstation”是款

專業的空間音效工具現在被免費開放給公眾;

二是語音快捷鍵,游戲中切換武器、技能、物品等,語音識別技術已很成熟;

三是聯網用戶的語音通道實時交互,需要帶寬要求與低延遲,技術也成熟,

有YY語音前CTO趙斌在硅谷創業的聲網Agora.io(還兼具聲場音效)

四是語音助手、AI語音交流,技術已經運用在蘋果Siri、Google

Now、微軟Cortana、科大訊飛、百度、IBM、亞馬遜Echo等,但離成熟還有很遠的距離,遠景目標是達到電影《HER》的水平,不過VR中要求沒那么高,不需要麥克風矩陣、遠程降噪、但還是需要低延遲、口音識別、語義分析、語言表達。

-

47

--

48

-VR技術難點-交互設備(眼球跟蹤)眼動追蹤技術Eye-Tracking通過圖像捕捉或者紅外掃描等方式來提取人眼注視方向,后者精度高。該技術原先只是用于手機或PC上的解屏鎖屏、視頻播放暫停、菜單操作、或是幫助殘障人士等,VR中將增加很多有意思的玩法,比如武器快速瞄準(指哪打哪升級為看哪打哪,空戰中太棒了!)、與游戲角色NPC作眼神交流、游戲黑暗中手電筒功能,最最重要的是注視點渲染foveated

rendering,模擬人眼生理特質即注視點中央清晰、周圍模糊,改變全局渲染,可大幅降低GPU負載、提升性能2~6倍不等,如果技術成熟,一體機就沒那么遙遠了。

目前紅外最高可以做到380Hz的

刷新率,延遲3~5ms,已經基本

合用了,將來希望也能如運動傳

感器一樣達到1000HZ,以確保全程過20ms的坎。其它待解決問題:戴眼鏡者的眼鏡影響眼球追蹤效果、菲涅爾透鏡的同心圓會干擾信號,還要注意防抖。讓你的眼睛會說話-

49

-VR技術難點-交互設備(眼球跟蹤)東京的FOVE,第一家眼球追蹤頭盔廠商,內置雙紅外攝像頭,產品計劃16年秋季發售,早前接受了微軟創投加速器在倫敦分部的孵化,后于16年3月完成1100萬美元的A輪融資,Colopl

VR

Fund基金領投,鴻海、三星跟投,Colopl是日本最大的游戲發行商之一。公司于16年5月開放下載SDKv0.4,基于

C++,允許集成自定義渲染引擎和原生App,并表示有意將其眼球追蹤技術授權給其他頭顯廠商。該領域的公司還有SMI、Percept、Eyematic、Eyefluence、Tobii及國內的七鑫易維等。

七鑫易維號稱已實現垂直30°、水平50°全視場角跟

蹤,完全可以覆蓋全FOV的VR設備,追蹤速度為

240Hz,延遲低于5ms,且具備防抖追蹤算法。目前除

了跟Nvidia、高通合作外,其眼控模組既可嵌入Oculus

等頭顯,又可植入Gear

VR類手機VR盒子,并提供

SDK進行功能拓展。另外,公司還很注意基于注視點信息的大數據分析(網上類似有別家的眼球跟蹤熱力圖)。FOVE

CEO小島優花Yuka

Kojima15年9月登上日本福布斯封面,她曾在Sony

Playstation部門工作過五年時間-

50

-VR技術難點-交互設備(全方位跑步機)Virtuix

Omni全方位跑步機,帶來VR運動感受。普通跑步機主要體現速率和距離這兩個維度的數據,但Omni還加入了方位這一因素,用戶可以自由轉向,Omni采用的是內傾斜的光滑表面,當玩家向前走的時候,就會不經意滑下來。玩家需要穿上特制的鞋子,一是便于平衡,二是收集速度數據并同步到VR游戲中。支持Oculus

Rift與HTC

Vive。缺點是移動精度還需要不斷提升;價格不菲,699美元;50公斤,體積重量太大,適合商業場所運用。-

51

-VR技術難點-交互設備(光學動捕)Leap

Motion:2013年產品首發70美元,2014年入華取名“厲動”,售價

688元,兩輪融資共4275萬美元。原先只是想替代鼠標,但是并不成功。原理是使用紅外LED

+雙目灰階30萬像素camera采集手部特征點運動數據生成3D全手數據,不如Kinect、Intel

RealSense深度攝像頭的精確與視覺深,但勝在低成本,且延遲8ms較佳。公司現在主攻VR,改進了算法、推出Orion技術解決方案,加大動捕FOV到150度,可精確識別十指,但為了擴大手部活動范圍,公司準備推出自己的頭盔及與中國頭盔合作、把Orion做進頭盔里,因為三大頭顯都有自己的輸入設備了。它現在的問題還是缺乏強應用的配合。VR技術難點-交互設備(慣性傳感器動捕)北京諾亦騰Noitom(Motion的倒序拼寫,夢想是顛覆傳統動作捕捉行業)成立于2012年,開發了領先水平的基于

MEMS慣性傳感器的動作捕捉技術。相比光學動捕,精度與即時性上有不足,但可避免光學動捕因動作或物品遮擋而所需的大量后期處理,硬件成本也低很多,適合VR游戲,游戲要求的精度不高,但一定要得到游戲大廠的支持,另外延遲還是過線:從硬件到

PC延遲10ms、軟件處理延遲3–5ms、傳輸到頭盔顯示還要20+ms,還有就是解決易穿戴問題。諾亦騰2015年11月獲得B輪2000萬美元投資,估值超2億美元,奧飛動漫領投,A輪君聯資本等跟投。

專業版“騰挪PERCEPTION”套裝9.8

萬元,在

影視(《權力的游戲》

、《尋龍訣》)

、體育

訓練、醫療診斷等行業已有運用;消費版在

Kickstarter上眾籌的“Perception

Neuron”分包

含10個、20個、30個傳感器子節點的不同套裝

價格分別為

200美元、375美元和

550美元,支

持WIFI無線傳輸,傳感器模塊還可以像樂高玩

具一樣進行自由調整和組合。

-

52

-VR技術難點-交互設備(觸覺-力反饋)觸覺分為皮膚感知(溫度、紋理、粗糙)和運動感知(力與方向)。基于運動知覺的遠程操作與模擬力反饋的商業化產品已很多,如世界最大3D打印機制造公司3DSystems于2013年收購杰魔獲得Geomagic

touch(左下圖),廣泛應用于工業、醫療、教育等領域的模擬、培訓、設計、控制等方面。不過這個“3D鼠標”不僅價格過萬人民幣,且在VR中并不方便。法國Haption的更是貴至60萬人民幣。VR力反饋怎么設計?模擬槍的后座力還相對簡單(StrikerVR)

,手部力反饋有一定難度,多采用外骨骼方式,由電動、氣動、液動等主動型發展到電/磁流變的被動型。中下圖為Immersion

CyberGrasp力反饋裝置附在數據手套CyberGlove上,每個手指能提供最大10N的力,但要完全做成輕薄手套難度非常大!

目前有斯坦福的開源

觸覺框架CHAI

3D、

杰魔的力觸覺開發組

件OpenHaptics可用。

皮膚感知則可能需要

線性馬達。

-

53

--

54

-VR技術難點-交互設備(肌電刺激)Teslasuit是世界上首款VR全身觸控體驗套件,登陸Kickstarter擬籌資25萬美元,16個觸控點衣服1799美元,52個觸控點衣服2099美元,價格超貴。英國開發團隊Tesla

Studios

希望能通過采用肌肉電刺激(EMS)技術來實現虛擬感受,該套件號稱能傳送從微風輕拂到重力狠踢各種不同力度。

主控單元--T型腰帶,可無線連接

到市面上絕大多數虛擬現實設備。-

55

-VR技術難點-交互設備(腦機接口BCI)腦機接口技術:腦信號讀取-信號預處理-特征提取-分類-控制外部設備-反饋大腦,其中信號采集分為侵入式、非侵入式兩類。信號需要去噪、需要利用深度學習技術來分析,精確度差,但安全性高

信號精確,但有安全風險,

且硬件壽命短嘯語知乎賬號有系列文章-

56

-VR技術難點-交互設備(腦機接口BCI)從腦到機的意念控制主要是幫助殘障人士重建運動能力,還有基于腦電EEG技術的消費類產品如Melomind腦電波耳機、Emotiv

Insight

、NeuroSky

MindWave意念控制器,如果外部設備換成VR游戲,操作起來更容易,比如MindMaze用腦波操控VR游戲MindLeap。但如果要讓大腦在VR游戲中更全面的沉浸,需要由機到腦反向寫入體驗信息,人工視網膜、人工耳蝸等感覺修復技術給殘障人用的,更多更強更直接的信息刺激則有相當危險性,目前僅允許在一些醫療機構用于治療手段,例如深部腦刺激

DBS技術和經顱磁刺激TMS技術可以

用來治療抑郁癥和帕金森氏病,如美

敦力的腦起搏器。

也有研究作用于正常人大腦上改善腦

功能和個性如增強記憶、提升學習能

力等,這些也可用于VR體驗。《黑客

帝國》的腦后插管,隨著微電極技術

的升級也將逐步成為現實,但離消費級使用還有相當距離。-

57

-其它連PC式頭顯Sony

PlayStation

VR(第二勢力)索尼電腦娛樂(SCE)于GDC2014、2015游戲開發者大會上發布過兩次VR設備原型機Project

Morpheus(墨菲斯計劃),并于2015年9月東京電玩展上宣布正式改名為PlayStation

VR,明確其作為PlayStation系列主機的配件的位置。新版原型機以5.7英寸大小的OLED顯示屏替換原先的5英寸LCD顯示屏,可以輸出1920x1080分辨率影像、100度視野、刷新率高達120幀每秒(視頻跟不上的用插幀方式解決),延遲降低到18毫秒,為支持360度的動態感應,頭盔上有9個LED、利用PS

Camera來實現頭部追蹤,模式與Oculus類似,外形很有科技感,PS

Move體感控制器則可變身成游戲中的刀劍、槍械等武器。

索尼于16年3月15日美國舊金山GDC

大會上發布消費版PlayStation

VR,

將于3月22日開始預售,10月正式上

市,

399美元價格不包括PS

Camera

與PS

Move,

499美元包含二者。

-

58

--

59

-Sony

PlayStation

VR老炮兒索尼早在2011年11月份就推出了“觀影神器”頭戴顯示器,并且一年推一代推了三代,HMZ-T1、T2、T3/T3W(無線),但沒有大賣,索尼14年將重心轉移到虛擬現實產品上,15年4月宣布停產HMZ系列產品。HMZ系列產品配置了兩塊獨家0.7英寸OLED屏,分辨率均為1280x720,60Hz,單眼45度角視野,產生近似20m遠看750英寸屏幕的感覺。T1重量約為420g,T2約為330g,T3機身320g,電池盒重213g。缺點一是分辨率略低,二是視野略窄,三是不支持屈光調節,四是不帶陀螺儀。Sony

PlayStation

VRSony

PlayStation

VR的優勢

設計的時尚感!

旗下的游戲機PS4已經在主機大戰中斬獲頭籌,目前已銷出3700萬臺;

索尼旗下擁有大量內容,公司宣布不久將來PlayStation

VR會有超過100款游

戲出現,而且獨占游戲多;

體驗一致性佳,其它公司要看配套PC性能;

499美元頭盔+350美元PS4較其它兩大頭顯省至少一半,門檻最低!Sony

PlayStation

VR的劣勢

PlayStation

VR硬件性能弱于其它兩大頭顯,2013年11月起售的PS4性能也不

足,不過索尼在圖形技術上的精深挽回了一些劣勢,據悉Sony將打破PS系列

硬件更新周期、推PS4升級版Neo來提高感受;

PS

Move是PS3時代產品,太大、當刀劍很好,抓取東西則成問題,且反應滯

后、精準不足,Yivian報道Sony近期也申請了手環感應手勢專利;

正式上市時間晚于另兩家半年,折磨粉絲耐性;產業鏈封閉,開發迭代慢。

-

60

--HTC

Vive

(第三勢力)HTC背水一戰,手機業務在失血,VR必須成功。

HTC

Vive消費者版已于2016年2月29日開啟預售,4月正式上市,定價

799美元,預售地區包括中國大陸,大陸價格是6888元(美國價格加17%增值稅、15%電子產品關稅),相比Oculus

Rift(不含Touch)的599美元,這個價格更貴一些。與Oculus一樣配置的兩塊三星1080x1200的AMOLED屏幕、90Hz、110度視野,菲涅爾透鏡,但形狀不同。整套

Vive系統包括兩個無線控制手柄、兩個激光空間定位器、內置前攝像頭的頭戴顯示器(前置攝像頭可偶爾切看真實環境,有必要)。Vive消費者版特別提供了電話服務,可在頭戴設備上直接接聽電話、回撥未接來電、讀取短信并快捷回復,還可以查看日歷邀請,我們認為這一功能畫蛇添足,VR不需要,AR才需要。

首發124款游戲,大陸版免費三款

游戲:

《Job

Simulator:

The

2050

Archives》玩家向機器人學

習模擬工作、《Fantastic

Contraption》發明奇妙裝置、

Google的《Tilt

Brush》3D繪畫。

體驗視頻:/Rq7ymr761

--

62

-HTC

ViveHTC

Vive最大特點是RoomScale,超越Oculus體驗。利用室內大范圍跟蹤技術Lighthouse,兩個燈塔發射器被吊在房間對角,頭盔上光敏二極管陣列(32+8*2個激光定位感應器)來追蹤兩個基站發射的激光以定位,模式與Oculus剛好方向相反。每個基站包含一個紅外LED陣列,兩個轉軸垂直、旋轉的紅外激光發射器,每20ms一循環,先是紅外LED閃一次光,10ms內X軸旋轉激光掃過整個空間,Y軸不發光,下10ms內Y軸旋轉激光掃過整個空間,X軸不發光。系統優勢:計算能力要求比紅外攝像頭還低、延遲小、精度更高,用戶甚至可以在VR體驗中將手柄扔來扔去都能接住。缺點是內有高速旋轉件,需牢牢固定,否則手柄顯示會有顫動。燈塔系統使得4.5米×4.5米范圍可以自由走動,也可改為2.5米×2.5米。優勢也是挑戰,一是C端客廳難有大的空間,B2B2C才好;二是走動會受到頭盔線纜的干擾;三是開發者如何定義走動方案還需考量。-

63HTC

ViveHTC的VR戰略:硬件、內容、平臺以及商業模式相結合HTC

Vive的最大優勢是與游戲行業巨頭Valve聯手推出,Valve是著名游戲HalfLife與CS的開發商、Dota2的聯合開發商與總運營商。

Vive

VR使用的是Valve自主研發的SteamVR系統,儲備了不少Valve自身開發的Vive頭盔游戲,而背后的Steam平臺是全球最流行的PC游戲下載平臺,它使用的是BT軟件之父BramCohen的代碼和技術,下載方便快捷,該平臺有過億用戶、日活千萬,不容小覷。Valve以前一直與Oculus合作的,在Oculus即將被Facebook收購的時候啟動了B計劃,HTC剛好提出合作意向,二者一拍即合,最終打造出HTC

Vive。不過事實上,SteamVR后來也支持Oculus

Rift頭顯。Vive

VR商業模式:從B2C模式到B2B模式和B2B2C,Vive商店國外用Steam,國內用Viewport,HTC希冀把后者打造成VR內容分發渠道。2015年11月宣布與順網科技合作,順網覆蓋全國10萬家網吧,用戶規模接近1億,這點非常值得看好!HTC描繪的美好藍圖,汽車、教育、醫療、地產、購物都是其潛在市場。

--

64

-樂相科技-大朋頭盔上海樂相科技,號稱中國最大VR設備公司,研制的VR產品形態主要有,大朋頭盔+大朋助手(PC端VR內容聚合平臺)、幻影眼鏡+3D播播(手機APP累計用戶超過150萬)、VR一體機。2014年創業,其大朋頭盔D?ePoon2015年6月在京東眾籌籌資114萬,國內唯一兼容Oculus

DK2、DK1內容的頭盔。大朋E2售價1799元人民幣,采用三星AMOLED

1080P屏(三星的屏不是一般人能拿到的)、75HZ游戲幀率、19ms延遲率、120度視場角。迅雷(XNET)、愷英網絡(002517)

15年12月25日1.6億元增資加老股受讓獲得樂相科技15%、7.5%股權,總估值8.2億人民幣,迅雷作為云加速服務提供商,目前月活躍用戶超3億規模,是VR剛需用戶群;愷英網絡研發并運營包括《全民奇跡》在內的多款月流水過億的游戲作品,《全民奇跡》VR版開發已然開始;奧飛動漫于12月31日通過受讓老股拿到樂相10%股權,將力促動漫、電影、游戲內容的嫁接。樂相科技-大朋頭盔大朋無線一體機M2亮相2016CES、3月24日北京正式發布、4月1日登陸淘寶眾籌限量發售,售價2999元人民幣(價格給力!),398g,3G內存、32G閃存、3000mAh電池、雙頻WIFI、采用三星AMOLED的2K屏幕2560*1440、75HZ、19.3ms延遲率(其中:姿態信息采集1ms、數據傳輸到CPU1ms、軟件算法處理(ATW)3ms、AMOLED屏掃描顯示14.3ms,

75HZ下的極限低延遲了,上HZ更費電),采用三星S6手機相同的8核Exynos

7420

CPU(14nmFinFET制程),8核ARM

Mali

T760

GPU、與ARM戰略合作做了大量渲染優化、SDK中整合了異步時間扭曲ATW(即頭部轉動時圖像逆向旋轉、減少重新渲染的時間)等關鍵算法;異形非球面PMMA透鏡、96度視場角、3級傳動物距調節裝置、支持0-600度

近視;M-Touch觸感交互、

3D相位音效。

大朋M2欲叫板三星GearVR。

應用開發者的分成比例給到90%,首次發

布海內外100多款精品VR游戲,與華數傳

媒深度合作,首批搭載300部正版3D大片,

也同時內置了愛奇藝VR

應用,以及兼容

其它平臺。

-

65

--

66

-深圳虛擬現實科技-3Glasses14年10月發布、12月31日推出VR頭盔3GlassesD1開發者版,15年6月發布、9月推出3Glasses

D2開拓者版,該版是全球首款量產的2KTFT屏幕VR頭盔,5.5寸屏、60HZ、110度視角、246g重量(很輕),2199元,配體感魔戒,或諾亦騰的體感手套。2016CES展出了藍珀/Blubur系列體驗版,雙2K屏、S1為連PC,W1為無線一體機,3月31日深圳正式發布S1,分辨率2880*1440,PPI高達704(Oculus與HTC

Vive皆為456),但屏幕估計不是OLED,最高120HZ,去藍光護眼,278g,交互設備3Wand。我們試用感覺延遲較D2有明顯改善。圖片來源:網易科技藍珀/Blubur

S1頭顯與3Wand手柄-

67

-深圳虛擬現實科技-3Glasses3Glasses母公司經緯度科技稱十年前就已開始嘗試開發離消費者更近的虛擬現實的行業應用,不過我們從D1的推出時點看它應是受益于DK1開源的技術方案,之后3Glasses項目被剝離到現在的虛擬現實科技,并進行了3000萬元的A輪融資,估值1.5億人民幣,領投方投創偉業占16%股權比例。2015年B輪融資的估值在1.5億美元,并計劃在2016年登陸新三板上市。虛擬現實體驗點模式,截至2015年底,3Glasses

VR頭盔已覆蓋全國1500家線下體驗店,零售總用戶突破30萬,也號稱中國最大VR設備公司,公司計劃2016年底實現線下20000+體驗店。3Glasses游戲達成與Epic合作,加上國內外眾多游戲中小合作方,公司計劃2016年底達到20000+正版內容。另外,公司的一個突破是宣布與成人領域內容提供商春水堂進行了深度合作,僅面向海外用戶,公司表示后續會對成人游戲及視頻內容進行分級。而Oculus官方則重申VR內容政策:暴力可以,色情不行!Sony也明確禁止色情。-

68

-Avegant

Glyph虛擬視網膜技術美國Avegant公司2015年6月30日發布VR眼鏡Glyph,號稱全球首款視網膜VR眼鏡!Glyph乍看像個大耳機,

411g,可連接Xbox、PS、PC、Mac、iOS、Android各類設備,分辨率單眼720P、刷新率120HZ、延遲<12ms、對比度>1000:1、電池續航4小時。Avegant2014年2月曾在Kickstarter上眾籌150多萬美元,14年11月獲得940萬美元A輪融資,Intel

Capital和NHN

Investment領投,15年8月完成B輪2400萬美元,聯絡互動(002280)領投,其全資子公司數字天域香港1500萬美元獲得Avegant21.02%股權,并取得中國區獨家經銷權,

Glyph國內售價為3688元,海外售價則從眾籌時的499美元提升到699美元。Avegant

Glyph視網膜成像顯示(RID,Retinal

Imaging

Display)聽上去高大上,其實就是微投影,光線經過反射后直接到達視網膜,掃描成像的方式與過去的陰極射線管有些類似(前者是光子、后者是電子),它不用屏幕,但需要一塊反射鏡陣,根據反射面可以分為DLP、LCoS(硅基液晶);根據光源可分為LED與激光;掃描方式又分為微鏡陣列、高速轉動的棱鏡、MEMS光纖環形掃描等。人眼識別立體物體靠雙目視差、聚焦景深等多種方式,屏顯看3D解決了雙目視差,但眼睛實際是聚焦在屏幕上,而非實際距離上,RID是真3D、眼睛聚焦在正常的深淺上、不容易疲勞。

小知識:人的眼球直徑在24mm左右,后半部

分基本被視網膜覆蓋。按球面積公式計算出面

積為900平方毫米左右。視網膜由1.1~1.3億

個柱細胞(只有黑白響應),600~700萬個

錐細胞(能夠感受彩色)。但這些細胞的分布

并不平均,邊緣分辨率很低,中央凹處分辨率

極高。中心與邊沿的細胞比例大概是30:1。

-

69

--

70

-Avegant

GlyphDLP(Digital

Light

Processing)即數字光處理,基于TI(德州儀器)(唯一專利方)開發的數字微鏡元件DMD(Digital

Micromirror

Device),DLP芯片組現在為全球超過80%的電影院所采用,可以說DLP從根本上改變了電影制作、發行和觀影的方式,德州儀器(TI)DLP芯片發明者Larry

Hornbeck博士甚至于2015年榮獲奧斯卡獎。不過,在影院系統中DLP正在為激光顯示系統所取代,而激光顯示系統能否應用于智能穿戴還有爭議,主要是擔心激光近距離對視網膜的傷害。-

71

-Avegant

GlyphGlyph采用DLP投影技術,原理是將RGB

LED發出的光線投射在DMD芯片上,封裝好的DMD芯片實際上是由200百萬個微鏡陣列所組成,每個微鏡代表一個像素,微鏡受微電流控制通過旋轉角度來改變光線反射路徑,視網膜接收圖像。

Glyph對角FOV僅40度,等效于用戶在8英尺遠的距離觀看80英寸屏幕上的畫面。Avegant公司聯合創始人Allan

Evans從軍方帶來的該穿戴技術。-

72

-Avegant

Glyph優點:對各類設備的兼容、視網膜技術眼睛低疲勞、低延遲等;缺點:

1、視場尚窄,還只是索尼HMZ一樣的觀影神器,眼鏡上下部未密封、無沉浸感,較HMZ多了頭部跟蹤系統;2、缺手控設備,需要搖頭晃腦來操作游戲;3、DLP技術較之LCoS技術成熟,但由于技術壟斷、成本下降慢。我們認為未來還會有視野更寬、重量更輕的RID技術出來。-

73

-插手機式頭盔-

74

-Google

CardBoard-插手機式鼻祖Cardboard最初是谷歌法國巴黎部門的兩位工程師David

Coz和Damien

Henry利用谷歌“20%時間”、花6個月時間打造出來的,智能手機一下子成了VR的原型設備,凸透鏡-屏幕架構應該還是受Oculus啟發。看起來寒磣的再生紙板盒成為2014年I/O大會上最令人驚喜的產品。2015年I/O大會谷歌正式推出第二代產品,取消了磁鐵作為輸入設置(之前操作不敏感),并可支持iPhone,兼容所有6英寸以下智能手機。但產品還是比較屌絲,沒有動作感應器,靠手機內置感應器、延遲較明顯;故意不設頭帶,需要手扶觀看,這樣控制每次觀看時間在10分鐘內。谷歌作為公益項目送了100萬套出去,第三方制作出售的兩套裝僅25美元,截至16年1月谷歌認證產品的總出貨量破500萬套。-

75

-Google

CardBoard谷歌一直給人以“玩票”的形象,其實不然!谷歌已經正式組建了虛擬現實部門,領導者是CEO皮扎伊的助手Clay

Bavor,該部門正在開發VR設備、VR

OS及聯合YouTube打造360度視頻平臺。谷歌透露,截至2015年底,Google

Play上VR應用下載量突破2500萬次,其中1000萬次發生在年底的10月-12月期間,該商城現擁有VR軟件超過1000款。另外YouTube自15年3月起開始支持360度視頻,11月起支持用Cardboard觀看VR視頻,迄今已播放超過35萬小時、瀏覽照片量超過75萬張。谷歌VR主要的盈利模式是靠YouTube的廣告費收入。

谷歌2016I/O大會基于最新的安卓

系統Android

N為VR手機架準備

了Daydream平臺,這套平臺分為

VR優化模式、頭顯和控制器標準

方案和VR應用商店,它對智能手

機給出

DayDream

Ready

認證要

求,希望都能達到三星Gear

VR

的水準,只是目前沒有手機能通過認證。-

76

-三星GearVR三星GearVR2于2015年11月23日美國上市,與三星GalaxyS6、S6Edge、S6Plus、Note5旗艦機型配對使用,美國售價99美元,中國銷售時間待定。主屏5.7寸、2560x1440的2K屏,延遲率小于20ms,FOV96度、配藍牙手柄,推薦坐在轉椅上。計劃2016年銷售100萬臺,2月MWC大會上扎克伯格為三星站臺,透露說“用戶通過Gear

VR觀看視頻累計時間超過100萬個小時”,這么估計銷售未現火爆,另外,三星準備拿出30萬臺贈送給S7/S7Edge預購者。

GearVR1創新者版本于2014年12月10日上市,要配Note4使用,發熱大,掉電快,20分鐘被降頻,售價199美元;VR2的改進有:右側觸控板更凸凹,便于觸摸尋位;重量減輕了22%;透氣性更好,避免鏡頭霧氣;空間更大,戴眼鏡的人也能使用;散熱更好;手機耗電少。三星GearVR三星于2014年9月與Oculus建立伙伴關系,Gear

VR在Oculus

Home里購買應用,Carmack親自為GearVR做優化,并稱保持一年一代的更新速度,再一代產品要用眼鏡左側手勢動作來切換界面。二者為什么能攜手?我們認為各取所需,1、Oculus更專注游戲,三星要開拓電影、現場、視頻、圖片等領域;2、三星需要Oculus的技術支持(降低延遲率)與生態系統,Oculus需要三星龐大的客戶群(三星已經在全球范圍內銷出4500萬部Galaxy

S6和S6

Edge)、廉價VR設備來壯大生態,另外就是需要三星的AMOLED屏幕與處理器。雷鋒網作者Nada曝光出Carmack研發之艱辛,安卓底層優化遍地是坑,比如安卓為了省電會見縫插針、無所不用其及地降頻,需要封堵;Carmark一開始針對

高通芯片研發成功,但在三星自家

Exynos芯片上花了九牛二虎之力,不

過在安卓4.4升級到5.0后劇情反轉了,

高通GPU性能倒退,只好重心放在三

星Exynos

7420(公認為移

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論