聯想混合現實與計算機視覺技術白皮書

目錄

1混合現實及計算機視覺技術簡介............................6

1.1混合現實技術概述............................................6

1.1.1混合現實概念及行業趨勢...............................6

1.1.2混合現實關鍵技術及發展...............................9

1.2計算機視覺技術概述........................................15

1.2.1計算機視覺行業趨勢...................................15

1.2.2計算機視覺關鍵技術及發展.............................18

2完整的端到端核心技術布局...............................26

2.1光學及顯示系統.............................................26

2.2CV系統....................................................33

2.3CV標定....................................................38

2.4顯示弓|擎.................................................42

2.5定位跟蹤...................................................44

2.6空間3D重建.................................................49

2.7物體識別與追蹤..............................................53

2.8檢測........................................................58

2.9云渲染......................................................62

3領先的混合現實及計算機視覺產品.........................68

3.1混合現實設備...............................................69

3.1.1聯想晨星AR眼鏡......................................69

3.1.2聯想晨星視覺模組......................................79

4

聯想混合現實與計算機視覺技術白皮書

3.1.3聯想晨星MR攝像機....................................83

3.2快速開發工具..............................................86

3.2.1聯想MRSDK..........................................86

3.2.2物體識別.............................................90

3.3通用工具...................................................92

3.3.1stARview..............................................92

3.3.2stARstudio...........................................99

3.3.3stARemote............................................110

4創新的標桿型行業解決方案..............................118

4.1智能生產..................................................118

4.1.1連接器輔助裝配EWIS..................................118

4.1.2功能測試ATS..........................................122

4.1.3協同設計.............................................126

4.1.4聯想晨星機器人...........................錯誤味定義書簽。

4.2智能運維..................................................137

4.2.1智能巡檢.............................................137

4.2.2應急響應.............................................141

4.2.3技能培訓.............................................144

4.3智能檢測..................................................149

4.3.1電力缺陷檢測.........................................149

4.3.2組裝缺陷檢測.........................................153

5未來與挑戰.............................................158

5

聯想混合現實與計算機視覺技術白皮書

1混合現實及計算機視覺技術簡介

1.1.混合現實技術概述

1.1.1混合現實概念及行業趨勢

從計算機的誕生開始，人類就在不斷地追求更加智能和便攜的個人通用計算

機平臺。1981年IBM發布PC開啟電腦時代，1993年瀏覽器的推出將PC帶入

了互聯網。2007年蘋果公司發布iPhone,隨后移動互聯網促使智能手機開啟爆

發式增長。近年來隨著沉浸式技術的快速發展，沉浸式計算平臺被普遍認為將成

為繼電腦和智能手機后的下一代計算平臺。它包括虛擬現實(VirtualReality)和

增強現實(AugmentedReality)。

混合現實(MixedReality),是一種使真實世界和虛擬物體在同一視覺空間中

顯示和交互的計算機虛擬現實技術，是增強現實(AR)技術的重大提升。混合現

實(MR)融合了人機交互、傳統現實以及人的認知，能將物理世界和數字世界

中的人、物和場所融為一體。不同于讓用戶完全沉浸在虛擬世界的虛擬現實(VR)

技術，或是在真實世界基礎之上疊加數據信息的增強現實技術，混合現實技術通

過與周邊真實環境的融合，使用戶無論從聽覺或視覺都感到虛擬世界是真實場景

的一部分。

修念VR,VirtualReelity,虛械實AR,AufjaentodReality,增建現實MR,MixedReality,混合現實

定義用戶完全沉浸在計算機生成的也振環用戶網接或間接觀察由實場景.數字元將真實場景和虛擬場景拿常自然地觸

埴中井住很大程度上隔離其物理環境東會加到現實世界的對鼓和背景上合在一起?它力之間可以發生實時交互

的N閉式體驗《升級版的AR)

知要索I沉設想："造出芽姓虛擬場景內的感I現場始?也接U小支實世界現場1現場絡?人實場景決口現場

ft2用強性：財現場顯示的內容也加圖2.混合性.奠實場景和“擬場景自然

2交互性：用戶可以和虛擔場景中的內像.譚音,視做或共他信恩地合在一起.發生人實感地文互，包括

容發生實時交互3柑關性?增加的內容和現場在包括位遮擋.碰撞等

3勇但性：可以根據設計希的憋&設計置,內容.時間等方面具有相關度3通人性,虛擬場景的醍示效果接近

出各種各樣的虛擬場景衣實場景,不容易辨別

場景舉例AR受景導航MR裝修

典型設備HTCXTXTGoogleG1M,微軟Hololens

FacebookOcuhisRift.OculusQuestMagicLeap

表1.1VR、AR和MR的區別山

6

聯想混合現實與計算機視覺技術白皮書

與所有新技術的發展類似，AR/VR也經歷了從熱炒到低谷再到復興的過程。2012

年Oculus推出VR頭盔，谷歌發布Googleglass,使得AR/VR概念進入公眾視

野，被認為是智能手機的熱門替代品。隨著Oculus被Facebook收購，包括

Facebook、微軟、SONY、三星、HTC等巨頭們先后進入AR/VR市場，2015-2016

年AR/VR市場熱度達到高點。微軟發布Hololens一代MR頭戴顯示器，引領了

一場人機交互方式的變革。任天堂發布PokemanGoAR游戲風靡全球。創業公

司MagicLeap,截止至2016年底共累計獲19億美金巨額融資（C輪），發布AR

頭戴顯示器MagicLeapone。但到了2016年下半年，由于商業模式、網絡、硬件

和內容上都沒有突破，行業開始進入寒冬，一批初創公司被迫轉型。然而在此期

間，大廠卻開始積極布局AR生態,2017年蘋果公司發布ARKit,谷歌發布ARCore,

并推出GoogleGlassEnterprise主打行業應用。國內百度、阿里巴巴、騰訊等知

名企業也紛紛上線AR平臺。2018年蘋果公司繼續推出ARkit2.0,并推出專門為

AR設計的文件格式USD乙同時利用蘋果應用商店推廣手機AR應用來培養用

戶。谷歌也發布了ARcorel.5,安卓手機廠商陸續搭載ARcore,開發者也開始在

安卓平臺上開發AR應用。經過2018年AR/VR市場的冷靜期后，2019年微軟

發布Hololens二代MR頭顯，在佩戴舒適度、顯示視場角和自然交互等方面都

有顯著提升，同時配合Dynamics365應用和Azure混合現實服務，在行業應用

領域不斷打造成功案例。通過開展全球合作伙伴計劃，HololensMR頭顯在各行

各業找到落地場景，幫助企業降低成本提高效率。谷歌發布GoogleGlass

EnterpriseEdition2,繼續拓展企業應用，售價比一代降低三分之一。蘋果公司發

布ARkit3.0,并著重推廣基于瀏覽器的AR功能，推出ARQuickLook為用戶提

供小白式的AR開發流程，無需復雜編程便可在iPhone上實現AR效果，并在其

中加入了ApplePay支付按鈕，可跳轉到購買頁，從而形成了電商購物從體驗到

購買的閉環。2019年被稱為5G元年，隨著5G建設的大力推進，新產品和新

技術的不斷成熟，AR/VR迎來了新一輪發展機遇，AR/VR領域再度獲得高度關

注。

7

聯想混合現實與計算機視覺技術白皮書

概念期

谷歌指出開發平臺ARC5。

推出GoogleGlassEnterpriso注■行業應用

MagicLeap

以累推出開發平臺ARKIt

D就我得5Q2億

百度ARLab平臺、問JlARbuy?平

谷”發布AR?U)■元巨■■說

全球首個AR開涕假架臺.■訊QQ-AR平臺場場上竣7

ARToolkitGoogleGlass2016

平面媒體余袤20122017

1999首次應用AR

IvanSutheriand2009

開發出“達摩克斯之劍”

1968

VWo發布首KAR*鎮

20182019貨軟發布HolQlem2

2015依然僚■行業應南

任天堂發布MagicLeap正式發布

Googlo發布Glass

PokemonGoMa^cLeapOne

2000EntorpriMEdition2

游戲風磨全球谷歌發布ARCorel.5

馀格較U一代I?依33%

R-HAR?n華為、三星.小米搭裁

1990發布niXXfBHolotons單果發布ARKIt3

AR-QuakoARCore

ARS含由波色公司

聯想、百度等開始單事推出ARKit2,年底一任前

托馬考?爾II出

布局Hololens高ifi設計IBAndrewKim

圖1AR/VR發展史回顧⑷

按Gartner的新興技術成熟度曲線(HypeCycle),2018年VR從曲線中消

失，意味著虛擬現實技術歷經熱炒、低谷，已逐步成熟，AR仍處于泡沫破滅的

低谷期，有待技術的突破和發展⑶。

一一ConnectedHome

WiuaiAisistants--------.、.Deeplearning

loTPiatform

?MachineLewwx）PlateauSberetchedm

SmartRobots------，4AutonomousVehicles

EdgeComputing;leuthan2year*

AugmentedDota-.Nanotub。Electrontcs?2toSy?8r?

Otcovtry

>ConvefB8honalCognMComputing?Sto10yean

SmartWodcspece，userinterteces

Btockcham▲morethan10ytn

Bf?n-Cofnputef

InterfaceAVbiufnetncCommerceiUAVs（Dfones）

Quantum.，CograbveExpertAtfmoti

4D?p<ayi

Computing

,DRY*

PMSEnterpnseTaxonomy

50andOntotogyManagement

HummSoftware-Defined

NeuromorphcAugmentationSecunty>

Hantware

?DeepRenforcement.Augmented

"ReMty/

工，LeanwLg

SmtrtDustAsofJuly2017

PeakofInflatedTroughofSlopeof

InnovationTripgefPlateauofProd?ct>vity

ExpecutiontEnHotitenmenf

圖2Gartner2017年新興技術成熟度曲線

8

聯想混合現實與計算機視覺技術白皮書

D?g<alTwin

Bioch9t.rDeepNeuralNetMOeepLearning)PlateauwilbereachedM

?CartxxiManotubelessthan2years

SmartWorkspace"loTPJitfonn

omputerinterface、f?21oSyMT8

itMobileRobots/、VirtualAssistants

?Slo10year1

SmartRobotsSteonAnodeBattenes

DeepNeuralNetworkASIC*kStockcham▲merethan10yem

AlPaaS-

QuantumComputing一

VoiumelncDnplayt_C<xwMct8dHocns

Setf-HeaiingSystemTechnology-

,AutonomousDrivwgLevel4

ConverutionalAJPittform

AutonomousDrivingLevel5

，EdgeAl

BlockchvnforDataSecunty，

NeuromorphcHarg&e，

KnowledgeGraph*

4DPnnfeng

kiaiGeneralIntelligence

AugmenMReality

Autamomou!

iSufedorArtMceiTissue

AsoTJuty2018

TroughofSlopeof

InnovationTriggerPtetetuofPfoductivrty

DisiluBionmentEnlightenment

Tlnw*

圖3Gartner2018年新興技術成熟度曲線

1.1.2混合現實關鍵技術及發展

混合（增強）現實產業鏈相對完整，按照技術分，從下至上涵蓋了核心技術

及器件、硬件設備、SDK開發工具和引擎及操作系統、內容制造及行業應用。

-----------------------------蹲戲-----------------------------------------清貨者----------------------社蟒媒介一

消MA.L6(K>.ASOBOnudo,NJAMIC.Dis.*4t.*K.直*.Zs.<H.SiufxhM.Fwcbonk.

ILMNLAB.FuDiimn.SCHCLLfjAMES.Ptn&d；.—HtTCH.WILUAMSSOSMA.R?tt.YAH(X>.<>oosJe,MK.-.C.R?r?m.

FLARB.SSATTH,FHAMESTONKEnmffli,iaA..AnuxKJBAu&Cn.nccaodiLAB

行￡iCiENlES.tW.F"E?W.brN

應

-----------工#----------------------------就為------------------------------------------------企業----------------------------------

川

-tA.LAU*.?-?.Ew&3WTF.Alt.tPSKiLL.ZEBRA.IBM.―碼；ScoprAR.CKI.Swud.wfoni.

***.?UKTML：$—N￡<>8EAR.?R.Tnmlric.TAIXSPJS.HMiEK.F(X?n.CjmtnK',JOJXPATI.Skrxhto.miVEO.

J崢Hh.KrMn.mtnvw,SawhmnMa,<；LXSSTXQ.ARjn.HlPTAY.BEYCXPSPORTS.gju4.Zhce.hvMndoKn

I11os--------------------------------------------------------■；，------------------------------------------------------------------------------------------------SDK4友才工具包--------------------------------------

Fxrt>sk.MikiUm.Ap|>k.i-LESGJSE.UK."4.A"C.&M.KM.t)t.K|4>AR.-6H.0.Rnlnw.^BCGCH.Qn^ul.Vuf.?i.Wi.Hxie,ARB?'LKIT

MapcL??p-Lunun.M寸.*ttFuvtxuA.?d4.TI>WH,ZMMF,?re><e,RE'FLEETK?duiaMyamcDM.AVRASMA.M*9cLe>t>,&neAR,SCAPB.hnwmr.Hav*R.RoM

-------------------------------------------------------------------------------------設備---------------------------------------------------------------------------------------------

H<.k,Uu..M<wcLr>p.leme.Mm.必*.光虱0,Cmo.Nr?f.fwrt?x.k,LEAPM<7T7<>N,KIRA.H-w-iW.rM.HKiLENS.IMMY.lU+duSemltv.(?^.fM.EPSON.T?6H1BA.&，yAR,CLYMP15.

<|R￡.AM,VVZ1、.-????<...k.,IRJSnCK./&??.EV￡RV3X，MT.Th，?*".JrtU.R.4KI.H?M.fRCITE

）掂媒（龍根）

一芯片一r存鐘一“示一一電池一?球追舞-農MJS-一看擇一L31-ARk-1

LUM

HM?,l*wV<><uri>mrUH>.

??.44.之.x<.uin.Rrt5??e?in.Apalft,Aum4?,M4C