智能設備的數字孿生授課教師：卞化梅關鍵技術：建模關鍵技術：仿真關鍵技術：虛擬現實技術4.14.24.3第四章數字孿生的關鍵技術關鍵技術：增強現實技術4.4關鍵技術：虛擬現實技術4.3

數字孿生和虛擬現實技術（VirtualReality，VR）是當今科技領域備受矚目的兩個概念，隨著技術的發展和需求的不斷增加，在未來二者一定是不斷融合的走向，二者的融合將給未來帶來巨大的變革和機遇。4.3關鍵技術：虛擬現實技術4.3.1虛擬現實技術的概述1.虛擬現實技術概念

虛擬現實技術又稱為虛擬實境或靈境技術，它是20世紀發展起來的一項全新的實用技術。它的基本實現方式是以計算機技術為主，綜合三維圖形技術、多媒體技術、顯示技術、仿真技術、伺服技術等技術，運用計算機等設備產生逼真的三維視覺、觸覺、嗅覺等多種感官體驗的虛擬世界，從而使人們在虛擬世界中產生一種身臨其境的感覺。4.3關鍵技術：虛擬現實技術

虛擬現實就是將虛擬和現實進行結合，從理論來講，虛擬技術也是一種可以創建和體驗虛擬世界的計算機仿真系統。虛擬技術就是利用生活中的數據，利用計算機技術生產的電子信號，結合各種輸出設備將其轉化為能夠讓人們感受的現象，這些現象可以是現實中的真切的事物，也可以是肉眼看不到的物質，采用三位模型表示出來。4.3關鍵技術：虛擬現實技術2.虛擬現實技術的發展歷程4.3關鍵技術：虛擬現實技術1963—1972年（虛擬現實技術的初現階段）1963年以前（虛擬現實思想的萌芽階段）在1935年，美國科幻小說家斯坦利·溫鮑姆在他的小說中首次構想了以眼鏡為基礎、涉及視覺、觸覺、嗅覺等全方位沉浸式體驗的虛擬現實概念在1957—1962年，莫頓·海利希研究并發明了“全傳感仿真器”

在1968年美國計算機圖形學之父IvanSutherlan開發出了第一個計算機圖形驅動的頭盔顯示器HMD及頭部位置跟蹤系統，這是虛擬現實技術的雛形，也是虛擬現實技術重要的里程碑。2.虛擬現實技術的發展歷程4.3關鍵技術：虛擬現實技術1990年至今（虛擬現實技術理論的完善和應用階段）1973—1989年（虛擬現實技術概念和理論產生的初期階段）M.W.Krueger設計了VIDEOPLACE系統，它能生產虛擬圖形環境，能使體驗者的圖像投影能實時的響應自己的活動。M.MGreevy領導完成的VIEW系統，它能實現體驗者穿戴數據手套和頭部跟蹤器，通過語言、手勢等進行交互，形成虛擬現實系統。VPL公司開發了第一套傳感手套“DataGloves”和第一套HMD“EyePhoncs”。1993年11月，宇航員通過VR系統訓練，從航天飛機運輸艙內取出望遠鏡面板。1994年，日本游戲公司Sega和任天堂分別推出SegaVR-1和VirtualBoy。2022年，加拿大造船公司Seaspan將3D沉浸式虛擬現實系統引入船舶設計。

3.虛擬現實技術的分類

（1）根據沉浸式體驗角度分類4.3關鍵技術：虛擬現實技術非交互式體驗用戶更為被動，所體驗內容均為提前規劃好的，允許用戶在一定程度上引導場景數據的調度，也仍沒有實質性交互行為，如場景漫游等，用戶幾乎全程無事可做。人---虛擬環境交互式體驗用戶可以用如數據手套，數字手術刀等的設備與虛擬環境進行交互，如駕駛戰斗機模擬器等，用戶可感知虛擬環境的變化

，進而也就能產生在相應現實世界中可能產生的各種感受。（2）根據系統功能角度分類4.3關鍵技術：虛擬現實技術規劃設計系統適用于新設施的實驗驗證，可大幅縮短研發時長，降低設計成本，提高設計效率，城市排水、社區規劃等領域均可使用，如VR模擬給排水系統。展示娛樂類系統適用于提供給用戶逼真的觀賞體驗，如數字博物館，大型3D交互式游戲，影視制作等，如VR技術早在70年代便被Disney用于拍攝特效電影。訓練演練類系統可應用于各種危險環境及一些難以獲得操作對象或實操成本極高的領域，如外科手術訓練、空間站維修訓練等。

（3）根據技術角度分類4.3關鍵技術：虛擬現實技術桌面式虛擬現實技術采用立體圖像技術在計算機的屏幕中生成三維立體控件的交互場景虛擬世界與用戶之間交互用到的主要設備有計算機、初級圖形工作站、投影儀、鍵盤、鼠標、力矩儀等。分布式虛擬現實技術虛擬現實技術與網絡技術相融合的產物通過計算機網絡將多用戶鏈接到同一個虛擬事件中，多個用戶可以在同一個虛擬世界進行觀察和操作。分布式虛擬現實技術主要用到的設備有圖像顯示器、通信和控制設計以及處理系統。4.3關鍵技術：虛擬現實技術沉浸式虛擬現實技術將用戶的視覺、聽覺、味覺、觸覺封閉起來提供一種完全沉浸式的體驗采用這種技術主要通過設備有頭盔式顯示器、洞穴式立體現實裝置、數據手套、空間位置跟蹤器等。增強式虛擬現實技術將真實世界的信息進行疊加到仿真模擬世界中用戶與虛擬世界交互過程中用到的主要設備有穿透式頭盔式顯示器、攝像儀、攝像頭、計算與存儲設備、移動設備等。4.3關鍵技術：虛擬現實技術

4.虛擬現實技術的原理4.3關鍵技術：虛擬現實技術

5.虛擬現實技術的特征

（1）沉浸性

沉浸性特征是虛擬現實技術最主要的特征，是讓用戶成為并感受到自己是計算機系統所創造環境中的一部分，虛擬現實技術的沉浸性取決于用戶的感知系統，當使用者感知到虛擬世界的刺激時，包括觸覺、味覺、嗅覺、運動感知等，便會產生思維共鳴，造成心理沉浸，感覺如同進入真實世界。4.3關鍵技術：虛擬現實技術

（2）交互性

交互性特征是指用戶對模擬環境內物體的可操作程度和從環境得到反饋的自然程度，使用者進入虛擬空間，對應的技術讓使用者跟環境產生相互作用，當使用者進行某種操作時，周圍的環境也會做出某種反應。如使用者接觸到虛擬空間中的物體，那么使用者手上應該能夠感受得到，若使用者對物體有所動作，物體的位置和狀態也應改變。4.3關鍵技術：虛擬現實技術

（3）多感知性

多感知性特征表示為計算機技術應該擁有很多感知方式，比如聽覺，觸覺、嗅覺等，理想的虛擬現實技術應該具有一切人所具有的感知功能。由于相關技術，特別是傳感技術的限制，目前大多數虛擬現實技術所具有的感知功能僅限于視覺、聽覺、觸覺、運動等幾種。4.3關鍵技術：虛擬現實技術

（4）構想性構想性的特征可以稱為想象性。使用者在虛擬空間中，可以與周圍物體進行互動，可以拓寬認知范圍，創造客觀世界不存在的場景或不可能發生的環境。使用者進入虛擬空間，根據自己的感覺與認知能力吸收知識，發散拓寬思維，創立新的概念和環境。（5）自主性自主性特征是指虛擬環境中物體依據物理定律動作的程度。如當受到力的推動時，物體會向力的方向移動或翻倒，或從桌面落到地面等。4.3關鍵技術：虛擬現實技術4.3.2虛擬現實系統的關鍵技術

1.動態環境建模技術

動態環境建模技術是虛擬環境的建立，是VR系統的核心內容，目的就是獲取實際環境的三維數據，并根據應用的需要建立相應的虛擬環境模型。

2.實時三維圖形生成技術

實時三維圖形生成技術是指目前三維圖形的生成技術已經較為成熟，關鍵點在于“實時”生成。為保證實時，至少保證圖形的刷新頻率不低于15幀/秒，好高于30幀/秒。3.立體顯示和傳感器技術

立體顯示和傳感器技術是虛擬現實交互能力的關鍵。虛擬現實的交互能力是依賴于立體顯示和傳感器技術的發展。4.應用系統開發工具

虛擬現實應用的關鍵是尋找合適的場合和對象，選擇適當的應用對象可以大幅度提高生產效率，減輕勞動強度，提高產品質量。5.系統集成技術

由于VR系統中包括大量的感知信息和模型，因此系統集成技術起著至關重要的作用，集成技術包括信息的同步技術、模型的標定技術、數據轉換技術、數據管理模型、識別與合成技術等。4.3關鍵技術：虛擬現實技術

4.3.3虛擬現實系統的輸入設備

虛擬現實系統的輸入設備是用來輸入用戶發出的動作，使得用戶可以操作一個虛擬境界。在與虛擬場景中進行交互時，大量的傳感器用來管理用戶的行為，同時也將場景中的物體狀態的信息反饋給用戶。4.3關鍵技術：虛擬現實技術三維位置跟蹤器是測量虛擬現實系統中三維對象位置和方向實時變化的一種硬件設備，是虛擬現實世界中一個比較關鍵的傳感器。它的目的就是檢測方位和位置，將這些數據報告給虛擬現實系統。在虛擬現實系統的多數輸入設備大都用到三維位置跟蹤器，目前虛擬現實系統的主要輸主要包括手柄類、可穿戴類、基于計算機視覺的動作感測設備等三種。4.3關鍵技術：虛擬現實技術

1.手柄類輸入設備虛擬現實中多數頭盔主要采用手柄類設備，主要包括游戲手柄和動作感應的VR手柄兩大類。傳統的游戲手柄主要有按鈕、遙感、觸板等，這類攝入設備相對結構簡單，便于操作，到對手部關節的精細的動手無法精確的定位，容易動作失真。動作感應的VR手柄主要是通過慣性傳感系統加上光學追蹤系統或者磁場感應來實現動作的跟蹤，這類設備目前還存在感應范圍限制、感應精度不夠高等問題，還不能完美實現人機交互的自然互動。三星的GearVR控制器4.3關鍵技術：虛擬現實技術

2.可穿戴輸入設備可穿戴設備主要是指直接穿在身上，或是整合到用戶的衣服或配件的一種便攜式設備。可穿戴設備是通過軟件支持以及數據交互、云端交互來實現強大的功能。全身動作捕捉系統數據手套可穿戴VR設備4.3關鍵技術：虛擬現實技術

（1）數據手套數據手套是一種典型的VR可穿戴設備，是一種多模式的虛擬現實硬件，通過軟件編程，可進行虛擬場景中物體的抓取、移動、旋轉等動作，也可以利用它的多模式性，用作一種控制場景漫游的工具。這類數據收到使用簡單，輸入數據量較小，進度較快，可以直接獲取手在空間的三維信息和手指的運用信息，可以識別多種手勢，實時進行識別，但也存在跟蹤范圍有限，缺乏反饋、操作容易疲勞等問題。

5DT數據手套4.3關鍵技術：虛擬現實技術（2）全身動作捕捉系統全身VR動作捕捉系統是一種可以對人體進行全身動作捕捉的技術。它可以通過傳感器、攝像頭、標記等設備對人體進行捕捉，然后將捕捉到的數據傳輸到計算機中進行處理，將人體的動作實時呈現在虛擬現實場景中。它的主要功能有動作捕捉、表情捕捉、動作數據精修等。它的應用范圍主要有影視、動畫、游戲、廣告、教育、VR/AR、人體工程學研究，模擬訓練，仿真和生物醫學等領域。全身VR動作捕捉4.3關鍵技術：虛擬現實技術攝像頭技術通過拍攝人體的動作來進行捕捉，主要應用于人體的大部位。標記技術將特定標記貼在人體上，再通過攝像頭來進行捕捉的技術，可以提高人體動作捕捉的精度和穩定性。傳感器技術通過測量人體的加速度、角速度、磁場等參數來捕捉人體的動作，主要應用于手部、腳部等較小的部位。全身VR動作捕捉系統的技術原理4.3關鍵技術：虛擬現實技術追蹤技術眼球追蹤技術

眼球追蹤主要是研究眼球運動信息的獲取、建模和模擬。當人的眼睛看向不同方向時，眼部會有細微的變化，這些變化會產生可以提取的特征，計算機可以通過圖像捕捉或掃描提取這些特征，從而實時追蹤眼睛的變化，預測用戶的狀態和需求，并進行響應，達到用眼睛控制設備的目的。頭部跟蹤

俗稱頭瞄，是指利用傳感器追蹤使用者頭部的運動，然后根據頭部的姿勢移動所顯示的內容，廣泛用于三維顯示中的虛擬視角控制。4.3關鍵技術：虛擬現實技術

（3）基于計算機視覺的動作感測設備

基于計算機視覺的動作感測設備是運用外攝像頭、紅外線采集圖像，建立手勢模型，實現對用戶動作感測和捕捉的一種設備。手勢識別的硬件基礎是深度攝像頭，深度攝像頭主要采用結果光、雙目成像和飛行時間等三種技術方案。課后作業

查找每一個輸入設備，了解其特征、適用場景，采用何種技術。知識回顧

以下這幾種輸入設備分別應用于哪些場景？需要哪些技術來實現？VR控制器數據手套VR頭盔4.3關鍵技術：虛擬現實技術移動端VR頭盔VR一體機游戲主機VR頭盔PC端VR頭盔頭戴式顯示器以外接個人計算機為主的VR顯示體驗度好、算法復雜，主要涉及光學、仿真、傳感、人機交互等多種技術使用場景在室內，便攜型較差以游戲機為主的VR顯示頭盔具有獨立的VR屏幕只兼容特定的游戲機以智能手機為運行系統的顯示設備手機承擔了計算單元、內容輸出和顯示單元的功能未真正實現交互和沉浸感。將數據運算主體和顯示主體集成不需要外設的VR獨立平臺該設備對技術和廠商設計要求比較高4.3關鍵技術：虛擬現實技術頭戴式顯示器虛擬現實系統的輸出設備虛擬投影設備立體聲音箱4.3關鍵技術：虛擬現實技術

2.虛擬投影設備使用光場成像技術來展示沉浸效果的設備，是視覺表現的主要方式。視覺表現技術主要包括平面顯示技術和光場景成像技術。光場景成像技術還分為全息技術和視網膜投影技術。全息技術是利用干涉和衍射原理再現三維圖像技術。視網膜投影技術更加先進，不需要任何顯示屏，直接在視網膜上掃描使用戶感覺到一副逼真的外部圖像。4.3關鍵技術：虛擬現實技術3.立體聲音箱

虛擬現實平臺的聲音部分十分重要，因為聲音可以增強用戶體驗。虛擬現實平臺使用立體聲音箱（或插耳式耳機）來隔離外界噪音，提供更準確的聲音和更好的聽體驗。4.3關鍵技術：虛擬現實技術虛擬現實的軟件UI設計軟件VR操作系統中間件4.3.5虛擬現實系統的軟件與技術開發平臺

對人機交互、操作邏輯、界面美觀等方面進行整體優化的設計的一類軟件。常用的虛擬現實的UI設計軟件主要有Sketch、Unity3D、Photoshop、AE等。

VR操作系統管理VR硬件資源、軟件程序和VR應用程序的軟件，VR操作系統包括原生系統和開源系統。代表廠商主要有雷蛇、谷歌等。

中間件在軟件開發過程一種為作為內核和用戶體驗之間的軟件，另一種是添加服務、特性和功能，改進和簡化游戲開發的軟件。4.3關鍵技術：虛擬現實技術虛擬現實整合軟件開發語言類的工具和SDK虛擬現實引擎虛擬現實軟件開發工具包4.3關鍵技術：虛擬現實技術（1）虛擬現實整合軟件虛擬現實整合軟件主要包括Virtools、Quest3D、WebMax等。Virtools是一套整合軟件，可以將現有常用的檔案格式整合在一起，如3D的模型、2D圖形或是音效等。具備豐富的互動行為模塊的實時3D環境虛擬實境編輯軟件。可以讓沒有程序基礎的人員利用內置的行為模塊快速制作出許多3D產品，如網際網絡、計算機游戲、多媒體等。4.3關鍵技術：虛擬現實技術

Quest3D是一個容易且有效的實時3D建構工具。比起其他的可視化的建構工具，如網頁、動畫、圖形編輯工具來說，Quest3D能在實時編輯環境中與對象互動。

WebMax具有獨特的壓縮技術、真實的畫面表現、豐富的互動功能，通過WebMax開發的三維網頁無需下載，只需輸入網址，即可直接在互聯網上瀏覽三維互動內容。4.3關鍵技術：虛擬現實技術

（2）虛擬現實引擎

虛擬現實引擎是虛擬現實系統中的核心部分，負責控制管理整個系統中數據、外圍等資源，通常虛擬現實引擎用來封裝渲染、物理、聲效、輸入、網絡和人工智能。目前常見的虛擬現實引擎有Unity3D、Unreal、VR-Platform、Converse3D等。

Unity3D是一款跨平臺的游戲引擎，可以用來制作