1、虛擬現實技術主講：吳慧欣主講：吳慧欣課程的主要內容u 虛擬現實與系統仿真的基本虛擬現實與系統仿真的基本u 虛擬現實與系統仿真的虛擬現實與系統仿真的虛擬現實有關的虛擬現實有關的，虛擬現實的，虛擬現實的和和u 虛擬現實的虛擬現實的u 虛擬現實的虛擬現實的相關知識背景 虛擬現實技術學習的虛擬現實技術學習的知識背景知識背景是什么樣的？是什么樣的？ 計算機原理、體系結構、操作系統、網絡、軟件工程、程序設計、數據結構、電子學、圖形學與CAD、系統分析、人工智能1.虛擬現實概述虛擬現實概述2.虛擬現實的接口設備虛擬現實的接口設備3.虛擬現實的計算機技術虛擬現實的計算機技術4.虛擬現實的建模和仿真技術虛擬現實

2、的建模和仿真技術5.虛擬現實的應用虛擬現實的應用課程目錄課程目錄學習重點和難點虛擬現實的虛擬現實的；人的人的和虛擬現實的和虛擬現實的；各類各類的技術；的技術；技術；技術；虛擬現實的虛擬現實的；虛擬現實的虛擬現實的；虛擬現實系統。虛擬現實系統。 第一章 虛擬現實概述課前索引課前索引第一節虛擬現實的基本概念第一節虛擬現實的基本概念第二節虛擬現實有關的人的因素第二節虛擬現實有關的人的因素章節小結章節小結課后習題課后習題 課前索引兩個問題兩個問題1什么是虛擬現實？2虛擬現實與人有什么關系？ 點擊觀看點擊觀看VRML演示演示 第一節 虛擬現實的基本概念1.虛擬現實的概念虛擬現實的概念2.有關的其它概念有

3、關的其它概念3.虛擬現實的特點虛擬現實的特點4.虛擬現實的應用領域虛擬現實的應用領域5.虛擬現實的技術虛擬現實的技術1 虛擬現實虛擬現實這個概念最早是由誰在什么時間提出的？虛擬現實這個概念最早是由誰在什么時間提出的？年，美國VPL Research公司創始人提出了“Virtual Reality”（虛擬現實）的概念。如何理解如何理解“虛擬虛擬”這個詞？這個詞？ “Virtual”說明，這個世界或環境是虛擬的，不是真實的。這個世界或環境是的，是存在于計算機內部的。用戶應該能夠“進入”這個虛擬的環境中。所謂“進入”這個虛擬的環境中，是指用戶如何理解如何理解“交互交互”這個詞？這個詞？ 包括環境并環

4、境，從而產生置身于相應的真實環境中的虛幻感，沉浸感，身臨其境的感覺。虛擬現實或虛擬環境系統包括哪些？虛擬現實或虛擬環境系統包括哪些？ 包括人類、人機和問題請給出正確與錯誤的判別請給出正確與錯誤的判別使用虛擬現實系統的標志就是使用頭盔式立體顯示器和數據手套。1.虛擬現實系統應用最多的專用設備是頭盔式立體顯示器和數據手套。于是，有人以使用這些專用設備為虛擬現實系統的標志。這種觀點是的。2.頭盔式立體顯示器和數據手套等設備，只是當前已經實現的。它們還很不完善。例如，頭盔的視場，分辨率，造成眩暈等問題還有待解決。聽覺接口和力覺接口等設備還在研究，應用還不多。味覺，嗅覺，運動覺等技術，還缺乏研究。關于虛

5、擬仿真虛擬現實系統中的虛擬環境，都是現實世界不存在虛擬現實系統中的虛擬環境，都是現實世界不存在的場景嗎？的場景嗎？不是，可能有下列幾種情況：u第一種情況是。例如，建筑物，武器系統，或戰場環境。這種真實環境，可能是已經存在的，也可能是已經設計好但還沒有建成的。 為了逼真地模仿真實世界中的環境，要求逼真地建立。環境的動態應符合物理規律。這一類虛擬現實系統的功能，實際是。 點擊觀看居室環境的仿真和漫游例子點擊觀看居室環境的仿真和漫游例子 2 和虛擬現實有關的幾個概念虛擬環境虛擬環境( Virtual Environment )系統或虛擬現實系統或虛擬現實( Virtual Reality )系統系統

6、包括人類操作者、人機接口和計算機遙操作遙操作( Teleoperator )系統系統包括人類操作者、人機接口和遙機器人增強現實增強現實( Augmented Reality )系統系統組合了虛擬環境和真實環境合成環境合成環境( Synthetic Environment )系統系統是遙操作系統、虛擬環境系統、增強現實系統等的總稱。關于虛擬現實系統對于虛擬現實系統，與用戶交互的環境實際是對于虛擬現實系統，與用戶交互的環境實際是人工人工構造構造的，存在于計算機內部的環境。這種虛擬的環的，存在于計算機內部的環境。這種虛擬的環境，可能有幾種情況：境，可能有幾種情況：一種情況是真實環境的仿真。例如，仿真

7、真實建筑物的虛擬建筑物。這種真實建筑物可能是已經建成的，也可能是已經設計好但尚未建成的。一種情況是完全虛擬的人造環境。例如在虛擬風洞中，借助可視化技術構造的虛擬風洞環境。又如在三維動畫中，人工構造的虛擬環境。關于遙操作系統為什么要針對虛擬現實系統提出這么多概念？概念為什么要針對虛擬現實系統提出這么多概念？概念之間的區別？之間的區別？這些概念之間的區別在于。虛擬現實系統的環境是怎樣的？虛擬現實系統的環境是怎樣的？真實環境的仿真完全虛擬的人造環境遙操作系統的環境是怎樣的？遙操作系統的環境是怎樣的？對于遙操作系統，與用戶交互的環境實際是在遠地的一個真實的環境。用戶通過類似虛擬現實系統的人機接口，也就

8、是看到真實環境的場景，聽到真實環境的聲音，感到與環境中物體的接觸。遙操作系統實際上是高級的遙控系統，是采用了先進的虛擬現實技術的遙控系統。 3 虛擬現實的特點基于虛擬現實的基本概念，可以得到虛擬現實的下基于虛擬現實的基本概念，可以得到虛擬現實的下列三個特點。列三個特點。1人機接口的內容計算機提供“環境”, 不是“數據, 信息”。這改變了人機接口的內容。2人機接口的形式操作者由視覺,聽覺,力覺感知環境, 由自然的動作操作環境, 不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式。3人機接口的效果逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果。人機接口內容的改變計算

9、機提供計算機提供“環境環境”, 不是不是“數據數據, 信息信息”。這改變了人機接口的。這改變了人機接口的內容。內容。虛擬現實的這個特點體現了虛擬現實的這個特點體現了計算機應用的新方向。1.計算機的名稱體現了它的最早應用是計算計算。當時，計算機和用戶交互的是計算有關的數值數值。2.此后，計算機擴大到處理數值，字符串，文本等各類數各類數據據。3.以后，計算機更擴大到處理圖像，圖形，聲音，語言等多種媒體的信息多種媒體的信息。4.虛擬現實系統則以環境環境為計算機處理的對象和人機交互的內容。這開拓了計算機應用的新思路。數值數值-各類數據各類數據-多媒體信息多媒體信息-環境環境人機接口的內容的變化：人機接

10、口的內容的變化：人機接口的形式的改變操作者由操作者由感知感知環境環境, 由由操操作作環境環境, 不是由屏幕不是由屏幕,鍵盤鍵盤,鼠標和計算機交互。這改鼠標和計算機交互。這改變了人機接口的形式變了人機接口的形式這個特點體現了計算機這個特點體現了計算機人機接口的新方向。至今為止的計算機人機接口都是至今為止的計算機人機接口都是面向機器面向機器的。的。人機接口有哪些？人機接口有哪些？終端，鍵盤，鼠標，打印機等接口設備，都是適應計算機的專用設備。這些設備很好地完成了各類數據和多媒體信息的交互。虛擬現實中的人機接口，則是虛擬現實中的人機接口，則是面向用戶面向用戶的。虛擬現的。虛擬現實系統中，用戶以實系統中

11、，用戶以自然的方式與虛擬環境交互。與虛擬環境交互。如何理解自然的方式呢？如何理解自然的方式呢？所謂自然的方式，是指用戶通過視覺，聽覺，視覺，聽覺，觸覺觸覺等感覺虛擬環境，使用戶產生在真實環境中的幻覺。同時，用戶通過在真實環境中的行真實環境中的行為，去干預虛擬環境為，去干預虛擬環境。于是，虛擬現實的人機接口設備，完全不同于現有計算機的人機接口設備。這也是虛擬現實技術中最有特色的內容。人機接口的效果的改變逼真的逼真的感知感知和自然的和自然的動作動作，使人產生身臨其境的感，使人產生身臨其境的感覺。這改變了人機接口的效果覺。這改變了人機接口的效果這個特點體現了計算機人機接口的新要求人機接口的新要求。用

12、戶通過人機接口與虛擬環境交互的結果，是使用戶產生身臨其境的虛幻感，沉浸感。 虛擬現實的概念中有三個虛擬現實的概念中有三個I：（1）Immersion(沉浸)，是指逼真的，身臨其境的感覺。（2）Interaction(交互)，是指用戶感知與操作環境（3）Imagination(想象)，是指創造性。 4 虛擬現實的應用領域1娛樂娛樂2國防國防3設計、制造和銷售設計、制造和銷售4醫療和健康醫療和健康5危險操作危險操作6訓練訓練7教育教育8信息可視化信息可視化9遠程交往與遠程游歷遠程交往與遠程游歷“故宮博物院與故宮博物院與IBM合作的文化遺產項目合作的文化遺產項目“超超越時空的紫禁城越時空的紫禁城”正

13、式啟動。這一為期兩年的合作正式啟動。這一為期兩年的合作項目旨在創建一個在線的虛擬復制的紫禁城，將運項目旨在創建一個在線的虛擬復制的紫禁城，將運用全球領先的觀眾互動體驗系統和實時高科技手段用全球領先的觀眾互動體驗系統和實時高科技手段，把故宮本身及其散布于各處的文物集中展示在一，把故宮本身及其散布于各處的文物集中展示在一個三維的網上個三維的網上“紫禁城紫禁城”里。里。”5 虛擬現實的技術1VR的人機接口的人機接口2VR的計算機系統的計算機系統3VR的建模和仿真的建模和仿真VR的人機接口VR的的人機接口的作用人機接口的作用是什么？是什么？p其一是給人類操作者通過什么方式提供環境信息？視覺、聽覺和觸覺

14、包括哪些通道接口？視覺通道、聽覺通道、觸覺通道、運動接口和其他接口p其二是感覺人類操作者的通過哪些方式來實現？位置跟蹤和映射，語音識別等。 （1）位置跟蹤和映射“位置跟蹤和映射位置跟蹤和映射”如何感覺人類操作者的動作和如何感覺人類操作者的動作和相應？相應？1.測量人體各部位的位置和姿態2.分析判斷人面部的表情“位置跟蹤和映射位置跟蹤和映射”它的目的是什么？它的目的是什么？1.了解人的身體行為2.這是為了實現人機交互所必需的系統功能。VR系統由此了解人的行為，然后做出適當的響應，實現交互。“位置跟蹤和映射位置跟蹤和映射”要完成的基本目標有哪些？要完成的基本目標有哪些？基本目標是精確完成位置和姿態

15、的測量。三個主要的要求：大范圍的線性響應高帶寬（1kHz）允許頭和身體的運動?！拔恢酶櫤陀成湮恢酶櫤陀成洹背Ｓ玫募夹g包括：常用的技術包括：機械鏈接磁傳感器聲傳感器光傳感器慣性傳感器（2）視覺通道視覺通道的作用是什么？視覺通道的作用是什么？ 給人的視覺系統提供圖形顯示。為了提供身臨其境的逼真感覺，視覺通道應該滿足為了提供身臨其境的逼真感覺，視覺通道應該滿足的要求有哪些？的要求有哪些？顯示的像素應該足夠小，使人不至于感覺到像素的不連續顯示的頻率應該足夠高，使人不至于感覺到畫面的不連續給兩眼提供具有雙目視差的圖形，形成立體視覺。應該具有足夠大的視場，理想情況是顯示畫面充滿整個視場。視覺通道的顯示

16、表面目前有哪些種類？視覺通道的顯示表面目前有哪些種類？p基于CRTp基于LCD。視覺通道的光學系統有哪些種類？視覺通道的光學系統有哪些種類？p頭盔顯示(HMD)p非頭盔顯示(OHD) 專用頭盔圖（3） 聽覺通道聽覺通道的作用是什么？聽覺通道的作用是什么？給人的聽覺系統提供聲音顯示。為了提供身臨其境的逼真感覺，聽覺通道應該滿足為了提供身臨其境的逼真感覺，聽覺通道應該滿足哪些要求？哪些要求？a.使人感覺置身于立體的聲場之中b.能識別聲音的類型和強度c.能判定聲源的位置。聽覺通道的關鍵技術有哪些？聽覺通道的關鍵技術有哪些？1.合成由接口提供的虛擬聲音信號2.聲音在虛擬空間定位問題3.發聲設備。（4）

17、 觸覺通道觸覺通道的作用是什么？觸覺通道的作用是什么？給人體表面提供觸覺和力覺。當人體在虛擬空間中運動時，如果接觸到虛擬物體，虛擬顯示系統應該給人提供這種觸覺和力覺。觸覺通道涉及操作以及感覺包括哪些？觸覺通道涉及操作以及感覺包括哪些？觸覺反饋力覺反饋。觸覺通道的設備分類？觸覺通道的設備分類？安裝在身體上的設備安裝在地面的設備。（5） 運動接口人體在環境中的運動是如何分類的？人體在環境中的運動是如何分類的？身體的被動運動如在車上的運動身體主動運動漫游，如散步。人在運動中，人體內部的運動感覺器官可以感知運人在運動中，人體內部的運動感覺器官可以感知運動信息。感知運動信息的器官有哪些？動信息。感知運動

18、信息的器官有哪些？前庭系統運動系統視覺聽覺系統本體感受，動覺和觸覺運動接口的作用是什么？運動接口的作用是什么？應該給這些器官提供運動信息。（6） 其它類型接口還有那些其它類型接口？還有那些其它類型接口？嗅覺、味覺通道感覺熱、風及濕度的接口還包括語音通訊（語音識別與合成）以及直接心理感覺和控制。其他類型的接口的研究現狀？其他類型的接口的研究現狀？目前還缺乏研究2VR的計算機系統 現有的虛擬現實系統，主要的通道是什么？現有的虛擬現實系統，主要的通道是什么？現有的虛擬系統現實主要考慮視覺通道。聽覺通道和觸覺通道還處于研究階段。VR的計算機系統主要考慮的通道是什么？的計算機系統主要考慮的通道是什么？所

19、以，VR的計算機系統主要考慮視覺通道的要求。VR的計算機系統的視覺通道（1） 視覺通道對計算機系統視覺通道對計算機系統硬件硬件的要求的要求 首先是要求維持足夠的圖形幀速率這要求在指定的時間內（約為0.1秒）計算出兩眼的兩幅圖像。同時要求提供足夠好質量的圖像這一般體現在圖像中顯示的多邊形或三角形的數目。因此，往往需要專用硬件。圖形硬件應提供快速幾何變換、截取、消隱、多邊形填充和表面紋理等多項處理。（2）視覺通道對計算機系統）視覺通道對計算機系統軟件軟件的要求的要求VR系統中的軟件主要包括下列幾種：系統中的軟件主要包括下列幾種：交互軟件：利用人機控制設備的輸出去修改VE。視覺漫游軟件：控制用戶在V

20、E中運動時看到的場景。建模軟件：定義虛擬物體形狀、外觀和屬性的模型。操作系統支持VE的實時多模態要求。（3）視覺通道對計算機系統）視覺通道對計算機系統網絡網絡的要求的要求分布式交互仿真分布式交互仿真已經成為現代仿真技術，特別是軍事仿真的潮流。通訊網絡可以把VE轉換成共享的分布式計算環境。 3VR的建模和仿真 （1） VR的建模包括：的建模包括：幾何建模和物理建模VR的幾何建模1.一般的VR工具軟件都具有幾何建模功能。2.利用現有的CAD建模工具也是常用的方法。3.市場上已有商業模型庫出售。4.對實際物體的建模，則采用激光掃描等專用設備。VR的物理建模物理建模是基于物理方程的建模。一般考慮剛體建

21、模，鏈接物體的建模，以及非剛體的建模。智能體建模不是基于物理方程，而是基于人為的物體智能思考題什么是剛體？什么是剛體？在任何力的作用下，體積和形狀都不發生改變的物體叫做“剛體”(Rigid body)。它是力學中的一個科學抽象概念，即理想模型。事實上任何物體受到外力，不可能不改變形狀。實際物體都不是真正的剛體。若物體本身的變化不影響整個運動過程，為使被研究的問題簡化，可將該物體當作剛體來處理而忽略物體的體積和形狀，這樣所得結果仍與實際情況相當符合。例如，物理天平的橫梁處于平衡狀態，橫梁在力的作用下產生的形變很小，各力矩的大小都幾乎不變。對于形變，實際是存在的，但可不予考慮。為此在研究天平橫梁平

22、衡的問題時，可將橫梁當作剛體。什么是智能體？什么是智能體？智能體，顧名思義：就是具有智能的實體，英文名是Agent.智能體是人工智能領域中一個很重要的概念。任何獨立的能夠思想并可以同環境交互的實體都可以抽象為智能體?？梢钥醋魇悄軌蛲ㄟ^傳感器感知其環境，并借助于執行器作用于該環境的任何事物。例如對于人Agent，其傳感器為眼睛耳朵和其他感官，其執行器為手、腿、嘴和身體的其他部分。對于軟件Agent，則同過編碼位的字符串進行感知和作用。3VR的建模和仿真 （2）仿真）仿真仿真包括：圖形繪制和三維動畫。 圖形繪制圖形繪制是把三維環境，相對于虛擬攝像機（虛擬視點）投影，形成圖像的過程。圖形繪制要求1.

23、為了提供的錯覺，幀速率幀速率必須大于每秒8到10幀。2.為了保持的錯覺，響應時間的延遲響應時間的延遲必須小于0.1秒。3.為了繪制人眼，這要求有8千萬個多邊多邊形形。4.然而，用今天的硬件，每個畫面8千萬多邊形的系統對真正的實時交互是太慢了，于是存在。某些應用（如建筑和藝術）可能要求照片一樣真實的繪制。制造和醫療應用要求更高層次的實時交互。（2）仿真）仿真仿真包括：圖形繪制和三維動畫。 三維動畫三維動畫可以用兩種途徑實現:1：基于物理模型的數值計算數值計算。屬于滿足物理規律的仿真技術，用于軍事和工業等方面。2：數學插值數學插值。這種技術在三維動畫電影中獲得了巨大的成功。 虛擬現實開發系統的方塊

24、圖用戶通過用戶通過輸入輸出設備輸入輸出設備與與輸入輸出軟件輸入輸出軟件交互。輸入軟件通過交互。輸入軟件通過形形狀編輯器狀編輯器完成幾何建模，通過完成幾何建模，通過聲音編輯器聲音編輯器完成虛擬聲音系統建完成虛擬聲音系統建模。然后，在模。然后，在世界編輯器世界編輯器完成虛擬環境的建模。其中的完成虛擬環境的建模。其中的虛擬剪虛擬剪切器切器，用于模型的剪切。建立的模型，保存在，用于模型的剪切。建立的模型，保存在虛擬世界虛擬世界中。整中。整個工作在計算機系統中完成個工作在計算機系統中完成第二節 虛擬現實有關的人的因素為什么要討論人的因素？為什么要討論人的因素？計算機，接口和用戶是VR系統中的三個組成部分

25、。接口設計必須考慮人的因素，人的因素與VR系統性能直接相關。虛擬現實中有關的人的因素具體有哪些方面？虛擬現實中有關的人的因素具體有哪些方面？人眼人耳身體感覺虛擬現實有關的人的因素-人眼1視覺生理結構視覺生理結構2立體視覺立體視覺 3屈光度屈光度4瞳孔瞳孔5分辨力分辨力6明暗適應明暗適應7周圍視覺和中央視覺周圍視覺和中央視覺8視覺暫留視覺暫留9視場視場 1視覺生理結構視覺生理結構 大腦皮層大腦皮層（Cerebral Cortex）是大腦半球的最外）是大腦半球的最外層，它負責各種形式的感覺。層，它負責各種形式的感覺。視網膜視網膜（Retina）是）是在每只眼背部的神經細胞的多層膜，它把在每只眼背部

26、的神經細胞的多層膜，它把光轉成電光轉成電信號信號，并通過，并通過視神經視神經和和管道管道傳給大腦。傳給大腦。下圖表示，視網膜的解剖圖。圖中顯示了層，下圖表示，視網膜的解剖圖。圖中顯示了層，管道和神經。管道和神經。 光感受器光感受器（Photoreceptor）是每只眼睛視）是每只眼睛視網膜中網膜中1.25億個神經細胞中的一部分，它億個神經細胞中的一部分，它在受到在受到特定波長的光的刺激時特定波長的光的刺激時，會，會發出電發出電信號信號。視網膜是眼的光敏層，幾百微米厚。視網膜是眼的光敏層，幾百微米厚，有，有10層。光線通過其中層。光線通過其中8層，被另外兩層層，被另外兩層的視桿細胞和視錐細胞的光

27、接收器（的視桿細胞和視錐細胞的光接收器（Photoreceptor）吸收。每只眼的視網膜上）吸收。每只眼的視網膜上有有1.25億個神經細胞。脊椎動物有兩種光億個神經細胞。脊椎動物有兩種光感受器，：感受器，：視桿細胞（視桿細胞（rods）負責低分辨）負責低分辨率的、單色的、夜間的視覺率的、單色的、夜間的視覺。視錐細胞（視錐細胞（cones）負責高分辨率的、彩色的、白天的）負責高分辨率的、彩色的、白天的視覺視覺。它花費。它花費25ms把光轉成電信號，再送把光轉成電信號，再送給大腦。給大腦。右圖表示，視網膜內光感受器的解剖右圖表示，視網膜內光感受器的解剖圖。圖中桿狀細胞和錐狀細胞在上部，通圖。圖中桿

28、狀細胞和錐狀細胞在上部，通向大腦的視神經纖維在下部。向大腦的視神經纖維在下部。2立體視覺立體視覺 視覺的另一個重要因素是立體視覺能力。提供給人類視覺的圖像，必須使人感覺是立體的。這樣，觀看者的視覺系統就可以計算出被看物體的遠近。對同一個場景，兩眼得到稍有差別的視圖。左視區的信息，送到兩眼視網膜的右側。在視交叉處，左眼的一半神經纖維交叉到大腦的右半球，左眼的另一半神經纖維不交叉，直接到大腦的左半球。這樣，兩眼得到的左視區的所有信息，都送到右半球。 右圖表示，人類立體視覺的原理圖。HMD（頭盔顯示器）提供兩個顯示，不但應保持雙目視差雙目視差，而且應該重疊重疊。實際上,由于兩眼有6.5cm的瞳距，所

29、以兩者視場總有些差別,有不重疊的區域。對中央凹區域，深度感在150m時減弱。對周圍視覺，深度感在100m減弱。而在這個距離上，雙目視差不是最有用的，運動視差和透視可能更有用。 3屈光度屈光度與眼的光學部分有關的一個度量是屈光度 （dioptre）。有1個屈光度的鏡頭，可以聚焦平行光線在1米距離。人眼的聚焦能力約60屈光度，這表明聚焦平行光在17mm距離，這就是眼球尺寸，是晶狀體和視網膜的距離。年青人可以連續改變14個屈光度，這稱為調節或聚焦調節或聚焦。這保證對遠近物體都能看到清晰遠近物體都能看到清晰的圖像。年長后調節能力減弱，50歲時調節能力2個屈光度，70歲時調節能力0個屈光度。在注視運動物

30、體時，自動調節屈光度。調節作用保證某個距離的物體清晰，而其它距離物體模糊。這起了濾波器的作用，使人集中關注視場中部分區域。在HMD中沒有調節中沒有調節，2個圖像都是聚焦在2到3米距離。4瞳孔瞳孔瞳孔是晶狀體前的孔，直徑可變化，由1.5mm到8mm。面積之比1:30。瞳孔作用有三個：(a) 放大時可增加眼的敏感；(b) 縮小時可增加近視覺的視距；(c) 縮小時可限制入射光在光學效果最好的中心區。 5分辨力分辨力分辨力是人眼區分兩個點的能力，限于10m距離上約1.5-2mm。例如在2m的距離觀看寬度400mm的電視。人眼區分兩個點的能力，在2m距離上約0.4mm。則寬度400mm上應該由1000個

31、0.4mm大小的像素。計算機監視器和高清晰度電視機，都達到了這樣的分辨率。6明暗適應明暗適應 眼對亮度的感覺可以自動調節，這是通過改變在視桿和視錐細胞中光敏化合物的濃度。例如從亮處進入暗室時的現象，稱為暗適應暗適應，花費約40分。亮適應亮適應是從暗室進入陽光下時的現象，這種適應的強度變化在25000倍。視桿細胞適應時間約1小時，視錐細胞適應時間約幾分鐘。 7周圍視覺和中央視覺周圍視覺和中央視覺 視網膜不僅是被動的光敏表面。通過視桿和視錐細胞與神經細胞的連接，它還有一定的圖像處理。中央凹是視網膜中央部分，在光軸與視網膜焦點附近，直徑約1mm，有高密度視錐細胞。中央凹區域的視覺稱為中央視覺。中央視

32、覺是高分辨率部分，中央視覺是高分辨率部分，有彩色的、白天的視覺有彩色的、白天的視覺。視網膜周圍區域包含視桿和視錐細胞。視網膜周圍區域的視覺稱為周圍視覺。這些神經細胞對光強的變化敏感，它幫助我們注意運動物體。周圍視覺雖然分辨率周圍視覺雖然分辨率低，是單色的、夜間的視覺，但敏感運動物體低，是單色的、夜間的視覺，但敏感運動物體。 8視覺暫留視覺暫留視覺暫留是視網膜的電化學現象造成視覺的反電化學現象造成視覺的反應時間應時間。當觀看很短的光脈沖時，視桿細胞得到約0.25s 的峰，視錐細胞快4倍，得到約0.04s的峰。這種現象造成視覺暫留現有的現有的VR技術，是否對以上技術，是否對以上8個人眼的因素都考慮

33、個人眼的因素都考慮到了？到了？人眼的八個因素：視覺生理結構、立體視覺、屈光度、瞳孔、分辨力、明暗適應、周圍視覺和中央視覺、視覺暫留、視場 現有的VR系統中，已經考慮的因素包括：立體視覺，分辨力，視覺暫留，以及視場。其他因素還沒有充分考慮到。 虛擬現實有關的人的因素-人耳1聲音聲音2聲音感覺聲音感覺3頻率范圍頻率范圍4聲強聲強5聲音方向聲音方向6聲音舞臺聲音舞臺7頭部有關的傳遞函數頭部有關的傳遞函數 1聲音聲音音速在空氣中，0時331m/s，20時344m/s。在海水中，1時音速1453m/s。在鑄鐵棒中，音速3500m/s。耳聽到的頻率范圍約20Hz到20kHz。隨年歲增加，頻率范圍縮小，特別

34、是高頻段。考慮音速344m/s。 20Hz的波長17.2m, 1kHz的波長34.4cm, 10kHz的波長 3.44cm。人耳的尺寸約7cm，這是5kHz的波長。這說明耳會影響這種頻率聲音的收集。人的身體也會與聲波交互，這也會影響聲音的質量。這類似音樂廳中的音響效果。2聲音感覺聲音感覺耳分為外耳、中耳、內耳。外耳把聲音引導進內耳，它也作為濾波器而改變聲音。把手放在耳前面，就會感到聲音變化。聲音最終沖擊耳膜，使之振動。耳膜振動再傳到耳蝸，并且振動加大20倍。3頻率范圍頻率范圍耳蝸有3個螺旋管，被2個膜片分開，Reissner膜和耳底膜。振動會刺激耳底膜上的2萬到3萬個硬毛，并產生電信號傳給大腦

35、。耳底膜有識別頻率識別頻率的機制。高頻振動刺激膜的開始部分，中頻振動刺激膜的中間部分，低頻振動刺激膜的遠端部分。4聲強聲強聲強影響到耳底膜的振幅，直接轉成毛細胞的刺激。5聲音方向聲音方向一般認為，人腦識別聲源位置，是利用兩耳收識別聲源位置，是利用兩耳收到的聲音的時間差和聲音幅度差到的聲音的時間差和聲音幅度差。當人面對聲源時，兩耳的聲強和路徑相等。當人向左轉以后，右耳聲音比左耳強，且更早聽到。若兩耳路徑之差為20cm，則時間差0.6ms。6聲音舞臺聲音舞臺如果用一對麥克風記錄立體聲音，就可以重現聲音舞臺，它有寬度和深度。 7頭部有關的傳遞函數頭部有關的傳遞函數在聽耳機時，每個耳只聽一個發聲器的聲

36、音。當然一個耳中的聲音，也會經頭部傳給另一耳。在聽揚聲器時，每個耳都分別聽到兩個揚聲器的聲音。1974年Plenge認為，進入耳的聲音的形式，會產生外部的聲音舞臺的感覺。對于耳機（特別是插入式耳塞），感覺的聲音舞臺是內部的。如果驅動耳機的左右通道可以由電子設備構成聲音，則人會感覺聲音有外部的真實性。為此要求知道聲音的形狀，或由聲源到耳內部的傳遞函數。這個由聲源到耳內部的傳遞函數稱為頭部有關的傳遞函數 (Head-related transfer functions, HRTF)，它反映頭和耳對傳聲的影響，不同的人有不同的HRTF。HRTF的測量方法如下。對空間每個位置的聲源，安放在耳中接近耳膜

37、的小麥克風測量收到的信號。信號經過處理，補償非線性頻率響應。由此得到HRTF。 現有的現有的VR系統中，已經考慮的人耳的因素有哪些？系統中，已經考慮的人耳的因素有哪些？現有的VR系統中，已經考慮的因素包括：聲音方向，聲音舞臺，以及頭部有關的傳遞函數。其他因素還沒有充分考慮到。 虛擬現實有關的人的因素-身體感覺在在VR環境中，我們說的身體感覺，主要是對哪些事環境中，我們說的身體感覺，主要是對哪些事物的感覺？物的感覺？感覺表面粗糙、振動、運動、位置、壓力、疼痛和溫度?，F有的現有的VR系統中，已經考慮了觸覺和力覺顯示。但系統中，已經考慮了觸覺和力覺顯示。但是有關的技術細節還沒有充分考慮到。是有關的技

38、術細節還沒有充分考慮到。按身體不同部位，身體感覺可分四類。按身體不同部位，身體感覺可分四類。(a)深部感覺它提供關節、骨、腱、肌肉和其它組織的信息，涉及壓力、疼痛和振動。 (b)內臟感覺它提供胸腹腔中的內臟的狀況，主要是疼痛 (c)本體感覺它提供身體的位置，平衡和肌肉感覺。也涉及與其它物體的接觸，如站在地上、躺在床上。本體感覺接受器位于關節、肌肉和深部組織。(d)外感受感覺它是身體表面的接觸感覺 VR系統中，對眾多的人的因素是如何考慮的？系統中，對眾多的人的因素是如何考慮的？ 在VR中，某些人的因素明顯被考慮，如HMD中考慮瞳距。另外一些人的因素未明顯考慮，如運動眩暈運動眩暈。Defence

39、Research Agency研究了沉浸感顯示的副作用。有些人認為用HMD看不同遠處物體時，不能用會聚和調節，使人不適應。有人認為HMD與內瞳距不匹配也使眼疲勞。有人認為眼不是會聚，而是在發散。有些用戶很敏感運動刺激，如汽車、船、飛機、火車等。有人實驗研究了VR引起運動眩暈問題。在150個實驗者中，有8人產生強烈眩暈。其它實驗者經歷了20分鐘沉浸環境。5分后有22%的人眩暈，10分后有32%人眩暈，15分后有40%人眩暈，20分后有45%人眩暈。在沉浸經歷以后5分鐘，還有36%的人眩暈，10分鐘后還有27%的人眩暈。在VR中，具有圖像生成的延遲，視覺和前庭器官信息的時間不同步也造成感覺（視覺與

40、本體感覺）的沖突。快速處理和予測算法有可能緩解這種不同步。 章內小節介紹了虛擬現實的概念和有關的人的因素。介紹了虛擬現實的概念和有關的人的因素。虛擬現實或虛擬環境是人工構造的，存在于計虛擬現實或虛擬環境是人工構造的，存在于計算機內部的環境，包括人類操作者、人機接口和計算機內部的環境，包括人類操作者、人機接口和計算機。虛擬現實具有三個特點。算機。虛擬現實具有三個特點。人的視覺問題和聽覺問題，都是和虛擬現實有人的視覺問題和聽覺問題，都是和虛擬現實有關的人的因素。關的人的因素。 習題一、一、 填空題填空題1、 虛擬現實系統的三個部分是虛擬現實系統的三個部分是 2、 遙操作系統的三個部分是遙操作系統的

41、三個部分是 3、 增強顯示系統是增強顯示系統是 4、 合成顯示系統是合成顯示系統是 5、 虛擬現實系統的三個特點是虛擬現實系統的三個特點是 6、 虛擬現實系統的三個虛擬現實系統的三個I是是 7、 虛擬現實系統的主要應用領域是虛擬現實系統的主要應用領域是 8、 虛擬現實系統的三個主要技術領域是虛擬現實系統的三個主要技術領域是 。 9、 視覺交叉的結果是，腦左半球處理視覺交叉的結果是，腦左半球處理 10、 人眼的屈光度是人眼的屈光度是 。眼球的焦距是。眼球的焦距是 11、 人眼的分辨率在人眼的分辨率在10m距離上為距離上為 12、 中央視覺特點是中央視覺特點是 。主要利用的細胞是。主要利用的細胞是

42、 13、 周圍視覺特點是周圍視覺特點是 。主要利用的細胞是。主要利用的細胞是 14、 確定電影和電視的幀頻應該考慮人眼的確定電影和電視的幀頻應該考慮人眼的 現象現象 15、 人耳的人耳的HRTF的中文名稱是的中文名稱是 。其含義是。其含義是 。其測量方法是。其測量方法是 16、 飛行仿真中，發生眩暈的原因是飛行仿真中，發生眩暈的原因是一、一、 填空題填空題1、 虛擬現實系統的三個部分是虛擬現實系統的三個部分是人類操作者、人機人類操作者、人機接口和計算機接口和計算機2、 遙操作系統的三個部分是遙操作系統的三個部分是人類操作者、人機接人類操作者、人機接口和遙機器人口和遙機器人 3、 增強顯示系統是增強顯示系統是組合了虛擬環境和真實環境組合了虛擬環境和真實環境 4、 合成顯示系統是合成顯示系統是遙操作系統，虛擬環境系統，遙操作系統，虛擬環境系統，增強現實系統等的總稱增強現實系統等的總稱 5、虛擬現實系統的三個特點