1、題 目便攜式任意墻面觸控裝置系統(tǒng)設(shè)計目 錄摘要1Abstract2前言3第一章 緒論41.1人機互動的發(fā)展與現(xiàn)狀41.2任意墻面觸控裝置的研究意義與應(yīng)用前景5第二章 便攜式任意墻面觸控裝置系統(tǒng)簡介72.1系統(tǒng)功能實現(xiàn)思路72.2系統(tǒng)功能實現(xiàn)步驟82.2.1確定互動區(qū)域82.2.2 確定觸摸事件82.2.3觸控事件分類92.2.4互動軟件平臺9第三章 便攜式任意墻面觸控裝置系統(tǒng)硬件部分103.1系統(tǒng)硬件組成103.2系統(tǒng)硬件一體化方案12第四章 便攜式任意墻面觸控裝置系統(tǒng)濾波算法144.1卡爾曼濾波原理介紹144.2卡爾曼濾波Matlab仿真154.3濾波算法改進164.4濾波效果19第五章 便

2、攜式任意墻面觸控裝置系統(tǒng)實驗驗證215.1 濾波效果實驗215.2系統(tǒng)功能實驗驗證22第六章 總結(jié)26參考文獻27致謝29便攜式任意墻面觸控裝置系統(tǒng)設(shè)計摘要人機互動技術(shù)作為一種人與計算機之間進行信息交互的技術(shù)，是一項十分熱門的研究領(lǐng)域，并在近年來取得了不錯的發(fā)展。但是，人們對于人機互動體驗的要求也在逐漸的提升。在大屏幕的互動領(lǐng)域，投影技術(shù)應(yīng)用廣泛，可以展示相關(guān)文字、視頻，達到的人機互動的效果。但是受限于鍵盤鼠標(biāo)的操作方式，它并不能達到自然的互動效果，因而不能滿足日益增長的互動需求。基于體感傳感器的任意墻面觸控與體感控制技術(shù)作為一種虛擬現(xiàn)實技術(shù)和動感捕捉技術(shù)，目前被廣泛的運用在大屏幕人機互動系統(tǒng)

3、中。針對在大屏幕人機交互中可能出現(xiàn)的跟蹤定位不精準(zhǔn)，用戶互動體驗差等問題，本文提出了一種基于3D傳感器（Kinect）的聯(lián)合濾波算法。該系統(tǒng)采用Kinect，對一個投影面進行掃描，然后通過Kinect的深度攝像頭接受紅外信號，并將這些信號經(jīng)過聯(lián)合濾波處理發(fā)送給控制主機，從而達到與計算機進行實時的人機交互的需求。關(guān)鍵詞：人機交互 Kinect體感技術(shù) 投影互動 虛擬現(xiàn)實AbstractHuman-computer interaction technology as a technology for information exchange between people and computers

4、 is a very popular research field, and has achieved good development in recent years. However, people's requirements for human-computer interaction experience are also gradually increasing. In the interactive field of large screens, projection technology is widely used to display related text an

5、d video and achieve the effect of human-computer interaction. However, it is limited by the operation methord of the keyboard and mouse. It does not achieve natural interactive effects and thus cannot meet the increasing interactive needs.As a virtual reality and motion capture technology, somatosen

6、sory control based on 3D sensor is being widely used in large-screen human-machine interactive system.Aiming at the problem of poor positioning and poor user interaction in human-computer interaction, this paper proposes a joint filtering algorithm based on 3D sensor kinect. The system uses kinect t

7、o scan a projection plane, and then receives the infrared signal through the depth camera of kinect, and sends these signals to the control host through the combined filtering processing so as to achieve the purpose of human-computer interaction with the computer and can realize the required real-ti

8、me interaction.Key words: Human-computer interaction Kinect technique Gesture recognition Virtual reality前言人機交互技術(shù)簡單地來說就是人與計算機之間進行信息交換的技術(shù)，既是計算機給人提供信息的通道，也是使用者控制計算機的途徑。作為這樣一種連接人與計算機的重要技術(shù)，它一直受到計算機行業(yè)的密切關(guān)注，并且引起了相關(guān)領(lǐng)域的激烈競爭。隨著計算機和多媒體技術(shù)的不斷發(fā)展，人機交互也在逐漸趨向自然化與智能化。而體感與觸控技術(shù)的出現(xiàn)，更是將人機交互技術(shù)的發(fā)展推動到了一個新的階段。作為一種虛擬現(xiàn)實技術(shù)，體感控

9、制技術(shù)與現(xiàn)有多媒體技術(shù)的結(jié)合無疑將變革現(xiàn)有的人機交互方式，并且在今后的教育、會議、娛樂等各行業(yè)都將具有廣闊的發(fā)展空間。除此之外，體感與觸控技術(shù)的應(yīng)用還將大大改進用戶的互動體驗，借助體感傳感器與多媒體技術(shù)，使用者可以擺脫鍵盤鼠標(biāo)的限制，以一種更加直接、自然的方式進行計算機的操作。對比原有的互動方式，這種方式顯然更加地引人入勝。本文所介紹的便攜式任意墻面觸控裝置系統(tǒng)將借助Kinect傳感器，對任意墻面投影上的紅外筆或者是手勢進行動作捕捉，并結(jié)合自主開發(fā)的人機互動軟件平臺，實現(xiàn)以紅外筆或是手勢直接在投影面上操作計算機的功能。同時結(jié)合電子白板等技術(shù)，讓使用者可以隨時進行書寫畫圖等操作，達到實時自然的人

10、際互動效果。本文將詳細(xì)介紹本系統(tǒng)的硬件設(shè)計與濾波算法部分設(shè)計，并根據(jù)實驗驗證本系統(tǒng)的使用性能是否能滿足互動的需求。第一章 緒論1.1人機互動的發(fā)展與現(xiàn)狀自上世紀(jì)60年代第一臺計算機誕生以來，人機交互就開始逐漸發(fā)展起來1，從語言形式的交互界面到圖形化的交互界面再到多媒體形式的交互界面，直至現(xiàn)在的自然化智能化的交互技術(shù)2。在最初的語言形式的用戶界面中，由于計算機語言的專業(yè)性和復(fù)雜度，極大地限制了人們對于計算機的使用，只有掌握了計算機語言才能進行有效的人機交互操作，這也使得計算機的使用被局限在少部分專業(yè)人士手里。正因如此，人們不斷探尋新的人機交互方式。而隨著Windows這一圖形用戶界面系統(tǒng)的出現(xiàn)，

11、人機交互突破了專業(yè)性的限制，使得大部分人都可以通過輕松完成一些最基本的計算機操作。對比于原先的語言形式的人機交互，這種圖形界面的操作方式顯然更加符合人的認(rèn)知習(xí)慣，更加直觀而且易于操作。在近些年，多媒體技術(shù)的發(fā)展也使得人機交互的形式更加豐富多彩。多媒體技術(shù)可以滿足人機交互所需的信息傳輸，交互等條件，其發(fā)展與人機交互的發(fā)展可以說是相互影響、相互促進3。現(xiàn)在，人機交互技術(shù)的發(fā)展正面臨著新一輪的變革。一些新技術(shù)的不斷發(fā)展和應(yīng)用，比如體感技術(shù)、人工智能、虛擬現(xiàn)實技術(shù)等，能極大地提高人機的互動效果。從目前發(fā)展相對較迅速的體感控制技術(shù)來說。體感控制技術(shù)憑借其特性已經(jīng)應(yīng)用在醫(yī)學(xué)、商業(yè)、計算機科學(xué)及機器人等很多

12、領(lǐng)域4。例如，在醫(yī)學(xué)領(lǐng)域中，瑞士伯尼爾大學(xué)的Michael.Tully教授等研究人員借助Kinect傳感器設(shè)計了一種可以瀏覽醫(yī)學(xué)影像和信息的系統(tǒng)。該系統(tǒng)運用體感技術(shù)，可以直接用手控制圖像瀏覽，利用Kinect非觸摸的體感方式5可以有效的避免手術(shù)中可能出現(xiàn)的由于接觸產(chǎn)生的感染，提高手術(shù)的安全性。又如遠(yuǎn)程手術(shù)技術(shù)，體感控制也起到了重要作用。西雅圖華盛頓大學(xué)Biorobotics實驗室的Chizeck等讓Kinect傳感器在遠(yuǎn)程手術(shù)過程中為外科醫(yī)生提供觸覺反饋，將Phantom Omni6觸覺設(shè)備與Kinect設(shè)備連接，并且建立患者的3D模型，這樣身在異地的醫(yī)生可以通過裝置為患者進行手術(shù)。在科技助殘

13、方面，德國康斯坦茨大學(xué)的Michael.Zollner等開發(fā)的視覺障礙導(dǎo)航輔助（Navigational Aids for the Visually Impaired，NAVI）系統(tǒng)7就能夠幫助盲人進行導(dǎo)航。使用者需要穿著一個頭盔，其上固定有Kinect傳感器，一條裝有震動馬達的腰帶，以及一臺放在背部的便攜計算機，耳中再佩戴上藍(lán)牙耳機，便可以接受導(dǎo)航。震動馬達將會被連接到Arduino8主板上。在使用者前方出現(xiàn)障礙物時，Kinect就會探測到，信號經(jīng)過專門的軟件的處理之后，就會通過震動腰帶對使用者發(fā)出提醒。如此多的技術(shù)發(fā)展與應(yīng)用正不斷地推動著人機互動領(lǐng)域的不斷進步，并在其中發(fā)揮著越來越深入，越

14、來越重要的作用。同時，人機互動的發(fā)展也在改變著人們生活的方方面面。可以想見，在今后的發(fā)展中，越來越成熟的人機互動技術(shù)將會徹底改變?nèi)藗兊纳罘绞健?.2任意墻面觸控裝置的研究意義與應(yīng)用前景當(dāng)前的觸控式人機交互系統(tǒng)大多局限于通過觸控屏實現(xiàn)觸控操作。誠然，在小屏幕的互動領(lǐng)域，觸控屏的使用十分的便捷，多點觸控技術(shù)的發(fā)展讓觸控屏能夠流暢的完成人們所需的觸控操作。但是，在大屏幕互動領(lǐng)域，觸控屏就并不像它在小屏幕領(lǐng)域表現(xiàn)的那樣優(yōu)秀。在大屏幕的互動領(lǐng)域，現(xiàn)行的大屏幕顯示技術(shù)分大屏幕投影與LED大屏幕顯示技術(shù)9。應(yīng)用LED屏的大屏幕互動系統(tǒng)，往往設(shè)計復(fù)雜，需要高昂的價格，并且不利于移動。一經(jīng)安裝，往往就需要使用

15、者在固定的地點進行操作，這無疑是不利于用戶的互動體驗的。本文所介紹的便攜式任意墻面觸控裝置系統(tǒng)在需要大屏幕的人機互動時具有優(yōu)勢。通過投影儀與體感傳感器Kinect，以投影面代替觸控屏的顯示功能，以Kinect的體感功能代替觸控屏獲取用戶觸控信息，這樣的互動方式，可以擺脫觸控屏的限制。與此同時，在多人的人機互動場合，如在傳統(tǒng)教學(xué)互動、會議互動等模式中， 投影+體感技術(shù)這種新型互動方式的應(yīng)用仍是一個空白，現(xiàn)在大多的大屏幕互動設(shè)備仍在沿用鼠標(biāo)控制模式。而本文所介紹的這種新型人機交互系統(tǒng)在這方面有著自身獨特的優(yōu)勢。對比于傳統(tǒng)的鍵鼠操作電腦+投影顯示以及觸屏設(shè)備+投影顯示的模式，本系統(tǒng)的優(yōu)勢在于它的自然

16、性。使用者直接在投影面上的書寫與操作更加契合人與人之間面對面的交流習(xí)慣，同時也更易于展示人抓住被展示者的注意力，以達到更好的互動效果。與此同時，將投影機與Kinect整合在一起的一體化設(shè)計，簡化了連接安裝過程，也讓本系統(tǒng)易于攜帶，使得使用者可以很便捷地將本裝置移動到需要使用的地方，經(jīng)過簡單的調(diào)試就可以投入使用。可以想見，在未來的教學(xué)、會議、銷售、演講等領(lǐng)域，這種任意墻面的觸控裝置具有廣闊的發(fā)展前景。第二章 便攜式任意墻面觸控裝置系統(tǒng)簡介2.1系統(tǒng)功能實現(xiàn)思路圖2-1 系統(tǒng)實現(xiàn)方案思路如圖2-1所示為任意墻面觸控系統(tǒng)的實現(xiàn)方案的大致思路。當(dāng)具有紅外發(fā)射功能的觸控筆在投影墻面上進行觸控操作時，借助

17、觸控帶來的輕微按壓使得筆尖激發(fā)紅外光，從而在墻面上形成紅外的光斑。然后Kinect的深度攝像頭會對互動平面進行掃描，并把掃描到的信號傳輸?shù)诫娔X中。電腦會先對收到的數(shù)據(jù)進行濾波處理，然后將處理好的數(shù)據(jù)傳輸?shù)娇刂栖浖校瑥亩鴮崿F(xiàn)人機交互的功能。以下為本系統(tǒng)的互動功能框架圖：圖2-2 互動功能框架圖2.2系統(tǒng)功能實現(xiàn)步驟2.2.1確定互動區(qū)域首先，將一體機放到合適位置并與計算機連接。然后打開投影儀，在墻面投影出一塊大小，位置合適的投影區(qū)域，作為互動投影區(qū)域范圍。之后打開Kinect，調(diào)整Kinect，使得其RGB攝像頭覆蓋到整個互動投影區(qū)域。在完成上述墻面投影的創(chuàng)建之后，我們只需要將墻面投影的圖像位

18、置與Kinect攝像頭采集的圖像的映射關(guān)系確定下來，就可以將墻面投影上的每一個位置與深度圖像對應(yīng)起來，從而實現(xiàn)將觸控筆尖與鼠標(biāo)位置對應(yīng)的功能。本系統(tǒng)通過如圖2-3的黑白條紋來得到投影圖像和成像圖像上所有坐標(biāo)點的對應(yīng)關(guān)系10。圖2-3黑白條紋校準(zhǔn)圖2.2.2 確定觸摸事件在確定了投影圖像坐標(biāo)與Kinect攝像頭采集到的圖像坐標(biāo)的映射關(guān)系之后，我們需要進一步確定四種觸摸筆的觸控事件以實現(xiàn)其對鼠標(biāo)的替換，分別是單擊、雙擊，右擊與拖拽。我們使用一種紅外筆作為觸控筆，在筆尖受到輕微按壓時，它就會激發(fā)紅外光的。通過這種方式，當(dāng)紅外筆點在投影墻面上時，輕微的按壓會使筆尖激發(fā)紅外光，從而導(dǎo)致墻面接觸位置反射的

19、紅外光斑被Kinect捕獲。具體情況如圖2-4所示：圖2-4觸控筆圖2.2.3觸控事件分類我們通過使用時間計數(shù)器統(tǒng)計紅外光斑持續(xù)的時間來區(qū)分這四種方式：如果該時間計數(shù)器捕捉到激光筆的反射光斑的值小于1秒，我們就認(rèn)為這次的觸碰屬于單擊（左機）。如果該時間計數(shù)器捕捉到激光筆的反射光斑的值的時間大于1秒，我們就認(rèn)為這是一次右擊。如果該時間計數(shù)器在第一次捕捉到反射光斑時間小于1秒，并且間隔時間小于0.5秒后又一次捕捉到同樣的光斑，我們就認(rèn)為互動者進行了一次雙擊。最后，如果時間計數(shù)器在捕捉到第一點反射光斑，并且接下去光斑一直存在，且位置在移動，我們就采集初始點位置坐標(biāo)和結(jié)束點位置坐標(biāo)，然后以這兩點為矩形

20、對角坐標(biāo)點，選中這片矩陣區(qū)域11。2.2.4互動軟件平臺在完成了上述步驟之后，本次設(shè)計通過互動軟件平臺來實現(xiàn)具體的觸控功能，如：電子白板、軟件操作、實時講解等。下圖2-5圖2-6為互動軟件平臺的基本功能樣圖。圖2-5互動平臺圖2-6互動平臺功能圖第三章 便攜式任意墻面觸控裝置系統(tǒng)硬件部分3.1系統(tǒng)硬件組成上一章中所介紹的便攜式任意墻面觸控裝置系統(tǒng)，在硬件上主要由以下三個部分組成：(1)Kinect3D體感攝影機(開發(fā)代號“Project Natal”)如圖3-1所示，Kinect體感傳感器有三個鏡頭，中間的鏡頭是 RGB 彩色攝影機，用來采集彩色圖像。左右兩邊鏡頭則分別為紅外線發(fā)射器和紅外線C

21、MOS 攝影機所構(gòu)成的3D結(jié)構(gòu)光深度感應(yīng)器，用來采集深度數(shù)據(jù)（場景中物體到攝像頭的距離）。彩色攝像頭最大支持1280*960分辨率成像，紅外攝像頭最大支持640*480成像。Kinect還搭配了追焦技術(shù)，底座馬達會隨著對焦物體移動跟著轉(zhuǎn)動。本文主要利用Kinect的深度圖像捕捉功能，來實現(xiàn)任意墻面觸控功能。圖3-1 Kinect攝像頭示意圖Kinect的相關(guān)參數(shù)如表3-1：外觀尺寸（長×寬×高）28.2cm×6.3cm×7.0cm可視范圍水平視角：57度垂直視角：43度機身轉(zhuǎn)動范圍±27度傳感深度范圍1.2-3.5米數(shù)據(jù)流深度感應(yīng)鏡頭：320&

22、#215;240，16bit，30fps顏色感應(yīng)鏡頭：640×480，32bit，30fps表3-1 Kinect參數(shù)表(2)投影儀本文所介紹的便攜式任意墻面觸控系統(tǒng)所需要使用的投影儀并沒有特別的限制要求，在下文中的一體化方案中選用圖3-2所示的投影儀為極米芒果小覓投影機，其主要參數(shù)如表3-2：投影畫面尺寸40-180英寸標(biāo)準(zhǔn)分辨率1280X720dpi兼容最大分辨率1080P、2K投影光源LED顯示技術(shù)DLP擴展支持U盤、可移動硬盤投射比例1.2：1屏幕寬高比例16:9投影方式正投/背投/吊頂梯形矯正垂直：±40°輸入端子HDMI、USB3.0、USB2.0VG

23、A接口否USB接口USB3.0*1、USB2.0*1HDMI接口HDMI*1電源AC100-240V，50/60Hz整機功耗電池模式17-27W插上電源適配器30-45W凈重0.62 (KG)尺寸214×114×25(mm)表3-2 投影儀參數(shù)表 圖3-2：極米芒果小覓投影機 (3)計算機本文中，使用的是Win10系統(tǒng)的計算機，其作用主要是以下三點：運行互動軟件平臺，驅(qū)動投影儀和Kinect傳感器，處理由Kinect得到的深度信息，位置信息等數(shù)據(jù)。3.2系統(tǒng)硬件一體化方案在日常的實驗中，我發(fā)現(xiàn)由于投影儀以及Kinect的連接常常不需要更改而且其相對位置一旦確定，以后的每次實

24、驗均不需要大幅度調(diào)整。因此想到通過設(shè)計一款一體機，以達到簡化安裝調(diào)試過程，同時節(jié)省空間的作用。如圖3-3所示為本系統(tǒng)一體機的內(nèi)部結(jié)構(gòu)圖，將各個部件按如下方式放置，并且將相關(guān)接線連接好，圖3-4、圖3-5分別為圖3-3中的A、B兩面的開孔示意圖。圖3-3 裝置內(nèi)部結(jié)構(gòu)圖 圖3-4 A面開孔示意圖 圖3-5 B面開孔示意圖 通過這樣的一體化方式，可以讓整個系統(tǒng)達到便攜的效果，同時簡化每次實驗前的調(diào)試過程。第四章 便攜式任意墻面觸控裝置系統(tǒng)濾波算法在按照第二章中介紹的方法實現(xiàn)本系統(tǒng)的基本功能之后，系統(tǒng)并不能很好地實現(xiàn)人機互動效果。因為太陽光具有極為寬闊的連續(xù)譜，其含有大量紅外光成分，并且燈光中也存在

25、紅外光部分，因此計算機得到的圖像信息難免會摻入噪聲，從而在系統(tǒng)確定真正的筆尖形成的光斑時產(chǎn)生干擾，以致無法定位筆尖位置。這時，我們就需要濾波來消除或者減小噪聲，從而精確定位筆尖位置，實現(xiàn)觸控功能。本節(jié)將首先介紹卡爾曼濾波的基本原理，并對其特點進行分析，之后簡要介紹一個兩步的濾波算法，通過它對本系統(tǒng)的深度圖像進行去噪處理。4.1卡爾曼濾波原理介紹卡爾曼濾波（Kalman filtering）是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計也可看作是濾波過程。卡爾曼濾波有兩組基本的方程，需要預(yù)先給定，即系統(tǒng)

26、狀態(tài)方程以及觀測方程。系統(tǒng)狀態(tài)方程為：Xk=AkXk1+BUk+Wk (4-1)系統(tǒng)觀測方程為：Z(k)=H (k)X(k)+V(k) (4-2)系統(tǒng)狀態(tài)方程中，X(k)是k時刻的系統(tǒng)狀態(tài)，U(k)是k時刻對系統(tǒng)的控制量，A、B為系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣；系統(tǒng)觀測方程中，Z(k)是k時刻的觀測值，H是觀測矩陣。在以上兩式中，W(k)和V(k)分別表示狀態(tài)方程和觀測方程的噪聲，他們的協(xié)方差分別是Q，R。以上系統(tǒng)狀態(tài)方程反映了k-1時刻目標(biāo)的狀態(tài)與k時刻目標(biāo)狀態(tài)之間的關(guān)系，而系統(tǒng)觀測方程表示人們對于k時刻狀態(tài)進行觀測時，獲取觀測量的機制。首先利用狀態(tài)方程預(yù)測下一狀態(tài)的系統(tǒng)。假設(shè)當(dāng)前時刻為k，可以基于系統(tǒng)的

27、上一狀態(tài)而預(yù)測出現(xiàn)在狀態(tài)：X(k|k1)=AX(k1|k1)+BU(k) (4-3)式(4-3)中，X(k|k1)是利用上一狀態(tài)預(yù)測的結(jié)果，X(k1|k1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒有控制量，它可以為0。通過以上公式，我們可以實現(xiàn)系統(tǒng)狀態(tài)的更新，接下來就是更新系統(tǒng)的協(xié)方差矩陣：P(k|k1)=AP(k1|k1)A'+Q (4-4)式(4-4)中，P(k|k1)是X(k|k1)對應(yīng)的協(xié)方差，P(k1|k1)是X(k1|k1)對應(yīng)的協(xié)方差，A'表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過程的協(xié)方差。式子(4-3)，(4-4)就是卡爾曼濾波器對系統(tǒng)的預(yù)測。當(dāng)?shù)趉時刻的觀

28、測值Z(k)到達以后，我們希望利用它去修正第k個時刻的狀態(tài)預(yù)測值。因此Z(k)HX(k|k1)就是新的信息。結(jié)合預(yù)測值和測量值，我們可以得到現(xiàn)在狀態(tài)k的最優(yōu)化估算值X(k|k)：X(k|k)= X(k|k1)+K(k)Z(k)HX(k|k1)(4-5) 其中K為卡爾曼增益(Kalman Gain)：K (k)= P(k|k1)H'H P(k|k1)H' + R(4-6)到現(xiàn)在為止，我們已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要令卡爾曼濾波器不斷的運行下去直到系統(tǒng)過程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的協(xié)方差：Pkk=(IKkH)P(k|k1)(4-7)其中I 為

29、1的矩陣。當(dāng)系統(tǒng)進入k+1狀態(tài)時，P(k|k)就是式子(4-4)的P(k-1|k-1)。這樣，算法就可以自回歸的運算下去。4.2卡爾曼濾波Matlab仿真上一節(jié)中介紹了卡爾曼濾波的濾波原理，在本節(jié)中將通過Matlab仿真，借助一個簡單的示例來測試卡爾曼濾波的效果。如圖4-1所示為Matlab仿真實驗結(jié)果，圖中藍(lán)色線表示系統(tǒng)狀態(tài)，綠色線表示加了隨機噪聲的系統(tǒng)狀態(tài)，紅色線表示進行濾波之后的系統(tǒng)狀態(tài)，由圖可知，進過卡爾曼濾波處理之后，疊加上的噪聲基本被消除，卡爾曼濾波在去噪時是十分有效的。圖4-1卡爾曼濾波仿真圖4.3濾波算法改進以上介紹了卡爾曼濾波的原理與仿真效果，雖然卡爾曼濾波能有效濾除噪聲，但

30、仍存在部分噪聲沒有濾除完全。因此，本文將對濾波算法進行改進。在濾波算法的設(shè)計上，本文將分為兩部分進行。第一部分是動態(tài)自適應(yīng)濾波，便于消除外部噪聲12。第二部分是無跡卡爾曼濾波，利用其無跡變換的原理，處理非線性的離散系統(tǒng)的協(xié)方差和均值的非線性傳遞問題。步驟一：kinect深度攝像頭所接受的數(shù)據(jù)是紅外線,但由于燈光中，太陽光中都會含有一定的紅外線，因此這些外部噪聲會在深度圖像中形成干擾，因此我們需要將這些外部干擾濾除，對采集到的數(shù)據(jù)進行預(yù)處理。預(yù)處理的方式就是采用動態(tài)自適應(yīng)濾波法。動態(tài)環(huán)境在線濾波對達到人機互動系統(tǒng)的實時性尤其重要。通過對采集到的數(shù)據(jù)進行實時比較，并與預(yù)先設(shè)置好的閾值進行比較過濾，

31、從而達到濾除干擾的效果。本文采用在線的動態(tài)自適應(yīng)濾波法(簡稱DAF， Dynamic Adaptive Filter)消除外界環(huán)境噪聲擾動13。依據(jù)感應(yīng)測距系統(tǒng)的極坐標(biāo)值(li,j,i,j)，數(shù)據(jù)分析窗口可設(shè)計為： li1,j1li1,jli1,j+1li,j1li,jli,J+1li+1,j1li+1,jli+1,j+1(4-8)上式中，表示人機互動系統(tǒng)感應(yīng)測距數(shù)據(jù)的采樣時刻；指的是一幀數(shù)據(jù)中測量點的編號。上述數(shù)據(jù)分析窗口中的9個測量值在空間和時間上有較大相關(guān)性，定義為和相鄰測量值的差值，如下所示： lmin=minlt+i,s+jli,j,t,s=1,0,1&t0,s=0&

32、t=0,s0(4-9)如果lmin>(l,v)，則測量值li,j就被當(dāng)作測量噪聲而舍去。在動態(tài)環(huán)境中，動態(tài)目標(biāo)運動速度的影響至關(guān)重要，則鄰近差值閾值可設(shè)計定義如下：l,v=l+125vgoal(4-10)式中，是3D傳感器系統(tǒng)感應(yīng)測量的標(biāo)準(zhǔn)差，由不同互動系統(tǒng)感應(yīng)測量距離值數(shù)據(jù)得到。vgoal為動態(tài)環(huán)境目標(biāo)的運動速度。為了對當(dāng)前時刻的數(shù)據(jù)進行判別，必須先將當(dāng)前時刻的測量值置于緩存器中，等待下一時刻的測量數(shù)據(jù)被接受，才能實現(xiàn)DAF處理。因此該濾波的數(shù)據(jù)更新會比實際的數(shù)據(jù)延遲一個周期，但這一延遲對系統(tǒng)的整體影響不大。步驟二：進行了預(yù)處理之后的數(shù)據(jù)是高階的離散系統(tǒng)，在純方位的運動目標(biāo)跟蹤中，無跡

33、卡爾曼濾波的效果良好，因此我們選用無跡卡爾曼濾波進一步的對數(shù)據(jù)進行濾波處理。無跡卡爾曼濾波（Unscented Kalman Filter,UKF）摒棄了對非線性函數(shù)進行線性化的傳統(tǒng)做法，采用了卡爾曼線性濾波的框架，對于一步預(yù)測方程，運用無跡變化的方法來處理協(xié)方差以及均值的非線性傳遞問題14,15。UKF算法是對非線性函數(shù)的概率密度分布進行近似，用一系列確定樣本來逼近狀態(tài)的后驗概率密度分布，而不是像擴展卡爾曼濾波一樣對非線性函數(shù)進行線性化的近似。因此該濾波算法不需要對Jacobian矩陣進行求導(dǎo)。UKF沒有把系統(tǒng)的高階項忽略，因此對于非線性分布的統(tǒng)計量有較高的計算精度，有效地克服了擴展卡爾曼濾

34、波的穩(wěn)定性差，估計精度低的缺點。具體實現(xiàn)流程：利用公式（4-11）和（4-12）獲得一組采樣點，利用公式（4-11）算出其對于權(quán)值。&X0=X,i=0&Xi=X+n+Pi,i=1n&Xi=Xn+Pi,i=n+12n(4-11) &wm(0)=n+&wc(0)=n+(12+)&wm(i)=wm(i)=2(n+),i=1n(4-12)Xikk=X(k|k)Xkk+(n+)PkkXkk(n+)Pkk (4-13)利用公式（4-14）計算2n+1個Sigma點集的一步預(yù)測。Xik+1k=fk,Xi(k|k)(4-14)利用公式（4-15）（4-16）計算

35、系統(tǒng)狀態(tài)量的一步預(yù)測及協(xié)方差矩陣。Xk+1k=i=02nwiXi(k+1|k)(4-15) Pk+1k=i=02nwiXk+1kXik+1kXk+1kXi(k+1|k)T+Q (4-16)根據(jù)一步預(yù)測值再次進行UT變換，產(chǎn)生新的sigma點集。 將步驟預(yù)測的sigma點集代入觀測方程，得到預(yù)測的觀測量，如公式（4-17）所示。Zik+1k=Xi(k+1|k)(4-17) 由步驟得到sigma點集的觀測預(yù)測值，通過加權(quán)求和得到系統(tǒng)預(yù)測的均值和協(xié)方差，如公式（4-18）（4-19）（4-20）所示。Zk+1k=i=02nwiZi(k+1|k)(4-18)Pzkzk=i=02nZik+1kZk+1k

36、Zik+1kZk+1kT+R(4-19)Pxkzk=i=02nwiXik+1kZk+1kZik+1kZk+1kT(4-20)利用公式（4-21）計算Kalman增益矩陣。Kk+1=PxkzkPzkzk1(4-21)最后，計算系統(tǒng)的狀態(tài)更新和協(xié)方差更新。如公式（4-22）（4-23）所示。Xk+1k+1=Xk+1k+K(k+1)Zk+1Zk+1k(4-22)Pk+1k+1=Pk+1kKk+1PzkzkKT(K+1)(4-23)4.4濾波效果在上一小節(jié)中，我介紹了本次設(shè)計采用的兩步濾波算法的濾波原理，而在本節(jié)中，我將通過調(diào)取互動軟件中濾波前后的深度圖像來確認(rèn)上述濾波算法的濾波效果。打開互動軟件，并

37、將紅外筆開關(guān)按下，使得紅外筆所發(fā)出的紅外光投影在互動平面上。然后調(diào)出kinect傳感器所捕捉到的未濾波的深度圖像，如圖4-2所示。圖4-2 未濾波的深度圖像由圖4-2，我們可以發(fā)現(xiàn)未濾波的深度圖像上有非常多的密集白點，其中最亮最大的白點就是紅外筆尖所投影的光圈，其他的白點是燈光或者太陽光中所包含的紅外線。這些噪聲對于互動系統(tǒng)的效果都有著很大的干擾。通過上一小節(jié)介紹的兩部分濾波處理，可以得到經(jīng)過濾波之后的系統(tǒng)的深度圖像，如圖4-3所示。圖4-3濾波后的深度圖像由圖4-3可以發(fā)現(xiàn)，未濾波時的深度圖像上的密集白點已經(jīng)被去除，僅剩下筆尖所對應(yīng)的最大光圈。對比圖4-2與圖4-3可知，濾波算法的效果能夠滿

38、足濾除噪聲的要求。第五章 便攜式任意墻面觸控裝置系統(tǒng)實驗驗證本章將對本次設(shè)計的系統(tǒng)的實際使用效果進行實驗驗證，將首先測試使用濾波算法之后，系統(tǒng)的使用效果的提升，以確定實際濾波性能。之后將測試系統(tǒng)的各項功能是否能夠正常使用，如電子白板、實時講解等。5.1 濾波效果實驗在上一章，我介紹了濾波算法的相關(guān)內(nèi)容。本節(jié)將對上一章介紹的濾波算法的效果進行實驗，對比采用濾波算法前后的系統(tǒng)書寫效果，以驗證濾波算法的濾波性能。如圖5-1所示為未加濾波時，系統(tǒng)的對觸控筆尖的定位不精準(zhǔn)問題：圖5-1未加濾波筆尖定位不精確圖如圖5-2所示為未加濾波時，使用觸控筆書寫時產(chǎn)生的斷點現(xiàn)象：圖5-2未加濾波書寫斷點圖如圖5-3

39、所示，在添加了濾波算法之后，書寫與定位效果就可以達到比較良好的狀態(tài)：圖5-3濾波后書寫與定位效果5.2系統(tǒng)功能實驗驗證首先，我們將第三章中介紹的一體機放置到合適位置，以獲取大小合適的投影畫面。之后接通一體機電源，打開投影儀，并將一體機與電腦相連。再調(diào)整投影儀，獲取清晰的投影畫面。如圖5-4所示：圖5-4系統(tǒng)裝置放置圖在完成上述的基本硬件連接之后，我們就可以啟動預(yù)先安裝的自主互動軟件平臺，如圖5-5所示。在進行自動校準(zhǔn)之前，需要微調(diào)Kinect位置，以使得Kinect的攝像頭可以包括整個投影區(qū)域。圖5-5中軟件平臺啟動界面上顯示的就是Kinect攝像頭采集到的區(qū)域，以上要求就是要是投影區(qū)域全部包

40、括在該區(qū)域中。圖5-5互動平臺啟動圖接下來就是對系統(tǒng)功能的驗證，首先是代替鼠標(biāo)的功能，如圖5-6所示通過觸控筆直接在投影面上進行文檔打開操作，可以通過雙擊，也可以通過圖示的右鍵方式進行操作。圖5-6文檔打開操作之后就是在文檔中的實時標(biāo)注畫圖功能，本次試驗打開的是Excel表格，如圖5-7所示，在進行標(biāo)注時可以選擇不同顏色和粗細(xì)的筆形，有利于進行講解，同時還有點擦除、區(qū)域擦除和全部清除三種方式，便于隨時進行更改。圖5-7實時講解圖除此以外，還可以直接打開電子白板以進行更加細(xì)致的講解，并且對書寫的內(nèi)容進行保存，如圖5-8所示。圖5-8電子白板功能經(jīng)過以上實驗,驗證了本系統(tǒng)的使用功能能滿足人機互動的功能需求，在會議，教學(xué)，展出等場合中使用本系統(tǒng)，可以讓使用者更好地進行交流展示，達到很好的效果14。第六章 總結(jié)人機互動在現(xiàn)在這個技術(shù)快速進步的時代有著十分廣闊的進步空間，基于體感技術(shù)、虛擬現(xiàn)實等技術(shù)的人機交互方式正在蓬勃發(fā)展，人機互動也在逐漸擺脫生硬、單調(diào)的互動方式，向著更具自然性與藝術(shù)感染力的方式發(fā)展，提升了人們的互動體驗。就本次設(shè)計的便攜式任意墻面觸控裝置系統(tǒng)而言，投影技術(shù)與體感控制技術(shù)的結(jié)合能夠很大程度上解放人們被鼠標(biāo)鍵盤的束縛，讓人機互動更加自然。此外，借助Kinect實現(xiàn)手勢控制的功能，將是下階段的研究方向，如果能夠僅通過手勢就完成全部計算機的控制，無疑能進一步提