1、第4章 交互技術(shù) 重點大學(xué)計算機專業(yè)系列教材人機交互輸入模式基本交互技術(shù)圖形交互技術(shù)語音交互技術(shù)筆交互技術(shù)由于輸入設(shè)備是多種多樣的，而且對一個應(yīng)用程序而言，可以有多個輸入設(shè)備，同一個設(shè)備又可能為多個任務(wù)服務(wù)，這就要求對輸入過程的處理要有合理的模式。 請求模式(Request Mode) 采樣模式（Sample Mode） 事件模式（Event Mode）請求模式 在請求模式下，輸入設(shè)備的啟動是在應(yīng)用程序中設(shè)置的。應(yīng)用程序執(zhí)行過程中需要輸入數(shù)據(jù)時，暫停程序的執(zhí)行，直到從輸入設(shè)備接受到請求的輸入數(shù)據(jù)后，才繼續(xù)執(zhí)行程序。程序工作，輸入設(shè)備等待程序請求遇到請求指令輸入設(shè)備工作，程序等待接收數(shù)據(jù)請求滿足

2、圖4-1 請求模式的工作過程采樣模式 輸入設(shè)備和應(yīng)用程序獨立地工作。輸入設(shè)備連續(xù)不斷地把信息輸入進來，信息的輸入和應(yīng)用程序中的輸入命令無關(guān)。應(yīng)用程序在處理其它數(shù)據(jù)的同時，輸入設(shè)備也在工作，新的輸入數(shù)據(jù)替換以前的輸入數(shù)據(jù)。當(dāng)應(yīng)用程序遇到取樣命令時，讀取當(dāng)前保存的輸入設(shè)備數(shù)據(jù)。 優(yōu)點：這種模式對連續(xù)的信息流輸入比較方便，也可同時處理多個輸入設(shè)備的輸入信息。 缺點：當(dāng)應(yīng)用程序的處理時間較長時，可能會失掉某些輸入信息。程序工作數(shù)據(jù)采樣數(shù)據(jù)生成數(shù)據(jù)緩存區(qū)輸入設(shè)備工作圖4-2 采樣模式的工作過程事件模式 輸入設(shè)備和程序并行工作。輸入設(shè)備把數(shù)據(jù)保存到一個輸入隊列，也稱為事件隊列，所有的輸入數(shù)據(jù)都保存起來，不

3、會遺失。應(yīng)用程序隨時可以檢查這個事件隊列，處理隊列中的事件，或刪除隊列中的事件。應(yīng)用程序事件檢查事件調(diào)用過程模塊處理類型1事件的過程處理類型n事件的過程輸入設(shè)備圖4-3 事件模式定位筆劃定值選擇字符串輸入定位 確定平面或空間的一個點的坐標(biāo)，是交互中最基本的輸入技術(shù)之一。 直接定位：用定位設(shè)備直接指定某個對象的位置，是一種精確定位方式。 間接定位：通過定位設(shè)備的運動控制屏幕上的映射光標(biāo)進行定位，是一種非精確定位方式。其允許指定的點位于一個坐標(biāo)范圍內(nèi)，一般用鼠標(biāo)等指點設(shè)備配合光標(biāo)來實現(xiàn)。 3DS Max中的精確定位筆劃 筆劃輸入用于輸入一組順序的坐標(biāo)點。它相當(dāng)于多次調(diào)用定位輸入，輸入的一組點常用于

4、顯示折線或作為曲線的控制點。定值 定值（或數(shù)值）輸入用于設(shè)置物體旋轉(zhuǎn)角度、縮放比例因子等選擇 選擇是在某個選擇集中選出一個元素，通過注視、指點或接觸一個對象，使對象成為后續(xù)行為的焦點，是操作對象時不可缺少的一部分。 鍵盤 Ctrl+A 鼠標(biāo)選擇字符串 鍵盤是目前輸入字符串最常用的方式，現(xiàn)在用寫字板輸入字符也已經(jīng)很流行。幾何約束引力場拖動橡皮筋技術(shù)操作柄技術(shù)三維交互技術(shù)幾何約束 幾何約束可以用于對圖形的方向、對齊方式等進行規(guī)定和校準(zhǔn)。 對定位的約束（網(wǎng)格吸附） Adobe Photoshop 網(wǎng)格線幾何約束 方向約束 例如要繪的垂直或水平方向的線，當(dāng)給定的起點和終點連線和水平線的交角小于45時，

5、便可繪出一條水平線，否則就繪垂直線。繪制印刷線路板、管網(wǎng)圖或地籍圖時非常有用。 在Word繪圖中，通過鎖定縱橫比，在拖動線段一個端點時，線段只是沿原來方向放縮引力場 引力場也可以看作是一種定位約束，通過在特定圖素（如直線段）周圍假想有一個區(qū)域，當(dāng)光標(biāo)中心落在這個區(qū)域內(nèi)時，就自動地被直線上最近的一個點所代替，就好像一個質(zhì)點進入了直線周圍的引力場，被吸引到這條直線上去一樣。 引力場的大小要適中，太小了不易進入引力區(qū)，太大了線和線的引力區(qū)相交，光標(biāo)在進入引力區(qū)相交部分時可能會被吸引到不希望選的線段上去，增大誤接的概率。 拖動 要把一個對象移動到一個新的位置時，如果我們不是簡單地用光標(biāo)指定新位置的一個

6、點，而是當(dāng)光標(biāo)移動時拖動著被移動的對象，這樣會使用戶感到更直觀，并可使對象放置的位置更恰當(dāng)。橡皮筋技術(shù) 被拖動對象的形狀和位置隨著光標(biāo)位置的不同而變化。 不斷地進行畫圖擦除畫圖的過程操作柄技術(shù) 可以用來對圖形對象進行縮放、旋轉(zhuǎn)、錯切等幾何變換。先選擇要處理的圖形對象，該圖形對象的周圍會出現(xiàn)操作柄，移動或旋轉(zhuǎn)操作柄就可以實現(xiàn)相應(yīng)的變換。三維交互技術(shù) 面臨問題 三維交互技術(shù)采用六自由度輸入設(shè)備。所謂六自由度，指沿三維空間X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn)，而現(xiàn)在流行的用于桌面型圖形界面的交互設(shè)備，如鼠標(biāo)、軌跡球、觸摸屏等只有兩個自由度(沿平面X、Y軸平移)。 窗口、菜單、圖符和傳統(tǒng)的二維光標(biāo)在三

7、維交互環(huán)境中會破壞空間感，用戶難以區(qū)分屏幕上光標(biāo)選擇到對象的深度值和其他顯示對象的深度值，使交互過程非常不自然。三維交互技術(shù) 直接操作 三維光標(biāo)必須有深度感，即必須考慮光標(biāo)與觀察者距離，離觀察者近的時候較大，離觀察者遠(yuǎn)的時候較小。 為保持三維用戶界面的空間感，光標(biāo)在遇到物體時不能進入到或穿過物體內(nèi)部。 為了增加額外的深度線索，輔助三維對象的選擇，可以采用半透明三維光標(biāo)。 三維光標(biāo)可以是人手的三維模型三維交互技術(shù) 三維Widgets 三維交互界面中的一些小工具 三維空間中漂浮的菜單、用于拾取物體的手的三維圖標(biāo)、平移和旋轉(zhuǎn)指示器等。 1992年美國Brown大學(xué)計算機系提出三維Widget設(shè)計原則

8、 三維Widget的幾何形狀應(yīng)能表示其用途（eg:一個用來扭曲物體的Widget，最好本身就是一個扭曲的物體） 適當(dāng)選擇Widget控制的自由度由于三維空間有六個自由度，有時會使三維交互操作變得過于復(fù)雜，因此在用戶使用某種Widget時，可以固定或者自動計算某些自由度的值 根據(jù)三維用戶界面的用途確定Widget的功能。例如，用于藝術(shù)和娛樂的三維用戶界面的Widget，只要能夠完成使畫面看起來像的操作就可以了，而用于工業(yè)設(shè)計和制造的用戶界面，則必須保證交互操作參數(shù)的精確性。三維交互技術(shù) 三視圖輸入 用二維輸入設(shè)備在一定程度上實現(xiàn)三維的輸入。 如果輸入一個三維點，只要在兩個視圖上把點的對應(yīng)位置指定

9、后便唯一確定了三維空間中的一個點； 把直線段上兩端點在三視圖上輸入后便可決定三維空間的一條直線； 把一個面上的各頂點在三視圖上輸入后，也唯一確定了三維空間中的一個面； 如果把一個多面體上的各面均用上述方法輸入， 也就在三維空間中輸入了一個多面體。語音識別（Speech Recognition）是計算機通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本文件或命令的技術(shù)，其所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等。一個完整的語音識別系統(tǒng)大致可分為語音特征提取，聲學(xué)模型與模式匹配，以及語言模型與語義理解三部分。語音特征提取 從語音信號中提取語音的特征，既可以獲得

10、語音的本質(zhì)特征, 也起到數(shù)據(jù)壓縮的作用。 輸入的模擬語音信號首先要進行預(yù)處理，包括預(yù)濾波、采樣和量化、加窗、端點檢測、預(yù)加重等。聲學(xué)模型 聲學(xué)模型對應(yīng)于語音到音節(jié)概率的計算。在識別時將輸入的語音特征同聲學(xué)模型（模式）進行匹配與比較，得到最佳的識別結(jié)果。 目前采用的最廣泛的建模技術(shù)是隱馬爾科夫模型HMM建模和上下文相關(guān)建模。筆式輸入具有連續(xù)性、使用筆的連續(xù)線條繪制可以產(chǎn)生字符、手勢或者圖形等特點。其優(yōu)點是便于攜帶，輸入帶寬信息量大，輸入延遲小；其缺點是翻譯困難，再現(xiàn)精度低。手寫識別技術(shù)是筆交互中的一種基本技術(shù)，目前已經(jīng)嵌入到各種設(shè)備中，得到廣泛應(yīng)用。脫機識別：機器對已經(jīng)寫好或印刷好的靜態(tài)語言文本

11、圖像的識別。聯(lián)機識別：用筆在輸入板上寫，用戶一邊寫，機器一邊識別，可以實時人機交互。聯(lián)機手寫文字的識別過程中，系統(tǒng)通過記錄文字圖像抬筆、落筆、筆跡上各像素的空間位置，以及各筆段之間的時間關(guān)系等信息，對這些信息進行處理。脫機手寫識別比印刷體漢字識別、聯(lián)機手寫體識別都要困難。 脫機手寫識別得到的描述則是點陣圖像，要得到筆段的點陣通常需要細(xì)化運算。 細(xì)化會損失一些信息，并且不可能得到時間順序信息。脫機識別中，筆畫與筆畫之間經(jīng)常粘連，很難拆分，而且筆段經(jīng)過與另一筆段交叉分成兩段后，也難以分清是否應(yīng)該連起來。 結(jié)構(gòu)識別 統(tǒng)計識別神經(jīng)網(wǎng)絡(luò)方法結(jié)構(gòu)識別 結(jié)構(gòu)識別方法的出發(fā)點是漢字的組成結(jié)構(gòu)。漢字是由筆劃(點

12、、橫、豎、撇、捺等)、偏旁、部首構(gòu)成，通過把復(fù)雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定以及基于符號運算的匹配算法，實現(xiàn)對復(fù)雜模式的識別。 結(jié)構(gòu)識別法的優(yōu)點是區(qū)分相似字的能力強，缺點是抗干擾能力差。統(tǒng)計識別 統(tǒng)計識別方法是將漢字看為一個整體，其所有的特征是從整體上經(jīng)過大量的統(tǒng)計而得到的，然后按照一定準(zhǔn)則所確定的決策函數(shù)進行分類判決。 統(tǒng)計識別的特點是抗干擾性強，缺點是細(xì)分能力較弱。神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力和快速并行實現(xiàn)的特點，因此可以通過神經(jīng)網(wǎng)絡(luò)分類器的推廣能力準(zhǔn)則和特征提取器的有效特征提取準(zhǔn)則，對手寫字符進行識別。識別率是手寫漢字識別研究中最重要的環(huán)節(jié)，影響識別率的

13、因素也是手寫識別技術(shù)研究中的難點。 筆順問題 書寫習(xí)慣影響筆劃的書寫順序，單純通過串匹配進行識別難以達(dá)到理想效果。對漢字進行描述時，僅僅采用一維串也就顯得不夠，必須利用一些二維方法來描述，但其會極大地增加匹配的難度。連筆問題 對于結(jié)構(gòu)識別而言，連筆一方面使筆劃種類大大增加，甚至達(dá)到難以歸納的程度；另一方面，連筆又使得筆段抽取難度大增，連筆會增加一些冗余筆段，連筆造成的畸變又會使筆段方向嚴(yán)重離散。相似字區(qū)分 漢字種類繁多，很多漢字彼此之間非常相似，例如“己、已、巳”三個字相差只在細(xì)微之間。手寫漢字的變形十分嚴(yán)重，怎樣能使識別系統(tǒng)抓住微小的差別，是一個非常值得研究的問題。 對抗干擾能力的要求 書寫時候，筆劃的畸變、丟失，多余筆段(如筆鋒)的插入，字的傾斜，部件間相對位置、大小的變化，經(jīng)常出現(xiàn)，會造成基元提取和識別的錯誤 。 數(shù)字墨水在數(shù)學(xué)上是通過三階貝塞爾曲線來描述筆輸入的筆跡，它的記錄格