現代

編著新技術數字第8章人機交互技術數字媒體技術導論8.1融媒體基礎知識8.2人機交互模式8.3人機界面設計8.1.1人機交互的概念人機交互領域專家約翰·卡羅爾（JohnM.Carroll）認為：人機交互指的是有關可用性的學習和實踐，是關于理解和構建用戶樂于使用的軟件和技術，并能在使用時發現產品有效性的學科。美國計算機協會（AssociationforComputingMachinery，ACM）的定義人機交互是有關交互式計算機系統的設計、評估、實現以及與之相關現象的學科。艾倫·迪克斯（AlanDix）教授在《人機交互》一書中如此定義人機交互是研究人、計算機以及他們之間相互作用方式的學科，學習人機交互的目的是使計算機技術更好地為人類服務。8.1.1人機交互的概念人機交互是通過計算機輸入、輸出設備，以有效的方式實現人與計算機對話的技術。人機交互是一門研究系統與用戶之間交互關系的學問。系統可以是各種各樣的機器，也可以是計算機化的系統和軟件。人機交互是研究人、計算機以及它們之間相互影響的技術。人機交互是一個多學科的研究領域，專注于計算機技術的設計和使用，特別是探索人和計算機之間的交互，使計算機和人類之間形成更好的交流。通俗地理解，人機交互即用戶和計算機之間雙向的信息交換，包括人到計算機和計算機到人的信息交換兩部分。實現人機交互功能主要通過計算機輸入輸出的外部設備和相應的軟件完成。8.1.2人機交互的研究內容人機交互界面的優劣直接影響開發人機交互系統的成敗。因此，開發高質量的人機交互界面離不開研究交互模型及其設計方法。人機交互界面表示模型與設計方法可用性分析與評估多模態交互可用性是人機交互系統的重要內容，它不僅關系人機交互的實現，更關系到人機交互能否達到用戶期待的目標，以及實現這一目標的工作效率和使用的便捷性。人機交互系統的可用性分析與評估的研究，主要涉及支持可用性的設計原則和可用性的評估方法等方面。多模態交互是一種使用多種方式（如文字、語音、視覺、動作、環境等）與計算機通信的人機交互方式，即多模態交互就是融合多種交互方式的交互模式。對多通道交互的研究，可以使用戶在同一個人機交互系統中使用多種交互方式與計算機進行通信。8.1.2人機交互的研究內容智能用戶界面的最終目標是實現人與計算機的交互，能夠像人與人之間交互那樣自然、方便。手勢識別、動作捕捉、眼動跟蹤、三維輸入、語音識別、自然語言理解等技術都是開發智能用戶界面需要攻克的難題。智能用戶界面計算機協同工作環境信息可視化設計計算機協同工作環境主要研究在計算機技術支持的環境下，特別是計算機網絡環境，一個群體如何協同工作完成一項共同的任務，涉及個人與群體之間的信息傳遞、群體成員之間的信息共享，及自動化辦公過程的協調等交互活動。計算機協同工作環境的最終目標是要設計出能支持各種各樣協同工作的應用程序和系統，以及研究實現它們的方法。人機交互的最終目的是使人們通過計算機輕松完成想做的事情，同時提高制作效率。信息可視化設計是人機交互重要的一環，可視化設計是指通過視覺語言來傳遞信息和表達想法，其目的是使用戶在交互界面上獲得更好的用戶體驗。8.1.3人機交互的發展歷史1．人工操縱交互階段由于受到制造技術和成本等原因限制，初期的人機交互設計強調輸入、輸出信息的精確性，而較少考慮人的因素（即人操作設備的便捷性、易用性等），導致設備的使用不夠自然和高效。因此，早期的人機交互是十分“笨拙”的?；羧A德·艾肯（HowardAiken)教授，在1944年開發完成的大型自動數字計算機“馬克一號（MarkI）”，需要通過人工操作由指示燈和機械開關組成的操縱界面，來讓計算機執行相應的命令。8.1.3人機交互的發展歷史2．命令行界面交互階段小型計算機鍵盤的廣泛應用將人機交互帶入了命令行界面交互（Command-lineInterface,CLI）階段，命令行界面交互階段的主要特點是計算機的使用者可以通過鍵盤輸入字符命令行與計算機進行通信，讓計算機執行相應指令。鍵盤輸入準確率相對較高，以及幾乎不需要冗余的操作。命令行界面交互需要使用者記憶許多命令和熟練敲擊鍵盤，有時甚至需要具備計算機領域的專業知識和技能，才能達到較高的使用效率。8.1.3人機交互的發展歷史3．圖形用戶界面交互階段圖形顯示器的誕生與發展，鼠標的誕生與發展，推進了人機交互方式的變革，圖形用戶界面逐漸取代命令行界面。圖形用戶界面（GraphicalUserInterface，GUI）又稱圖形用戶接口，是指采用圖形方式顯示的計算機操作用戶界面。它允許用戶使用鼠標、鍵盤等設備操縱屏幕上的圖標、按鈕或菜單選項，以選擇命令、調用文件、啟動程序或執行其他日常任務等操作。圖形用戶界面交互方式直觀明了、簡單易學，使不懂計算機的普通用戶也可以熟練地使用，開拓了用戶人群。特別是20世紀80、90年代，鼠標在個人計算機中的廣泛使用，使信息產業得到空前的發展。8.1.3人機交互的發展歷史4．自然和諧的交互階段人們與計算機的交互需求不再局限于追求圖形用戶界面美學形式的創新，用戶更希望在使用終端設備時，有著更便捷、更符合人們使用習慣的交互方式。帶著這樣的目的，人們將人機交互推進到自然和諧的人機交互時期。在自然和諧的交互階段，人機交互的發展可謂空前繁榮，交互方式多種多樣，使人們不僅可以使用傳統的方式與計算機產生交互，還可以通過聲音、姿勢、表情、視線等方式輸入信息，與計算機完成交互。隨著網絡的普及應用，輸入、輸出設備以及各種相關技術的發展，促進了人機交互技術的進一步發展。8.1.4人機交互的發展趨勢智能化通過人機交互領域的相關機構來制定、發布國際標準，并隨著社會需求的變化而不斷變化，以指導交互產品的設計、測試和可用性評估等。集成化集成各種交互方式，并提高各種交互方式的兼容性和可靠性，使用戶可以選擇通過不同的方式與計算機交互標準化使計算機更好地了解人的信息意圖，并做出合適的反饋或動作，提高交互的效率和自然性，使人與計算機之間的通信像人與人交流那樣自然、方便，使計算機技術更好地為人類服務。網絡化完善在不同交互設備、不同網絡（有線網絡與無線網絡、移動通信網與互聯網等）之間的連接和擴展，使用戶可以通過跨地域的網絡，在世界各地通過任意方式進行人機交互，同時支持多個用戶之間以協作的方式進行交互。融媒體基礎知識8.18.2人機交互模式8.3人機界面設計8.2.1傳統的圖形用戶界面交互傳統的圖形用戶界面交互是基本的人機交互方式，它將鼠標、鍵盤等傳統硬件設備作為輸入工具，通過圖形用戶界面完成人機交互。直到現在，在個人計算機領域，用戶大多仍采用這種交互方式，用戶可以使用鼠標和鍵盤在計算機窗口、網頁界面等圖形用戶界面中點擊菜單、圖標、按鈕，執行打開網頁、輸入文本信息、播放音視頻文件等操作，以此與計算機進行交互，完成各項工作。8.2.2觸控交互觸控交互方式主要通過觸碰屏幕的方式與計算機進行交互。觸控交互的實現和發展得益于實現觸控功能與顯示器的一體化，使顯示器從僅向用戶輸出可視信息成為一種交互界面設備。常用的觸控交互設備是觸摸屏，觸摸屏又稱觸控屏、觸控面板，主要由觸摸檢測裝置和觸摸屏控制器組成，觸摸檢測裝置安裝在顯示器屏幕前面，用于檢測用戶觸摸位置，并將位置信息傳送給觸摸屏控制器，觸摸屏控制器接收信號后將它轉換成觸點坐標傳送給計算機的CPU，同時接收CPU發來的命令并加以執行。操作簡便界面友好響應快速8.2.2觸控交互近年來，觸控交互技術已從單點觸控發展到多點觸控，單點觸控只能辨認和支撐每次一個手指的觸控，如點擊、雙擊；而多點觸控實現了多用戶、多根手指的觸控，方便縮放窗口等操作。從首款觸摸屏誕生至今，經過近幾十年的發展，觸控交互已經被廣泛應用于移動設備，也常用于銀行、醫院、政務中心等場所的業務查詢。8.2.3語音交互1．語音交互的主要技術語音合成語音合成將輸入的文本信息經過適當的處理后，盡可能輸出具有豐富表現力和高自然度的語音，使計算機或相關的系統能夠發出像“人”一樣自然流利的聲音；自然語言處理自然語言處理（NaturalLanguageProcessing,NLP）是指使用自然語言同計算機進行通信的技術，它的主要研究內容是讓計算機“理解”自然語言，這樣人與計算機之間的交互才能像人與人之間的交流那樣自然、流暢。010203語音識別語音識別將音頻數據轉化為文本或其他計算機可以處理的信息；8.2.3語音交互2．語音交互的應用場景虛擬服務機器人人工智能的發展及計算機處理能力的增強，使語音交互被廣泛應用于各種虛擬服務機器人（虛擬服務機器人即沒有實體的機器人）。例如，百度的“度秘”、蘋果的Siri、微軟的“小冰”。接引類智能服務機器人語音交互也可應用于各種場合的接引類智能服務機器人，用戶可通過對話的方式向它們發出指令與其產生交互。8.2.3語音交互2．語音交互的應用場景智能家居領域語音交互還常用于智能家居領域，例如，思必馳公司推出的一款“大屏智能面板”產品，它支持語音交互，可幫助用戶實現對室內照明、影音、安防、暖通設備的開關和調控，并將設備的反饋結果顯示于屏幕上。8.2.4動作交互1．手勢交互VS靜態手勢識別即識別靜止狀態下人手或者手和手臂相結合所產生的各種姿勢。動態手勢識別即識別人手的運動過程，由一系列的姿勢組成。例如，將人手從上到下垂直運動的過程、從左向右的水平運動的過程的語義分別定義為“從上到下移動/滑動”、“從左向右移動/滑動”操作指令，從而實現基于動態手勢識別的交互應用。靜態手勢識別動態手勢識別8.2.4動作交互1．手勢交互手勢識別有了一些簡單的交互應用，如在智能車載系統中通過不同的手勢，調節影音播放的音量大小、播放下一首，以及撥打電話等。將手勢識別應用到駕駛輔助系統中，使用手勢來控制車內的各種功能、參數，可以讓駕駛員將雙眼的注意力更多地放在道路上，提升駕車安全性。在視頻直播或拍照過程中，用戶通過"點贊"、"比心"的手勢，可實時增加相應的貼紙或特效，豐富交互體驗。另外，手勢識別還可用于智能終端頁面瀏覽過程中的上下切換頁面。手勢識別在智能車載系統中的交互應用手勢識別在視頻直播中的交互應用8.2.4動作交互2．動作捕捉數據傳輸傳感器采集到的人體動作數據可以通過線纜或無線傳輸技術（如藍牙、WiFi等），傳輸到計算機系統中。數據處理計算機系統接收傳感器采集的數據后，經過計算機軟硬件處理，確定人體運動軌跡和人體動作姿態，從而實現人體動作的識別和人機交互。010203傳感器部署傳感器是一種檢測、跟蹤裝置，用于檢測被測量物體的動態信息。根據檢測目標，在所需人體骨骼關鍵部位部署傳感器，可實時采集人體的動作數據。（1）基于穿戴設備和傳感器的動作捕捉基于穿戴設備和傳感器的動作捕捉是指通過配置如萊卡服、T恤、綁帶、束發帶、頭套、手套、手環等穿戴設備，在人體骨骼關鍵部位放置傳感器，實現人體全身的動作捕捉。8.2.4動作交互2．動作捕捉（1）基于穿戴設備和傳感器的動作捕捉攝像機連續拍攝表演者的動作，并將圖像序列保存下來，然后進行分析和處理，識別其中的反光標識點，并計算其在每一瞬間的空間位置，進而可得到人體的運動軌跡?；诖┐髟O備和傳感器的動作捕捉的主流技術是光學式動作捕捉。光學式動作捕捉通過對目標上特定光點的監視和跟蹤來完成運動捕捉的任務010203在進行人體動作捕捉時，首先在表演場地部署多臺攝像機，這些攝像機的視野重疊區域就是表演者的運動范圍，作為表演者一般要求穿上單色的服裝，并在身體的關鍵部位，如關節、髖部、肘、腕等位置貼上反光標識點，反光標識點由特殊材料制成，具有反射光源的作用，易于識別。8.2.4動作交互2．動作捕捉（1）基于穿戴設備和傳感器的動作捕捉在游戲、影視特效中的應用在游戲、影視特效中，動作捕捉主要用于生成虛擬人物、制作特效，即實時記錄和測量人體的運動軌跡和動作姿態，進一步在三維空間中重建人體動作的過程。動作捕捉在游戲中的應用動作捕捉在生成影視虛擬人物中的應用動作捕捉在影視特效制作中的應用8.2.4動作交互2．動作捕捉（1）基于穿戴設備和傳感器的動作捕捉在體育訓練、智能健身、康復醫療領域中的應用在體育訓練、智能健身、康復醫療領域中，借助穿戴設備和傳感器動作捕捉人體，可記錄、分析、統計人體的動作數據，使運動員、健身人員、傷病人員了解自身運動的量化數據，從而知道自己的運動動作和運動量是否達到標準，以便及時糾正不符合要求的動作和行為。步態分析系統360°運動模擬平臺設備8.2.4動作交互2．動作捕捉（2）直接識別人體特征的動作捕捉直接識別人體特征的動作捕捉實時性好、穩定性強，系統結構簡單，對動作捕捉環境的要求不高。直接識別人體特征的動作捕捉不需要配置專門的穿戴設備和傳感器。010203它首先通過部署多臺攝像機從不同角度采集人體動作的圖像，然后利用計算機視覺等技術處理采集到的圖像，以獲取人體運動位置信息，并進行人體特征識別和分類，從而實現人體動作識別和交互。8.2.4動作交互2．動作捕捉（2）直接識別人體特征的動作捕捉基于穿戴設備和傳感器的動作捕捉與直接識別人體特征的動作捕捉在應用場景上并無太大差別。雖然直接識別人體特征的動作捕捉擺脫了穿戴設備和專用傳感器的束縛，但直接識別人體特征的動作捕捉技術實現復雜，相對而言，基于穿戴設備和傳感器的動作捕捉技術更為成熟，目前在游戲、影視特效等領域中大多還是采用光學式動作捕捉完成相應工作。動作捕捉技術完成了將表情和動作數字化的工作，提供了新的人機交互手段，為實現操作者以自然的動作和表情直接控制計算機，以及最終實現可以理解人類表情、動作的計算機系統和機器人提供了技術基礎。與傳統的遙控方式相比，這種系統可以實現更為直觀、細致、復雜、靈活而快速的動作控制，大大提高機器人應對復雜情況的能力。8.2.5眼動交互1．眼動交互的裝置VS頭戴式眼動儀外觀像一副眼鏡，也可稱為“眼動追蹤眼鏡”，用戶可直接佩戴，便攜性好，可應用于室內、室外。桌面式眼動儀檢測數據準確率高，適用于室內，通常安裝在計算機顯示器下方，便于計算出用戶在屏幕上注視的位置。頭戴式眼動儀桌面式眼動儀8.2.5眼動交互2．眼動交互的方式注視眨眼眼跳當注視點的停留時間達到一定程度后（一般至少持續0.1s），可以利用視線代替鼠標或鍵盤等傳統輸入設備，觸發相應的執行操作。大多數眼動信息只有在注視時才能獲得并進行加工，因此，注視是一種主要的眼動交互方式，多用于控制圖形界面或定位鼠標光標等。使用眨眼行為進行交互時，需要識別有意識的眨眼。眨眼交互方式較為簡單，但是當人眼處于長時間閉合狀態時，由于眼動儀無法捕捉瞳孔，可能會導致注視點的丟失，在一定程度上會影響眼動交互的精度。在正常的視覺觀察過程中，眼動表現為在一系列被觀察目標上的注視，及在這些注視點之間的飛速跳躍。在注視點之間的飛速跳躍稱為眼跳，不同路徑的眼跳可以映射為不同的交互指令。8.2.5眼動交互3．眼動交互的應用場景游戲交互用于飛行類游戲的方向控制、射擊類游戲的眼動瞄準等。手機交互通過注視點定位完成手機解鎖，相機對焦拍攝；閱讀瀏覽時，根據眼動情況自動翻頁等。駕駛疲勞監測識別駕駛員的行為狀態，在疲勞早期及時發出預警。智能輔助溝通智能輔助溝通是眼動交互的重要開發領域。例如，七鑫易維公司開發的眼控平板電腦一體機，這是一款將Windows平板電腦與眼控儀相結合的輔助溝通產品，幫助用戶不僅可以使用傳統的鼠標、鍵盤操作計算機，也可以通過眼部運動實現操作計算機。8.2.6腦機交互1．腦機交互的方式與面臨的問題VS在大腦中植入芯片，直接測量大腦活動，這種方式捕獲大腦神經活動信號的實時性和精確度較高，但存在感染風險和創傷問題。主要通過讓用戶戴上裝載有感應器的穿戴設備來采集大腦神經活動信號，這種方式操作方便、易于使用、無創傷問題，但信號捕獲的精度和實時性可能不如侵入式腦機交互。侵入式腦機交互是非侵入式腦機交互8.2.6腦機交互1．腦機交互的方式與面臨的問題通過侵入性腦機交互方式捕捉大腦神經活動信號，會涉及手術過程，給人體帶來風險隱患。因此，研究人員將更多地探索非侵入性腦機交互技術，以提高技術的可接受性和可用性。信號解讀準確性問題解讀大腦神經活動信號并將其轉化為計算機可理解的指令是一個復雜的過程，并且不同人的大腦活動模式存在個體差異，因此需要更多的研究來提高系統對不同個體大腦信號的解讀能力和信號解讀的準確性。目前的腦機交互系統對腦神經活動信號的捕捉和解讀速度還有所限制，導致交互的實時性受到限制。提高腦機交互數據傳輸速度是一個挑戰，但也是推動該技術發展的重要方向之一。數據傳輸速度問題設備侵入性問題8.2.6腦機交互2．腦機交互的應用場景游戲娛樂在專業技能訓練方面，可以利用腦機交互技術讀取學習者的大腦活動信號，進行專業技能評估和培養；在智能化教學方面，可以利用腦機交互技術讀取學習者的大腦活動信號，實時評估和調整學習者的學習狀態。醫療康復殘疾人士可以通過腦機交互技術進行康復訓練。例如，對于截肢或運動障礙的患者，可以通過腦機交互來操控假肢，讓癱瘓病人實現自己喝水、吃飯、打字。教育用戶通過腦機交互技術可以實現控制游戲角色。例如，通過“移動”“跳躍”的思維活動控制游戲角色的移動、跳躍等操作。智能家居用戶可以通過腦機交互技術控制家電設備。例如，控制家電設備的開關、音量，通過家電設備調節室內溫度、光亮等。8.2.7多模態交互互補型等效型專業型并發型信息輸入方式互為補充，也就是說，用戶需使用兩種或多種輸入方式實現特定交互任務。完成特定交互任務時，兩種或多種輸入方式是等效的，即可以相互替代，且輸出結果相同。完成某一特定交互任務時只能采用指定的輸入方式，其他輸入方式不可替代。當兩種或多種輸入方式在同一時間發出不同的指令時，它們是并發的。8.3融媒體基礎知識8.1人機交互模式8.2人機界面設計8.3.1人機界面與人機界面設計人機界面也稱為用戶界面（UserInterface，UI），簡稱“界面”。從字面上看，人機界面的意思是人與計算機（包括計算機化的系統、機器、設備）之間的接觸面，但實際上它包含了用戶與界面之間的交互關系，是指用戶與計算機之間通信的媒介。凡是存在人機信息交換的領域都存在著人機界面。1．人機界面硬件界面軟件界面8.3.1人機界面與人機界面設計1．人機界面8.3.1人機界面與人機界面設計2．人機界面設計人機界面設計不是單純的美術繪畫，它需要通過協調界面上各個組成部分和它們之間的操作邏輯，優化和簡化用戶與計算機系統交流的過程和步驟，在滿足用戶需求前提下，提高用戶使用計算機的效率，它是系統性的、科學性的藝術設計。人機界面設計就是軟件產品的“框架”和“外形”設計，是設計軟件界面的顏色、文字、圖標、按鈕、菜單等元素，使用戶能夠更加方便、快捷、舒適地使用產品。人機界面設計即UI設計，它是指通過一定的手段對用戶界面有目標和計劃的一種創作活動，其目的是使用戶能夠方便高效地操作計