人-機器人交互技術人-機器人交互概述可以將人機交互簡單地理解為“人如何與機器或某個復雜系統的溝通和互動過程”。Schmidtler等人認為人-機器人交互是人類和機器人之間所有交互形式的總稱。人機交互實現的過程中存在三個不可忽略的關鍵主題：意圖檢測、角色分配和信息反饋。面向接觸式人機交互，研究者提出人與機器人共享控制的框架，包括三個關鍵思想：意圖檢測、意圖識別與行為響應。協作機器人是下一代機器人的重要發展方向，其柔順控制技術對于實現安全穩定的協作交互至關重要。人-機器人交互接口可以將人機交互簡單地理解為“人如何與機器或某個復雜系統的溝通和互動過程”。Schmidtler等人認為人-機器人交互是人類和機器人之間所有交互形式的總稱。人機交互實現的過程中存在三個不可忽略的關鍵主題：意圖檢測、角色分配和信息反饋。面向接觸式人機交互，研究者提出人與機器人共享控制的框架，包括三個關鍵思想：意圖檢測、意圖識別與行為響應。常用人機交互設備和方式相機深度相機比普通相機多出深度維度，提供更多信息。應用：微軟Kinect（人體骨骼追蹤）、英特爾RealSense、LeapMotion（手勢識別）。VR眼鏡HTCVivePro系列：六自由度交互、高刷新率與高分辨率。應用：游戲與娛樂領域，減少眩暈感，增強沉浸感。語音交互代表技術：Siri。肌電信號通過表面肌電信號反映肌肉運動狀態，通過對手臂上的表面肌電信號進行放大濾波、提取特征值和模式識別等處理后，可用于判斷手部的動作意圖。常用人機交互設備和方式腦電信號腦電信號解讀人體運動意圖。腦機接口可以幫助用戶與機器人之間實現更好更自然的交互。手控器交互通過位姿指令控制機器人，分為三自由度和六自由度手控器，機械結構上有串聯和并聯手控器。應用：醫療手術、空間遙操作等。缺點：交互不自然，易引起疲勞。腦電信號靈活、高效，適合精細操控機器人。主要設備：穿戴式數據手套、外骨骼等。腦電接口圖數據手套ForceDimension手控器人機交互方式分類根據人機交互過程中人體動作控制信息的獲取方式，可分為：1.外設附著方式：即附著在人肢體上的感應設備對人體動作信息進行采集。優點：響應速度快、識別精度高。缺點：需要額外設備，增加成本，交互不夠自然，不易普及，主要應用于快速響應和精確控制的工業領域。2.計算機視覺方式：通過視頻捕捉設備采集人體動作信息，分析RGB圖像、紅外圖像等數據，提取動作信息。優點：無需佩戴設備，設備要求低，輕便且易于普及。缺點：對環境和光照要求較高，處理速度可能受到限制。人機交互方式分類按自然交互的方式分類，可分為：1.體態語言交互：通過肢體語言和姿勢來與機器進行互動。手勢識別：通過具有符號功能的手勢來進行信息交流和控制機器人。肢體動作識別：多關節協同動作，通過全身動作與機器人交互。姿態行為理解：識別整體身體姿態及行為，理解用戶意圖。2.語音交互：通過語音指令與機器進行交流，實現控制與反饋。應用：如智能助手（Siri、Alexa）、智能家居控制等。優點：交互自然，不需要物理接觸，適合遠程操作。3.其他交互方式：如眼球、意念、表情、唇讀等，針對不同的應用和人群，在特殊情況下更為有效。應用：面部識別、情感識別、增強現實（AR）互動等。人-機器人協作控制被動協作控制：機器人沒有自己的運動意圖或期望運動軌跡，只是強調對外部交互力的響應，以順應其伙伴，如人類伙伴的運動意圖。應用：人-機器人拖動示教。例子：Ficuciello等采用被動阻抗調制策略，在KUKALWR4機器人上進行試驗，機器人順應接觸力，但仍表現出負載特性。共享協作控制：機器人和人類伙伴都有各自的運動意圖或目標軌跡。機器人在外部干預下平衡自身運動意圖與環境順應之間的關系。例子：Li等使用博弈論實現自然交互，Kucukyilmaz研究動態角色交換機制，Wang等提出參考軌跡自適應方法。主動協作控制：機器人主動估計、預測或學習合作伙伴的運動意圖、任務分配、協作角色、動力學參數和成本函數，增強協作的靈活性和自然性。人-機器人協作控制人類意圖理解行為識別：指檢測和分類給定輸入信息中的人類活動，從而理解人的行為。在人機協作中，行為識別幫助判斷人的意圖，并影響機器人的反應。早期研究：主要聚焦于簡單行為（如跑步、行走）在固定背景下的識別，重點在設計運動特征和描述符。當前挑戰：人機協作的特殊需求：在協作中，不同行為之間差異小且無明顯時間間隔，需要識別相似度高的行為。實時處理問題：現有算法仍主要處理整段數據，無法實時處理片段數據，限制了其在人機交互中的應用。未來方向：需要開發適應動態場景的實時行為檢測與識別算法。人-機器人協作控制人類意圖理解基于運動預測的意圖理解：通過識別人類當前的動作意圖，預測未來運動，幫助機器人動態理解人的意圖，完成互適應的協作任務。在動態、不確定的情境下，機器人通過預測人的運動，實現更準確的協作。知識網絡與意圖理解：建立層次化的知識網絡，機器人利用結構化知識“讀取”人的意圖。手臂軌跡分析：通過神經網絡建模動態運動信息，分析手臂軌跡，推理目標位置。使用Kinect數據，在3D空間建模目標位置，并通過近似EM算法進行在線學習。建立意圖導向動態模型：利用貝葉斯理論推斷運動生成過程，并結合意圖理解，支持機器人的學習與協作。人-機器人協作控制人機交互安全性隨著老齡化社會和人力資源短缺，機器人從工廠擴展到家庭和辦公室等有人環境。安全性和可靠性是機器人成功融入有人環境的關鍵。機器人應減少人類疲勞、提高力量、速度和精度，同時提供經驗和理解力。然而，機器人在非結構化環境中的自主行為可能帶來安全風險，特別是物理人機交互（pHRI）中的潛在傷害。目前，機器人安全標準尚不明確，尤其在實際應用中仍需解決安全性問題。人-機器人協作控制1.安全框架擬人感知：人們期望機器人具備類似人類的品質和能力，尤其在物理交互中，機器人設計類似人類機械臂更易理解。認知與任務執行：機器人服務員側重任務執行，而機器人同伴更注重認知交互。交互方式因人而異，機器人反應也有所不同。交互界面設計：有效的溝通依賴共同理解領域，界面設計確保機器人始終處于控制之下。pHRI安全性：關注機器人與用戶的碰撞風險，評估機器人傳遞的能量和功率對用戶的潛在傷害。人-機器人協作控制2.安全pHRI中的力學和控制問題被動安全性限制：簡單添加被動順應性覆蓋物不足以解決高沖擊載荷問題。大慣性機械臂難以根本解決此問題。控制策略：適當控制律和復雜的軟件架構能改善安全性，盡管無法完全彌補機械設計缺陷。力/阻抗控制：可以使用外部感知設備，用于監控任務執行，降低意外風險，但依然存在系統故障和不可預測行為的威脅。運動控制的局限：當前工業機器人多為位置控制，單一運動控制無法應對非結構化環境中的交互任務。力/阻抗控制的優勢：提供柔順性，減少意外接觸力，實現更自然的物理交互。機器人動態行為控制阻抗控制：廣泛應用于機器人與環境的物理交互，阻抗參數描述交互力與運動之間的關系。能夠調節交互點的動態行為，但僅為動態行為控制的一種方法。多點交互控制：在多點交互中，接觸點的行為與其他點的狀態相關，傳統的阻抗模型無法完全描述，需要用更為一般的動態行為模型來描述。主動人-機器人協作人機協作在個性化制造中具有重要應用，結合人的靈活性與機器人的精度優勢。為了實現更好的協作，機器人需要實時感知、分析工作場景，并主動做出決策。當前的人機協作研究主要集中在人類認知上，但缺乏對工作場景中其他元素的全面考慮，尤其是當向主動協作發展時。隨著深度學習和計算機視覺技術的發展，人機協作系統正向多模態通信和上下文感知發展，從反應式機器人輔助向更智能的協同任務執行轉變。主動式人機協作的目標是實現人類操作員和機器人之間的自組織、雙向協作，以應對復雜的工業任務。主動人-機器人協作主動場景理解：實現人機主動協作，全面理解人機協作場景，提取環境信息并轉化為決策與規劃知識。三個層次的視覺理解：對象層次：識別任務相關物體。人類層次：識別人類動作、意圖。環境層次：分析環境的影響因素。環境智能感知：獲取場景中物體屬性（如位置、狀態），并篩選與任務相關的信息（例如水杯的位置，排除無關數據如背景墻壁）。視覺注意力選擇性機制：模仿人類選擇性注意力，聚焦與任務相關的視覺信息，濾除干擾，提升場景理解效率。通過選擇性注意機制與語義分割技術，精準提取關鍵物體，增強任務執行成功率。主動人-機器人協作主動對象感知對象識別1）簡單地將物體分類為不同的類別，如扳手、螺釘、齒輪等；使用激光掃描、KNN、SVM等方法進行物體分類。2）根據利用率或屬性（如抓握位置、工具功能等）精心識別物體的功能可用性。以表示物體的交互特性，例如抓握點在哪里以及可以對物體執行什么動作。對象定位1）檢測，它用對象周圍的邊界框表示對象位置；2）分割，基于對象的幾何信息定位對象并輸出像素級分割結果；3）其他，其主要依賴于先驗知識或幾何信息來定位對象。主動人-機器人協作主動對象感知目標姿態估計物體姿態估計是自主機器人操作的一塊缺失的拼圖，因為它可以以3D物體模型和感官觀察之間映射的形式提供精確的物體姿態，根據主要輸入或特征源將其進一步分為兩類。1）2D特征：僅使用2D圖像作為輸入源來解決6自由度姿態估計。2）點云：盡管只使用2DRGB相機有好處，但深度信息在精確的6D姿態估計過程中仍然很重要。利用深度信息的常用方法是將深度或RGB-D圖像轉換為點云。主動人-機器人協作主動人員識別1.人員定位：為了實現有效的人-機器人協作，應首先定位人類在人機協作場景中的位置，以便機器人能夠在不與人體碰撞的情況下主動規劃其協作動作。1）人體檢測：安全性是人機協作系統設計中的關鍵，防撞方法通過圖像處理技術（如邊緣檢測、形狀濾波）在RGB-D圖像中分割并檢測人體，從而計算危險指數，但此方法在非受控環境中存在局限性。2）人臉檢測：人機協作利用人臉檢測來檢索人體位置信息，并獲得識別操作員的機會。2.人類活動1）識別：機器人應該通過攝像機或其他傳感器了解一個人過去和現在的狀態，從而了解人類從事的活動。2）預測：一些研究人員傾向于預測人類操作員的預期行為。主動人-機器人協作主動人員識別3.人體姿勢1）身體姿勢：人體姿勢通常被表述為從傳感器數據推斷出的骨骼或關節圖，以支持人機協作中的細粒度機器人規劃。Kinect相機和CNN模型廣泛用于靜態姿勢估計，如PoseNet和OpenPose用于關節位置估計和人體工程學分析。過融合傳感器數據和分類器（如CNN、KNN、SVM），可以識別工人的站立姿勢。2）手勢識別：早期方法依賴手工特征（如HOG、Hu矩）和分類器（如隨機森林、SVM）進行手勢分類，用于機器人控制和遙操作。近年來，基于深度學習的手勢識別逐漸取代傳統方法，提升了魯棒性。此外，還使用肌電圖（EMG）和腦電圖（EEG）等非視覺手段用于手勢識別和機器人控制。主動人-機器人協作主動環境分析為了處理更復雜的任務，例如導航到看不見的地方以獲取人機協作組裝過程中所需的特定工具，機器人應具備更全面地感知和建模整個工作環境的技能。1.場景圖：將環境的感知結果轉換為拓撲圖結構。2.2D地圖：為了能夠表示場景元素的詳細幾何關系，2D地圖是遵循人類實踐經驗的自然選擇，通常采用俯視圖的形式。3.3D表示：精細的3D信息（如點云和體素圖）被用來表示環境，支持更復雜的操作并避免碰撞。主動人-機器人協作主動視覺推理對物體、人和環境的感知可以提供對人機協作工作場景的整體理解。為了彌合場景理解和主動決策之間的差距，機器人在與人類操作員協作時需要一種推理機制。視覺推理是指通過對人機協作場景的視覺觀察，對視覺線索的潛在含義或未來機器人動作的指示進行推理。1.視覺提示基于視覺線索的推理是協作機器人更高層次認知智能的基本要求。早期工作包括使用貝葉斯決策方法推理裝配零件檢測的傳感模式和利用卷積變分自編碼（ConvVAE）與LSTM模型進行目標圖像推理，幫助機器人自動選擇零件。2.視覺和語言提示結合視覺和語言線索進行推理能提供更準確的信息。早期工作通過數學模型和知識庫模型結合視覺和語言信息，增強推理能力，例如集成對象定位、人類活動識別與語音識別進行推理。挑戰和未來方向1.基于功能可用性的智能物體認知機器人應具備智能的認知能力，不僅識別物體類別，還能理解與后續動作相關的物體固有價值。在復雜的人機協作任務中，機器人可能面對未知對象，但依然需要根據已識別對象的功能進行拆卸規劃。2