1、復旦智能服務機器人關鍵技術與產業應用復旦智能服務機器人關鍵技術與產業應用匯報提綱 背景與意義 成果與創新 產權與評價人員與貢獻 應用與效益12354匯報提綱 背景與意義 成果與創新 產權與評價人員與貢獻 應第一部分 背景與意義3第一部分5研究背景機器人是“第三次工業革命”的切入點和增長點，體現了國家高技術領域的綜合實力。服務機器人是非結構化場景下具有感知、認知和自主行為能力的系統，存在如下技術挑戰:環境未知而動態，需要高度的自主性；自然的人機交互，高可靠性和穩定性；需理解人的意圖，自適應行為和動作。研究背景機器人是“第三次工業革命”的切入點和增長點，體現了國第二部分： 成果與創新5第二部分：7

2、產學研歷程200520072017201020112015復旦I號復娃海寶愛家I號中醫機器人 家庭服務創新力積累：國基金、科技部、市科委、211專項等產業化積累：從產業界拿經費：項目、聯合實驗室、股份時間產學研歷程200520072017201020112015復項目資助項目來源項目名稱及編號國家科技部863媒體大數據的深度語義分析與結構化描述研究國家自然科學基金基于生物視覺的感知和認知結合的學習模型及其在腦型機器人上的應用上海市科委基礎研究重大項目基于腦信息處理的深度神經網絡和智能系統上海電氣合作項目基于深度信息的機器人三維目標識別與跟蹤技術研究橫向項目家庭服務機器人項目資助項目來源項目名稱

3、及編號國家科技部863媒體大數據的深成果與創新創新點 1基于視覺和聽覺感知信息的心智發育理論算法創新點 2基于視覺信息的WWN網絡模型，解決了復雜背景下目標檢測、識別和跟蹤問題創新點 3基于視覺信息的中文語義理解技術，解決了語義鴻溝難題，顯著提高了智能問答、用戶意圖和情感分析能力創新點 4研制了成本低、集成度高的6代服務機器人成果與創新創新點 1基于視覺和聽覺感知信息的心智發育理論算法創新點1心智發育理論算法受認知心理學啟發，通過與外界環境的交互，實現對外部世界的理解和認知，而不僅僅只是完成特定任務* Autonomous Mental Development by Robots and An

4、imals, Science, vol. 291, no. 5504, pp. 599-600. 特定任務非特定任務外界環境外界環境傳感器效應器傳感器效應器圖片圖片符號符號圖片圖片圖片圖片Emergent AutomationDP創新點1心智發育理論算法受認知心理學啟發，通過與外界環境的創新點1心智發育理論算法 突破性成果：增量式的在線學習發育方法基于視聽覺信息的特征不變性發育基于上下文的注意力選擇發育； 成功研制復旦I號機器人平臺突破了傳統機器人的設計思路，成功研制了國內第一臺自主心智發育機器人ZL200610027197.3， ZL200730081396.8；2008SR00892 創新

5、點1心智發育理論算法 突破性成果：突破了傳統機器人的設創新點2- WWN網絡模型實時檢測和識別任何時刻的目標(What 信息)和目標所在位置信息(Where 信息)解決了復雜背景下目標檢測、識別和跟蹤和SLAM（即時定位與地圖構建）問題 創新點2- WWN網絡模型實時檢測和識別任何時刻的目標(Wh運用自組織學習和合理的新、老知識的處理，解決了生物視覺領域復雜背景下物體識別所面臨的多物體、多尺度的識別難題。 在2010年上海世博會上面對客流量大、場景復雜多變的挑戰，成功展出了半年之久，獲得了各界廣泛關注 。2022/9/212016吳文俊人工智能科學技術獎12創新點2- WWN網絡模型運用自組織

6、學習和合理的新、老知識的處理，解決了生物視覺領域復創新點3- 基于深度學習的中文語義分析通過包含上下文信息的語義分析，采用知識圖譜構建背景知識模型，解決了語義鴻溝難題。顯著提高了機器人智能問答、用戶意圖和情感分析能力和反應速度。 * 國際上首次將深度學習用于中文分詞和詞性等語義分析領域，中譯文在線閱讀萬余次X zheng,. Deep learning for Chinese word Segmentation and POS tagging. EMNLP2013. 647-657創新點3- 基于深度學習的中文語義分析通過包含上下文信息的語創新點4- 研制成功6代服務機器人攻克了低成本系統集成

7、技術，解決了核心部件與系統性能一致性難以匹配的問題。 開發了面向公共服務的“復娃機器人”，面向家庭應用的“愛家一號機器人”和“睿豆機器人”，面向醫療健康的“中醫健康服務機器人”等。2016吳文俊人工智能科學技術獎創新點4- 研制成功6代服務機器人攻克了低成本系統集成技術，家庭服務機器人具有遠程監控、自主巡邏、自主充電等功能。中醫健康服務機器人具有面診、舌診、問診、遠程醫療等功能。家庭服務機器人中醫健康服務機器人第三部分： 知識產權與第三方評價16第三部分：18知識產權發表SCI、EI論文86篇，其中發表在頂級A區國際會議和期刊論文22篇。IJCAI， CVPR， IEEE AMD等申請發明專利

8、79項，獲專利授權36項知識產權發表SCI、EI論文86篇，其中發表在頂級A區國際會第三方評價評審意見2022/9/21“家用智能服務機器人” 鑒定意見： “開發了面向家庭應用的語音視頻人機交互、機器人遠程監控和通訊等算法及軟件系統，實現了家庭環境下智能安保與益智教育兩大主要功能”， 鑒定委員會一致認為該成果處于國際先進、國內領先水平”。 “自主心智發育機器人關鍵技術研究” 驗收意見：研究了基于視覺和聽覺等多模態信息的在線交互學習算法；研究了心智發育軟件系統算法等。 “在機器人心智發育理論算法研究方面有原始創新成果” 第三方評價評審意見2022/9/19“家用智能服務機器人”第三方評價 查新報

9、告 查新結論：“國內外文獻未發現具備查新項目全部技術要點的文獻報道.” 第三方評價 查新報告 查新結論：“國內外文獻未發現具備查第三方評價 國際學者日本索尼，Oudeyer評價項目的自主心智發育方法：“開拓了機器人在自主開放的方式下通過學習達到智力發育的可能”2007年發表在頂級期刊IEEE Transactions on Evolutionary Computation上的論文第三方評價 國際學者日本索尼，Oudeyer評價項目的自主評價該項目的中文自然語言處理方法：“采用了無監督的單詞嵌入預訓練方法，極大地改進了模型準確率”。 IBM研究院：Santos 2014年發表在機器學習頂級會議I

10、CML中的論文第三方評價 國際學者 IBM研究院：Santos 2014年發表在機器學習頂級第四部分： 應用與效益22第四部分：24經濟效益 在多家企業實現了成果轉化和市場推廣，近3年新增銷售收入過2億元，取得了顯著的經濟效益。經濟效益 在多家企業實現了成果轉化和市場推廣，近3年新增銷售復旦智能服務機器人關鍵技術與產業應用社會效益社會效益復旦智能服務機器人關鍵技術與產業應用第五部分： 人員與貢獻27第五部分：29合作單位智能服務機器人技術的產業化落地上海贄匠有限公司蘇州俐瑪機器人有限公司機器視覺在自動化生產線改造及產業化落地上海電氣集團中央研究院上海太敬集團合作教育機器人技術的產業化落地合作機

11、器視覺與康復機器人落地重慶銳納達機器人公司合作家庭服務機器人產業化落地合作單位智能服務機器人技術的產業化落地上海贄匠有限公司蘇州俐團隊成員張文強研究員總體負責，在4個創新點均有涉足鄭驍慶副教授主要負責服務機器人人機交互技術，尤其是語音識別和中文信息處理方面的工作。在發明點3中有突出貢獻，研制了國內第一款深度網絡應用開發工具。路 紅教授主要負責服務機器人視頻交互技術研究，對家庭服務機器人視頻交互、定位導航等方面貢獻突出。 張 睿高級工程師主要負責服務機器人硬件系統的研制，包括5代機器人電子線路、傳感器單元和控制單元等設計。白建松講師負責服務機器人的創意和外觀設計，主要是“愛家一號機器人”、“海寶機器人”和“中醫健康服務機器人”的創意設計。在發明點4中有突出貢獻。牛軍鈺研究員愛家一號機器人項目負責人,負責該項目的整體協調,與客戶的溝通等工作,對家庭服務機器人的產學研合作做出了突出貢獻。馮 瑞研究員主要負責復娃和愛家一號機器人的軟件系統開發，在發明點4均作出了重要貢獻。團隊成員張文強總體負責，在