機器人泛化能力天花板的“大小腦”分析師：聞學(xué)臣執(zhí)業(yè)證書編號：S0740519090007分析師：蘇儀分析師：聞學(xué)臣執(zhí)業(yè)證書編號：S0740519090007分析師：蘇儀執(zhí)業(yè)證書編號：S0740520060001執(zhí)業(yè)證書編號：S0740525030001n具身智能是一種基于物理身體進行感知和行動的智能系統(tǒng)，其通過智能體與環(huán)境的交互獲取信息理解問題、做出決策并實現(xiàn)行動，從而產(chǎn)生智能行為和適應(yīng)性。具體而言，具身智能在機器人上的應(yīng)用體現(xiàn)可以劃分為三階段：感知、推理、執(zhí)行。n具身智能是機器人與人工智能發(fā)展的交匯點。機器人的通用性取決于泛化性的發(fā)展程度，自20世紀50年代以來，經(jīng)過多輪發(fā)展，機器人開始從傳統(tǒng)的自動化工業(yè)場景機器人，向通用泛化場景的機器人方向發(fā)展。而人工智能在幾十年發(fā)展過后，在今天迎來了智能程度、通識程度更高的生成式大模型時代。在當(dāng)前時間點，人工智能可以真正為機器人賦予“大腦”，機器人也可為人工智能提供“身體”，兩者深度融合，而融合的交點——具身智能，則是人工智能與機器人相互促進發(fā)展而形成的必然的產(chǎn)業(yè)趨勢。n目前具身大模型可以分為兩大流派，一類是端到端大模型，一類是分層具身大模型。1）端到端大模型：能夠直接實現(xiàn)從人類指令到機械臂執(zhí)行，即輸入圖像及文本指令，輸出夾爪末端動作。2）分層具身大模型：不同層次模型協(xié)作，上層大模型進行感知與決策，底層硬件層和中間響應(yīng)快的小模型進行決策的分解與執(zhí)行。目前，由于受數(shù)據(jù)制約難以達到性能要求，端到端大模型尚未成為主流選擇，更多廠商還是選擇以分層模型為機器人的具身智能。?訓(xùn)練具身大模型的痛點：數(shù)據(jù)。機器人需要用海量數(shù)據(jù)進行訓(xùn)練，使其變得更加智能。但機器人是非常新的領(lǐng)域，嚴重缺乏訓(xùn)練數(shù)據(jù)的積累。對應(yīng)而言，目前主要的數(shù)據(jù)收集方法有四種：1）遠程操作，即由實驗人員操作機械手柄，遠程控制機器人做出相同動作，以此來積累數(shù)據(jù)；2）AR，即通過AR環(huán)境對機器人進行訓(xùn)練，積累數(shù)據(jù)；3）仿真，即通過海量算力進行模擬運算，計算得出海量機器人訓(xùn)練數(shù)據(jù)集；4）視頻學(xué)習(xí)，即通過多模態(tài)大模型，直接讓機器人通過視頻學(xué)習(xí)人類動作，從而積累訓(xùn)練數(shù)據(jù)。n人形機器人產(chǎn)業(yè)未來展望：從專用到通用，從ToB到ToC。短期來看，任務(wù)相對聚焦，對泛化能力要求不高工業(yè)制造場景下的任務(wù)正在更快進入商業(yè)化階段。在工業(yè)制造場景實現(xiàn)商業(yè)化落地之后，海量機器人的具身數(shù)據(jù)疊加算力技術(shù)的進步，機器人的能力將循序漸進逐步解鎖，并向商用服務(wù)、家庭服務(wù)等更開放的場景進行延伸，屆時市場有望達萬n投資建議：作為機器人的“大小腦”，在硬件已達到較高工藝水平的情況下，具身智能的技術(shù)能力或?qū)⒊蔀闄C器人發(fā)展的天花板。當(dāng)前多家領(lǐng)軍機器人企業(yè)均已各自的方式在具身智能領(lǐng)域投入較多資源與精力，以提升自家機器人的泛化行為能力。我們建議投資人持續(xù)關(guān)注具身智能產(chǎn)業(yè)的技術(shù)變革突破、商業(yè)化落地路線、節(jié)奏與進展等。具體到標的上，建議關(guān)注索辰科技（物理AI、機器人子公司）、能科科技（特種行業(yè)AI能力領(lǐng)先）等。n風(fēng)險提示：機器人產(chǎn)業(yè)相關(guān)政策落地不及預(yù)期；機器人商業(yè)化落地推進不及預(yù)期；AI與具身智能產(chǎn)業(yè)技術(shù)發(fā)展不及預(yù)期；行業(yè)競爭加劇；研報信息更新不及時的風(fēng)險等。11223344什么是具身智能具身智能：機器人與AI的交匯具身大模型賦能人形機器人蛻變具身智能賦能下，未來機器人發(fā)展方向 n具身智能的定義：一種基于物理身體進行感知和行動的智能系統(tǒng)，其通過智能體與環(huán)境的交互獲取信息理解問題、做出決策并實現(xiàn)行動，從而產(chǎn)生智能行為和適應(yīng)性。?具身智能的實質(zhì)：強調(diào)有物理身體的智能體通過與物理環(huán)境進行交互而獲得智能的人工智能研究范式。n從機器人的角度出發(fā)，具身智能在機器人上的應(yīng)用體現(xiàn)可以劃分為三階段：感知、推理、執(zhí)行。n機器人需要具備環(huán)境感知能力，依據(jù)感知對象的不同，可以分為四類：物體感知、場景感知、行為感知、表達感知。n具身感知的過程主要包括以下幾步：n具身感知的過程主要包括以下幾步：任務(wù)規(guī)劃、導(dǎo)航、具身問答。n任務(wù)規(guī)劃：任務(wù)規(guī)劃（TaskPlanning）是具身智能的核心任務(wù)之一，將抽象的非可執(zhí)行人類指令轉(zhuǎn)換為具體的可執(zhí)行技能。這一步驟的完成需要兩步：1）將人類指令分解為機器人可執(zhí)行的技能，2）執(zhí)行技能。n結(jié)合大模型的任務(wù)規(guī)劃：大模型作為轉(zhuǎn)換器、大模型作為分解器。?作為轉(zhuǎn)換器：LLM+P，用LLM將狀態(tài)信息描述成PDDL語言再進行規(guī)劃，取代以往需要人工針對實際問題書寫PDDL語言對任務(wù)進行建模；?作為規(guī)劃器：可以zero-shot進行任務(wù)規(guī)劃。資料來源：哈爾濱工業(yè)大學(xué)，中泰證券研究所資料來n具身導(dǎo)航（EmbodiedNavigation）：智能體在3D環(huán)境中移動完成導(dǎo)航目標。n早期的具身導(dǎo)航，通過構(gòu)建一系列基于規(guī)則的組件和算法，實現(xiàn)有效的環(huán)境感知、定位、路徑規(guī)劃和避障。而基于學(xué)習(xí)的導(dǎo)航則利用深度學(xué)習(xí)與強化學(xué)習(xí)技術(shù)，提高模型對復(fù)雜環(huán)境和新場景的泛化能力。不同于傳統(tǒng)算法依賴預(yù)定義的規(guī)則和手工設(shè)計的特征，基于學(xué)習(xí)的導(dǎo)航算法從大量數(shù)據(jù)中學(xué)習(xí)環(huán)境特征和導(dǎo)航策略，實現(xiàn)強自適應(yīng)性和高靈活性。?視覺導(dǎo)航：基于學(xué)習(xí)的導(dǎo)航的一個重要分支，它依靠計算機視覺來理解環(huán)境信息并做出導(dǎo)航?jīng)Q策。?視覺語言導(dǎo)航：通過自然語言指令和視覺圖像進行導(dǎo)航的任務(wù)，其目標是開發(fā)一種能夠與人類進行自然語言交流并在現(xiàn)實3D環(huán)境中導(dǎo)航的具身智能體。1）大模型出現(xiàn)之前：主要通過RNN，LSTM，Transformer等網(wǎng)絡(luò)來提取命令中的語義信息；2）大模型出現(xiàn)后：利用大模型作為輔助來幫助規(guī)劃器輸出規(guī)劃或者大模型直接作為規(guī)劃器來輸出規(guī)劃。圖表：具身導(dǎo)航的發(fā)展階段n具身問答：機器人需要主動探索環(huán)境，定位目標物體或位置獲取環(huán)境中的信息，然后基于獲取的信息回答問題。該任務(wù)可視為導(dǎo)航、VQA任務(wù)的結(jié)合。?相比于VQA等已有問答任務(wù)，具身問答的特點在于機器人具有主動行動能力。n具身執(zhí)行，就是把任務(wù)具體執(zhí)行出來，其中最重要的環(huán)節(jié)就是技能學(xué)習(xí)。n技能學(xué)習(xí)：以技能描述、環(huán)境觀察為輸入，輸出完成技能所需的7Dof軌跡（主要指人手腕或者機械臂末端執(zhí)行器的位置、朝向、末端狀態(tài)）。技能學(xué)習(xí)主要有兩類方法：?模仿學(xué)習(xí)：收集專家演示數(shù)據(jù)，用神經(jīng)網(wǎng)絡(luò)擬合。?強化學(xué)習(xí)：設(shè)計獎勵函數(shù)，機器人通過交互學(xué)習(xí)行為策略。?兩者的差別在于：模仿學(xué)習(xí)是從樣例中學(xué)習(xí)，機器人學(xué)習(xí)過程中不與環(huán)境進行交互；而強化學(xué)習(xí)從交互中學(xué)習(xí)，機器人學(xué)習(xí)過程中與環(huán)境進行交互。2具身智能：機器人與AI的交匯n在上個世紀六十年代，人類已經(jīng)制造出機器人并且可以控制其執(zhí)行給定的動作。但是對于復(fù)雜抽象的人類指令，早期需要專家人工設(shè)計動作軌跡，然后再由機器人執(zhí)行。一個理想中的智能機器人應(yīng)該是“通用”的，可以適用于各種場景，進行推理決策并執(zhí)行相關(guān)技能，完成各種任務(wù)。n從人工設(shè)計專門的程序到通用型智能機器人，存在著巨大的技術(shù)發(fā)展空間，其中最關(guān)鍵的問題之一即為泛化性，包括人類指令、環(huán)境配置、物體形狀位置、機器人類別上的泛化性。泛化性描述了機器人因為學(xué)習(xí)場景和應(yīng)用場景的任務(wù)設(shè)置不一致導(dǎo)致的性能變化情況，這衡量了機器人在特定維度上的通用性。n從泛化性的角度來看，智能機器人技術(shù)可以劃分為以下幾個階段，其對應(yīng)泛化性逐漸變強。n從歷史的角度來看，工業(yè)機器人的硬件進化不斷發(fā)展，從自動化設(shè)備到移動機器人，從協(xié)作機器人到人形機器人，每一步都代表著技術(shù)的進步和創(chuàng)新。當(dāng)下，已經(jīng)進入了AI大模型與機器人在底層技術(shù)創(chuàng)新和應(yīng)用融合的交叉時代。n技術(shù)的每一次進步都會帶來機器人應(yīng)用場景的突破，且一般會在精準、重復(fù)的工業(yè)場景作業(yè)流程中率先得到應(yīng)用。未來，如何提升智能機器人在開放場景的可用性，是具身智能正在解決的問題。n在機器人領(lǐng)域的應(yīng)用上，生成式AI技術(shù)正在兌現(xiàn)提升機器人關(guān)鍵能力的潛力，在環(huán)境感知、自主決策、學(xué)習(xí)與適應(yīng)等多個方面均有表現(xiàn)。n基于網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練的大模型似乎正在觸及AI認知的邊界，ScalingLaw下的預(yù)訓(xùn)練大模型性能似乎快要達到極限，參數(shù)量和數(shù)據(jù)量的擴充已經(jīng)難以給模型帶來質(zhì)的突破。AI想要進一步發(fā)展，必須與物理世界建立更加緊密的聯(lián)系，具身智能將是AI繼續(xù)向AGI進步的關(guān)鍵途徑。n人工智能和機器人技術(shù)的發(fā)展并非孤立進行，而是相互促進、共同演進的。人工智能為機器人賦予了“大腦”，使其具備感知、思考和決策能力；而機器人則為人工智能提供了“身體”，使其能夠與真實世界進行交互，獲取經(jīng)驗和知n具身智能的興起是人工智能和機器人技術(shù)各自發(fā)展到一定階段的必然結(jié)果，是兩者深度融合的體現(xiàn)。人工智能的持續(xù)進步需要與物理世界的交互能力，而機器人的未來發(fā)展也離不開更高級別的智能化水平。n如果說OpenAI的ChatGPT引爆了2023年對大語言模型的投資熱潮，那么Tesla入局人形機器人和黃仁勛的“AI的下一個浪潮是具身智能”，則徹底帶火了具身智能與人形機器人領(lǐng)域的投資熱潮，成為2024年科技產(chǎn)業(yè)投資的最大熱點。n從投資角度看，頭部人形機器人的本體研發(fā)集成廠商已經(jīng)歷多輪融資，估值較高，行業(yè)整體投資熱點正從人形機器人本體向具身智能模型和其他上游零部件遷移。FigureAI2024年2月6.星海圖2024年11月超2億元3具身大模型賦能人形機器n從物理空間的角度來劃分，大模型可以分為非具身大模型（DisembodiedModel）、具身智能大模型（又被叫做機器人大模型）（EmbodiedVLAModel）。它們的區(qū)別是能否生成運動姿態(tài)（例如夾爪的末端位姿等），即是否能跟物理機器人聯(lián)系起來。n目前，具身大模型可以分為兩大流派。一類是端到端大模型，一類是分層具身大模型。?從人體“大腦-小腦-肢體”的架構(gòu)來看，分層大模型通過不同層次模型協(xié)作，利用底層硬件層和中間響應(yīng)快的小模型彌補上層大語言模型的不足，推動機器人在實際場景的應(yīng)用，并越來越多地采用基于學(xué)習(xí)的控制方法。?VLA等端到端模型能夠直接實現(xiàn)從人類指令到機械臂執(zhí)行，即輸入圖像及文本指令，輸出夾爪末端動作。?分層式路線一度是主流選擇，因為端到端路線受數(shù)據(jù)制約難以達到性能要求；機器人數(shù)據(jù)正在逐步積累，端到端路線在未來可能成為主流。Vision-Language-ActionModel，中泰證券研n在機器人中，端到端大模型可實現(xiàn)直接端到端地從人類指令到機械臂執(zhí)行，即輸入是圖像及文本指令，輸出是夾爪末端動作。以谷歌的RT-1到RT-2的進化迭代為例：?谷歌RT-1——關(guān)注泛化能力：2022年，谷歌機器人研究團隊歷時17個月基于13個機器人得到了130kepisodes以及超過700個任務(wù)的數(shù)據(jù)，在該數(shù)據(jù)集的基礎(chǔ)之上，基于模仿學(xué)習(xí)中行為克隆學(xué)習(xí)范式，把Transformer應(yīng)用機器人的操縱任務(wù)上，提出了RT-1模型。RT-1的輸入由圖片序列、自然語言指令構(gòu)成，輸出由機械臂運動的目標位姿(Toll,pitchgaw,gripperstαtus)、基座的運動、模式轉(zhuǎn)換指令構(gòu)成。?谷歌RT-2——獲得涌現(xiàn)能力：2023年，Google的DeepMind團隊基于互聯(lián)網(wǎng)上數(shù)據(jù)訓(xùn)練視覺-語言模型(VLM)，使其能夠?qū)W習(xí)到更多關(guān)于視覺和語言之間映射關(guān)系的知識后，在機器人操縱任務(wù)上微調(diào)，提出了RT-2。RT-2的目標是訓(xùn)練一個學(xué)習(xí)機器人觀測到動作的端到端模型，且能夠利用大規(guī)模預(yù)訓(xùn)練視覺語言模型的益處，經(jīng)測評，這類學(xué)習(xí)方法產(chǎn)生的Vision-Language-Action(VLA)模型獲得了涌現(xiàn)能力。資料來源：機器人大講堂，騰訊網(wǎng)，中泰證券研究所資料n以谷歌RT-2發(fā)布為標志，VLA模型正式進入人們的視野中并快速發(fā)展。nVLA模型是在視覺語言模型（VLM）的基礎(chǔ)上發(fā)展而來的。在VLM基礎(chǔ)上，它還利用了機器人或汽車運動軌跡的數(shù)據(jù)，進一步訓(xùn)練這些現(xiàn)有的VLM，以輸出可用于機器人或汽車控制的動作序列。通過這種方式，VLA可以解釋復(fù)雜的指令并在物理世界中執(zhí)行相應(yīng)的動作。?端到端架構(gòu)：VLA是一個端到端的大模型，這意味著它可以簡化傳統(tǒng)上需要多個獨立模塊才能完成的任務(wù)流程。這不僅可以提高系統(tǒng)的效率，還能增強其靈活性和適應(yīng)性。?泛化能力：VLA具有強大的泛化能力。以谷歌DeepMind推出的RT-2為例，該模型可以在新的物體、背景和環(huán)境中表現(xiàn)出顯著改善的性能。它可以理解并響應(yīng)那些在訓(xùn)練數(shù)據(jù)集中未曾出現(xiàn)過的命令，并基于底層語言模型提供的思路鏈進行推理，從而做出合理的決策。?通用性：VLA具備高度的通用性。由于它是建立在一個通用的大規(guī)模預(yù)訓(xùn)練基礎(chǔ)上，因此理論上幾乎所有的“智能機器設(shè)備”都可以使用這套算法。無論是汽車、飛行器還是其他類型的機器人，只需要經(jīng)過適當(dāng)?shù)奈⒄{(diào)就能滿足特定應(yīng)用場景的需求。?數(shù)據(jù)來源非常有限：谷歌在MountainVillage（美國加州）辦公室的廚房里采集了17個月，得到13萬條數(shù)據(jù)，使得其機器人在谷歌的廚房里表現(xiàn)可以非常好。但一旦出了這個廚房，需要考察其環(huán)境泛化性，它的成功率就從97%驟降到30%左右。并且這種泛化是有選擇的泛化，不是將其直接放到施工工地、非常嘈雜的后廚等場景中。?推理、響應(yīng)速度仍有待提升：RT-2大模型中包含了谷歌上一代大模型PaLM-E，它的速度只能達到1～3Hz，對應(yīng)機器人的反射弧長達0.3秒甚至1秒。n分層決策模型通過將感知、規(guī)劃決策、控制和執(zhí)行各模塊分解為多個層級，分別突破“大腦”和“小腦”，利用不同的神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，最終再整合起來。?一個典型案例如Figure02。Figure02采用三層級方案：1）頂層集成了OpenAI的大模型，負責(zé)視覺推理和語言理解；2）中間層是神經(jīng)網(wǎng)絡(luò)策略（NNP），負責(zé)快速、靈巧的操作，將視覺信息直接轉(zhuǎn)換為動作指令，并輸出這些指令；3）底層是全身控制器，負責(zé)提供穩(wěn)定的基礎(chǔ)控制，在接收NNP的動作指令后，輸出各關(guān)節(jié)的扭矩指令。?另一典例如銀河通用的三層級大模型方案。1）底層是硬件層，2）中間層是通過仿真合成數(shù)據(jù)不用任何真實世界數(shù)據(jù)訓(xùn)練的泛化的技能，3）最上層是大模型，可以調(diào)度中間技能API，來實現(xiàn)完整的從任務(wù)的感知、規(guī)劃到執(zhí)行的全流程。資料來源：AI科技評論，網(wǎng)易，中泰證券研究所資料來源：智東西，騰訊網(wǎng)，中泰證券研究所3.3分層模型中，大模型為“大腦”n在分層端到端模型方案中，機器人的四大板塊（感知、規(guī)劃決策、控制和執(zhí)行），逐漸被類人化地劃分為負責(zé)解決高層次認知或決策問題（highlevel）的“大腦”，以及負責(zé)基礎(chǔ)層面的功能性問題（lowlevel）的“小腦”。兩大系統(tǒng)各司其職又互相合作，“大腦”負責(zé)解析任務(wù)需求，整合來自傳感器的信息，進行任務(wù)的細化和策略規(guī)劃；“小腦”則專注于精細的運動控制，確保在“大腦”制定的策略指導(dǎo)下，機器人能夠準確無誤地執(zhí)行動作并進行必要的調(diào)整。目前較為普遍的方向是，機器人的“大腦”由大模型來擔(dān)任，“小腦”則依然為底層控制算法。n大腦：負責(zé)highlevel的感知和規(guī)劃決策系統(tǒng)，是多模態(tài)大模型。基于多模態(tài)大模型，機器人能學(xué)習(xí)、理解、融合和對齊各傳感器采集而來的跨模態(tài)信息，實現(xiàn)對復(fù)雜環(huán)境的魯棒建模與更精準、通用的感知，并根據(jù)環(huán)境情況，自主拆解任務(wù)、規(guī)劃動作。n目前基于大模型的“大腦”技術(shù)路線正處在并行探索階段，并逐漸向端到端的大模型演進。現(xiàn)階段主要是4條技術(shù)路線：?LLM（大語言模型）+VFM（視覺基礎(chǔ)模型）：實現(xiàn)人機語言交互、任務(wù)理解、推理和規(guī)劃，目前最為成熟。主要代表是谷歌的SayCan模型。?VLM（視覺-語言模型）：彌合語言與視覺理解間的差距，實現(xiàn)更準確的任務(wù)規(guī)劃和決策，主要代表是清華大學(xué)的CoPa模型，利用嵌入在基礎(chǔ)模型（比如視覺語言模型的代表GPT-4V）中的常識知識為開放世界機器人操控生成一系列的自由度末端執(zhí)行器姿勢，生成的操控任務(wù)分為任務(wù)導(dǎo)向抓取和感知運動規(guī)劃。?VLA（視覺-語言-動作模型）：在VLM基礎(chǔ)上增加運動控制，解決機器人運動軌跡決策問題。主要代表是谷歌RT-H模型，學(xué)習(xí)語言和運動，并使用視覺上下文，通過利用語言-視覺-動作結(jié)合的多任務(wù)數(shù)據(jù)集學(xué)習(xí)更強大和靈活的動作策略?多模態(tài)大模型：實現(xiàn)對物理世界環(huán)境的全面感知，是未來的主要研究方向。主要代表是麻省理工、IBM等共同研究的MultiPLY模型，將視覺、觸覺、語音等3D環(huán)境的各類特征作為輸入，以形成場景外觀的初步印象，并通過多視圖關(guān)聯(lián)將印象中的輸出融合到3D，最終得到以對象為中心的場景特征。n“小腦”的運動規(guī)劃與控制是人形機器人實現(xiàn)自然和流暢動作的關(guān)鍵。目前，“小腦”運動控制包括基于模型的控制方法和基于學(xué)習(xí)的控制方式兩個大類。?傳統(tǒng)的基于模型的控制方法：通過建立機器人的運動學(xué)和動力學(xué)模型，進行運動軌跡規(guī)劃和平衡控制。這一類方法的特點是身體控制穩(wěn)健，但步頻較慢，且整體開發(fā)較為復(fù)雜，成本高，不利于產(chǎn)品快速迭代。基于模型的控制方法具體包括ZMP判據(jù)及預(yù)觀控制、混雜零動態(tài)規(guī)劃方法、虛擬模型解耦控制、模型預(yù)測控制+全身控制（MPC+WBC）等。?基于學(xué)習(xí)的控制方法：使用端到端的人工智能技術(shù)，代替復(fù)雜的運動學(xué)模型，大幅度降低了“小腦”開發(fā)難度、提升了迭代速度，一般通過人類示教或自主學(xué)習(xí)建立運動執(zhí)行策略，其中通過人類示教的方式也稱為模仿學(xué)習(xí)，效果依賴高質(zhì)量示范數(shù)據(jù)；通過自主學(xué)習(xí)的方式也稱為強化學(xué)習(xí)（ReinforcementLearning，RL），指通過精心設(shè)計學(xué)習(xí)目標，機器人不斷在環(huán)境中探索逐漸發(fā)現(xiàn)最大化獎勵的方式學(xué)習(xí)到最優(yōu)的執(zhí)行策略，效果依賴于仿真環(huán)境。n根據(jù)智元機器人定義的路線圖，當(dāng)前具身智能大腦已經(jīng)具備認知、推理、規(guī)劃的能力，且而小腦層面機器人技能任務(wù)的訓(xùn)練也是通過深度學(xué)習(xí)以驅(qū)動的。隨著場景、數(shù)據(jù)的增多，多個特定小模型會逐漸泛化為通用操作大模型，并最終實現(xiàn)與上層模型的融合。n一些對人類來說很簡單的任務(wù)，對機器人來說可能并不容易，如靈巧性能力、空間感知能力、平衡恢復(fù)能力等，為了克服這些問題，需要用海量數(shù)據(jù)進行訓(xùn)練，使機器人變得更加智能。n但同時，機器人也是一個非常新的領(lǐng)域，嚴重缺乏訓(xùn)練數(shù)據(jù)的積累。對比不同模態(tài)下的最大數(shù)據(jù)集，文本模態(tài)約15Ttokens，圖片模態(tài)有6B圖文配對數(shù)據(jù)，視頻模態(tài)有2.6B視聽特征數(shù)據(jù)。然而機器人模態(tài)只有240萬個數(shù)據(jù)片段，相比其他模態(tài)而言，數(shù)據(jù)積累遠遠不夠。n針對數(shù)據(jù)這一問題，業(yè)界形成了四種流派，以快速積累機器人訓(xùn)練數(shù)據(jù)，分別是遠程操作、AR、仿真、視頻學(xué)習(xí)。資料來源：Coatue，中泰證券研究所n遠程操作，即由實驗人員操作機械手柄，遠程控制機器人做出相同動作，以此來積累數(shù)據(jù)。?近期的研究通過多個操作員協(xié)作收集了大規(guī)模多樣化的數(shù)據(jù)集，結(jié)果表明，基于這些數(shù)據(jù)集訓(xùn)練的機器人表現(xiàn)出色，甚至能夠在不同環(huán)境中泛化。n然而，數(shù)據(jù)采集是這一方法更廣泛應(yīng)用的主要瓶頸。?在單臂機器人任務(wù)中，數(shù)據(jù)采集通常需要多個操作員、機器人以及數(shù)月的人力投入。針對類人機器人的數(shù)據(jù)采集則更具挑戰(zhàn)性，因為同時控制多只手臂和多指靈巧手的復(fù)雜性較高。?為了實現(xiàn)類人機器人的實時遠程操作，研究人員開發(fā)了專門的遠程操作界面，但這些界面的成本高昂，難以實現(xiàn)規(guī)模化。類人機器人的任務(wù)復(fù)雜性也更高，因此數(shù)據(jù)需求更大，但由于操作員需同時控制多臂和多指手，工作負擔(dān)大幅增加，數(shù)據(jù)采集也更加困難。資料來源：Coatue，中泰證券研究所n所謂仿真，即通過海量算力進行模擬運算，計算得出海量機器人訓(xùn)練數(shù)據(jù)集。仿真可能是目前最有可能做到規(guī)模化數(shù)據(jù)生成的路徑，不過其背后需要巨大的算力支持。n2024年11月，來自英偉達、UTAustin和UCSD的研究人員推出了一種大規(guī)模自動化數(shù)據(jù)生成系統(tǒng)——DexMimicGen。它可基于少量人類演示合成類人機器人的靈巧手運動軌跡，幫助實現(xiàn)在更少人工干預(yù)下擴大類人數(shù)據(jù)的采集。?DexMimicGen的核心思想是利用一小組人類演示，并通過在物理仿真中進行演示轉(zhuǎn)換和重放，自動生成大量適用于雙手靈巧操作場景中模仿學(xué)習(xí)的訓(xùn)練數(shù)據(jù)。例如，從僅5個源人類演示開始，DexMimicGen可以生成1000個雙手靈巧任務(wù)的演示。研究團隊從60個源人類演示中總共生成了21000個演示，涵蓋了9種不同的任務(wù)。?研究團隊發(fā)現(xiàn)，相較僅依賴源演示，DexMimicGen大幅提升了策略成功率，所有任務(wù)中基于DexMimicGen數(shù)據(jù)集訓(xùn)練的機器人表現(xiàn)明顯優(yōu)于僅基于少量源數(shù)據(jù)訓(xùn)練的機器人。且隨著DexMimicGen數(shù)據(jù)量的增加，策略的性能也隨之提升。圖表：DexMimicGen大幅提升了策略的成功率圖表：隨著DexMimicGen數(shù)據(jù)量的增加，策略的性能也隨之提升資料來源：新智元，36氪，中泰證券研究所資料來源：新智元，36氪，Github，中泰證券研究所32n在一項名為《ExplainableHuman-RobotTrainingandCooperationwithAugmentedReality》的研究中，研究人員通過AR（增強現(xiàn)實）技術(shù)讓人機交互過程具備更強的可解釋性，從而進行數(shù)據(jù)積累。n2024年10月，斯坦福李飛飛團隊發(fā)表論文《ARCap：CollectingHigh-qualityHumanDemonstrationsforRobotLearningwithAugmentedRealityFeedback》，提出了ARCap系統(tǒng)。?ARCap是一種便攜式數(shù)據(jù)收集系統(tǒng)，它通過增強現(xiàn)實（AR）和觸覺警告提供視覺反饋，以指導(dǎo)用戶收集高質(zhì)量的演示。ARCap使新手用戶能夠收集與機器人運動學(xué)相匹配的機器人可執(zhí)行數(shù)據(jù)，并避免與場景發(fā)生碰撞。利用從ARCap收集的數(shù)據(jù)，機器人可以執(zhí)行具有挑戰(zhàn)性的任務(wù)，例如在雜亂的環(huán)境中進行操作和長視野跨具身操作。?ARCap完全開源且易于標定；所有組件均由現(xiàn)成的產(chǎn)品構(gòu)建。圖表：研究人員通過AR指導(dǎo)機器人行為，機器人在AR場資料來源：ExplainableHuman-RobotTrainingandCoopen視頻學(xué)習(xí)，即通過多模態(tài)大模型，直接讓機器人通過視頻學(xué)習(xí)人類動作，從而積累訓(xùn)練數(shù)據(jù)。?考慮到直接學(xué)習(xí)人類操作、人類遠程操控等方式的示教成本較高，“從人類視頻中學(xué)習(xí)”已成為機器人的主流訓(xùn)練方法之一，如直接通過YouTube視頻進行策略學(xué)習(xí)。?但視頻學(xué)習(xí)同樣有自己難以解決的問題：1）控制上：不同于以往的示教方法（如遙操作示教及拖動示教），視頻示教沒有提供機器人本體的motion數(shù)據(jù)，agent需要僅根據(jù)演示視頻生成action。2）感知方面，讓機器人理解人類演示視頻也具有很大挑戰(zhàn)，機器人與人類的視角不同，并且人類演示視頻中，每一幀是人手臂的運動圖像，而機器人捕獲的圖像是機械臂的運動圖像，這些原因?qū)е铝搜菔疽曨l與機器人感知的圖像之間存在gap。資料來源：LearningbyWatching：Phn2024年12月，宇樹開源了一系列數(shù)據(jù)采集工具和數(shù)據(jù)集。?數(shù)據(jù)采集工具包括但不限于：1）針對開源機器人系統(tǒng)R(obot)OS推出的模擬包，包含宇樹系列機器人的質(zhì)量、慣量、力矩等參數(shù)；2）使用蘋果VisionPro對G1進行遙操作控制的倉庫，可以用于數(shù)據(jù)采集；3）RLGYM，用于機器人仿真訓(xùn)練，之前開源了英偉達IssacGym平臺上的訓(xùn)練代碼，這次新增了對MuJoCo模擬仿真的支持。?數(shù)據(jù)集：包含五種操作，使用配備有三指靈巧手的宇樹G1人形機器人收集，每張圖分辨率為640×480，每個手臂和靈巧手的狀態(tài)和動作維度為7，可使機器人完成擰瓶蓋倒水、疊放積木等操作。n在數(shù)據(jù)采集環(huán)節(jié)，宇樹運用了蘋果VisionPro進行G1的遙操作控制，該數(shù)據(jù)集采用640x480分辨率的圖像，并記錄了機器人手臂和靈巧手的七維狀態(tài)和動作數(shù)據(jù)。圖表：宇樹開源的數(shù)據(jù)采集工具項目資料來源：量子位，中泰證券研究所資料來源：量子位n特斯拉在AI系統(tǒng)訓(xùn)練中采取的是以真實數(shù)據(jù)為驅(qū)動的策略。為訓(xùn)練Optimus機器人執(zhí)行類人動作，特斯拉大量招募“數(shù)據(jù)收集操作員”，要求其穿戴動作捕捉服、VR頭顯等設(shè)備，模擬機器人需完成的動作（如行走、搬運物品）。Optimus的核心亮點之一在于其利用動作捕捉技術(shù)，以及VR和AR技術(shù)的融合應(yīng)用，以實現(xiàn)更為真實的人類動作模擬。n以波士頓動力的Atlas人形機器人為例，Atlas依靠其視覺系統(tǒng)進行任務(wù)排序的推理，低層控制器進行行動規(guī)劃。而不管是“大腦”視覺系統(tǒng)還是“小腦”控制系統(tǒng)，都離不開數(shù)據(jù)訓(xùn)練。nAtlas的訓(xùn)練過程融合了多個數(shù)據(jù)來源，包括真實工廠部署數(shù)據(jù)、實驗室測試數(shù)據(jù)以及仿真環(huán)境中的模擬數(shù)據(jù)。通過對這些數(shù)據(jù)進行強化學(xué)習(xí)，不斷訓(xùn)練、調(diào)優(yōu)規(guī)控算法，Atlas能夠逐步掌握類似人類的精細操作技能。nFigureAI創(chuàng)建于2022年，相較于國內(nèi)外幾家知名機器人公司成立時間較晚，側(cè)重于研究具身人工智能發(fā)展。nFigureAI基于端到端運動控制算法，結(jié)合OpenAI的GPT，先于特斯拉公開展示了人形機器人在無需預(yù)設(shè)程序的情況下的高度自主性和智能化交互，形成模型訓(xùn)練-云端設(shè)施-車廠落地的閉環(huán)。n近期，結(jié)束與OpenAI的合作后，F(xiàn)igureAI實現(xiàn)將首個自研具身模型Helix裝入機器人Figure。預(yù)告中展示了通過通用的“視覺-語言-感知”（VLA）模型Helix訓(xùn)練機器人，將感知、語言理解和學(xué)習(xí)控制統(tǒng)一起來，展示出較大的多機協(xié)作與強大的泛化功能。其原理包括雙系統(tǒng)建構(gòu)、端到端訓(xùn)練、解耦架構(gòu)、優(yōu)化推理部署。資料來源：FigureAI官方社媒，51CTO.c資料來源：FigureAI官方社媒，中泰nHelix是一個通用的“視覺-語言-感知”（VLA）模型，將感知、語言理解和學(xué)習(xí)控制統(tǒng)一起來，可以通過自然語言直接控制人形機器人整個上半身。nHelix是首創(chuàng)的“系統(tǒng)1、系統(tǒng)2”VLA模型，用于對整個仿人上半身進行高速、靈巧的控制。之前的方法面臨著一個基本的權(quán)衡：VLM骨架通用但不快速，而機器人視覺運動策略快速但不通用。Helix通過兩個互補系統(tǒng)解決了這一問題，這兩個系統(tǒng)經(jīng)過端對端訓(xùn)練，可以進行通信：?系統(tǒng)2：經(jīng)過互聯(lián)網(wǎng)訓(xùn)練的板載VLM，工作頻率為7-9Hz，用于場景理解和語言理解，可廣泛應(yīng)用于各種物體和環(huán)境。?系統(tǒng)1：快速反應(yīng)視覺運動策略，將系統(tǒng)2生成的潛在語義表征轉(zhuǎn)化為200Hz的精確連續(xù)機器人動作。n這種解耦架構(gòu)允許每個系統(tǒng)以其最佳時間尺度運行，系統(tǒng)2可以“慢思考”高層次目標，而系統(tǒng)1則可以“快思考”實時執(zhí)行和調(diào)整動作。n在訓(xùn)練效率方面，Helix以極少的資源實現(xiàn)了圖表：Helix：用于整個上半身控制的“系統(tǒng)1、系統(tǒng)2”VLA強大的對象泛化能力。研究團隊總共使用了約500小時的高質(zhì)量監(jiān)督數(shù)據(jù)對Helix進行訓(xùn)練，其規(guī)模僅為之前收集的VLA數(shù)據(jù)集的一小部分（<5%），并且不依賴于多機器人-具身收集或多階段訓(xùn)練。n同時，Helix只需一個統(tǒng)一的模型，就能在不同任務(wù)中實現(xiàn)強大的性能。Helix的系統(tǒng)2參n銀河通用機器人有限公司成立于2023年，專注于通用具身多模態(tài)大模型機器人研發(fā)，并與北京大學(xué)等多所高校成立了具身智能相關(guān)聯(lián)合實驗室。銀河通用研發(fā)的端到端具身抓取基礎(chǔ)大模型GraspVLA及基于仿真數(shù)據(jù)驅(qū)動的訓(xùn)練范式，能夠顯著提升機器人在復(fù)雜環(huán)境下的操作精度與適應(yīng)性，尤其在處理多變材質(zhì)、動態(tài)工況等挑戰(zhàn)場景中展現(xiàn)出卓越優(yōu)勢。nGraspVLA的訓(xùn)練包含預(yù)訓(xùn)練和后訓(xùn)練兩部分。其中預(yù)訓(xùn)練完全基于合成大數(shù)據(jù)，訓(xùn)練數(shù)據(jù)達到了十億幀“視覺-語言-動作”對，掌握泛化閉環(huán)抓取能力、達成基礎(chǔ)模型。而針對特別需求，后訓(xùn)練僅需小樣本學(xué)習(xí)即可遷移基礎(chǔ)能力到特定場景，維持高泛化性的同時形成符合產(chǎn)品需求的專業(yè)技能。n整個開發(fā)過程無需大規(guī)模真實數(shù)據(jù)、僅通過合成數(shù)據(jù)達到基礎(chǔ)模型，開創(chuàng)了VLA領(lǐng)域發(fā)展的全新范式。n2024年，智元機器人在上海建了一座數(shù)據(jù)采集工廠，該數(shù)據(jù)采集工廠投入使用兩個多月，就采集了超百萬量級真機數(shù)據(jù)集，采集任務(wù)超一千種。現(xiàn)在智元數(shù)據(jù)采集工廠投放了近百臺機器人，日均采集3-5w條數(shù)據(jù)。n12月30日，智元機器人宣布開源AgiBotWorld（智元世界）。智元AgiBotWorld數(shù)據(jù)集包含超過100萬條真實機器人操作數(shù)據(jù)，覆蓋家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）五大場景，涵蓋80余種日常技能（如抓取、折疊、熨燙）和3000多種真實物品。數(shù)據(jù)質(zhì)量從實驗室級上升到工業(yè)級標準。n2025年2月，智元機器人宣布推出自主研發(fā)的大型仿真框架AgiBotDigitalWorld，為機器人操作提供靈活的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練的大規(guī)模仿真數(shù)據(jù)和統(tǒng)一的模型評測標準，同步開源海量仿真數(shù)據(jù)。圖表：智元具身智能數(shù)據(jù)系統(tǒng)AIDEA資料來源：焉知科技，中泰證券研究所資料來源：智元機器人，第一財經(jīng)，中泰證券研究所n在優(yōu)必選內(nèi)部，人形機器人訓(xùn)練的數(shù)據(jù)的收集有這樣一個“二八定律”：用于人形機器人訓(xùn)練的20%的數(shù)據(jù)，由真實的機器人在實際場景中進行遙操作收集而來，80%的數(shù)據(jù)則是在仿真環(huán)境下生成而來。因此，優(yōu)必選搭建了人形機器人智能仿真系統(tǒng)UNDERS2，可以低成本地為人形機器人模擬和生成多樣化的場景。n同時，優(yōu)必選通過與比亞迪、吉利、東風(fēng)柳汽等車企合作，將人形機器人（如WalkerS系列）部署在總裝車間實訓(xùn)，打造人形機器人與無人物流車等協(xié)同作業(yè)的工業(yè)場景解決方案。n目前優(yōu)必選正在人形機器人應(yīng)用場景中驗證DeepSeek技術(shù)的有效性，如多模態(tài)人機交互、復(fù)雜環(huán)境中的指令理解、工業(yè)場景中的任務(wù)分解與規(guī)劃等，有望利用推理大模型的深度思考能力解決復(fù)雜任務(wù)中的挑戰(zhàn)。圖表：優(yōu)必選人形機器人智能仿真系統(tǒng)UNDERS2資料來源：澎湃新聞，中泰證券研究所資料來源nGR-1：VR動作捕捉，實現(xiàn)Sim2Real。傅利葉研發(fā)團隊率先在安全可控、低成本的仿真環(huán)境中訓(xùn)練GR-1，再將訓(xùn)練好的模型遷移到現(xiàn)實世界（Sim2Real）。這種方式大幅提升了算法的迭代開發(fā)效率，降低了算法開發(fā)的總體成本。研發(fā)人員穿戴VR和動作捕捉設(shè)備，遙操控制GR-1完成各種任務(wù)，記錄動作數(shù)據(jù)，用于訓(xùn)練和改進仿真模型，優(yōu)化機器人運動控制策略，增強在現(xiàn)實中的表現(xiàn)，像人類一樣靈活決策，完成各種任務(wù)。n利用NVIDIAIsaacGym開發(fā)人形機器人GR-2：傅利葉團隊采用了NVIDIAIsaacGym（現(xiàn)已棄用）進行強化學(xué)習(xí)，利用NVIDIAIsaacGym開發(fā)人形機器人GR-2，目前正在將其工作流遷移到NVIDIAIsaacLab。同時利用IsaacGym對抓取算法進行預(yù)訓(xùn)練，在實際部署前，對成功率進行仿真測算。這種方法顯著減少了真實世界中的試錯，節(jié)省了時間和資源。GR-2支持VR遙操作控制、拖拽示教、上位機末端控制等多種上肢示教方式。4具身智能賦能下，未來機n從迭代路徑看，ToB市場是人形機器人發(fā)展的必經(jīng)階段，ToC市場將成為遠期重點方向。n從技術(shù)領(lǐng)域看，“大腦”“小腦”屬于ICT領(lǐng)域，“肢體”屬于工業(yè)裝備領(lǐng)域，兩個領(lǐng)域應(yīng)協(xié)同發(fā)力，融合發(fā)展。但不同階段的發(fā)力重點各有側(cè)重。?在產(chǎn)業(yè)落地初期、應(yīng)用規(guī)模較小時，人形機器人能否落地的重要因素就是其智能化水平；在大規(guī)模應(yīng)用階段，成本問題成為核心因素。n人形機器人落地應(yīng)用節(jié)奏判斷：圖表：具身智能機器人應(yīng)用場景節(jié)奏預(yù)測?1）在工業(yè)制造場景，機器人的任務(wù)執(zhí)行和流程和任務(wù)本身有高度規(guī)則性，機器人具備極高的勞動力替代性。2）而服務(wù)場景更加開放，相關(guān)任務(wù)更加多樣化，更加不可預(yù)測，需要機器人具備更強的自主決策能力與泛化適應(yīng)性。n機器人在C端的應(yīng)用最具想象力，但短期來看，任務(wù)相對聚焦，對泛化能力要求不高工業(yè)制造場景下的任務(wù)正在更快進入商業(yè)化階段。n在工業(yè)制造場景實現(xiàn)商業(yè)化落地之后，海量機器人的具身數(shù)據(jù)疊加算力技術(shù)的進步，機器人的能力將循序漸進逐步解鎖，并向商用服務(wù)、家庭服務(wù)等更開放的場景進行延伸，屆時市場有望達萬億級。n根據(jù)中國信通院的研究，人形機器人或?qū)⒎秩齻€階段商業(yè)化落地。?第一階段（2024—2030年）：通過政策牽引，深入挖掘危險作業(yè)、極端環(huán)境等高價值場景，遴選一批可落地可推廣的典型需求。政府搭橋，推動特種應(yīng)用場景供需雙方對接，定向開發(fā)一批產(chǎn)品并落地應(yīng)?第二階段（2030—2035年加快探索工業(yè)制造、物流等制造業(yè)相關(guān)的大規(guī)模應(yīng)用場景，從“替代相對簡單且重復(fù)性的勞動”開始，成熟一代應(yīng)用一代，在迭代中加速技術(shù)成熟、降低單體成本、提升整體性能，逐步提高對制造業(yè)場景的滲透率。?第三階段（2035年后加強人工智能與人形機器人的融合創(chuàng)新，實現(xiàn)更高水平的具身智能，并推動人形機器人進入醫(yī)院、學(xué)校、商場、餐廳等服務(wù)業(yè)場景，最終走入千家萬戶n工業(yè)制造流程的特點使得該場景在具身智能技術(shù)落地應(yīng)用方面占據(jù)先發(fā)優(yōu)勢，如柔性生產(chǎn)需求迫切、工作環(huán)境結(jié)構(gòu)化程度高、成本效益優(yōu)勢突出等需求特點，刺激著工業(yè)制造場景客戶對工業(yè)具身智能的應(yīng)用更加期待。n工業(yè)具身智能機器人能夠有效提升工廠生產(chǎn)任務(wù)的靈活性與適應(yīng)性，并在作業(yè)過程中實現(xiàn)自主學(xué)習(xí)，不斷增強其復(fù)雜任務(wù)執(zhí)行能力與操作精度。n具身智能的訓(xùn)練需要數(shù)據(jù)，而質(zhì)量更高的數(shù)據(jù)需要從真實場景中來，機器人落地最快的場景仍然是場景相對封閉的工業(yè)制造場景，越早實現(xiàn)規(guī)模化落地，就有望越早實現(xiàn)模型的能力提升。圖表：工業(yè)場景率先應(yīng)用具身智能的原因資料來源：甲子光年，中泰證券研究所資料來源：甲子光年，中泰證券研究所n配天機器人是一家專注于工業(yè)機器人、核心零部件及行業(yè)自動化解決方案的提供商，是京城機電旗下的國家級高新技術(shù)企業(yè)。公司始終致力于機器人技術(shù)的自主研發(fā)及高端裝備技術(shù)瓶頸的突破，同時前瞻性布局打造以具身智能、機器人行為大模型為核心的“AI+機器人”。n植根于工業(yè)制造場景，配天在“AI+機器人”已經(jīng)成功研發(fā)免示教焊接軟件模塊，基于繹零機器人運動控制引擎，通過視覺檢測和感知技術(shù)實現(xiàn)對焊接任務(wù)的快速識別和自主調(diào)整，無需人工示教即可投入使用，適應(yīng)工廠靈活的排產(chǎn)需求。?應(yīng)用案例：船廠BK板免示教焊接。某船舶制造廠商專注于碳鋼船體結(jié)構(gòu)的生產(chǎn)，其生產(chǎn)線包含焊接工序。配天免示教焊接軟件模塊通過集成3D視覺系統(tǒng)，能夠自主識別工件信息，無需預(yù)先進行人工標記。該模塊可自動提取焊縫特征，并基于此選擇合適的焊接路徑規(guī)劃和工藝參數(shù)，最終驅(qū)動機器人完成焊接作業(yè)，有效滿足該產(chǎn)線的柔性化生產(chǎn)需求。圖表：配天機器人的工業(yè)自動化解決方案資料來源：甲子光年，中泰證券研究所資料來源n偉景智能創(chuàng)立于2016年，是一家專注于立體智能視覺系統(tǒng)和智能人形機器人研發(fā)、生產(chǎn)及應(yīng)用的高科技人工智能公司。公司的核心子公司偉景機器人成立于2017年，專注于機器人和立體智能視覺系統(tǒng)研發(fā)與應(yīng)用，擁有完整的智能機器人的生產(chǎn)線和3D立體智能相機整體解決方案，并形成了以自主核心算法、核心軟件、核心硬件及行業(yè)系統(tǒng)解