從大模型、智能體到復(fù)雜AI應(yīng)用系統(tǒng)的構(gòu)建——以產(chǎn)業(yè)大腦為例浙江大學(xué)計(jì)算機(jī)學(xué)科與技術(shù)學(xué)院人工智能研究所浙江大學(xué)人工智能教育教學(xué)研究中心2025.03杭州?大模型推理能力快速提升?四鏈融合產(chǎn)業(yè)大腦案例快速回望歷史——大模型的產(chǎn)生進(jìn)行海量數(shù)據(jù)學(xué)習(xí)訓(xùn)練，人類的反饋信息成為模型學(xué)習(xí)的內(nèi)容對(duì)人腦學(xué)習(xí)過(guò)程進(jìn)行重點(diǎn)關(guān)注開(kāi)始模仿人腦進(jìn)行大量數(shù)據(jù)的標(biāo)記基于模板和進(jìn)行海量數(shù)據(jù)學(xué)習(xí)訓(xùn)練，人類的反饋信息成為模型學(xué)習(xí)的內(nèi)容對(duì)人腦學(xué)習(xí)過(guò)程進(jìn)行重點(diǎn)關(guān)注開(kāi)始模仿人腦進(jìn)行大量數(shù)據(jù)的標(biāo)記基于模板和規(guī)則的前深度學(xué)習(xí)階段ChatGPT2019年2020年20182020年2018年2022年Instruct神經(jīng)網(wǎng)絡(luò)CNNM2m-基于規(guī)則的少量數(shù)M2m-基于規(guī)則的少量數(shù)據(jù)處理MachineLearningBARTT5BigBirdRNNALBERTXLMBERTALBERTXLMBERT1980年開(kāi)始1950年開(kāi)始ELECTRA1980年開(kāi)始1950年開(kāi)始ELECTRA2017年20062017年OpenAI公司于2022年11月發(fā)布ChatGPT，短短三個(gè)月內(nèi)日活躍用戶從零增長(zhǎng)至超過(guò)3000萬(wàn)，標(biāo)志著對(duì)話式AI進(jìn)入大眾應(yīng)用階段AI2.0時(shí)代短視頻片段廣告視頻自動(dòng)生成開(kāi)放的文本、圖像、音頻、視頻等內(nèi)容AI2.0時(shí)代短視頻片段廣告視頻自動(dòng)生成開(kāi)放的文本、圖像、音頻、視頻等內(nèi)容文本生成視頻生成語(yǔ)音生成代碼生成測(cè)試用例圖像生成廣告圖片多模態(tài)生成分類客戶流失預(yù)測(cè)客戶流失預(yù)測(cè)房?jī)r(jià)預(yù)測(cè)聚類客戶分群廣告定向大模型在知識(shí)問(wèn)答、數(shù)學(xué)、編程等能力上達(dá)到新的高度，多種任務(wù)上 Source:https://lifearchitect.ai/timeline/Multi-taskLanguageUnderstanMulti-taskLanguageUnderstanSource:https://paperswilanguage-understandin大語(yǔ)言模型易產(chǎn)生幻覺(jué)，在數(shù)學(xué)推理方面表現(xiàn)在推理能力嚴(yán)重不足，體現(xiàn)在簡(jiǎn)單數(shù)值比較錯(cuò)誤、多步推理能力弱、推理不一致等誰(shuí)是第一個(gè)登請(qǐng)告訴我獨(dú)角獸獨(dú)角獸被記載在大約公元前10000年漫它們經(jīng)常與皇室聯(lián)才是第一個(gè)登上月球的人，而尤里·加加林是為沒(méi)有經(jīng)過(guò)驗(yàn)證的現(xiàn)實(shí)世界證據(jù)支持獨(dú)角獸在亞特蘭蒂斯的存在，特別是與https://www.lakera.ai/blog/guide-to-9.11>9.9?簡(jiǎn)單數(shù)值比較錯(cuò)誤多步推理錯(cuò)誤大語(yǔ)言模型易產(chǎn)生幻覺(jué)，在數(shù)學(xué)推理方面表現(xiàn)在推理能力嚴(yán)重不足，體現(xiàn)在簡(jiǎn)單數(shù)值比較錯(cuò)誤、多步推理能力弱、推理不一致等無(wú)法在復(fù)雜的思維鏈中保持一致性推理過(guò)程和懷疑論YannYannLeCun的批判觀點(diǎn)：對(duì)純粹擴(kuò)大規(guī)模方法的根本質(zhì)疑MehrdadFarajtabar："LLM本質(zhì)上是統(tǒng)計(jì)模式匹配工具，而非真正的推理系統(tǒng)"、"下一個(gè)詞預(yù)測(cè)框架不足以產(chǎn)生真正的理解"YannLeCun：自回歸大型語(yǔ)言模型沒(méi)有前途橫空出世：OpenAIo1/o3、DeepSeek-R1等2023-20242023-2024年，推理能力突破性進(jìn)展：?OpenAIo1/o3在數(shù)學(xué)和代碼推理任務(wù)上的卓越表現(xiàn)?開(kāi)源大模型DeepSeek-R1在MATH基準(zhǔn)上達(dá)到87.2%的準(zhǔn)確率橫空出世：OpenAIo1/o3、DeepSeek-R1等2023-20242023-2024年，推理能力突破性進(jìn)展：?OpenAIo1/o3在數(shù)學(xué)和代碼推理任務(wù)上的卓越表現(xiàn)?開(kāi)源大模型DeepSeek-R1在MATH基準(zhǔn)上達(dá)到87.2%的準(zhǔn)確率DeepSeek的“ahamoment”這種深度推理能力是如何實(shí)現(xiàn)的？是單純的規(guī)模擴(kuò)展結(jié)果，還是有其他關(guān)鍵因素？1.早期的大模型推理能力不足2.OpenAI-o系列模型和DeepSeek-R1等勝在推理能力較強(qiáng)推理模型和思維鏈(ChainofThought,CoT)推理大模型：通過(guò)測(cè)試時(shí)拓展（推理大模型：通過(guò)測(cè)試時(shí)拓展（Test-TimeScaling）、強(qiáng)化學(xué)習(xí)、蒸餾等技術(shù)，大模型的推理能力不斷增強(qiáng)。HIMl2025.12024.112025.22025.22024.092025.12024.112025.22025.2OpenAIo1是專注于復(fù)雜推理任務(wù)，通過(guò)深度思考和策略優(yōu)化來(lái)解決問(wèn)題。OpenAIo1是專注于復(fù)雜推理任務(wù)，通過(guò)深度思考和策略優(yōu)化來(lái)解決問(wèn)題。o1/o3o1/o3在回答問(wèn)題之前先Reasoning，生成一個(gè)詳細(xì)的內(nèi)部思維鏈，模擬人類的深思熟慮，逐步分解復(fù)雜的問(wèn)題，提高答案的準(zhǔn)確性和深度。地鐵10地鐵10號(hào)線黃龍?bào)w育中心站->文三路->2.地鐵10號(hào)線轉(zhuǎn)2號(hào)線，這樣就是2站+這樣綜合看起來(lái)，最快的交通方案應(yīng)該2，共?有些問(wèn)題，人也很難快速寫出思維鏈，比如：田田二人輪流每次取走1~3根。規(guī)定誰(shuí)取走最后一根火柴誰(shuí)輸。如果雙方采用最佳方法，丁丁先取，那么誰(shuí)將依靠大模型自己生成思維鏈并求解求是小學(xué)組織去距離90公里的博物館春游，全班同學(xué)8:00從學(xué)校坐大巴車出發(fā)。班主任老師因?yàn)橛惺虑椋?:10自己自駕小車以大s1s1通過(guò)在一個(gè)精心構(gòu)建的小規(guī)模數(shù)據(jù)集上（1000條數(shù)據(jù)）進(jìn)行微調(diào)，并結(jié)合預(yù)算強(qiáng)制技術(shù)，實(shí)現(xiàn)了強(qiáng)大的推理能力和測(cè)試時(shí)計(jì)算擴(kuò)展性LIMOLIMO通過(guò)817個(gè)訓(xùn)練樣本（題目難度高，覆蓋知識(shí)面廣，解題步驟精細(xì)），模型就能在復(fù)雜的數(shù)學(xué)推理任務(wù)中取得有益的表現(xiàn)LIMO假說(shuō)：在預(yù)訓(xùn)練階段已經(jīng)充分編碼領(lǐng)域知識(shí)的基礎(chǔ)模型中，復(fù)雜的推理能力可以通過(guò)最少但精確編排的認(rèn)知過(guò)程演示來(lái)涌現(xiàn)：1.自動(dòng)化思維鏈(CoT)的實(shí)現(xiàn)是新一代大模型的精髓之一2.經(jīng)過(guò)精心設(shè)計(jì)的少量高質(zhì)量樣本即可實(shí)現(xiàn)適用于某個(gè)專業(yè)領(lǐng)域的高性能低成本推理模型?大模型除了可以和我聊天、回答問(wèn)題，到底還能干什么？?ChatGPT的回答?如果你只有一個(gè)大模型，使用它回復(fù)郵件的過(guò)程大致如下：④用戶將大模型生成的回復(fù)郵件拷貝至有沒(méi)有更加智能或者自動(dòng)化的工具來(lái)協(xié)助我們完成這些手動(dòng)操作呢？只有這個(gè)步驟是大模型自動(dòng)完成，其余步驟均需要用戶自行手動(dòng)操作 大語(yǔ)言模型（LLM）可以接受輸入，可以分析&推理、規(guī)劃任務(wù)、輸出文字\代碼\媒體。然而，其無(wú)法像人類一樣，擁有運(yùn)用各種工具與物理世界互動(dòng)，以及擁有人類的記憶能力。Short-termmemoryLong智能體 智能體Chainofthoughts?撰寫調(diào)研報(bào)告：調(diào)研特斯拉FSD和華為ADS這兩個(gè)自動(dòng)駕駛系統(tǒng)第一步：智能體進(jìn)行任務(wù)拆解，首先調(diào)用CollectLinks工具從搜索引擎進(jìn)行搜索并獲取Url地址/deve?撰寫調(diào)研報(bào)告：調(diào)研特斯拉FSD和華為ADS這兩個(gè)自動(dòng)駕駛系統(tǒng)第二步：調(diào)用WebBrowseAndSum第三步：調(diào)用ConductResearch工具生成調(diào)研報(bào)告?撰寫調(diào)研報(bào)告：調(diào)研特斯拉FSD和華為ADS這兩個(gè)自動(dòng)駕駛系統(tǒng)類型角色Researcher調(diào)研員智能體，從網(wǎng)絡(luò)進(jìn)行搜索并總結(jié)報(bào)告。通過(guò)LLM提示工程(PromptEngineering)，讓LLM以調(diào)研員的角色去規(guī)劃和拆分任務(wù)，使用提供的工具，完成調(diào)研過(guò)程，生成調(diào)研報(bào)告。在定義角色時(shí)，會(huì)為其注冊(cè)下面列出的各項(xiàng)工具工具CollectLinks問(wèn)題拆解，從搜索引擎進(jìn)行搜索，并獲取URL地址列表。該工具基于LLM提示工程和搜索引擎實(shí)現(xiàn)，其功能如下：（1）將問(wèn)題拆分成多個(gè)適合搜索的子問(wèn)題（基于LLM提示工程）;（2）通過(guò)搜索引擎搜索子問(wèn)題;（3）篩選出與調(diào)研問(wèn)題有關(guān)的URL，并根據(jù)網(wǎng)站可靠性對(duì)URL列表進(jìn)行排序工具WebBrowseAndSummarize瀏覽網(wǎng)頁(yè)并總結(jié)網(wǎng)頁(yè)內(nèi)容。由兩個(gè)工具組成：瀏覽網(wǎng)頁(yè)和總結(jié)網(wǎng)絡(luò)內(nèi)容。（1）瀏覽網(wǎng)頁(yè)是通過(guò)封裝的WebBrowserEngine工具訪問(wèn)搜索引擎實(shí)現(xiàn)的;（2）總結(jié)搜索結(jié)果是通過(guò)LLM提示工程實(shí)現(xiàn)。工具ConductResearch生成調(diào)研報(bào)告。基于LLM提示工程的工具，該工具會(huì)整合WebBrowseAndSummarize的輸出給到LLM，讓LLM生成調(diào)研報(bào)告記憶Short-termmemory短期記憶能力，metaGPT框架封裝了短期記憶的能力，用于在任務(wù)執(zhí)行周期內(nèi)保存和檢索上下文記憶，如CollectLinks和WebBrowseAndSummarize等工具的執(zhí)行結(jié)果。ThegrowthtrendonthefieldofLLM-basedautonomousagentsASurveyonLargeLanguageMoMulti-Agent，多個(gè)Agent共享一TheFrameworkofLLM-poweredAgentsMulti-modalPerceptionMemoryMemoryConstructionObservationEnvironmentMultimodalOutputMultimodalOutputAction更復(fù)雜的任務(wù)：大小模型協(xié)作的生成式智能體…LLMsMLcommunity/ToolLibrary/…HuggingGPT：大小模型協(xié)作的生成式智能體HuggingGPT：大小模型協(xié)作的生成式智能體airisksinaneraofrapidprogressManyofManyoftheseriskscouldsoonbeamplified,andnewriskscreated,ascompaniesaredevelopingautonomousAI:systemsthatcanplan,actintheworld,andpursuegoals[1]Akhaliq的推薦和解讀?獲得斯坦福客座教授吳恩達(dá)、英偉達(dá)GEARLab主任Akhaliq的推薦和解讀?開(kāi)源倉(cāng)庫(kù)獲得2萬(wàn)多次收藏，獲得國(guó)際測(cè)試委員會(huì)頒發(fā)的2022-2023百大開(kāi)源成就獎(jiǎng)，Demo系統(tǒng)獲得HuggingModelScope等團(tuán)隊(duì)關(guān)注，推出相應(yīng)的產(chǎn)品和功能：智能時(shí)代一直沒(méi)有出現(xiàn)像Windows、安卓/iOS這樣真正的操作系統(tǒng)——能夠?yàn)橛脩籼峁┬畔⑾到y(tǒng)入口/界面，同時(shí)…各種…各種器器LanguageModelsareGeneral-YaruHaoEt.al.DOI:arxiv-2206.063361.智能體(AIAgent)是大模型(Brain)的眼(Observation)和手2.通過(guò)智能體(AIAgent)可以基于大模型實(shí)現(xiàn)各種較為復(fù)雜的智能應(yīng)用系統(tǒng)產(chǎn)業(yè)競(jìng)爭(zhēng)從國(guó)家間產(chǎn)業(yè)競(jìng)爭(zhēng)從國(guó)家間分段互補(bǔ)合作模式轉(zhuǎn)為主導(dǎo)權(quán)、制高點(diǎn)斷鏈風(fēng)險(xiǎn)斷鏈風(fēng)險(xiǎn)供應(yīng)風(fēng)險(xiǎn)供應(yīng)風(fēng)險(xiǎn)操作系統(tǒng)等存儲(chǔ)器制造整機(jī)組裝整機(jī)組裝過(guò)去：分段互補(bǔ)合作模式制高點(diǎn)關(guān)鍵芯片基礎(chǔ)軟件產(chǎn)業(yè)鏈控制基礎(chǔ)支撐保障基礎(chǔ)支撐保障創(chuàng)新能力、供應(yīng)鏈體系、人才資源現(xiàn)在：主導(dǎo)權(quán)和卡脖子爭(zhēng)奪卡脖子技術(shù)識(shí)別資源優(yōu)化配置產(chǎn)業(yè)鏈自主可控卡脖子技術(shù)識(shí)別資源優(yōu)化配置產(chǎn)業(yè)鏈自主可控如何精準(zhǔn)科學(xué)地識(shí)別并批量形成具有戰(zhàn)略意義的"卡脖子"問(wèn)題清單，是我國(guó)實(shí)現(xiàn)關(guān)技術(shù)創(chuàng)新路徑規(guī)劃數(shù)字化轉(zhuǎn)型方案智能制造升級(jí)綠色低碳發(fā)展技術(shù)競(jìng)爭(zhēng)態(tài)勢(shì)分析技術(shù)創(chuàng)新路徑規(guī)劃數(shù)字化轉(zhuǎn)型方案智能制造升級(jí)綠色低碳發(fā)展技術(shù)競(jìng)爭(zhēng)態(tài)勢(shì)分析產(chǎn)品創(chuàng)新方向競(jìng)爭(zhēng)優(yōu)勢(shì)構(gòu)建產(chǎn)業(yè)協(xié)同需求產(chǎn)業(yè)資源對(duì)接創(chuàng)新要素匹配產(chǎn)業(yè)生態(tài)融入航空航天、軌道交通、新材料、新能源、電子信息等戰(zhàn)略產(chǎn)業(yè)、未來(lái)產(chǎn)業(yè)對(duì)產(chǎn) 創(chuàng)新體系建設(shè) 創(chuàng)新體系建設(shè)關(guān)鍵核心技術(shù)突破創(chuàng)新鏈產(chǎn)業(yè)鏈融合科技創(chuàng)新體系優(yōu)化產(chǎn)業(yè)創(chuàng)新生態(tài)營(yíng)造新興產(chǎn)業(yè)培育產(chǎn)業(yè)發(fā)展戰(zhàn)略規(guī)劃新興產(chǎn)業(yè)布局指導(dǎo)產(chǎn)業(yè)能級(jí)提升路徑未來(lái)產(chǎn)業(yè)培育方向產(chǎn)業(yè)鏈風(fēng)險(xiǎn)預(yù)警供應(yīng)鏈韌性提升產(chǎn)業(yè)鏈補(bǔ)鏈強(qiáng)鏈產(chǎn)業(yè)安全保障體系各地各行業(yè)在布局新興/未來(lái)產(chǎn)業(yè)的過(guò)程中，由于對(duì)前沿技術(shù)、技術(shù)路線、應(yīng)用場(chǎng)景、大規(guī)模產(chǎn)業(yè)化的時(shí)機(jī)等方面把握不準(zhǔn)，難以產(chǎn)業(yè)技術(shù)監(jiān)測(cè)跟蹤產(chǎn)業(yè)技術(shù)“弱信號(hào)”發(fā)現(xiàn)產(chǎn)業(yè)發(fā)展趨勢(shì)預(yù)測(cè)產(chǎn)業(yè)技術(shù)監(jiān)測(cè)跟蹤產(chǎn)業(yè)技術(shù)“弱信號(hào)”發(fā)現(xiàn)如何如何精準(zhǔn)感知產(chǎn)業(yè)技術(shù)態(tài)勢(shì)，科學(xué)研判產(chǎn)業(yè)發(fā)展方向，及時(shí)布局AI推動(dòng)“科技創(chuàng)新”和“產(chǎn)業(yè)創(chuàng)新”的深度融合推動(dòng)創(chuàng)新鏈、產(chǎn)業(yè)鏈、資金鏈、人才鏈深度融合是解決當(dāng)前乃至未來(lái)較長(zhǎng)時(shí)間內(nèi)加強(qiáng)產(chǎn)業(yè)創(chuàng)新發(fā)展、加快鍛造新質(zhì)生產(chǎn)力的重要抓手產(chǎn)業(yè)經(jīng)濟(jì)面臨機(jī)遇全球經(jīng)濟(jì)發(fā)展，產(chǎn)品和服務(wù)的需求不斷變化和升級(jí)，為產(chǎn)業(yè)經(jīng)濟(jì)提供了廣闊的發(fā)展空間新技術(shù)、新工藝和新材料的涌現(xiàn)，為產(chǎn)業(yè)經(jīng)濟(jì)的產(chǎn)業(yè)經(jīng)濟(jì)面臨機(jī)遇全球經(jīng)濟(jì)發(fā)展，產(chǎn)品和服務(wù)的需求不斷變化和升級(jí)，為產(chǎn)業(yè)經(jīng)濟(jì)提供了廣闊的發(fā)展空間新技術(shù)、新工藝和新材料的涌現(xiàn)，為產(chǎn)業(yè)經(jīng)濟(jì)的升級(jí)和轉(zhuǎn)型提供了強(qiáng)大的動(dòng)力在政策的引導(dǎo)下，一些具有戰(zhàn)略意義的新興產(chǎn)業(yè)和領(lǐng)域?qū)⒌玫街攸c(diǎn)扶持，從而加速其發(fā)展和壯大產(chǎn)業(yè)網(wǎng)鏈大模型招商服務(wù)技術(shù)分析情報(bào)服務(wù)產(chǎn)業(yè)研究報(bào)告生成知識(shí)問(wèn)答產(chǎn)業(yè)經(jīng)濟(jì)面臨挑戰(zhàn)產(chǎn)業(yè)基礎(chǔ)能力的不足是一個(gè)重要挑戰(zhàn)。在核心技術(shù)、裝備、原材料等方面，中國(guó)與國(guó)際先進(jìn)水平之間存在明顯差距產(chǎn)業(yè)的發(fā)展依賴于完整的產(chǎn)業(yè)體系,中國(guó)的基礎(chǔ)設(shè)施、技術(shù)標(biāo)準(zhǔn)、檢測(cè)認(rèn)證和監(jiān)管體系尚不健全，缺乏統(tǒng)一的戰(zhàn)略規(guī)劃和頂層設(shè)計(jì)中國(guó)在基礎(chǔ)研究和應(yīng)用研究人才的比例較低，尤其缺少跨界型、復(fù)合型人才。以智能制造領(lǐng)域例，預(yù)計(jì)到2025年人才需求將達(dá)到900萬(wàn)人，面臨高達(dá)450萬(wàn)人的人才缺口，中國(guó)亟需加強(qiáng)未來(lái)產(chǎn)業(yè)相關(guān)領(lǐng)域的人才培養(yǎng)和引進(jìn)行業(yè)知識(shí)更深業(yè)務(wù)流程更深行業(yè)知識(shí)更深業(yè)務(wù)流程更深面向產(chǎn)業(yè)創(chuàng)新領(lǐng)域，以通用中文大模型為基座，注入數(shù)十億海量產(chǎn)業(yè)數(shù)據(jù)和數(shù)百個(gè)產(chǎn)業(yè)鏈知識(shí)圖譜，結(jié)合工具集、知識(shí)庫(kù)和指令微調(diào)訓(xùn)練得到產(chǎn)業(yè)網(wǎng)鏈大模型。?底層擁有強(qiáng)大的產(chǎn)業(yè)數(shù)據(jù)和知識(shí)圖譜數(shù)據(jù)，避免產(chǎn)業(yè)基礎(chǔ)能力不足；?實(shí)現(xiàn)智能化、精細(xì)化的產(chǎn)業(yè)治理模式，推動(dòng)產(chǎn)業(yè)創(chuàng)新與發(fā)展，加強(qiáng)產(chǎn)業(yè)創(chuàng)新生態(tài)完善；?具備強(qiáng)大的自動(dòng)化處理產(chǎn)業(yè)信息能力、智能分析與預(yù)測(cè)，提升服務(wù)效率，降低人力成本。產(chǎn)業(yè)網(wǎng)鏈大模型訓(xùn)練過(guò)程3000萬(wàn)+風(fēng)險(xiǎn)信息?產(chǎn)業(yè)鏈圖譜數(shù)據(jù)：構(gòu)建了10萬(wàn)級(jí)產(chǎn)業(yè)節(jié)點(diǎn)標(biāo)準(zhǔn)庫(kù)，形成了100+產(chǎn)業(yè)鏈知識(shí)圖譜，?進(jìn)出口貿(mào)易數(shù)據(jù)：全球海關(guān)50億條進(jìn)出口記錄，覆蓋全球150多個(gè)國(guó)家、80%以上貿(mào)易量?招投標(biāo)事件數(shù)據(jù)：匯聚了全國(guó)重大項(xiàng)目招采數(shù)據(jù)14億+、招投標(biāo)項(xiàng)目300萬(wàn)+、金額2.2萬(wàn)億元+?產(chǎn)品供應(yīng)鏈數(shù)據(jù)：整理了28大類通用零配件、10萬(wàn)件標(biāo)準(zhǔn)件模型、供應(yīng)商數(shù)字產(chǎn)品1.9億件36萬(wàn)+招標(biāo)采購(gòu)公告招標(biāo)采購(gòu)公告招投標(biāo)主體招投標(biāo)主體1.9億+6000萬(wàn)+法人社會(huì)組織法人社會(huì)組織23萬(wàn)+42萬(wàn)+標(biāo)的數(shù)據(jù)標(biāo)的數(shù)據(jù)llSupXmind基礎(chǔ)平臺(tái)：充分融合大模型+知識(shí)圖譜的前沿技術(shù)，貫穿從“大數(shù)據(jù)”到是以通用大模型為基座，面向產(chǎn)業(yè)創(chuàng)新咨詢服務(wù)場(chǎng)景，數(shù)百個(gè)產(chǎn)業(yè)