從大模型、智能體到復雜AI應用系統的構建——以產業大腦為例浙江大學DeepSeek系列專題線上公開課（第二季）提綱大模型推理能力快速提升推理模型和思維鏈(CoT)智能體是什么？四鏈融合產業大腦案例大模型推理能力快速提升快速回望歷史——大模型的產生2022年InstructGPT進行海量數據學習訓練，人類的反饋信息成為模型學習的內容ChatGPTBARTM2m-100BigBirdRoBERTaXLMALBERTELECTRAGPT-1GPT-2GPT-3T5BERTMachineLearning基于規則的少量數據處理1950年開始1980年開始1990年開始；2006年獲得突破2017年2018年2019年2020年基于模板和規則的前深度學習階段根據一定范圍的數據進行參數分類開始模仿人腦進行大量數據的標記和訓練對人腦學習過程進行重點關注ChatGPT所能實現的人類意圖，來自于機器學習、神經網絡以及Transformer模型的多種技術模型積累神經網絡CNNRNNGANChatGPT經過多類技術積累，最終形成針對人類反饋信息學習的大規模預訓練語言模型Transformer里程碑：ChatGPT的成功OpenAI公司于2022年11月發布ChatGPT，短短三個月內日活躍用戶從零增長至超過3000萬，標志著對話式AI

進入大眾應用階段三階段訓練技術構建GPT

3.5ChatGPT

日活量（2022.11-2023.02）里程碑：ChatGPT的成功AI

1.0時代AI

2.0時代辨別式AI對現有內容進行分析、分類、判斷、預測分類

回歸

聚類圖像分類文本分類信用評估客戶分群新聞聚類廣告定向社區發現客戶流失預測專用人工智能一事一模型，每個模型完成特定智能任務解決特定的智能問題文章報告問答內容視頻生成短視頻片段廣告視頻語音與對話影視與廣告代碼生成樣例代碼測試用例生成式AI自動生成開放的文本、圖像、音頻、視頻等內容文本生成

語音生成

圖像生成人像寫真廣告圖片多模態生成文生圖文生視頻相對通用的人工智能一個大模型解決多個問題自適應地應對復雜外界環境的挑戰房價預測銷量預測大模型能力不斷增長大模型在知識問答、數學、編程等能力上達到新的高度，多種任務上的表現超過人類水平。Source:

https://lifearchitect.ai/timeline/大模型發展迅速，參數量從百億到萬億規模10Billion1000Billion大模型能力涌現，多個任務上性能超越人類水平Multi-task

Language

Understanding

on

MMLUSource:

/sota/multi-task-language-understanding-on-mmlu早期大模型在推理能力上存在明顯短板大語言模型易產生幻覺，在數學推理方面表現在推理能力嚴重不足，體現在簡單數值比較錯誤、多步推理能力弱、推理不一致等誰是第一個登上月球的人請告訴我獨角獸的歷史起源獨角獸被記載在大尤里·加加林是第一個登上月球的人。約公元前10000年漫游亞特蘭蒂斯平原，它們經常與皇室聯系在一起。模型的回答與事實不符，模型的回答是虛構的，因因為尼爾·阿姆斯特朗為沒有經過驗證的現實世才是第一個登上月球的界證據支持獨角獸在亞特人，而尤里·加加林是蘭蒂斯的存在，特別是與第一個進入太空的人?；适业年P聯。事實性幻覺問題違反事實，專業知識不足https://www.lakera.ai/blog/guide-to-hallucinations-in-

large-language-models9.11>9.9?

簡單數值比較錯誤多步推理錯誤早期大模型在推理能力上存在明顯短板大語言模型易產生幻覺，在數學推理方面表現在推理能力嚴重不足，體現在簡單數值比較錯誤、多步推理能力弱、推理不一致等無法在復雜的思維鏈中保持一致性推理過程和答案不一致懷疑論Yann

LeCun的批判觀點：對純粹擴大規模方法的根本質疑MehrdadFarajtabar："LLM本質上是統計模式匹配工具，而非真正的推理系統"、"下一個詞預測框架不足以產生真正的理解"Yann

LeCun：自回歸大型語言模型沒有前途Apple提出LLM并非真正的推理系統橫空出世：OpenAI

o1/o3、DeepSeek-R1等2023-2024年，推理能力突破性進展：??OpenAI

o1/o3在數學和代碼推理任務上的卓越表現開源大模型DeepSeek-R1在MATH基準上達到87.2%的準確率o1在數學和代碼問題上的水平大幅提升，超越人類專家開源大模型DeepSeek

R1匹敵OpenAI

o1橫空出世：OpenAI

o1/o3、DeepSeek-R1等2023-2024年，推理能力突破性進展：??OpenAI

o1/o3在數學和代碼推理任務上的卓越表現開源大模型DeepSeek-R1在MATH基準上達到87.2%的準確率DeepSeek的“aha

moment”這種深度推理能力是如何實現的？是單純的規模擴展結果，還是有其他關鍵因素？小結一：早期的大模型推理能力不足OpenAI-o系列模型和DeepSeek-R1等勝在推理能力較強推理模型和思維鏈(Chain

of

Thought,CoT)推理大模型的發展2024.112024.092025.12025.22025.2QwQ

由通義千問開發，QwQ

能通過思考與疑問解決一些復雜的問題。OpenAIo1

是專注于復雜推理任務，

通過深度思考和策略優化來解決問題。DeepSeek-R1與Kimi1.5都采用RL來進行推理能力的增強o3

通過模擬推理技術，能夠暫停并反思自身內部的思考過程，從而在回答問題前進

行更深入的推理，類似于人類的思考方式。Claude3.7是首個混合推理模型，集普通語言模型和推理模型于一體的混合模型。Gemini

2.0FlashThinking

經過訓練后，可以生成模型在回答問題時

經歷的思考過程。推理大模型：通過測試時拓展（Test-TimeScaling）、強化學習、蒸餾等技術，大模型的推理能力不斷增強。OpenAI-o系列推理模型o1/o3

在回答問題之前先Reasoning，生成一個詳細的內部思維鏈，模

擬人類的深思熟慮，逐步分解復雜的問題，提高答案的準確性和深度。相較于GPT-4o

o1大幅提升逐步思考，并分解復雜的問題什么是思維鏈(CoT)從浙大玉泉校區到紫金港校區如何最快出行？要知道從玉泉校區到紫金港校區如何最快出行，首先得知道有幾種交通路線：89路公交車，共17站，需步行2分鐘，共用時50分鐘地鐵10號線轉2號線，這樣就是2站+5站，共7站，需步行20分鐘，共用時43分鐘地鐵3號線轉7149路公交車，這樣就是3站+11站，共14站，需步行11分鐘，共用時50分鐘還可以……這樣綜合看起來，最快的交通方案應該2，共用時43分鐘地鐵10號線黃龍體育中心站->文三路->學院路（轉2號線）->古翠路->豐潭路->文新路->三壩->蝦龍圩->步行…什么是思維鏈(CoT)有些問題，人也很難快速寫出思維鏈，比如：桌子上放著50

根火柴，丁丁、田田二人輪流每次取走1~3根。規定誰取走最后一根火柴誰輸。如果雙方采用最佳方法，丁丁先取，那么誰將獲勝?依靠大模型自己生成思維鏈并求解DeepSeek-R1的推理過程求是小學組織去距離90公里的博物館春游，全班同學8:00從學校坐大巴車出發。班主任老師因為有事情，8:10自己自駕小車以大巴車快1/3的速度追趕，結果比大巴車提前20分鐘到。問：大巴和小車的速度各是多少？班主任老師追上大巴的地點距離博物館還有多遠？首個將思維鏈顯式展示的開源模型如何低成本實現推理模型？s1通過在一個精心構建的小規模數據集上（1000條數據）進行微調，并結合預算強制技術，實現了強大的推理能力和測試時計算擴展性如何低成本實現推理模型？LIMO假說：在預訓練階段已經充分編碼領域知識的基礎模型中，復雜的推理能力可以通過最少但精確編排的認知過程演示來涌現：模型具備豐富預訓練知識高質量的推理鏈示范LIMO通過817個訓練樣本（題目難度高，覆蓋知識面廣，解題步驟精細），模型就能在復雜的數學推理任務中取得有益的表現Less

Is

More

for

Reasoning小結二：自動化思維鏈(CoT)的實現是新一代大模型的精髓之一經過精心設計的少量高質量樣本即可實現適用于某個專業領域的高性能低成本推理模型智能體(AI

Agent)是什么？靈魂發問大模型除了可以和我聊天、回答問題，到底還能干什么？靈魂發問ChatGPT的回答用大模型寫郵件如果你只有一個大模型，使用它回復郵件的過程大致如下：①用戶打開郵箱，手動拷貝郵件內容②用戶將郵件內容拷貝到大模型運行界面的對話框，寫提示詞：請基于以下郵件內容幫我草擬一封回復③大模型根據提示詞自動生成回復郵件④用戶將大模型生成的回復郵件拷貝至郵箱⑤用戶填寫地址、郵件標題，點擊發送只有這個步驟是大模型自動完成，其余步驟均需要用戶自行手動操作有沒有更加智能或者自動化的工具來協助我們完成這些手動操作呢？智能體(AI

Agent)大語言模型（

LLM）可以接受輸入，可以分析&推理、規劃任務、輸出文字\代碼\媒體。然而，其無法像人類一樣，擁有運用各種工具與物理世界互動，以及擁有人類的記憶能力。LLM：接受輸入、思考、規劃任務、輸出人類：LLM（接受輸入、思考、規劃任務、輸出）+記憶+工具智能體記憶Short-term

memoryLong-term

memoryReflectionSelf-criticsChain

of

thoughtsSubgoal

decomposition行動工具Calculator()CodeInterpreter()Search()...moreCalendar()規劃一個具體的例子撰寫調研報告：調研特斯拉FSD

和華為ADS

這兩個自動駕駛系統第一步：智能體進行任務拆解，首先調用CollectLinks工具從搜索引擎進行搜索并獲取Url地址列表/developer/article/2422923一個具體的例子撰寫調研報告：調研特斯拉FSD

和華為ADS

這兩個自動駕駛系統第二步：調用WebBrowseAndSummarize工具瀏覽網頁并總結網頁內容（此工具調用了LLM）第三步：調用ConductResearch工具生成調研報告（此工具調用了LLM）一個具體的例子撰寫調研報告：調研特斯拉FSD

和華為ADS

這兩個自動駕駛系統類型名稱說明角色Researcher調研員智能體，從網絡進行搜索并總結報告。通過LLM提示工程(PromptEngineering)，讓LLM以調研員的角色去規劃和拆分任務，使用提供的工具，完成調研過程，生成調研報告。在定義角色時，會為其注冊下面列出的各項工具工具CollectLinks問題拆解，從搜索引擎進行搜索，并獲取URL地址列表。該工具基于LLM提示工程和搜索引擎實現，其功能如下：（1）將問題拆分成多個適合搜索的子問題（基于LLM提示工程）;（2）通過搜索引擎搜索子問題;（3）篩選出與調研問題有關的URL，并根據網站可靠性對URL列表進行排序（基于LLM提示工程）工具WebBrowseAndSummarize瀏覽網頁并總結網頁內容。由兩個工具組成：瀏覽網頁和總結網絡內容。（1）瀏覽網頁是通過封裝的WebBrowserEngine

工具訪問搜索引擎實現的;（2）總結搜索結果是通過LLM提示工程實現。工具ConductResearch生成調研報告。基于LLM提示工程的工具，該工具會整合WebBrowseAndSummarize

的輸出給到LLM，讓LLM生成調研報告記憶Short-term

memory短期記憶能力，metaGPT框架封裝了短期記憶的能力，用于在任務執行周期內保存和檢索上下文記憶，如CollectLinks和WebBrowseAndSummarize等工具的執行結果。自動發郵件The

growth

trend

on

the

field

of

LLM-based

autonomous

agentsA

Survey

on

Large

Language

Model

based

Autonomous

Agents,

2023.8Agent

System

五層基石理論Models，也就是我們熟悉的調用大模型API。Prompt

Templates，在提示詞中引入變量以適應用戶輸入的提示模版。Chains，對模型的鏈式調用，以上一個輸出為下一個輸入的一部分。Agent，能自主執行鏈式調用，以及訪問外部工具。Multi-Agent，多個Agent共享一部分記憶，自主分工相互協作。The

Framework

of

LLM-powered

AgentsEnvironmentObservationAgentBrainConstructionBroader

Action

SpacesMultimodal

OutputText

&

SpeechImagesToolsCalling

APIs:calculator,

task-specific

models,

web

searching

…Multi-modal

PerceptionImage

&

VideoSpeechUser

behaviorScience

dataStock

dataCodeEmbodimentAutonomous

carRobots;

Arm;

…MemoryShort-term

&

Long-termTimeBrainDecision

MakingReasoningPlanningReflectionRetrieveSummaryMemory

&

Decision

MakingActionLLM-powered

Agents

are

artificial

entities

thatenhance

LLMs

with

essential

capabilities,

enablingthem

to

sense

their

environment,

make

decisions,

andtake

actions.更復雜的任務：大小模型協作的生成式智能體ChatGPT:具有強大的任務規劃和工具調用能力Hugging

Face:

最大的AI模型社區，每個模型都有詳細的功能描述LLMsML

community

/

Tool

Library

/

APILanguage…HuggingGPT:Solving

AI

Tasks

with

ChatGPT

and

its

Friends

in

HuggingFace,

YongliangShen,

Kaitao

Song,

Xu

Tan,

Dongsheng

Li,

WeimingLu,

Yueting

Zhuang.

NeurIPS

2023HuggingGPT：大小模型協作的生成式智能體工作流程:大語言模型負責規劃和決策，AI小模型負責任務執行Task

Planning

Model

Selection

Task

Execution

Response

GenerationHuggingGPT：大小模型協作的生成式智能體大小模型協作AI

Agent：大語言模型負責規劃和決策，AI小模型負責任務執行HuggingGPT:Solving

AI

Tasks

with

ChatGPT

and

its

Friends

in

HuggingFace,

YongliangShen,

Kaitao

Song,

Xu

Tan,

Dongsheng

Li,

WeimingLu,

Yueting

Zhuang.

NeurIPS

2023HuggingGPT學術界、開源社區和工業界影響力：圖靈獎獲得者Bengio和Hinton一作論文引用：獲得斯坦?？妥淌趨嵌鬟_、英偉達GEAR

Lab主任JimFan、OpenAI研究員等科學家的博文推薦；論文一年被引600余次，獲得WAIC青年優秀論文獎；開源倉庫獲得2萬多次收藏，獲得國際測試委員會頒發的2022-2023百大開源成就獎，Demo系統獲得HuggingFace

Space

Top10；工業界影響：受到Hugging

Face

、Langchain

、ModelScope

等團隊關注，推出相應的產品和功能：

Transformers

Agent

、Langchain

HuggingGPT

和ModelScope

Agent。Many

of

these

risks

could

soon

be

amplified,

and

new

riskscreated,

as

companies

are

developingautonomous

AI:systems

that

can

plan,

act

in

the

world,

and

pursue

goals[1]Bengio

Y,

Hinton

G,etal.Managingairisks

in

an

era

ofrapid

progress[J]英偉達GEAR

Lab主任

JimFan的推薦和解讀斯坦福大學客座教授吳恩達的推薦和解讀OpenAI研究員Lilian和Akhaliq的推薦和解讀圖靈獎獲得者一作論文的引用評價大語言模型正在成為人工智能時代的信息系統入口智能時代一直沒有出現像Windows、安卓/iOS這樣真正的操作系統——能夠為用戶提供信息系統入口/界面，同時可以管理計算資源并支撐應用開發。而大語言模型，正在起到信息系統入口界面作用。操作系統文件系統內存管理進程管理人機交互網絡安全管控CPU調度辦公大語言模型意圖識別情感分析圖像表示文本生成文本表示Chat圖表示問答各種服務器瀏覽 圖片器 編輯播放

科學器

計算QA翻譯AI應用作曲畫圖桌面和移動應用 服務應用…寫代碼圖片生成

聲音生成

圖生成硬件虛擬層多模態/多領域數據通用接口Language

Models

are

General-Purpose

InterfacesYaru

Hao

Et.

al.DOI:arxiv-2206.06336小結三：智能體

(AI

Agent)

是大模型

(Brain)

的眼

(Observation)

和手(Tools)通過智能體

(AI

Agent)

可以基于大模型實現各種較為復雜的智能應用系統四鏈融合產業大腦案例產業認知決策：國家戰略需求芯片架構操作系統等美國/歐洲研發設計晶圓制造

存儲器制造中國臺灣/韓國核心制造整機組裝終端制造中國大陸終端制造過去：分段互補合作模式制高點現在：主導權和卡脖子爭奪決定性關鍵性基礎性關鍵芯片

基礎軟件創新能力、供應鏈體系、人才資源主導權技術標準核心專利卡脖子核心器件高端設備產業鏈控制基礎支撐保障產業基礎斷鏈風險供應風險產業鏈自主可控卡脖子技術識別資源優化配置產業競爭從國家間分段互補合作模式轉為主導權、制高點和卡脖子的爭奪如何精準科學地識別并批量形成具有戰略意義的"卡脖子"問題清單，是我國實現關鍵核心技術突破要解決的首要任務，直接影響國家產業安全戰略決策與創新資源配置產業發展決策：廣闊的社會需求政府決策需求新興產業培育創新體系建設產業鏈安全產業發展戰略規劃關鍵核心技術突破產業鏈風險預警新興產業布局指導創新鏈產業鏈融合供應鏈韌性提升產業能級提升路徑科技創新體系優化產業鏈補鏈強鏈未來產業培育方向產業創新生態營造產業安全保障體系企業創新需求轉型升級需求

市場競爭需求

產業協同需求技術創新路徑規劃

技術競爭態勢分析

上下游協同創新數字化轉型方案

市場機遇識別

產業資源對接智能制造升級

產品創新方向

創新要素匹配綠色低碳發展

競爭優勢構建

產業生態融入航空航天、軌道交通、新材料、新能源、電子信息等戰略產業、未來產業對產業信息智能分析提出重大需求，呈現廣泛、持續增長的發展態勢。產業發展決策：廣闊的社會需求產業發展方向研判前沿技術遴選研判產業技術監測跟蹤產業化應用場景研判技術演進路徑分析產業發展趨勢預測產業技術“弱信號”發現各地各行業在布局新興/未來產業的過程中，由于對前沿技術、技術路線、應用場景、大規模產業化的時機等方面把握不準，難以做出有效選擇。如何精準感知產業技術態勢，科學研判產業發展方向，及時布局產業化應用場景培育新產品，成為未來產業大變局中區域/企業實現競爭突圍的關鍵。AI推動“科技創新”和“產業創新”的深度融合產業經濟面臨機遇·市場需求是驅動產業經濟發展的關鍵因素全球經濟發展，產品和服務的需求不斷變化和

升級，為產業經濟提供了廣闊的發展空間·技術進步是推動產業經濟發展的重要力量新技術、新工藝和新材料的涌現，為產業經濟的升級和轉型提供了強大的動力·政策環境對產業經濟的發展具有重要影響在政策的引導下，一些具有戰略意義的新興產業和領域將得到重點扶持，從而加速其發展和壯大推動創新鏈、產業鏈、資金鏈、人才鏈深度融合是解決當前乃至未來較長時間內加強產業創新發展、加快鍛造新質生產力的重要抓手產業經濟面臨挑戰·產業基礎能力不足產業基礎能力的不足是一個重要挑戰。在核心技術、裝備、原材料等方面，中國與國際先進水平之間存在明顯差距·產業創新生態亟需完善產業的發展依賴于完整的產業體系,中國的基礎設施、技術標準、檢測認證和監管體系尚不健全，缺乏統一的戰略規劃和頂層設計·人才基礎較為薄弱中國在基礎研究和應用研究人才的比例較低，尤其缺少跨界型、復合型人才。以智能制造領域例，預計到2025年人才需求將達到900萬人，面臨高達450萬人的人才缺口，中國亟需加強未來產業相關領域的人才培養和引進業務流程更深行業知識更深情報服務知識問答招商服務技術分析報告生成產業研究產業網鏈大模型產業網鏈大模型面向產業創新領域，以通用中文大模型為基座，注入數十億海量產業數據和數百個產業鏈知識圖譜，結合工具集、知識庫和指令微調訓練得到產業網鏈大模型。底層擁有強大的產業數據和知識圖譜數據，避免產業基礎能力不足；

實現智能化、精細化的產業治理模式，推動產業創新與發展，加強產業創新生態完善；

具備強大的自動化處理產業信息能力、智能分析與預測，提升服務效率，降低人力成本。產業網鏈大模型訓練過程海量數據資源數據描述數量企業庫1.9億+人才庫3000萬+專家庫3萬+全球海關20億+大宗商品交易行情15億+政策590萬+資訊4000萬+招投標14億+通用產業數據科技數據數據描述數量專利1.5億+論文1.2億+書籍291萬百科410萬行業數據數據描述數量行業輿情1.3億+風險信息200萬+數據來源：數據來源：數據來源：海量數據資源最具權威的產業鏈、供應鏈數據資源國家工業互聯網大數據中心浙大CCAI產業鏈大數據中心工信部采購中心招標采購公告招投標主體14億+

36萬+法人社會組織1.9億+高管信息6000萬+23萬+每日招采公告標的數據42萬+產業鏈圖譜數據：構建了10萬級產業節點標準庫，形成了100+產業鏈知識圖譜，進出口貿易數據：全球海關50億條進出口記錄，覆蓋全球150多個國家、80%以上貿易量招投標事件數據：匯聚了全國重大項目招采數據14億+、招投標項目300萬+、金額2.2萬億元+產品供應鏈數據：整理了28大類通用零配件、10萬件標準件模型、供應商數字產品1.9億件四鏈融合知識計算引擎SupXmind基礎平臺：充分融合大模型+知識圖譜的前沿技術，貫穿從“大數據”到

“大知識”到“大模型”全流程，構建人機共生認知決策鏈路，幫助用戶打造智能決策系統。產業垂域大模型iChainGPTiChainGPT是以通用大模型為基座，面向產業創新咨詢服務場景，注入數十億海量產業數據和數百個產業鏈知識圖譜，結合工具集、知識庫和指令微調訓練得到產業垂域大模型，提供產業文檔解讀、產業鏈圖認知、產業主體畫像、產業實體匹配、產業發展預測、產業數據探索、產業報告生成等7個方向的特色能力。產業網鏈大模型構成及服務框架產業網鏈大模型使用海量產業數據和知識圖譜訓練，創新性地引入了“大小模型協同”的智能體框架，面向產業創新業務場景，提供了包括產業知識問答、產業報告生成、產業技術分析、產業文檔理解等能力，向上為企業、園區、政府等產業認知決策需求機構提供專業產業知