通用智能的大模型技術2023年12月1日大模型技術的重要特性與發展趨勢人工智能核心命題—掌握完成復雜任務的知識1956達特茅斯會議1957感知器發明低谷1970-1980機器翻譯項目失敗證明感知器無法完成復雜任務1980年代多層神經網絡五代機項目1986BP、PDP算法低谷1990-2000五代機失敗政府投入縮減深度學習2010至今人臉識別

AlphaGo等人工智能核心命題—讓機器掌握完成復雜任務的知識AI誕生 專家系統1人工智能發展路線—符號智能專家規則庫/知識庫、Noam

Chomsky（語言學巨擘）20世紀50年代后，詞法句法、語法規則被廣泛應用于自然語言理解Edward

Feigenbaum（圖靈獎獲得者）專家系統由知識庫與推理機構成，知識庫存儲事實和規則，推理機則基于知識庫進行推理19601980問：青蒿素抑制什么？答：瘧原蟲問：瘧疾是什么？答：疾病問：瘧原蟲是什么？答：無法回答符號知識手工總結2符號智能：專家手工構建規則庫和知識庫，以規則庫和知識庫解決具體問題局限：規則與知識難以窮盡式枚舉，無法解決規則庫和知識庫未覆蓋的任務人工智能發展路線—專用智能問：計算機英文是什么？答：Computer問：計算機法文是什么？答：Ordinateur問：1+2=？答：無法回答Judea

Pearl（圖靈獎獲得者）概率與統計方法被引入自然語言處理，模型從符號系統推演轉變為數據驅動學習Yann

LeCun（圖靈獎獲得者）2010年后神經網絡興起，將數據驅動的效果推到新高位，成為當前自然語言處理主要范式19902010中文：中國首都是北京

English:The

capital

ofChina

is

BeijingFran?aise：La

capitalede

la

Chine

est

Pékin…中國首都BeijingPékin北京神經網絡參數結構特定任務帶標注數據 機器學習 任務專用小模型 專用知識專用智能：利用數據驅動機器學習從特定任務帶標注數據之中自動學習知識，以小模型參數存儲知識局限：要針對特定任務

標注數據，標注代價高，無法解決標注數據未能覆蓋的任務3人工智能發展路線—通用智能自監督預訓練學習問：計算機英文是什么？答：Computer.問：如何治療瘧疾？答：青蒿素。問：1+2=？答：3通用大模型 通用知識書籍新聞論文

報告通用域無標注數據通用智能：采用自監督預訓練方法從海量通用域無標注數據中自動學習知識，以大模型參數存儲知識優勢：無標注數據廉價易得近乎無限；大模型有力支持知識的學習和存儲2020年1750億參數大模型GPT-3發布，具備解決數十種文本任務的能力，人工智能進入通用智能時代LLM42023年發布的ChatGPT和GPT-4

具有通用認知能力，可通過文字、視覺、語音信號與人類交互，可使用人類工具處理復雜任務，已被用于政務、商務等眾多領域進行智慧賦能人工智能發展路線—小結符號智能時間：1950-1990知識來源：領域專家獲取方法：手工總結知識形式：以知識庫等符號系統存儲專家知識專用智能時間：1990-2018知識來源：特定任務帶標注數據獲取方法：機器學習（自動）知識形式：以任務專用小模型存儲任務知識通用智能時間：2018至今知識來源：通用域無標注數據

獲取方法：預訓練學習（自動）知識形式：以通用大模型存儲通用知識自1956年達特茅斯會議至今，人工智能經歷三個主要發展階段呈現從手工總結到自動學習，從離散符號到連續參數，從專用智能到通用智能的趨勢5通用智能—通用模型架構使用Transformer通用架構對各類數據進行建模循環神經網絡（

RNN

）

擅長

處理一維序列化使用Transformer進行文本建模文本、語音數據卷積神經網絡（

CNN

）

擅長

使用Transformer處理二維平面圖片數據進行圖片建模圖神經網絡（

GNN

）

擅長處理結構化、半結構化圖數據使用Transformer進行圖結構建模6通用智能—通用學習方法Causal

Language

ModelingLLM翻譯正誤判斷相似度評分摘要使用預測下一個字符（Token）的語言建模任務（LanguageModeling），從無標注數據中學習通用知識各類自然語言處理任務均可轉化為序列生成任務進行處理語言建模過程翻譯、正誤判斷、相似度評分、摘要等文本任務均可轉為語言建模形式7通用智能—通用模型能力機器翻譯信息檢索文本生成智能問答預訓練大模型文本任務評測基準GLUE8單個預訓練大模型可同時處理多種任務在若干權威評測上達到或超過人類水平，遠超傳統任務專用小模型的水平通用智能—大數據+大算力獲取通用知識需要大數據，存儲通用知識需要大參數，訓練大參數模型需要大算力過去4

年間，訓練數據增長500

倍，參數規模增長5000

倍，計算量增長10000

倍大數據+大算力使大模型具備大規模通用知識，可處理復雜任務包括美國三院院士

Li

Fei-Fei、美

國

文

理

學

院

院

士

Christopher

Manning

和

Dan

Jurafsky

在內斯坦福大

學100多位學者聯名發表長達

160頁的觀點文章，提出超大規模預訓練模型將是實現通用人工智能的“基礎模型”訓練數據數量級（Tokens）模型發布時間（紅色為千億級模型）預訓練計算量（FLOPs）模型發布時間圖片生成代碼生成智能問答9機械控制大模型是人工智能前沿制高點里程碑事件主要特點基于大數據和人類反饋進行學習，與用戶通過對話進行交互，能夠處理多任務，深層推理與常識運用能力大幅度提升2022/11/30:

OpenAI發布文本對話模型ChatGPT2023/01/31:

ChatGPT月活用戶突破1億2023/02/07:微軟產品全線整合ChatGPT2023/03/15:

OpenAI發布圖文對話模型GPT-42023/05/15:

OpenAI發布人工智能助手AutoGPT2023/10/05:

OpenAI發布多模態模型GPT-4V大模型發展歷程10ChatGPT標志著人工智能進入新時代，加速引領新一輪科技革命大模型將成為智能時代基礎設施數據管理接口抽象信息治理接口抽象知識獲取接口抽象高效數據索引分布式計算預訓練、微調、推理SQL數據庫Map-Reduce分析系統大模型系統用戶邏輯層物理執行層數據

Data信息

Information知識Knowledge智慧

Wisdom數據管理（1970s）信息管理（2010s）知識管理（2020s）歸納智能（2023后）Russell

Ackoff（工程系統巨擘）“From

Data

to

Wisdom”通用人工智能11大模型將成為科技革命必爭之地大模型研究長期為美國主導，且對中國實行較為嚴格的封鎖數據、算力、算法自主可控迫在眉睫Transformer(谷歌,2017)所有基礎模型的基石參數規模：1.68億A100加速芯片(英偉達,2020)同期性能最優加速芯片FP16：312

TFLOPSGPT-3(OpenAI,

2020)首個超大規模基礎模型參數規模：1750億V100加速芯片(英偉達,2017)同期性能最優加速芯片FP16：125

TFLOPSH100加速芯片(英偉達,2022)當前性能最優加速芯片FP16：1000

TFLOPSGPT-4(OpenAI,

2023)通用人工智能重大突破參數規模：16000億Megatron(英偉達,2019)大模型分布式訓練框架千卡級并行加速Deepspeed(微軟,2020)大模型分布式訓練框架萬卡級并行加速PyTorch(Meta,

2017)深度學習框架被80%的研究工作采用英偉達高端芯片對中國禁售OpenAI

技術閉源且對中國禁用中文母語者全球最多，但英語實際主導全球信息交流，數據量最大2大模型能力與特點需求期望世界價值大模型能力和特點隨著計算量和數據量的增大，大模型會涌現出解決復雜任務的能力大模型可以與人類的需求、期望、價值觀、倫理道德等進行深度對齊大模型技術能夠對任何可以被序列化的事物進行壓縮和學習復雜深度

推理語言理解建模計算量倫理道德壓縮與學習知識筑基能力激發范式拓展程序代碼

工具使用生物序列大模型技術實現從無標注大數據萃取世界知識的通用范式能力涌現

人類對齊

序列化世界14能力與特點—智能涌現涌現：量變引起質變，多個小實體相互作用產生了呈現全新性質的大實體智能涌現：當計算量突破一定規模，大模型表現出新智能，部分困難任務迎刃而解15能力與特點—智能涌現學習大數據需要大參數，訓練大參數模型需要大算力，計算量增長使模型涌現智能16大模型隨計算量增長而不斷生出新能力大模型隨計算量增長而產生能力階躍16能力與特點—人類對齊大模型從無標注數據中獲取知識，涌現通用智能，但仍需與人類期望輸出對齊回復質量隱私保護大模型需要確保在處理隱私信息時能夠充分保護用戶的隱私，避免任何形式數據泄露或濫用倫理道德大模型應遵循廣泛接受的倫理和道德標準，不應產生有害、冒犯或誤導的內容，避免潛在的道德陷阱共情能力模型在回應用戶時應能夠展現出理解和同情的能力，通過對用戶情感的敏感反應，提供人性化、有溫度的互動體驗事實依據大模型的回復必須基于真實、準確的信息，具有檢測和糾正錯誤信息的能力，保證回復有可靠的事實依據。邏輯能力大模型生產的內容時應展現出連貫性、一致性和推理深度，理解基本的邏輯準則且能夠深入推理基于預訓練數據中的海量背景知識給出具有深度、廣度、詳細、有信息量的回復17能力與特點—人類對齊通過“思維鏈”一步步推理對齊后，大模型可銜接數字空間和人類社會邏輯提升情緒關懷專業能力對用戶產生情緒關懷使用代碼來闡釋專業問題18能力與特點—序列化世界在文本之外，可通過序列化方法抽象、學習物理世界中的萬事萬物語言在大模型中，它們都是字符（Token）的序列圖像DNA電磁波工具使用任何可被序列化的信息均可被大模型學習MagneticFieldElectricField['Founded',

'in',

1988,',

Huawei,

'is']..['class',

'SCLASS',

$INT',

'=',

';']..['(',

'(',

'10',

'+',

'4',

')',

'^',

'2',

')'].[檢索,'翻頁','摘取,','翻譯','總結']..19能力與特點—序列化世界序列化方法可將海量世界信息高效壓縮到大模型中，獲取知識、歸納智能GZIP壓縮大模型（最右）對圖片的壓縮率遠高于普通壓縮算法OpenAI等機構認為大模型本質上可以等價于Kolmogorv壓縮“壓縮即智能”20原始圖片大模型3邁向通用的人工智能邁向通用的人工智能高效的大腦思考世界、敏銳的感官感知世界靈活的雙手操作工具、有效的溝通形成文明22邁向通用的人工智能方面深度學習小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)術業有專攻多模態智能/語言偏向語言主導博學而多才工具智能//具備善假于物也群體智能//初步具備團結即力量重要的人類能力：高效大腦、敏銳感官、靈活雙手、溝通交流

通用的人工智能：稀疏激活、多模態智能、工具智能、群體智能23邁向通用的人工智能方面深度學習小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)術業有專攻多模態智能/語言偏向語言主導博學而多才工具智能//具備善假于物也群體智能//初步具備團結即力量重要的人類能力：高效大腦、敏銳感官、靈活雙手、溝通交流

通用的人工智能：稀疏激活、多模態智能、工具智能、群體智能24稀疏激活：讓大模型實現類腦高效The

search

for

true

numbers

of

neurons

and

glial

cells

in

the

human

brain:

A

review

of

150

years

of

cell

counting.

Journal

of

Comparative

Neurology,

2016.神經元稀疏連接使大腦形成功能模塊語言認知需要視覺、聽覺、注意力等多模塊協同處理人腦的模塊化結構：高效性、可復用性、可解釋性高效性：人腦的神經元連接高度稀疏形成若干功能模塊，功能模塊的定向激活使得人腦計算極為高效可復用性：模塊的復用與組合是人腦復雜認知能力的重要基礎可解釋性：模塊的激活、復用與組合模式可用于人腦思維過程解讀亟需融合神經科學前沿進展，突破現有基礎模型架構局限性2022年，圖靈獎獲得者YannLeCun和Yoshua

Bengio

聯合發布NeuroAI白皮書，指出神經科學可為下一代人工智能提供指導人腦

vs.

GPT-3參數規模1750億100%參數參與計算初始神經元2000億激活比例<5%單次推理能耗<15瓦反應時間<100毫秒單次推理能耗400瓦推理時間約2000毫秒The

cost

of

cortical

computation.

Current

biology,

2003.25LLM中神經元功能分化，各個神經元各司其職：理解概念、控制情緒與行為…LLM中神經元稀疏激活，80%的輸入只激活大模型前<5%神經元稀疏激活：打開大模型黑盒的關鍵鑰匙通過控制神經元來操控大模型的行為概念神經元

情感神經元RepresentationEngineering:

A

Top-Down

Approach

to

AI

Transparency.

arXiv

2023.26四兩撥千斤：優化小參數實現全參數微調效果27大模型參數高效微調（Delta

Tuning）：保持模型大部分參數不變，僅更新極 少參數（<1%）實現適配下游任務，顯著降低計算和存儲成本訓練節省50%~70%顯存，顯著節省模型存儲開銷對于百億以上規模的基礎模型，優化任意參數即可達到全參數微調的效果Delta

Tuning只需訓練和保留輕量級參數集，可以視為特定能力插件Delta

Tuning發表在Nature

Machine

Intelligence2023年封面文章高效微調：OpenPrompt/OpenDelta28OpenPrompt工作流支持實現各類提示學習算法OpenDelta

不修改模型源碼，即插即用模塊化：Prompt

Template處理輸入/Delta優化模型/Verbalizer處理輸出統一性：不修改模型代碼，即插即用，支持Huggingface和BMTrain模型庫擴展性：靈活的框架設計，易于實現最新的科研進展高效部署：基于推理接口的黑盒解碼微調29Decoder

Tuning:

Efficient

Language

Understanding

asDecoding.

ACL

2023.僅用模型推理API在輸出端進行增量微調，對下游任務進行適配中心大模型和增量模塊分離，保護用戶隱私與已有黑盒微調方法相比實現200倍加速，接口調用次數減少10倍以上大模型模塊1模塊2模塊3文本分類信息抽取文本生成本地云端模塊化模型：可配置的高效大模型MoEfication:

Transformer

Feed-forward

Layers

are

Mixtures

of

Experts.

Findings

of

ACL

2022.功能分化

+

稀疏激活

模塊化分區選擇部分參數計算，將計算降低至20%稠密模型This

morning

I

ateapplesThis

morning

I

ateapples功能分區30模塊化模型：可配置的高效大模型Plug-and-Play

Document

Modules

for

Pre-trained

Models.

ACL

2023.Variator:

Accelerating

Pre-trained

Models

with

Plug-and-Play

Compression

Modules.

Findings

of

EMNLP

2023.功能分化

+

稀疏激活

模塊化分區選擇部分參數計算，將計算降低至20%外部能力插件化為模型補充更新的世界知識與能力結合模塊化分區，打造模塊化基礎模型能力插件模塊化基礎模型功能分區任務插件知識插件工具插件模態插件稠密模型This

morning

I

ateapplesThis

morning

I

ateapples功能分區31模塊化模型：低成本大模型云服務可配置：根據任務與指令需求，動態選擇模塊，組建模型支持萬余種能力毫秒級線上切換，大幅降低AI研發算力、人力、數據成本可擴展：通過對模塊的增加、更新，來實現基礎模型的持續學習不斷學習新知識的同時，不遺忘已有能力，實現高效持續學習云端協同：僅用模型推理API在輸出端進行增量微調，對下游任務進行適配中心大模型和外部插件分離，保護用戶隱私，與已有黑盒微調方法相比實現200倍加速功能分區云服務器本地文本分類信息抽取文本生成32插件大模型大模型云側服務端側應用邁向通用的人工智能方面深度學習小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)術業有專攻多模態智能/語言偏向語言主導博學而多才工具智能//具備善假于物也群體智能//初步具備團結即力量重要的人類能力：高效大腦、敏銳感官、靈活雙手、溝通交流

通用的人工智能：稀疏激活、多模態智能、工具智能、群體智能33多模態智能：讓大模型走進物理世界面包在哪里面包在餐桌上任務規劃視覺模態任務執行如何切面包用刀切面包如何烤面包用面包機烤面包文本模態任務輸入多模態智能是拓展大模型能力邊界，邁向通用人工智能的必由之路單模態智能 多模態智能 通用人工智能音頻模態請幫我烤一個面包34多模態智能：讓大模型走進物理世界GPT-4v可以進行精準的圖片文字識別，準確理解圖片中物體

GPT-4v可以進行十分逼真的對話，具備語氣、重音、遲疑、呼吸

DALL-E

3可以根據人類需求，繪制出多樣、精美的圖片GPT-4v可以將圖片中的物體與菜單照片中的文字進行對應，并算出總消費價格GPT-4v可以與用戶進行實時對話，解決用戶提出的問題DALL-E

3可以在對話中進行圖片生成，并且可以根據反饋建議進行修改35多模態智能：前沿研究方向精細視覺語義分割與識別應用領域：自動駕駛遙感圖像分析實時視頻檢測代表：Meta、Microsoft36復雜視覺語義理解與推理應用領域：文檔理解智能助手智能機器人代表：OpenAI、Salesforce精準可控的圖像生成應用領域：內容創作3D建模智能制造代表：Midjourney、Adobe案例：開源中英雙語多模態大模型VisCPM

基于CPM-Bee基座的百億參數量多模態大模型

涵蓋圖文雙向生成，支持中英雙語交互

VisCPM-Chat：面向圖像的多模態對話模型，達到中文最佳水平VisCPM-Paint：文本到圖像生成模型，達到中文開源最佳水平

37多模態智能：以語言模型為樞紐的統一建模以語言模型為樞紐核心，實現涉及多種模態復雜任務的統一建模語言模型語義核心知識樞紐文本圖片音頻視頻更多模態輸入：各種模態數據38字幕生成海報生成語音合成智能交互更多任務輸出：各種任務形式多模態智能：代表智能應用多模態能力的提升可以讓許多智能應用走入現實自動駕駛：結合圖像、聲音、雷達等多模態信號實現智能駕駛智能家居：利用視覺、音頻等模態融合技術實現智能家居系統AI數字人：構建實時交互數字人，應用于行業播報、電商直播等場景39邁向通用的人工智能方面深度學習小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)術業有專攻多模態智能/語言偏向語言主導博學而多才工具智能//具備善假于物也群體智能//初步具備團結即力量重要的人類能力：高效大腦、敏銳感官、靈活雙手、溝通交流

通用的人工智能：稀疏激活、多模態智能、工具智能、群體智能40創造和使用工具是人類智能的關鍵特性工具改善人類生活條件，提高生產效率，推動科技和文明的進步縱觀歷史，人類一直是發明和使用工具的主體問題：人工智能是否具備與人類同樣創造工具和使用工具的能力？41工具智能：前沿研究方向2021.12WebGPT使用搜索引擎2022.10Mind

'

sEye使用物理引擎2023.01PAL使用編程工具2023.08ToolLLM使用16000+API2022.07WebShop使用購物網站OpenAI、Google等陸續發布WebGPT、ToolFormer等項目，證明大模型能夠模仿人類使用搜索引擎、計算器等外部工具，達到了超越人類用戶的工具使用性能42工具智能：實現路徑模仿學習：通過記錄人類使用工具行為數據，大模型模仿人類行為習得工具學習能力教程學習：通過讓模型閱讀工具使用手冊（教程），理解工具功能及其調用方式強化學習：模型能夠通過自主探索，基于強化學習，根據環境反饋糾正錯誤1.

模仿學習

2.

教程學習3.強化學習（用戶點擊序列：下翻頁面、點擊、鍵入等）（API手冊、工具文檔等）（API調用成功率，用戶反饋等）人類監督逐漸減少，模型自主化程度逐漸提高43案例：WebCPM使用搜索引擎工具通過用戶行為克隆，WebCPM在30%+情況下與用戶使用搜索引擎水平持平或超越模型從人類行為數據中學習到了類人的搜索策略行為數據收集平臺WebCPM搜索流程Qin,

Yujia,

et

al.

"WebCPM:

Interactive

Web

Search

for

Chinese

Long-form

Question

Answering."

ACL

202344工具智能：利用工具提升智能水平ToolLLM:大模型能夠學習掌握16000+真實API，通過多輪多工具調用解決復雜問題+搜索引擎+做飯機器人+擴散模型回復以下為推薦書籍：《優秀的投資人》《簡單致富》…回復這是根據您的要求繪制的埃菲爾鐵塔水彩畫作，由擴散模型生成。規劃1/剝香蕉。2/攪拌香蕉和酸奶。穩定擴散模型Stable

Diffusion使用擴散模型提示詞：埃菲爾鐵塔，水彩投資類書籍基礎模型請幫我做一碗香蕉酸奶。請給我推薦一些適合理財小白的理財相關書籍。請幫我畫一幅水彩風格的埃菲爾鐵塔圖片。搜索執行XAgent:大模型智能體實現通用復雜任務處理（例如自動數據分析）Yujia

Qin,

et

al.

ToolLLM:

Facilitating

Large

Language

Models

to

Master

16000+

Real-world

APIs.

PreprintXAgent:

/45工具智能：賦能業務自動化工作流通過自動化執行提高工作效率，但工作流的構建需要花費大量人力物力財力工作流的本質是固化的工具使用過程，可以基于大模型自動化設計構建工作流自動構建工作流業務流程自動化46邁向通用的人工智能方面深度學習小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)術業有專攻多模態智能/語言偏向語言主導博學而多才工具智能//具備善假于物也群體智能//初步具備團結即力量重要的人類能力：高效大腦、敏銳感官、靈活雙手、溝通交流

通用的人工智能：稀疏激活、多模態智能、工具智能、群體智能47群體智能：智能的第二次涌現個體智能涌現群體智能涌現神經元數量增加帶來生物個體的智能涌現參數增加帶來單個大模型的智能涌現生物體群聚帶來生物群體智能涌現AI群聚帶來AI群體智能涌現()100大90腦80神70經60元50數40量30十20億1001101001000100001000001000000BERT

GPT-2

GPT-3

PaLM

(模型參數量百萬)48群體智能：自主語言交互的群體協作新范式語言交互搭建溝通橋梁，通過任務分工和協作執行處理復雜任務集體協作實現多方優勢互補、配合無間，有效提高解決問題的準確率群體智能與語言交互相得益彰，智能體合作實現各異其韻，協作其歌49群體智能：前沿研究方向實現多智能體間的方案提議、決策研討、分工執行在協同編程、數據庫運維等場景驗證效果雙智能體三智能體多智能體議題辯論信息互驗第三方裁判社會群體協同工作50群體智能：智能時代協同創新引擎群體智能：劃分為社會模擬型與任務完成型兩類形式實現“人類-環境-機器”無縫鏈接，孕育并引領下一代人機協作范式社會模擬型斯坦福的SmallVille小鎮：基于層次規劃的智能體社會小鎮，實現人類社群行為的可信模擬任務完成型清華NLP的ChatDev數字團隊：基于語言交互的智能體軟件開發，實現群體交互協作式任務完成案例：智能群體交互式軟件開發ChatDev數字團隊：由大語言模型驅動的多角色智能群體協同進行需求分析、系統設計、程序編碼、集成測試、文檔編制組織管理：交流鏈將軟件開發分解為原子任務組成的“生產線”技術思路：通過角色化、記憶流、自反思實現智能體間的方案提議和決策研討過程降本增效：軟件制作平均時間小于7.0分鐘且制作成本約$0.3美元Chen

Qian,

et

al.

Communicative

Agents

for

Software

Develo