預訓練語言模型預訓

練

微

調將模型在大規模無標注數據上進行自監督訓練得到預訓練模型將模型在下游各種自然語言處理任務上的小規模有標注數據進行微調得到適配模型AI大模型就是預訓練語言模型通過在大規模寬泛的數據上進行訓練后能適應一系列下游任務的模型預訓練語?模型“預訓練

+

微調”技術范式?規模?標注?本數據模型預訓練不同特定任務有標注訓練數據模型微調測試數據最終模型Big-data

Driven，模型基于大規模語料訓練而成；Multi-tasks

Adaptive，支持多種任務，包括自然語言生成NLG和自然語言理解NLU類的任務；Few-shot

(Zero-shot)，在少甚至無標注樣本的條件下支持推理（自監督學習）。產業研究

戰略規劃

技術咨詢2大模型發展歷程2017年，Google提出Transformer

框架在機器翻譯中取得顯著進步，其分布式學習和強大編碼能力受到廣泛關注。2018

年

Google

和

OpenAI

基于Transformer

提出了預訓練語言模型

BERT

和

GPT，顯著提高了NLP

任務的性能，并展示出廣泛的通用性。眾多預訓練模型相繼涌現，OpenAI以

GPT2、GPT-3、ChatGPT

等系列模型為代表，持續引領大模型時代的浪潮CAN(Gioodfellow.圖靈獎得主Bengio)Word2Vec(Google.引用78550)Attention(圖靈獎得主

Bengio)ResNet(

MSR.引用183222)Google.引用91332)Transformer(

BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)Foundation

PaLM(Google)ChatGPT(OpenAI)ViT(Google)DALL

E2(OpenAI)GPT-4V(OpenAI)ERNIE(百度)CPM(智源)Model(Stanford)

GLM(潔華)201220132014201520162017201820192020202220222023跨模態模型預訓練模型大模型計算

AlexNet機

(圖靈獎得主視

Hinton)覺自然語言處理認知感知來源：大模型驅動的群體智能行業白皮書產業研究

戰略規劃

技術咨詢3大模型參數規模不斷增長，推動AIGC技術升級。AIGC技術發展的背后是大模型（Foundation

Models）技術的持續迭代。從2017年Transformer

結構的提出，加速了深度學習模型的參數學習能力。另一方面，GPU算力也在指數級增長。圖1：2018-2023

年模型參數規模變化圖來源：中國人工智能系列白皮書圖2：CPU與GPU算力演進比較產業研究

戰略規劃

技術咨詢4英偉達每2年推出一個微架構，對產品線進行升級，6

月

2

日，英偉達在

Computex

2024大會上發布了至2027年的芯片路線圖，GPU迭代周期由

2年縮短到1年，走類似英特爾的Tick-Tock

模式（一年工藝一年架構）。同時，英偉達踐行“Buy

More

Save

More”讓算力成本指數級下降。圖3：英偉達GPU架構演進圖

圖4：訓練芯片算力成本呈下降趨勢我國高端GPU芯片進口從2019年以來就一直有被限制，只是之前主要針對的廠商是AMD，在應用場景上又以超算中心為主；2023年10月17日，美國加強了面向中國市場的AI芯片禁令。其中明確將性能、密度作為出口管制標準，將單芯片超過300teraflops算力，以及性能密度超過每平方毫米370

gigaflops的芯片都納入了禁止出口行列。禁令涉及A100、H100等主流AI訓練用英偉達GPU。來源：浙商證券研究所、華泰證券研究所產業研究

戰略規劃

技術咨詢5，行業高精數據短缺相較于英文、中文高質量開源數據非常少，特別是在構建通用領域大模型的百科類、問答類、圖書貢獻、學術論文、報告雜志等高質量內容數據人才中文語料短缺產業研究

戰略規劃

技術咨詢6數據和語料的同質化商業化壓力大全球化經營人才流失與人才短缺科技大廠創業新勢力產業研究

戰略規劃

技術咨詢7綜合各測評平臺的方法論來看，在基礎能力的測評維度基本相同，僅測評數據集和評估權重占比不同；而在基礎能力之外，各測評平臺側重點不同屧?倁

OpeThCompass

2.0

??

AgentIDC

To

C通用場景類To

B特定行業類LaThguageKThowledgeReasoThMathCode騕閿焒駮?槏俚??焺Other??產業研究

戰略規劃

技術咨詢8問答理解類推理類數學類創作表達類代碼類?熝茤? ?氠茤?問答理解類常識、專業知識、多語言、多模態、角色扮演+多輪對話、安全陷阱推理類情感推理、演繹推理、邏輯推理、歸納推理、類比推理創作表達類文字創作&創意、內容改寫/續寫、修改/潤色、文字處理、編輯/語義匹配、摘要提取、關鍵、字提煉、標題生成、文本風格遷移、圖像創作、短視頻創作(文生視頻)、其他創作(文學藝術、商業通用)數學類小學數學、初中數學高中數學、高等數學推理類代碼生成、編程翻譯代碼解釋、代碼糾錯代碼自動補全生成代碼文檔單元測試toC通用場景類生活助手辦公工具toB特定行業類工業:產品設計輔助&&生產規劃教育:智能問答、試題生成法律:智能法律助手，法律咨詢醫療:問診，用藥咨詢科研金融:推薦場景金融/咨詢服務:財報/市場分析互聯網/媒體:文案/海報設計、廣告詞創作、視頻生成場景零售/電商:客服問答IDC測試題目分為基礎能力和應用能力兩個大類共7個維度IDC

采取實測的方式，成立產品測試團隊，通過多個維度對基礎大模型及相關產品進行評測，并邀請外部專家團隊深入分析各個產品答案準確性、合理性等，在審核委員會的監督下，最終得出各廠商的評估結果，供用戶選型參考。產業研究

戰略規劃

技術咨詢9我們跟蹤研究了多個通用大模型，其中包括：Qwen-Max-0428SenseChat

V5Ernie-4.0Tencent

HunyuanSpark4.0

UltraYi-LargeGLM-4Pangu

5.0Baichuan4CongRong

2.0產業研究

戰略規劃

技術咨詢10在2024年，大模型的技術發展將趨向多功能與小型化，同時產業端將強調自主研發和行業標準化?勘盛?╃盛為確保中國大模型的長遠發展和避免外部制裁風險，國內AI計算芯片的自主研發將成為關鍵戰略方向。優化和完善現有數據標準和規范，是

推動大模型“燃料”質量提升和數量增長的重要驅動力，在2024年將作為產業發展的首要任務。為滿足產業實際需求并適應中小企業的發展特點，“套殼”微調（即在現有大模型基礎上進?針對性調整）將成為除行業巨頭外企業的主要發展策略。隨著大模型性能的飛速提升和實?性的增強，確保AI技術與社會倫理道德標準相?致將成為?模型持續發展的關鍵考量因素。模型整合統一未來的技術演進方向是實現大模型底層框架的整合與標準化，從多樣的架構（如雙編碼器、單邊解碼等）轉向統?的、效率最優化的開源底層框架，提升模型的通?性和可維護性。參數規模擴展為確保模型質量和性能，未來的大模型將采?更深層的?絡結構和更龐?的數據集進?預訓練，尤其在數據量和參數量上將迎來顯著躍升。多模態融合大模型將逐漸融入圖?、?頻、視頻等多種模態信息，實現跨模態的交互與理解，從?拓寬其應?場景和實?價值。大模型小模型化在產業應?層?，結合底層基礎大模型和針對特定?業的精簡數據微調，將訓練出更為實用、更易于產業落地的小型化大模型。來源：沙利文中國大模型測評報告產業研究

戰略規劃

技術咨詢11來源：面壁智能公眾號?????騕閿埛??

M┪M溸L?U茤囒銩?楓駬??埛?焒駮茤??埛?僓?溸????大模型的知識密度每8個月左右會翻一倍，同等知識量的模型參數量會減半右圖顯示了過去四年大語言模型在

MMLU榜單（評估大模型知識能力）上的性能表現，紅色曲線表明，大模型的知識密度平均每8個月左右會翻一倍，同等知識量的模型其參數量會減半知識密度=知識量/參數量產業研究

戰略規劃

技術咨詢12來源：面壁智能公眾號?濫?僓埛???埛??

?俚GP?T婞-4?V?寊庱?罥溸?┯???冝茤在

2

0

2

4

年

5

月

發

布

的

多

模

態

大

模

型MiniCPM-Llama3-V

2.5

僅憑

8B

參數，實現了“以最小參數，撬動最強性能”的最佳平衡點。面壁智能迭代的最新版本MiniCPM-S

1.2B采用了高度稀疏架構，通過將激活函數替換為

ReLU及通過帶漸進約束的稀疏感知訓練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。在通用大模型越來越卷參數規模和算力的情況下，如何通過架構和算法創新去規避算力和成本的短板，我們認為小參數、高性能模型是一個重要的趨勢，特別對于手機、車載終端而言，這樣的端側模型具有現實的需求。產業研究

戰略規劃

技術咨詢13來源：文心一言官網與百度的方案類似，各科技大廠基于云平臺、算力基礎設施和大模型技術相結合，推動行業應用落地，汽車產業鏈當然也是最重要的落地場景之一。砯岻呻厜┪文心一言沿襲了

ERNIE

3.0

的海量無監督文本與大規模知識圖譜的平行預訓練算法，模型結構上使用兼顧語言理解與語言生成的統一預訓練框架。為提升模型語言理解與生成能力，研究團隊進一步設計了可控和可信學習算法。駕綠┪結合百度飛槳自適應大規模分布式訓練技術和“鵬城云腦Ⅱ”領先算力集群，解決了超大模型訓練中的多個公認技術難題。在應用上，首創大模型在線蒸餾框架，大幅降低了大模型落地成本產業研究

戰略規劃

技術咨詢14規模法則驅動下，海量的算力成為開發優秀AI算法的基礎到端自動駕駛方案，在算法上端到端已經成為大勢所趨。但在發展路徑上，行業預計也會經歷漸進的過程。早期玩家致力于將算法從模塊化架構平穩過渡到端到端，遠期大語言模型和端到端基礎模型有望結合形成“系統一”和“系統二”共同賦能自動駕駛，最終強大的通用人工智能（AGI）或許可覆蓋所有駕駛能力。對自動駕駛而言，與所有AI應用類似，算力、算法、和數據三要素都必不可少數據的體量、質量、以及收集方式、處理方式、以及模型的訓練和驗證體系都考驗著開發者的技術和工程能力砯???俚?做?砯岻??目前海外特斯拉、Wa如何構建一個性能優異且穩定可靠的算法來支撐功能落地，亦尤為關鍵端到端模

型多模態大語言模型AGI通用世界模型產業研究

戰略規劃

技術咨詢15?冎?埛??鉿埛╃??氠?埛?四種競爭要素缺一不可；持續的產品迭代能力；逐步建立于自研芯片或者國產芯片的算力建設；汽車行業的合作與量產應用；多場景的覆蓋能力與量產應用；持續的產品迭代能力；走向通用世界模型的潛力；單一場景的技術積累；廣泛的汽車行業客戶與量產應用；可以允許“套殼”與API調用；單場景技術方向的領先發展潛力；數據服務場景場景數據算法算力算法數據框架產業研究

戰略規劃

技術咨詢16?氠?埛???┬屋鉿╃?氠?冎蔦???做呿ガ???稝?埛?╭勨??璇??╃??Tier1????俠?闌?做呿皶???稝?┱脢產業研究

戰略規劃

技術咨詢171??ガ供應商1供應商2供應商32 尸???主機廠1主機廠2……3 ?鉿氣?主機廠N公司1公司2蔦??? 冝茤?薷 煝?駦駉 觝??? ??劚? 騕??? 俚??氣 ?麄冝茤產業研究

戰略規劃

技術咨詢18百度BAIDU倁?┞閿?埛?2024年6月28日，百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰在WAVE

SUMMIT深度學習開發者大會2024上宣布了文心一言的最新數據，并正式發布文心大模型4.0

Turbo、飛槳框架3.0等最新技術2019.03中國首個正式開放的預訓練模型Ernie1.02019.07全球首個大規模隱變量對話模型Plato2021.07全球首個知識增強百億大模型Ernie3.02021.09全球首個百億中英對話生成模型Plato-XL2021.12全球最大中文跨模態生成模型Ernie-viLG2021.12全球首個知識增強千億大模型鵬程·百度·文心2023.03.16文心一言大模型3.02023.10文心一言大模型4.02024.06.28文心一言大模型4.0

Turbo“文心一言”

發展歷程產業研究

戰略規劃

技術咨詢21?&冎航空航天

氣象&海洋飛行器&汽車風阻預測能源動力

材料研發座艙散熱

天氣預報新藥研發凸包能預測疫苗設計蛋白質結構預測砯?數據驅動機理驅動數理融合PaddleSciencePaddleHelixDeepXDENvidia

ModulusNvidia

ModulusDeePMD-kit算力中心智算中心?氠螅??綴??呻厜算子庫高階自動微分

原生復數機制線性代數運算

······大范圍分布式并行計算編譯器計算庫概率統計

方程符號化定義神經算子學習

······硬件算子適配飛槳深度學習框架砯??百度自研昆侖芯，同時也與國內外機構合作，搭建算力中心和異構計算平臺厜卐?其飛槳框架已經更新到3.0版本。實現大模型混合并行訓練策略、編譯器自動優化、大模型多硬件適配和推訓一體???開發飛槳的各類組建?氠?文心一言推出多種功能各有側重的文心大模型，包括文心輕量級、文心3.5、文心4.0、文心4.0工具版。其中，文心輕量級模型適合解決確定場景的問題；文心3.5適用于日常信息處理和文本生成任務；文心4.0模型參數更大、具備更強的理解能力、邏輯推理能力與更豐富的知識，提供專業且深入的幫助；文心4.0工具版則基于智能體技術，善于綜合運用多種工具和數據，按要求完成非常復雜的任務。最新發布的文心4.0

Turbo則是文心4.0的升級版。產業研究

戰略規劃

技術咨詢22IntelNVIDIACPU:飛騰、海光、鯤鵬、龍芯、申威操作系統:麒麟、統信、普華AI芯片:昆侖芯、海光、寒武紀、瑞芯微、算能、高通、

Graphcore、Ambarella與浪潮、中科曙光等服務器廠商合作形成軟硬一體的全棧AI基礎設施工具與組建端到端開發套件基礎模型庫核心框架量?機器學習?物計算云上部署編排?具?動化深度學習強化學習聯邦學習圖學習

科學計算低代碼開發?具預訓練模型應??具可視化分析?具資源管理安全與隱私?與調度?具具語音理解文字識別圖像分類目標檢測圖像生成大模型推訓一體圖像分割自然語言處理計算機視覺語音時間序列文心大模型推薦動態圖產業研究

戰略規劃

技術咨詢23大規模分布式訓練產業級數據處理靜態圖模型壓縮邊緣與移動端推理引擎前端推理引擎服務器推理引擎服務化部署全場景統一部署學習與實訓社區開發訓練推理部署?咮?╃繡廣???┱?徏?侒??倁??埛?鉿╃?閕埛能源金融航天制造傳媒城市社科影視自然語言處理文心一言

ERNIE

Bot對話

PLATO-XL|搜索

ERNIE-Search跨語言

ERNIE-M

|代碼

ERNIE-Code產業研究

戰略規劃

技術咨詢24語言理解與生成

ERNIEERNIE

3.0

Zeus

|鵬城-百度·文心ERNIE3.5|ERNIE

4.0視覺OCR圖像表征學習

VIMER-StrucTexT多任務視覺表征學習

VIMER-UFO視覺處理多任務學習

VIMER-TCIR自監督視覺表征學習

VIMER-CAE跨模態文檔智能ERNIE-Layout文圖生成ERNIE-ViLG視覺-語言ERNIE-ViL語言-語言ERNIE-SAT生物計算化合物表征學習

HelixGEM蛋白質結構預測

HelixFold單序列蛋白質結構預測HelixFold—Single與主機廠合作落地名稱：知識增強的汽車行業大模型——吉利-百度·文心使用了百度文心ERNIE

3.0大模型，在智能客服知識庫擴充、車載語音系統短答案生成、汽車領域知識庫構建三個任務上進行了微調與驗證。該大模型在2300萬條吉利汽車專業領域無標注數據上進行模型預訓練，并聯合雙方的人工智能專家和汽車行業專家一起研發。應用于提升百度自動駕駛感知算法文心大模型在百度感知2.0中發揮了重要作用，主要提升3D感知能力，解決遠距離檢測和長尾物體識別兩大難題。百度使用半監督、自訓練方案對大模型進行訓練先用有標簽數據對模型進行初始啟動訓練，后將模型在無標簽數據上進行推理得到偽標簽，最后合并有標簽數據和偽標簽數據對模型進行進一步訓練。如此往復。訓練完感知大模型后，百度利用知識蒸餾的方法將偽標簽用于車載小模型的學習，從而增強車載小模型的遠距離感知能力。產業研究

戰略規劃

技術咨詢25華為HUAWEI?╬漽??埛?2024┿汕??冝茤??華為常務董事、華為云CEO張平安指出，華為正在通過“云網端芯”架構上的協同創新，來構建可持續發展的AI算力基礎，包括云基礎設施系統架構創新、芯端算力上云、面向AI的網絡架構升級三大方面。?切?尊?切溻?瞏?切?綴?華為云推出了全新的CloudMatrix架構，

以“

一切可池化”“一切皆對等”“一切可組合”三大創新設計，從算力規模、擴展模式和使用模式上，匹配超大規模的算力訴求，通過技術創新來解決行業難題。透過CloudMatrix架構創新展現華為云全棧的AI能力，包含盤古大模型、昇騰AI云服務、分布式QingTian架構、AI-NativeStorage和全球存算網等。產業研究

戰略規劃

技術咨詢272024?6劓22傽??╬??脢??2024HDC

2024┪華為常務董事、華為云CEO張平安正式發布盤古大模型5.0，在全系列、多模態、強思維三個方面全新升級；還分享了盤古大模型在自動駕駛、工業設計、建筑設計、具身智能、媒體生產和應用、高鐵、鋼鐵、氣象等領域的豐富創新應用和落地實踐，持續深入行業解難題。盤古大模型5.0包含不同參數規格的模型，以適配不同的業務場景。十億級參數的PanguE系列可支撐手機、PC等端側的智能應用；百億級參數的PanguP系列，適用于低時延、高效率的推理場景；千億級參數的Pangu

U系列適用于處理復雜任務；萬億級參數的Pangu

S系列超級大模型能夠幫助企業處理更為復雜的跨領域多任務。盤古大模型5.0能夠更好更精準地理解物理世界，包括文本、圖片、視頻、雷達、紅外、遙感等更多模態。在圖片和視頻識別方面，可支持10K超高分辨率；在內容生成方面，采用業界首創的STCG（

SpatioTemporalControllableGeneration，可控時空生成）技術，聚焦自動駕駛、工業制造、建筑等多個行業場景，可生成更加符合物理規律的多模態內容。復雜邏輯推理是大模型成為行業助手的關鍵。盤古大模型5.0將思維鏈技術與策略搜索深度結合，極大地提升了數學能力、復雜任務規劃能力以及工具調用能力。產業研究

戰略規劃

技術咨詢28該平臺基于盤古大模型和ModelArtsAI開發生產線，已經在多個車企和商用車場景中成功運用。該平臺基于盤古大模型和ModelArts

AI開發生產線，提供了數據生成、自動標注、模型訓練、云端仿真、虛實結合仿真、數據閉環等一系列能力。該平臺預集成了超過25萬個場景庫，包括500多類功能場景和200多項測評指標體系，將傳統純實車測試時的場景搭建工作從數天降低到分鐘級，車企還可以基于盤古訓練出自己需要的模型。2024年6月22日，盤古大模型5.0通過創新的可控時空生成技術，結合場景視頻生成、4D

BEV視頻生成、自動駕駛仿真庫及路網信息，能更好地理解物理規律，大規模生成和實際場景相一致的駕駛視頻數據，還可以靈活增加控制條件，生成不同路況、不同光照、不同天氣的訓練視頻數據，加速自動駕駛技術的快速成熟。??╬◥EI劚?????????╬◥??漽??埛?鰘茤蔦???????產業研究

戰略規劃

技術咨詢29???楓┩???通過數智融合架構打破數據、AI資源管理邊界，在一個平臺即可完成開發、測試、交付上線工作，讓業務創新提效2倍，實現數據加速；借助盤古大模型在認知、感知、決策、優化等全領域的能力，車企可以快速基于盤古訓練出自己需要的模型，實現算法加速；基于昇騰AI云服務，可針對自動駕駛300+算法進行優化，60+實現精度性能提升，可以做到千卡訓練數月不中斷，實現算力加速。目前上述三種華為自動駕駛相關大模型中，只有場景理解大模型已有客戶（比亞迪）合作落地（工程師僅需調用華為云提供的API就可以用場景理解大模型來完成給視頻數據分類的工作）。但是大模型的訓練成本高昂。GPT-3訓練一次的成本可能在1200萬人民幣。而華為方面，在訓練千億參數的盤古大模型時，也調用了超過2000塊的昇騰910，進行了超過2個月的訓練，成本極高。一方面選擇小樣本訓練，通過自監督的方法，以更少的標注數據來做訓練，以降低成本；另一方面盤古大模型的三層架構能在結構上實現降本。L0層是通識性的大模型，具備魯棒性和泛化性；大模型訓練好了之后不用再重復訓練，只需在L1和L2層做適應性訓練，成本關系是上一層的5-

10%。華為云是具備自動駕駛數據閉環工具鏈全棧自研能力的云廠商之一。除了給用戶提供大模型的能力外，華為云也可以提供數智融合架構、ModelArtsAI開發生產線、昇騰AI云服務等一系列配套設施，用戶可以在華為云的自動駕駛開發平臺上同時實現數據加速、算法加速和算力加速。ModelArts

AI開發生產線包含DataTurbo、TrainTurbo、InferTurbo

三部分，分別提供數據加載、模型訓練、模型推理的加速工具，倍速提升模型訓練效率。為了應對模型訓練的算力需求，各家科技公司、主機廠等紛紛開始自建/合建算力中心，打造算力集群。華為云在烏蘭察布和貴安數據中心同時上線了昇騰AI云服務，為模型訓練提供澎湃算力，單集群性能可達2000P

Flops。大規模的算力集群通常會面臨業務連續性的問題，因為單點故障就可能導致整個大規模分布式任務失敗。為保證訓練任務不中斷，華為云開發了斷點續訓的方法，假如在訓練過程中出現了單點故障，系統會將這個點排除掉，用新的節點替換掉故障節點，并且原地重啟。據悉，昇騰AI云服務可以實現千卡訓練一個月以上不中斷，斷點恢復時長不超過10分鐘。產業研究

戰略規劃

技術咨詢30科大訊飛KEDAXUNFEI駗?儘挩?埛?2023?10劓24傽璇?駗???儘挩?埛?V3.0┢?茤??縮???儘挩3.0?繡????騅?AI?駦?茤茤???剳╗?溸AI???2024?6劓27傽???儘挩?埛?4.0曬勔?星火大模型在識別中，兩人混疊場景準確率已經到了91%，三人混疊場景準確率達85%以上。在-5dB的高噪場景，噪音已經比人講話還要高不少的情況下，星火語音識別依然能做到90%以上的準確率。“2023年到2024年的國際連續最權威的語音識別比賽，國際多通道語音分離和識別大賽CHiME-7，星火繼續拿了全球第一；今年的上半年國際聲學、

語音和信號處理會議ICA

S

S

P

2024

（InternationalConferenceonAcoustics,Speech,andSignalProcessing）的旗艦賽事——國際車載多通道語音識別挑戰賽科大訊飛是全球第一，這個不是中文的，是英文和多語種的比賽。”語音交互已經搭載了5700多萬輛的汽車，去年中國500多萬輛汽車出海，成為中國出海的“新三樣”，其中的多語種智能語音技術幾乎全是科大訊飛提供的。科大訊飛與紅旗、奇瑞、廣汽、一汽簽訂了戰略合作協議，越來越多的車企開始用訊飛星火“能聽會說、能理解會思考”的汽車方案。產業研究

戰略規劃

技術咨詢32?繡?儘挩尸?冝茤?薷智能座艙中可以實現全雙工交互，實現多語種多方言的免切換交流，多情感多模態的擬人交互，而且能夠多模態感知，知道駕駛人身體健康程度，是否疲勞、血壓過高、心跳過快；還可以貫穿內外信源，在車上完成任務，科大訊飛星火有了語言理解，就可以更自由地對接外部信源了。除了急速的語音對話、多方言多語種之外，通過多模態的識別，它可以了解到你的身體參數，知道你是否疲勞駕駛、是否有異常情況。星火在汽車的音效上還有一個非常重要的特點，通過AI大模型和音效結合，可以把十幾萬的國產車音效，做到比四五十萬的車的音效還好，40多萬的車可以超過柏林之聲的音效。不僅音效提升，開車時可以隨時要求去掉原唱，跟著它的伴唱、對唱、分享等，這些都是大模型帶來的功能，產業研究

戰略規劃

技術咨詢33??駗?勨資?鱪荊??2.0“隨著大模型具身智能的幫助，今天的陪伴機器人，尤其是人形機器人開始進入到全新的發展階段，未來如果沒有陪伴機器人，老年社會的幸福是沒有辦法保障的。”通過大模型可以在后臺做理解、做規劃，在前端通過專門的硬件設備實現麥克風陣列，實現人臉、手勢的各種識別，從而可以“聽說看認”，最后再與機器人廠商共同來做具身模型，把這個能力開放給訊飛星火的合作伙伴。直接用科大訊飛的方案，每一個機器人廠商都可以定制自己的機器人超腦。2022年推出訊飛超腦平臺，是專門給機器人的機器人超腦平臺1.0，現在已經有410家機器人企業，大概占了至少60%的機器人市場份額。機器人超腦平臺進一步升級。升級的核心是后端星火超腦2.0的硬件版，能夠極大地提升具身智能和最后相關的理解能力，包括任務規劃和前端的攝像頭、麥克風一體化的模塊。產業研究

戰略規劃

技術咨詢34?璀?冎????▂闌??氠溸劅?┞??

駗?儘挩V4.0?冝茤?┪溸茤??婢

目標可以更好地照進現實。這個是什么目標？能不能用一句話提要求，大模型就能理解我的意圖，然后分解出這句話所對應的各個步驟的任務，然后找到每個任務所對應的工具，讓每個工具去調用內外部的各種信息，有的是內部信息，有的是外部信息，最后完成任務給出結果，這就叫智能體。簡單地說，就是叫它干一件事，它能自動規劃，找到工具自動完成。???╃冝茤???劅?錮溸┩?茤?第一是AI的原子能力，比如人工智能開放平臺上的各種各樣的專有能力，會成為工具被它調用；第二個是各種外部信源；最后要打通公司內部系統。這三個能力構建起來，再有大模型能力，就可以搭建企業智能體了。在這方面科大訊飛已經走在了行業前列，不僅有了基本能力，現在AI的原子能力有400多項，已經集成了外部的90多個重要的信源，關乎到研、產、供、銷、服、管各個領域，天氣、股票、航班等這些全部都在。打通了內部IT、ERP財務、法務、OA等系統。產業研究

戰略規劃

技術咨詢35商湯科技SENSE

TIMEガ尐傽傽假?埛?在2023世界人工智能大會（WAIC）上展示2024?4劓23傽2023?7劓 2024?2劓2024?7劓5傽升級至SenseNova4.0，日日新·商量大模型各版本同步升級至V4。商湯科技發布日日新5.0（SenseChat

V5），采用混合專家架構（MoE），參數量高達6000億，支持200K的上下文窗口。據官方披露，SenseChat

V5具備更強的知識、數學、推理及代碼能力，綜合性能全面對標GPT-4

Turbo。商湯科技在WAIC

2024舉辦“大愛無疆·向新力”人工智能論壇，發布國內首個具備流式原生多模態交互能力大模型日日新SenseNova

5.5，綜合性能較兩個月前的日日新5.0提升30%，交互效果和多項核心指標實現對標GPT-4o。傽傽假

5.5╭錮剳假掾6000億參數基模型性能全面提升。大量使用合成高階思維鏈數據，提升推理思維能力，在數理邏輯、英文、指令跟隨等方面能力增強明顯。率先推出國內首個“所見即所得”模型「日日新

5o」，流式多模態交互，帶來全新AI交互模式。端側模型全面升級，發布「日日新

5.5

Lite」，相比4月5.0版模型精度提升10%，推理效率提升15%，首包延遲降低40%。產業研究

戰略規劃

技術咨詢37應用插件、app和API開發者生態插件庫應用商店公有云、私有化部署提示詞廣場數據標注服務評測工具串聯Function

callCode

interpreter

沙盒環境知識融合安全和價值觀對齊MOE混合專家模型管理服務發布模型通用對話模型商湯大模型體系基礎底座大模型代碼生成模型邏輯推理模型多模態感知模型文生圖模型人像模型3D物體生成模型行業數據自動爬取自動采集和分類回流自動標注/人工Refine大批量數據自動清洗自動PROMPT構建數據質量評估數據平臺基礎底座大模型基礎層商湯算力中心STPU預訓練、微調、

RLHF工具算力支撐MOE、多模態、

Embedding訓練思維鏈和自反思迭代系統國產化NV``````多語言擴展/多人設支持上下文長度擴增代碼和數理邏輯訓練千卡并行訓練工具多后端支持Trt\ft\triton\PPI動態批次、調度和擴編容MOE、多模態、

Embedding訓練云邊端支持國產化芯片適配壓縮優化INT8\INT4模型水印、編譯加密和授權訓練工具推理部署工具產業研究

戰略規劃

技術咨詢38目前商湯絕影已經合作蔚來汽車、吉利極氪、廣汽埃安、哪吒汽車等品牌車型，此外，雖然具體車型未明確提及，但商湯絕影已與本田、比亞迪、長城、紅旗、奇瑞等超過30家國內外車企合作，覆蓋了超過90款車型。蔦???商湯絕影為智能汽車前瞻構建了

UniAD、DriveAGI以及面向座艙的多模態場景大腦等系列原生態大模型，加速端到端自動駕駛和大模型在智能座艙場景的落地；全棧的數據生產管線，實現大模型的高質量訓練。薷?鄌?商湯絕影還在進一步探索艙駕融合，實現智能駕駛和智能座艙在硬件、軟件及應用層面的全面融合，提升用戶體驗、降低系統成本，進一步打破艙內外的界限和束縛，涌現更多創新功能，帶來更安全、更加全方位，更具人文關懷的新體驗。盛??翤7月5日上午，在WAIC

2024人工智能論壇上，商湯絕影宣布在行業率先實現原生多模態大模型的車端部署，并在現場演示了搭載在200

TOPS+平臺上的8B模型(即80億參數)車端部署方案，展示強多模態感知和交互能力。商湯絕影車載端側8B多模態模型可以實現首包延遲可低至

3

00

毫秒以內，

推理速度

4

0Tokens/秒。?卐駉砯??商湯絕影打造了高性能異構計算平臺

HyperPPL。它綜合了大語言模型、多模態模型、CNN模型、前后處理完整的優化能力。HyperPPL目前擴展并支持主流車載計算硬件，兼容多種主流操作系統，適配多個車載芯片的部署平臺，使得商湯絕影原生多模態大模型在主流芯片平臺均可快速部署上線。同時，

H

y

p

e

r

P

P

L

支持f

l

a

s

h

de

c

o

de

、segment

prefill等400多個硬件算子，并對算子進行性能優化，同時量化支持

int8、int4模式，并支持訓練后量化，從而實現極致推理效率。產業研究

戰略規劃

技術咨詢39騰訊TENCENT營駗庌??埛?僓?2022年4月，騰訊首次對外披露混元AI大模型的研發進展。基于騰訊太極機器學習平臺進行研發，借助

GPU

算力，實現快速的算法迭代和模型訓練。在全球MSR-VTT，MSVD，LSMDC，

DiDeMo

和

ActivityNet

五大跨模態視頻檢索數據集榜單中，“混元”AI

大模型先后拿下第一名的成績2022年12月，混元推出國內首個低成本、可落地的NLP萬億大模型。2023年2月，騰訊針對類

ChatGPT

對話式產品成立混元助手（HunyuanAide）項目組。2023年9月，混元AI大模型正式發布。杅掾砯岻做?勨資??呻厜采用的是自主研發的機器學習框架Angel，訓練速度相比業界主流框架提升1倍，推理速度比業界主流框架提升1.3倍。?熝駦偢做?采用基于云星星海自研服務器的新一代HCC高性能算力集群，搭載了超強算力GPU，性能提升了3倍。砯??聁???溸羱緣??儘茺羱緣??3業.界2T最?????

為10A?I??模?型帶?來茤??通過自研TiTa協議和自研TCCL通信庫，星脈網絡可將網絡利用率從普通以太網的60%提升到90%以上，極大提高整體集群的算力利用率。騰訊新一代計算集群可以幫助混元NLP大模型訓練在同等數據集下，將訓練時間由50天縮短到4天。產業研究

戰略規劃

技術咨詢41?熝駦偢埛┱??硅亦槏呻?厜??埛?┱埛?ガ??氠?冎?熝駦偢?????結合騰訊云，有系統的研發布局和解決方案埛??騰訊副總裁湯道生表示混元大模型已經支持了內部600多個應用，同時開拓更多調用大模型的產業場景，滿足客戶生圖文、生圖、生視頻、生3D的需求。不同客戶場景，對模型也有不同需求。除了混元外，騰訊云也支持客戶選擇其他模型，有些客戶也會用騰訊的模型工具來精調其他開源模型如百川、GLM等。?氠?騰訊各事業部結合產品思考怎么用AI來提升用戶體驗、提高使用效率。比如在CSIG的企業應用中，騰訊會議就用大模型來生成會議紀要，騰訊樂享就用大模型構建熟悉企業文檔庫的智能助手，Coding研發平臺用大模型來生成代碼。產業研究

戰略規劃

技術咨詢42庌?AI?埛?╭錮茤?庌?AI?埛?toB?氠根據騰訊的規劃，混元大模型將作為行業大模型服務的底座，企業不僅可以直接通過API調用混元，也可以將混元作為基底模型，為不同產業場景構建專屬應用。目前，混元支持金融、公共服務、社交媒體、電子商務、交通運輸、游戲等行業。多輪對話具備上下文理解和長文記憶能力，流暢完成各專業領域的多輪問答。在多個場景下，騰訊混元大模型內容創作已經能夠處理超長文本，通過位置編碼優化技術，混元大模型對于長文處理效果和性能得到了提升。支持文學創作、文本摘要、角色扮演能力邏輯推理準確理解用戶意圖，基于輸入數據或信息進行推理、分析AI問答支持AI輸入文字內容，然后給出相應的回答，可有效解決事實性、時效性問題，提升內容生成效果。具有識別“陷阱”的能力，通過強化學習方法拒絕被“誘導”，當用戶可能問出難以回答甚至無法回答的問題，針對此類安全誘導類問題的拒答率可以提升20%，減少了錯誤、無效回答的情況，提升回答內容的可信度。多模態（計劃推出）AI繪畫，使用者描述畫面內容，根據關鍵字生成畫作。座艙應?（計劃推出）基于座艙垂域大模型的應用，結合感知車輛感知數據、語音輸入和用戶行為分析等因素，該模型能夠提供場景化分析和智能決策，帶給用戶更自然的對話體驗、生成式的交互界面、多樣化的場景編排和更個性化的出行服務建議等。產業研究

戰略規劃

技術咨詢43特斯拉TESLA杅偅?盛?盛?埛?產業研究

戰略規劃

技術咨詢452021?

引入BEV+Transformer，將多攝像頭數據統一成俯視角度。2022? 提出Occupancy

Networks判斷空間占用。規劃層引入交互搜索，逐步增加約束條件（其他參與者博弈行為）做最優路徑規劃。2023?8劓26傽 特斯拉演示FSD

BetaV12，是有史以來第一個端到端AI自動駕駛系統（FullAIEnd-to-End）。2024?1劓 特斯拉FSD

v12開始正式向用戶推送，將城市街道駕駛堆棧升級為端到端神經網絡。呦?杅掾感知、決策、控制杅偅??焒? 從CNN單head?絡迭代杅偅?

FSDV12的C++代碼控制減少了10倍，從2萬多行減少到2千行。特斯拉99%的決策都交給神經網絡給出，視覺輸入，控制輸出，就像人類大腦一樣。另外，它所擁有的超強能力，是經過巨量的「視頻數據」、1萬個H100加持下完成的。FSD

Beta

V12仍在調試中，因此還沒有確定正式發布的時間。小鵬XIAOPENG??XGPT?埛?47XBrain：更像人類的大腦，為智能駕駛系統提供了理解和學習能力。它能夠處理復雜場景，快速響應各種駕駛環境中的指令。XBrain可以識別待轉區、潮汐車道、特殊車道和路牌文字，并根據這些信息做出安全高效的駕駛決策。XNet：類似于人類的眼睛，是一個結合動態視覺、靜態視覺和2K純視覺技術的深度感知神經網絡。它能夠以裸眼3D效果重構現實世界的3D圖像，感知范圍擴大了兩倍，相當于1.8

個足球場的面積，并能識別50多種目標物，使駕駛系統的視野更加清晰、廣闊。XPlanner：更像人類的小腦，是基于神經網絡的規劃大模型。通過大量的數據訓練，它逐漸進化出類似人類駕駛員的操作能力，使駕駛過程更加平穩，提升了用戶的駕駛舒適性和安全性。煝?駦駉?????埛?????駦駉??焺????煝?侞椚產業研究

戰略規劃技術咨詢2024?5劓20傽DAY活動，展示了在AI方面的最新進展，并宣布將全面推送AI天璣系統。AI天小鵬汽車舉辦了一場主題為“開啟AI智駕時代”的AI璣系統包括AI智駕和AI座艙。冝?做?小鵬汽車自動駕駛端到端大模型包括深度視覺感知神經網絡XNet、規劃大模型

XPlanner和大語言模型XBrainAI司機，擁有AI代駕、AI泊車功能，全面覆蓋行車、泊車在內的全場景，使得車輛能洞悉外界環境，為駕駛者提供實時信息，確保行車的安全性和便捷性。小鵬大語言模型Xbrain和天璣系統智能座艙方案融合了智譜AI的基座大模型和多模態模型。AI?薷三種AI角色：AI小P-生活助理，人機共駕-AI保鏢和出行助理-AI司機毫末智行HAOMO孉勒冝鉿DRIVEGPT2023?4劓11傽第八屆HAOMO

AI

DAY上，毫末智行正式對行業首發了DriveGPT

1.0自動駕駛生成式大模型，同時也公布了其中文名“雪湖·海若”。2023?10劓11傽第九屆HAOMO

AI

DAY上，毫末智行CEO顧維灝詳細介紹了毫末DriveGPT大模型在推出200天后的整體進展。首先是DriveGPT訓練數據規模提升。截至2023年10月DriveGPT雪湖·海若共計篩選出超過100億幀互聯網圖片數據集和480萬段包含人駕行為的自動駕駛4D

Clips數據。進一步升級引入多模態大模型，獲得識別萬物的能力；與NeRF技術進一步整合，渲染重建4D空間；借助LLM（大語言模型），讓自動駕駛認知決策具備了世界知識。產業研究

戰略規劃

技術咨詢49?焒?嫙駌焒?嫙毫末基于DriveGPT大模型開發模式的七大應用實踐,包括駕駛場景理解、駕駛場景標注、駕駛場景生成、駕駛場景遷移、駕駛行為解釋、駕駛環境預測和車端模型開發。對于今年火熱的大模型上車，毫末智行有前瞻性的策略。在車端模型開發模式變革方面,毫末嘗試用蒸餾的方法,也就是用大模型輸出的偽標簽作為監督信號,讓車端小模型來學習云端大模型的預測結果,或者通過對齊Feature

Map的方式,讓車端小模型直接學習并對齊云端的Feature

Map,從而提升車端小模型的能力。產業研究

戰略規劃

技術咨詢50?弮·缻嵌MANA

OASISˋˋ孉勒冝鉿冝砯╚???僓?2023?1劓5傽合作伙伴：毫末智行&火山引擎聯合打造能力：該智算中心每秒浮點運算達67億億次，存儲帶寬每秒2T，通信帶寬每秒

800G。數據管理能力方面：毫末智行建立了面向大規模訓練的Data

Engine，從單幀單要素變為連續幀全要素。實現百P數據篩選速度提升10倍、百億小文件隨機讀寫延遲小于500微秒；算力優化方面：毫末與火山引擎聯合部署了Lego高性能算子庫、ByteCCL通信優化能力以及大模型訓練框架，可以讓算力進一步優化；訓練效率方面：基于Sparse

MoE，通過跨機共享，輕松完成千億參數大模型訓練，且百萬個Clips（毫末視頻最小標注單位）訓練成本只需百卡周級別，訓練成本降低100倍。睘┞劻冝砯╚?☆??鱪?2000?GPU??縮??周?╃???????孉勒潨??繢?90%溸??駕綠???瓌??產業研究

戰略規劃

技術咨詢51思必馳AISPEECH???╚厀?埛?2021?，發布UniDU（DFM-0），即統一生成式對話理解框架；2022?，統一理解、生成、表征等任務，研發DFM-1，即統一生成式通用對話基礎模型，作為10億及大模型進行小規模產品應用；2023?7劓12傽，思必馳正式發布自研的對話式語言大模型DFM-2，并與梅賽德斯-奔馳、上汽通用五菱、長城汽車、合眾新能源、博泰車聯網、聯通智網等多家汽車產業鏈上的企業舉行了簽約儀式。DFM-2儱?劔?氠冝茤?????溸鉿╃騕閿駉砯?埛??氠冝茤?焒駮提升人機語言交互五種核心能力：外部信源增強的精準推理決策、基于深度認知的通用語義理解、基于文檔理解的可信主動知識問答、面向用戶個性化的多人設交互、面對復雜任務的自動規劃與執行；大模型與全鏈路綜合對話技術能力的聯動。如數字人、語音合成技術DUI

2.0在智能汽車領域的應用為：思必馳汽車語音助手天琴系統全面升級至6.0，支持多模態、多意圖、多音區、全場景多輪連續對話。注：DUI開放平臺，是思必馳