李夕瑞騰訊Angel機器學(xué)習(xí)平臺專家工程師騰訊Angel機器學(xué)習(xí)平臺專家工程師，多年專注于AI工程領(lǐng)域，目前負責(zé)Angel大模型一站式平臺的架構(gòu)設(shè)計與開發(fā)工作，支持騰訊混元大模型、騰訊廣告等模型研發(fā)、應(yīng)用場景。演講主題：騰訊Angel大模型一站式平臺工程實踐騰訊混元大模型產(chǎn)品應(yīng)用情況Angel機器學(xué)習(xí)平臺構(gòu)建AI基礎(chǔ)設(shè)施底座騰訊混元大模型之路2024.6混元多模態(tài)MOE模在SuperCLUE-V中文多模態(tài)大模型基準(zhǔn)8月榜單騰訊混元獲混元大模型對外發(fā)布混元一站式面向業(yè)務(wù)全面開放混元大模型對外發(fā)布混元一站式面向業(yè)務(wù)全面開放混元一站式推出業(yè)務(wù)精調(diào)服務(wù)始終堅持把創(chuàng)新成果推出百億/千億廣告推薦大模型及時對齊業(yè)務(wù)需求2024年Q32024年Q3發(fā)布更快更強更高混元turbo在SuperCLUE中文大模型評測榜單獲國內(nèi)第一廣告、會議、文檔等頭部業(yè)務(wù)接入混元一站式廣告、會議、文檔等頭部業(yè)務(wù)接入混元一站式發(fā)布萬億混元NLP大模型發(fā)布萬億混元NLP大模型于模型算法探索的最前沿混元大模型騰訊產(chǎn)品應(yīng)用情況典型業(yè)務(wù)案例-搜狗輸入法智能創(chuàng)作創(chuàng)意轉(zhuǎn)化為影響力:支持在小紅書、大眾點評、朋友創(chuàng)意轉(zhuǎn)化為影響力:支持在小紅書、大眾點評、朋友智能問題生成：無限聯(lián)想，迸發(fā)思維火花，目前支持2-15個字的輸入（隨意輸入）提升聊天、朋友圈文案等社媒寫作能力騰訊旗下SaaS協(xié)作產(chǎn)品全面接入混元企業(yè)微信企業(yè)微信騰訊會議騰訊會議跨品類信息處理翻譯等AI小助手智能錄制實時字幕跨品類信息處理翻譯等AI小助手智能錄制實時字幕翻譯智能助手小助手全品類文檔生成讓討論更沉浸讓討論更沉浸，讓會議更高效已接入騰訊混元大模型提升產(chǎn)品體驗和服務(wù)效率辦公和高效創(chuàng)作已接入騰訊混元大模型提升產(chǎn)品體驗和服務(wù)效率騰訊電子簽騰訊電子簽騰訊云AI代碼助手騰訊問卷騰訊云AI代碼助手騰訊問卷典型業(yè)務(wù)案例-騰訊文檔文本創(chuàng)作騰訊文檔智能助手：在騰訊文檔的doc、表格等各品類中，通過AI提高用戶創(chuàng)作效率，提升創(chuàng)作體驗遵循用戶指令，進行各種場景的文本創(chuàng)作對已有內(nèi)容進行續(xù)寫、潤色、校閱、翻譯和總結(jié)支持自然語言生成250+內(nèi)置函數(shù)典型業(yè)務(wù)案例-騰訊文檔文本創(chuàng)作典型業(yè)務(wù)案例-騰訊會議長文理解騰訊會議AI小助手：是為會議設(shè)計的機器人，可在會議前、中、后幫助用戶處理問題和指令，旨在簡化會議操作并提高會議效率。理解用戶指令，與會議API交互快速精準(zhǔn)獲取答案更好了解會議關(guān)聯(lián)信息典型業(yè)務(wù)案例-騰訊會議長文理解典型業(yè)務(wù)案例-微信讀書RAG+摘要總結(jié)AI大綱AI問書混元加持AI搜索能力，解鎖深度搜索和分析能力高質(zhì)量時新搜索數(shù)量多、時間新、信源好全面掌握相關(guān)資訊，并快速提取要延伸閱讀學(xué)習(xí)體驗輕松拿捏專業(yè)文獻圖文表格資料通過延伸閱讀滿足用戶對周邊信息的獲取需求，關(guān)聯(lián)問題引導(dǎo)追問閱讀學(xué)習(xí)無縫銜接角色對話、劇情互動、劇照cos…探索更多智能體玩法感知、情感風(fēng)格?長相思AI角色對話總熱度近2億，“相柳”對話率超90%，小鳥角色+音色產(chǎn)生社媒自傳播?本次合作獲新華社、21財經(jīng)等主流媒體高度評價和官方權(quán)威報道，充分肯定了AI在開拓文化新賽道方面的創(chuàng)新方向；審核提效、代碼助手、知識問答…不斷解鎖更多場景信安審核引入混元提升多個場景的機器審核效率和提升機審準(zhǔn)確率，切實降本增效代碼助手補全：支持主流5大語言生成、采納，覆蓋司內(nèi)大部分開發(fā)者AICR：滲透近半代碼評審用戶智能客服支持客服多輪對話，微信支付、騰訊游戲等客服場景落地為人工客服提供推薦話術(shù)、歷史工單摘要等支持持續(xù)提升的模型效果建立在全棧自主可控的能力上Angel大模型框架整體技術(shù)架構(gòu)高性能高性能大模型算法預(yù)訓(xùn)練Angel大模型框架大規(guī)模模型訓(xùn)練模型推理大規(guī)模分布式訓(xùn)練引擎分布式推理引擎分布式訓(xùn)練引擎分布式推理引擎混合精度算子優(yōu)化通信拓撲感知混合精度算子優(yōu)化通信拓撲感知低成本天河服務(wù)器星脈網(wǎng)絡(luò)AI芯片關(guān)鍵技術(shù)創(chuàng)新Angel大模型平臺關(guān)鍵技術(shù)創(chuàng)新高性能：整體訓(xùn)練性能是業(yè)界開源框架的2.6倍，推理是業(yè)界2.3倍?拓撲感知降低通信占比?拓撲感知降低通信占比，多機多卡線性加速比?顯存+主存統(tǒng)一編址，增加單機容量?性能比微軟開源DeepSpeed提升2.6倍框架40天大模型壓縮大模型壓縮剪枝蒸餾量化異構(gòu)硬件適配異構(gòu)硬件適配國產(chǎn)芯片大規(guī)模之GPU通信拓撲感知親和性優(yōu)化技術(shù)GPU拓撲感知路由優(yōu)選前通信路徑優(yōu)選后通信路徑開銷下降80%GPU親和性調(diào)度次之大規(guī)模：單個訓(xùn)練任務(wù)突破萬卡規(guī)模，多機多卡加速比99%訓(xùn)練吞吐訓(xùn)練吞吐AngelAngel模型平臺高性能之統(tǒng)一視角的顯存管理與緩存技術(shù)顯存統(tǒng)一視角管理 計算單元80G80G80G80G=80G80G80G80G 計算單元80G80G80G80G=80G80G80G80G顯存共享與緩存Cache提升顯存利用率低成本之大模型壓縮技術(shù)量化壓縮權(quán)重量化權(quán)重量化W8A16/W4A16W8A16/W4A16權(quán)重+激活量化權(quán)重+激活量化W8/A8W8/A8蒸餾小型化數(shù)據(jù)蒸餾數(shù)據(jù)蒸餾優(yōu)先數(shù)據(jù)蒸餾優(yōu)先數(shù)據(jù)蒸餾，壓低feature蒸餾結(jié)果：推理部署成本下降70+%混元一站式平臺服務(wù)騰訊所有AIGC業(yè)務(wù)場景LLMOps一站式平臺，模型研發(fā)高效迭代、業(yè)務(wù)落地簡單易用LLMOps核心模塊-業(yè)務(wù)接入方案OpenAPI-API能力布局和使用流程混元生文混元生文混元生圖描述智能繪制出精美圖像。多輪對話、分析推理等能力。……?超長上下文moe模型些垂直場景效果領(lǐng)先?萬億級參數(shù)規(guī)模moe模型?中文效果最優(yōu)?適用于效果要求高的場景?32k上下文窗口……?中文效果最優(yōu),大海撈針指標(biāo)99.9%OpenAPI-申領(lǐng)限流及prompt工程API全流程能力Api申請流程、調(diào)用統(tǒng)計、限流、提頻等全流程配套能力細化運營支持使用專屬調(diào)優(yōu)模型進行prompt調(diào)優(yōu)支持單條/批量的prompt評估流程將調(diào)優(yōu)好的prompt進行快速應(yīng)用模型精調(diào)-支持平臺訓(xùn)推框架，提供一站式精調(diào)流程業(yè)務(wù)應(yīng)用精調(diào)流程業(yè)務(wù)應(yīng)用會議會議文檔廣告微信云協(xié)助業(yè)務(wù)落地太極混元一站式平臺調(diào)、模型部署、agent應(yīng)用等全流程能力太極混元一站式平臺數(shù)據(jù)管理模型精調(diào)模型部署模型評估數(shù)據(jù)管理模型精調(diào)模型部署模型評估模型庫統(tǒng)一GPU資源管理調(diào)度統(tǒng)一GPU資源管理調(diào)度減少一半。混元千億模型推理成本打平ChatGPT3.5-turbo刊例價；AngelPTM訓(xùn)練框架AngelHCF推理框架算力模型精調(diào)-模型庫，各尺寸、各領(lǐng)域模型，體驗服務(wù)支持模型快速體驗支持模型快速體驗財經(jīng)大模型、翻譯等提供各類size的模型支持業(yè)務(wù)快速上線深入各類行業(yè)大模型快速提供各類size的模型支持業(yè)務(wù)快速上線深入各類行業(yè)大模型快速服務(wù)業(yè)務(wù)落地模型精調(diào)-數(shù)據(jù)管理套件數(shù)據(jù)構(gòu)造數(shù)據(jù)倉庫數(shù)據(jù)處理優(yōu)化模型精調(diào)-精調(diào)任務(wù)模板化多模型多類型的精調(diào)訓(xùn)練等?指標(biāo)分析：支持各類指標(biāo)快速分析查看訓(xùn)練結(jié)果端到端訓(xùn)練性能超過業(yè)界開源框架端到端訓(xùn)練性能超過業(yè)界開源框架顯存+主存統(tǒng)一編址單機模型容量增加軟硬結(jié)合的高效訓(xùn)練方法大模型通信占比大幅下降模型精調(diào)-模型服務(wù)部署、評測、生產(chǎn)運營?編譯器優(yōu)化?異構(gòu)卡部署……Agent搭建-混元Agent介紹什么是大模型Agent應(yīng)用？能自動化執(zhí)行完成復(fù)雜任務(wù)的系統(tǒng)我們?yōu)槭裁葱枰竽Ｐ虯gent應(yīng)用？用于解決模型本身無法解決的業(yè)務(wù)場景需求用于解決模型本身無法解決的業(yè)務(wù)場景需求Agent搭建-Agent框架混元助手、工蜂騰訊廣告、FiT搜一搜、企微騰訊文檔、QQ騰訊游戲、NPC騰訊云、騰訊會議…混元模型庫混元模型庫模型開發(fā)數(shù)據(jù)管理模型訓(xùn)練(Full_Finetune/LoRA/D模型評測(在線調(diào)試/多人眾評)模型服務(wù)AgentAgent搭建混元Agent模板庫場景應(yīng)用Demo角色扮演場景應(yīng)用Demo角色扮演Demo能力使用Demo混元Agent搭建智能問答Agent智能問答Agent排角色扮演Agent混元Embedding混元Embedding索引混元Embedding服務(wù)BM25檢索向量計算任務(wù)EMB索引插件管理安全審核搜索增強實用工具代碼插件算力與存儲資源Agent搭建-端到端解決方案模型效果問題基于小程序編程助手運行邏輯模型效果問題?多輪改寫錯誤?問題分類結(jié)果錯誤?兜底結(jié)果不符合預(yù)期?大模型潤色內(nèi)容缺失知識庫檢索問題?正確結(jié)果未召回/漏召回?召回結(jié)果排序太靠后?召回結(jié)果重復(fù)?召回結(jié)果觀點沖突其它問題?工程鏈路問題?參數(shù)傳遞問題Agent搭建-知識庫索引效果優(yōu)化+模型精調(diào)深度定制索引數(shù)據(jù)準(zhǔn)備索引數(shù)據(jù)準(zhǔn)備索引服務(wù)構(gòu)建Agent應(yīng)用多路檢索召回多路檢索召回模型精調(diào)訓(xùn)練Agent搭建-工作流編排、Functioncall、插件多輪對話20+平臺基礎(chǔ)