2024年12月22日豆包大模型升級，字節AI產業鏈行行業點評證券分析師本期投資；（報楊海晏A0230518070003（3）未上市，新業務拓展容錯率高。架構包括：AI應用Flow部門、專注于大模型研發李國盛A0230521080003用全棧AI布局。其中應用環節：1）C端產品為主：對標優質競品推出產品，覆蓋聊天ligs@助手、情感陪伴、教育等；同步在國內海外推出；利用產品流量助力推廣，堅持大模型黃忠煌A0230519110001zhaohang@力加持下，豆包大模型日均tokens增長使用量已超過4萬億；2）從細分行業看，豆包token使用量在汽車、智能終端、客服銷售、教育等2B中，我們認為重點值得關注的是視覺理解模型產品，有識別理解物體關系、復雜推理、jinling@多圖關聯等能力，達到了GPT-4v以上水平。豆包視頻理解黃俊儒A0230123070011(8621)23297818×技發布AI+硬件智躍計劃，我們認為AI玩具兼具教育和陪伴價值，用ligs@場景。我們認為伴隨傳統數據中心向“智算中心”演進，IDC行業供需開始出現缺口，“有效供給”的稀缺性較強。（2）通信網絡：推引擎FORCE原動力大會提出了“以AI負載為中心”的基礎架構范式，對通信網絡的需求增加巨大。字節重視推理布局，P/D分離架構利于整體效率和推理體驗提升。我們認以太網（設備、芯片等）、連接方案（銅、連接器等）等領域的增量機會。（3）技英維克、盛科通信、光訊科技等；2）AI硬件：兆易創新、樂鑫科技、移遠通信、潤欣科技、中科藍汛、恒玄科技等；3）數據：海天瑞聲、視覺中國等；4）應用和生態合作：中科創達、漢得信息、盛天網絡、游族網絡、實豐文化、居然智家、浙文互聯、掌閱科技、博納影業、芒果超媒、華策影視、冰川網絡、易點天下、富春股份、蜂助手l風險提示：宏觀環境不確定性帶來的風險；AI技術發展不及預時代變革，在競爭中處于不利地位的風險；反壟斷訴請務必仔細閱讀正文之后的各項信息披露與行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第2頁共25頁簡單金融成就夢想字節是國內投入AI激進的互聯網大廠，有望拉動國內AI全產業鏈從預期到現實，并形成2025年二級投資最重要的映射機會。字節跳動積極投入AI的原因：（1）字節跳動不可錯失下一代入口級的重大機會2）AI拉動云計算需求，布局AI是字節跳動云計算業務火山引擎彎道超車的機會3）未上市，在新業務拓展上容錯率高。從AI部門架構來看，字節跳動已形成較為清晰的AI部門架構，專注于AI應用落地的Flow部門、專注于大模型研發的Seed、為AI應用產品提供技術支持的Stone團隊，目前朱文佳、洪定坤、朱駿等為AI部門團隊主要負責人，均已在字節跳動任職多年。資料來源：字節跳動，第一財經，申萬宏源研究字節跳動目前形成算力-算法-應用的全產業鏈布局，且自研C端應用是重要發力點。算力環節：依托火山引擎的算力基礎設施，可為模型訓練和推理提供支持。自研云服務器、GPU服務器等，即可對內為模型和應用提供算力支持，也可對外賦能B端客戶的算力租用。AI+云浪潮下火山引擎有望為字節打開云計算市場空間。此前字節在云計算領域已有較多布局嘗試，AI+云將帶來新的機會。火山引擎為字節跳動的核心云基礎設施層布局，23H2GenAIIaaS市場規模約為32.2億元，其中火山引擎占比約為21%。字節跳動此前在算卡購買上較為積極，已有著較為充沛的算力儲備，支撐公司整體的AI應用布請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第3頁共25頁簡單金融成就夢想火山引擎阿里巴巴商湯百度騰訊其他算法環節：以豆包大模型為核心，涵蓋圖像、視頻、音頻和開發等多個領域，支撐字節跳動的AI應用開發并為開發者提供成熟完整的工具鏈。應用環節：字節在AI應用的戰略較為清晰：1）對標優質競品推出產品，覆蓋聊天助手、情感陪伴、教育等全領域。2）產品同步在國內海外推出；3）堅持大模型到應用的端到端布局。4）利用產品矩陣的流量助力重要APP推廣。目前，已有部分AI應用產品關注度較高，豆包（對話助手）之后我們預計即夢AI （AI視頻）將是下一個發力重點：1）字節持續導流的豆包助手；字節豆包已成中國排名第一名的AIAPP。11月，豆包APPDAU接近900萬。2）依托自身豐富短視頻數據的即夢AI視頻生成平臺：11月8日，字節跳動旗下的AI內容平臺即夢AI宣布，即日起，由字節跳動自研的視頻生成模型Seaweed面向平臺用戶正式開放，用于設計、影視、動畫等內容場景，助力想象力的實現和故事創作。平臺提供智能畫布、故事創作模式、以及首尾幀、對口型、運鏡控制、速度控制等AI編輯能力，并有海量影像靈感及興趣社區，一站式提供用戶創意靈感、流暢工作流、社區交互等資源，為用戶的創作提效。3）AI教育領域的AI答題助手Gauth近期流量實現了較快增長。此外，辦公、硬件（耳機、玩具）、陪伴等均有布局。團隊類型產品團隊類型產品請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第4頁共25頁簡單金融成就夢想AI模型社區爐來Lumi（國內） 資料來源：ZFinance，DataEye應用數據情報公眾號，第一財經，申萬宏源研究我們認為豆包在國產模型、應用端的成功，證明了我們之前對2025年AI行業趨勢判斷，核心變化為：1）算力上，頭部模型廠商證明國產大模型自主迭代能力，可能加快巨頭云廠商競爭，但也意味著進入門檻更高；同時各家開始更多布局推理，訓練算力的增量可能低于最樂觀預測，由于國產AI芯片在推理能力上有更多儲備，這一趨勢可能利好國產AI芯片；2）應用上，豆包2B行業應用調用token高增，證明了大模型除場景2C應用外，在企業端也大有可為；同時2024年后底層模型迭代減緩，反而會促進AI應用投入。此前AI應用商擔憂底層模型迭代后，基于上一代模型開發的應用落后，因此應用投入較為謹慎，這一情況在24H2后已開始出現轉變；3）數據上，大幅利好儲備了高質量、非通用行業數據的廠商，此前OpenAI已證明了使用特定行業案例進行強化微調是可行的，而豆包等國產大模型也為行業客戶提供了好用的基礎模型平臺，因此預計“大小模型結合”的形式在2025年后會大量出現在醫療、法律、教育、金融等行業中。12月18日，字節在2024火山引擎FORCE會議上發布了豆包大模型新升級產品。1）各項能力加持下，豆包大模型日均tokens增長使用量已超過4萬億；2）從細分行業看，豆包token使用量在2B場景有極大提升；3）新產品中，我們認為重點值得關注的是視覺理解模型產品，定價較低且達到了GPT-4v以上水平。基于以上，我們認為2025年后，以豆包為代表的AI大模型應用有望迎來一輪爆發，且無論2C或2B都有更多大模型場景應用。各項能力加持下，豆包大模型日均tokens增長使用量已超過4萬億，較7個月前首次發布時增長了33倍。1）汽車，豆包大模型已與八成主流汽車品牌合作，過去7個月汽車行業日均Tokens消耗增長了50倍；2）智能終端，接入到多家手機、PC等智能終端，覆蓋終端設備約3億臺，來自智能終端的豆包大模型調用量在半年時間內增長100倍；請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第5頁共25頁簡單金融成就夢想行業點評3）其它企業客戶，最近3個月，在信息處理場景的調用量增長了39倍，客服與銷售場景增長16倍，硬件終端場景增長13倍，AI工具場景增長9倍，學習教育等場景也有大幅增長。豆包視覺模型拓寬了大模型場景邊界，從demo演示看已達到了GPT-4v水平。通過豆包·視覺理解模型，用戶可以同時輸入文本和圖像相關的問題。模型能夠綜合理解并給出準確的回答。目前看我們認為能力達到了GPT-4水平1）具有識別、理解物體關系的能力：不僅可以識別出圖像中的物體類別、形狀等基本要素，還能理解物體之間的關系、空間布局以及場景的整體含義。2）具有復雜推理能力：不僅能更好地識別內容，還能根據所識別的文字和圖像信息進行復雜的邏輯計算。例如下圖可以理解復雜圖表圖3：識別圖內容并按照格式輸出圖4：多圖關聯場景，按照圖片查詢指南資料來源：豆包官網、申萬宏源研究資料來源：豆包官網、申萬宏源研究3）已具有多圖關聯能力：如上圖，識別圖1中物體，并與圖2說明書中文字信息對4）部分視覺答案水平已經超過GPT-4準確性。根據部分網絡測試，在大多數的任務上，豆包視覺理解大相比GPT4o識別的更精準、更詳細，尤其涉及中國文化些內容準確性更高。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第6頁共25頁簡單金融成就夢想行業點評資料來源：數字生命卡茲克、申萬宏源研究豆包視頻理解模型的輸入價格定為0.003元/千Tokens，比行業價格降低85%。即1元能同時處理284張720P圖片。同時火山引擎還將提供更高的初始流量，RPM達到了15,000次，TPM達到120萬，讓企業和開發者用好視覺理解模型，找到更多創新場景。該模型已經接入豆包App和PC端產品。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第7頁共25頁簡單金融成就夢想行業點評資料來源：火山引擎官方公眾號、申萬宏源研究火山引擎已邀請數百家企業測試該模型，并在教育、電商等下游中發現有價值的場景。比如教育場景的判卷指導、作文批改、兒童陪伴等，旅游場景的目的地推薦、外文菜單識別、著名建筑識別及講解；電商營銷場景的拍照找同款、商品搭配建議、廣告種草文案等。盡管目前豆包并未明確給出實現低價原因，我們猜測：1）在這一價格下豆包并未實現盈利，以搶占客戶為主；2）有較多活躍用戶后，火山云可以實現較高的芯片利用率，減少公有云閑置算力，從而降低成本。3．應用：3D、音樂、圖片視頻等發布新品，宣veOmniverse：上線3D生成模型，實現物理世界仿真字節與英偉達合作的veOmniverse平臺發布最新的豆包3D生成模型。可以高效完成智能訓練、數據合成和數字資產制作，成為一套支持AIGC創作的物理世界仿真模擬器。可為3D資產生產商提供AI開發工具，有望在游戲等領域實現落地。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第8頁共25頁簡單金融成就夢想行業點評字節AI音樂模型：降低用戶創作門檻，AI向生成創意方向持續取得進展降低音樂創作門檻，AIUGC內容平臺向音樂領域延伸。字節AI音樂模型具備獨特的音樂生成的架構，用戶可在海綿音樂等應用上體驗，可實現用戶輸入一個靈感，AI工具在十幾秒后生成質量較好的成品。字節AI音樂模型亮點在于歌詞生成更加精準、押韻效果也不錯、旋律豐富多樣。有望極大降低AI音樂創作門檻。字節AI視頻創作：即夢平臺，有較強內容一致性24年5月字節發布即夢平臺，集成AI圖片生成、AI視頻生成等AI功能，定位為綜合AI創意工具平臺，近期新一代模型更新上線。24年11月字節跳動在即夢平臺上線新一代AI視頻大模型PixelDance，可實現較為出色的性能。相比同類競品等，基于請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第9頁共25頁簡單金融成就夢想行業點評PixelDance模型的圖生視頻功能生成內容的一致性、視頻內容拓展幅度、文本忠實度及連貫性上均有著較為亮眼的表現。字節AI教育：推出垂類場景模型，已有標桿客戶AI應用探索高等教育場景的應用，賦能“教、學、管、評、測”多個環節。大會“智能體+實體產業”專場中，同濟大學信息化辦公室主任許維勝教授發表“教育行業實踐”主題演講，介紹重點應用：1）高等教育垂類模型：土木學院開發的CivilGPT模型，收集注冊工程師考試題目和專業課程、考試、規范等資料，微調開源大模型，提供答疑、自測、助教等服務。此外數學系開發了數學專用大模型DeepMath，基于5000多本現代數學書籍與30多萬篇數學論文，助力數學專業研究；2）推出“數智學伴小舟”，提供幫教（智能課件、測試、批閱、知識圖譜等）、幫學（智能筆記、答疑、文獻閱讀等）以及幫辦（預定會議、課表管理、組織考試、校園導航等），全面助力高校學生的校園學習及生活。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第10頁共25頁簡單金融成就夢想行業點評字節AI營銷：大模型助力降本增效大會“智能體+實體產業”專場中，美宜佳CIO代迪先生受邀發表“營銷Al助力增效降本”主題演講。美宜佳全國共擁有3.7萬家連鎖便利店，每月服務約2.5億人次線下消費者。美宜佳與火山深度合作，打造工具鏈平臺，豆包大模型+云資源賦能多個AI落地場景：1）數字店員：通過數字人店員，提供24小時服務、具備多語言能力、增強和顧客互動與營銷能力；2）營銷素材生成：AI精準定位商圈人群，生成對應營銷文案和素材。形成數據資產與業務應用的飛輪，持續優化ROI。4.端側智能：AI玩具+AI眼鏡，切入2C場景大會首日的“視頻云&邊緣云”專場活動中，火山引擎與樂鑫科技、ToyCity、Folotoy、魂伴科技聯合發布了AI+硬件智躍計劃，其后樂鑫科技副總經理王玨女士受邀發表主題演講。樂鑫提供的“連接+處理”芯片，將作為潮玩產品的“大腦和神經”。制造商構建玩具的結構和骨肉，作為“肉體”部分；云端大模型賦予產品半個靈魂，IP創作者賦予手辦形象，其想傳遞的精神和內容賦予了產品另半個靈魂；而樂鑫作為連接和交互能力的技術提供者，其具有連接功能的處理器芯片則可以將“肉體”和“靈魂”相連。端側處理+云端調用，提供一站式Turnkey解決方案。本次與字節的合作方案中，樂鑫將提供一站式Turnkey解決方案，通過Wi-Fi調用云端提供的智能體服務。該解決方案可以理解為：“一站式硬件”（已有豐富解決方案的端側音視頻處理）+“端到端大行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第11頁共25頁簡單金融成就夢想模型”（通過低延遲抗干擾的RTC技術，設備端到云端的大模型應用可實現真人感的實時通話）。預計未來更多AI應用落地，樂鑫的無線SoC以及方案作為將AI大模型運用到端側設備的關鍵環節預計充分受益。樂鑫技術端可支撐通用IoT/邊緣AI/云端AI功能。其中，通用IoT功能主要包括連接、控制、屏顯、攝像頭等；邊緣AI功能主要包括支持語音喚醒、語音控制、人臉和物體識別等；云端AI功能主要為依托于豆包等大模型實現生成式內容輸出，不論輸出形式是語音或是屏幕顯示。AI玩具兼具教育+陪伴價值。24年中秋節火山引擎發放“顯眼包”非商業化產品，其集合了藍白色毛絨玩具+內嵌FoloToy的AI機芯魔匣+火山引擎AI技術（豆包大模型、扣子專業版、語音識別、語音合成等），不僅能理解并回應復雜的問題，同時積極鼓勵的互動，甚至主動發出互動邀請、主動建立高質量情感連接，內置中英文兩個角色。作為非賣品，顯眼包在二手市場交易價格已超過200元。同類產品已有可觀銷量：1）Bubblepal單價399元，24年7月發售，全年預計銷量8-10萬；2）FoloToyAI玩具C端累計出貨量2萬；3）AI萌寵機器人LOVOT單價2萬人民幣起，銷量已破1.4萬；4）AI伴老機器人Hyodol單價6500元，累計出貨1萬臺。AI玩具可滿足教育和陪伴價值，疊加低成本的優點實現快速落地，隨模型能力與軟硬結合度提高，有望落地更多場景。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第12頁共25頁簡單金融成就夢想行業點評火山原動力大會發布AI+硬件智躍計劃。該計劃結合豆包大模型+火山引擎的擬人化語音對話+ToyCity的潮玩設計+樂鑫科技的AI芯片等，推動AI潮玩的普及化。樂鑫科技副總經理王玨女士認為，未來AI玩具在多個產品形態中均具備潛力：1）二次元品類包括吧唧、卡片、亞克力立牌等產品，通過底座嵌入電路板實現電子化功能，簡單實現“AI+”的同時避免“三次元翻車”；2）三次元產品例如手辦、可動人偶、藝術模型。增加AI實現更好的交互體驗，并塑造更立體的IP形象，增加受眾面積，提高用戶粘性及付費意愿。行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第13頁共25頁簡單金融成就夢想繼MetaRayban二代眼鏡爆火后，眼鏡成為AI終端落地熱門方向。MetaRay-Ban二代于2023年9月發布，2024年4月升級AI功能、鏈接Llama3大模型，成為2024年AI爆款終端。TheVerge統計，截止2024年5月，MetaRay-Ban智能眼鏡的全球銷量已突破100萬副，預計2024年全年出貨量有望超過150萬副。字節跳動在眼鏡產品線布局已久，PICO國內市占率已超70%。2015年PICO發布便攜式虛擬現實頭盔Pico1，6年后字節跳動收購PICO，并于2022年發布PICO4，創新搭載Pancake折疊光路設計、62-72毫米無級電動瞳距調節。目前PICO已發布十余款頭顯產品，據洛圖科技RUNTO數據，2024年上半年PICO國內市占率73%。據Counterpoint，2Q24PCIO全球市占率第二，僅次于Meta。也使得字節在眼鏡領域具備了豐富的技術能力和市場經驗。AI眼鏡方面，投資李未可科技，持股比例20%。李未可科技是一家專注于AI+AR技術的科技公司，22年獲得字節跳動千萬元天使輪融資，24年推出AI智能眼鏡——MetaLensChat，售價699元，主打AI語音交互，通過點觸鏡腿喚醒AI語音助手，搭載自研大模型WAKE-AI，不僅能在500毫秒內快速響應用戶指令，還支持百科問答、學習輔助、英文翻譯、語音導航、情感陪伴等多種功能。同時李未可也曾推出多款AR眼鏡例如MetaLensS系列。至此，字節跳動已全面布局VR、AR、AI眼鏡，眼鏡是第一視角的最佳載體，結合其視覺大模型的識別、理解、推理能力，字節此賽道未來將會有更大發展空MetaPicoSonyAppleOthers字節推出首款智能耳機產品OlaFriend，接入豆包大模型。2024年10月，字節跳動旗下首款智能耳機產品OlaFriend正式發布，外觀延續了Oladance的開放式設計風格，單只重量6.6g，主體部分最寬10mm，最薄7mm，耳掛連接處為0.7毫米金屬鈦絲，佩戴幾乎無感，即使長時間佩戴也不會感到負擔。單只耳機的續航時間為8小時，搭請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第14頁共25頁簡單金融成就夢想行業點評配充電盒使用則可將續航延長至28小時。搭載5核專業音頻芯片，采用物理+算法雙防風噪設計，精準提取人聲，實現高通話清晰度，售價1199元。功能上，OlaFriend接入了豆包AI大模型，用戶在下載豆包手機APP并連接OlaFriend后，可通過“豆包豆包“喚醒詞或長按耳機進行語音交互，支持隨時問答、英語陪練、旅行導游、音樂控制以及情緒溝通等多項AI功能，提供隨時隨地陪伴。資料來源：公司官網，申萬宏源研究5．算力部署：推理優先，存儲、組網等環節相應火山引擎發布新一代veStack混合云智算版2.0，支撐10萬卡集群異構場景。2.0支持更多的異構卡、更廣泛的操作系統和更大規模的集群組網能力，和火山引擎公有云同源同構，能夠給用戶提供與公有云一致的用云體驗。當前該平臺已支持英偉達系列GPU及國產GPU等20余類AI芯片，且支持一套平臺管理多個異構卡集群。訓練場景可支持10萬卡集群，推理場景支持prefill與decode分離需求（后文詳解最大化算力利用率。智算平臺的持續迭代，進一步確保字節算力底座的投建確定性與節奏。行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第15頁共25頁簡單金融成就夢想IDC行業而言，市場和產業對以算力為代表的資源供給是否“過剩”分歧較大，尤其是在傳統上架率指標的視角下；而我們通過測算認為，伴隨傳統數據中心向“智算中心”演進，行業供需開始出現缺口，“有效供給”的稀缺性較強，行業發展面臨分化。機房/IDC/智算中心每一輪周期都遵循自上而下的傳導邏輯，由資本開支拐點開始。國內BAT24年三季度加總資本開支同比增長128.48%，自2023Q4起顯著回暖，且同樣重點投資GPU、AI服務器等基礎設施設備。國內AI模型與應用發展空間巨大，下游Agent產品、AI應用終端等遠未達到最終形態，算力需求具有長期持續性。結合字節近期“AllinAI”決心與國內互聯網廠商競爭態勢，我們認為國內互聯網廠商將持續加大算力投資，擴大智算中心建設。圖18：BAT資本開支顯著回暖（單位：百萬元人民0圖19：海外亞馬遜、微軟、谷歌、Meta資本開支0第三方IDC廠商交付節奏迎來轉折點。在建IDC樓棟轉固可一定程度上體現IDC交付情況；同時由于未來需求以可承載AI算力集群的大規模批發型數據中心為主，進一步重資產的約束下IDC廠商基本按需、按客戶定產，因此IDC廠商在建工程轉固情況亦可體現預期需求落地情況。此前由于短期供需失衡，核心第三方IDC廠商普遍放慢新增樓棟請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第16頁共25頁簡單金融成就夢想交付節奏；24年前三季度，絕大多數主流第三方IDC廠商轉固同比增速均回升，體現市場整體供需關系轉好，當下或為重要轉折點。——萬國數據世紀互聯潤澤科技奧飛數據寶信軟件光環新網——數據港“算力盡頭是電力”，能耗跟蹤是IDC行業景氣變化的重要線索。IDC/AIDC作為高耗能行業，算力與電力匹配是現實需求。不同于傳統IDC，由于AI訓練/推理的高負載特性，包括AIGPU在內的AI硬件運行功率通常接近其熱設計功率（TDP）。因此，自下而上來看，由于GPU芯片功耗不斷提升，單臺AI服務器以及單機柜功率持續提高。另據Vertiv（維諦）預測，以能耗為單位，2023-2029年全球新增智算中心總負載將達100GW，每年新增約13-20GW。能耗視角，承載GPU/AI服務器的智算中心新增有效供給，仍然供不應求。基于華為、Nvidia（英偉達）等文件以及IDC數據，測算得到2023年以及24年上半年承載算力集群的AI服務器對應智算中心所需總負載約為2GW；同時基于主流第三方廠商資本開支（由于智算中心建設預計以超大規模為主，馬太效應凸顯，主要考慮7家核心第三方IDC廠商）以及每MW容量智算中心建設對應資本投入，得出23年+24年上半年實際供給的總IT負載不到1GW，供應缺口較大。即便考慮運營商1與CSP自建，由于算力規模爆發 與智算中心建設均處于起步階段，且場景差異化較大，我們認為短期內整體格局實際供不單臺AI服務器關鍵IT負載值；數值包含整個集群內存儲/管理服務器以及各類網絡交換機的電力需請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第17頁共25頁簡單金融成就夢想行業點評臺參考潤澤科技、奧飛數據、世紀互聯等運營節奏與智算中心參數測資料來源：IDC，華為官網，Nvidia官網拉長時間維度，當前以AI為技術錨點的產業紅利傳導邏輯，與上一代移動互聯網時期是相似的；時間關系對應來看，AI帶來的行業新周期仍在前期上行階段；下游應用/終端等進一步催化后，行業或將進入類似16-20年的高速增長周期。此外，新一輪AI周期或將伴隨核心互聯網廠商的“此消彼長”，對第三方IDC公司而言，贏優質客戶、贏長期合作關系者“贏天下”。此次火山引擎FORCE原動力大會提出了“以AI負載為中心”的基礎架構范式，對通信網絡的需求增加巨大。計算角度看：新一代的火山引擎GPU實例，通過vRDMA網絡，支持大規模并行計算和P/D分離推理架構，顯著提升訓練和推理效率，降低成本。存儲角度看：新推出的EIC彈性極速緩存，能夠實現GPU直連，使大模型推理時延降低至1/50；成本降低20%。安全角度看：火山將推出PCC私密云服務，構建大模型的可信應用體系。基于PCC，企業能夠實現用戶數據在云上推理的端到端加密，而且性能很好，推理時延比明文模式的差異在5%以內。字節重視推理布局，P/D分離架構利于整體效率和推理體驗提升。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第18頁共25頁簡單金融成就夢想行業點評在Transformer推理過程中利用KVCache技術可降低Decoding階段的計算量，目前已成為LLM推理系統的必選技術。采用KVCache的LLM推理過程通常分為預填充（Prefill）和解碼（Decode）兩個階段。Prefill階段：將用戶請求的prompt傳入大模型，進行計算，中間結果寫入KVCache并推出第1個token，該階段屬于計算密集型操作。Decode階段：將請求的前1個Token傳入大模型，從顯存讀取前文產生的KVCache再進行計算，該階段屬于訪存密集型操作。在實際的深度學習模型部署中，考慮到Prefill和Decode兩階段的計算/通信特征的差異特點，為了提升性能和資源利用效率，通過P-D分離部署方案將Prefill和Decode分別部署在不同規格和架構的集群中，在提供更好用戶體驗的前提下，提升算力利用率。行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第19頁共25頁簡單金融成就夢想因此可以近似理解為：Prefill階段的算力網絡需求，對單卡算力性能要求較高，而Decode階段則可適當降低單卡算力要求但對訪存能力的需求大幅提升；因此對chiptochip或machinetomachine維度的通信網絡需求增加（例如以太網、NVLink、PCIe硬件角度看，芯片的算力性能提升速度快于內存性能，模型參數量的增速也快于硬件性能提升；字節P/D分離的推理架構，也一定程度指引了未來算力網絡硬件在推理場景下的發展方向。由于Prefill和Decode對硬件需求側重不同，實際上將GPU分類并專用于P或D場景的架構效率，高于合并運行的架構，同時D過程的吞吐量更高；且P/D并行時，兩個階段的并行方式也共享（例如數據并行、張量并行、流水線并行等），而分離后可以針對不同階段的不同特征，分別應用不同的并行策略。因此P/D分離后可以分別優化計算和存儲的性能，最大化硬件利用率。實際上推理階段（尤其字節P/D分離的推理架構）對高性能硬件的需求增加，而非市場普遍理解的推理對硬件性能需求下降，且成本、效率、應用體驗、安全等剛需下，硬件擴展的網絡設計復雜度和需求量均增加，與訓練階段形成明顯差異。我們認為，在字節為代表的架構設計趨勢下，應繼續重視光通信（光模塊、光連接、光芯片）、以太網（設備、芯片等）、連接方案（銅、連接器等）等領域的增量機會。火山引擎推出GPUDirectKV–EIC技術服務，使大模型推理時延降低至1/50，讀寫吞吐量提升10倍，推理成本降低20%。大模型推理過程中的關鍵環節是KV緩存的加速以及GPU的高效利用。火山引擎通過GPUDirectRDMA技術，繞過主機的CPU和內存，直接從遠程數據源訪問KV數據。此外，EIC服務通過“以存代算”的策略，降低了20%以上的GPU消耗。在對比通用方案和GPUDirectKV–EIC方案時，通用KV存儲方案如Redis/Valkey需要通過CPU進行數據處理和傳出，效率較低；而通過GPUDirect直連和EIC，數據可以由GPU讀取并傳輸，讀寫吞吐量提升并且計算時延優化。請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第20頁共25頁簡單金融成就夢想行業點評GPUDirectKV旨在優化KV存儲與GPU之間的數據傳輸效率。GPUDirectKV是一種結合GPUDirect直連與鍵值存儲（Key-ValueStore）的計算框架。GPUDirect是英偉達推出的一系列技術，旨在提高數據在GPU與存儲設備之間的傳輸效率。在數據處理和存儲系統中，鍵值對（KV）存儲是一種常見的數據存儲方式。在涉及GPU計算的場景中，KV存儲與GPU的高效傳輸對計算效率較為關鍵。火山引擎的GPUDirectKV使用GPU直連對鍵值對（KV）數據存儲進行訪問和加載，通過直接內存訪問等技術，減少數據傳輸的中間環節，允許GPU直接與KV存儲設備進行高速數據交互。資料來源：英偉達官網，申萬宏源研究彈性極速緩存EIC通過以存代算大幅降低推理GPU資源消耗，優化推理時延。彈性極速緩存EIC（ElasticInstantCache）是火山引擎為大模型等場景提供的高速KVCache服務。傳統的大模型推理執行多輪對話時，為了節省顯存，歷史對話的鍵值對（KV）Cache都不會保存。后續推理需要反復計算歷史Token的KVCache，導致計算資源浪費、推理成本增加。彈性極速緩存EIC位于GPU和存儲之間，負責緩存大模型推理過程中的中間結果和常用數據。當GPU需要歷史tokenKV時，首先會在EIC中查找，如果數據已經存在于緩存中，則可以直接從緩存中調用，無需再從KV存儲設備中讀取，以此降低推理GPU資源消耗。火山引擎EIC和華為云EMS采用類似的以存代算策略。2024年6月，華為云發布EMS彈性內存存儲服務（ElasticMemoryService），旨在緩解大模型訓練與推理面臨的“內存墻”問題，其中一個策略便是以存代算；7月，華為云EMS團隊發布CachedAttention論文進行解釋，基于AttentionStore實現了大模型推理過程中的KVCache復用，降低了高達87%的大模型推理的首Token時延，提升了Prefill階段7.8倍的吞吐量，從而大幅降低端到端推理成本。延請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第21頁共25頁簡單金融成就夢想行業點評火山引擎GPUDirectKV-EIC技術顯著提高大模型推理性能。2024火山引擎冬季FORCE原動力大會智算專場中，火山引擎展示了該技術的應用效果。1）多輪對話場景性能穩定性大幅提升：得益于GDKV更大的KVCache緩存能力，在多輪對話中，系統能夠保持高效的吞吐量（Goodput）。在Prefill和Decode階段，吞吐量會受到影響，尤其是在多輪對話時。經過對比發現，采用GDKV技術方案即使達到6到7輪的對話，有效吞吐量仍然保持在90%以上，而傳統方案的性能已經顯著下降。2）模型加載加速顯著：大模型的參數規模不斷增大。由于GPU資源昂貴，很多時候同一GPU會被用于多個模型，導致模型加載時可能會遇到瓶頸。GDKV從遠端直接讀取GPU顯存，GDR帶寬大幅提升，70B大模型的加載速度提升6倍之多。字節AI產業鏈標的，我們建議重點關注：1）算力：潤澤科技、寒武紀、兆易創新、浪潮信息、華工科技、英維克、盛科通信、光訊科技等；2）AI硬件：兆易創新、樂鑫科技、移遠通信、潤欣科技、中科藍汛、恒玄科技等；3）數據：海天瑞聲、視覺中國等；4）應用和生態合作：中科創達、漢得信息、盛天網絡、游族網絡、實豐文化、居然智家、浙行業點評請務必仔細閱讀正文之后的各項信息披露與聲明請務必仔細閱讀正文之后的各項信息披露與聲明第22頁共25頁簡單金融成就夢想文互聯、掌閱科技、博納影業、芒果超媒、華策影視、冰川網絡、易點天下、富春股份、蜂助手等。 公司是字節跳動等頭部互聯網企業的數據中301165.SZ銳捷網絡交換機主流供應商。2024年，公司中標的字節跳動智算中 000977.SZ浪潮信息服務器浪潮信息：互聯網收入占比過半，NV/國產算力雙β 688256.SH寒武紀芯片互聯 000988.SZ華工科技光模塊國產光模塊頭部供應商002837.SZ英維克液冷本土IDC風冷/液冷頭部供應商。 688702.SH盛科通信交換機002281.SZ光迅科技光模塊子、智能可穿戴設備等終端領域，其中包括AI耳603986.SH兆易創新存儲公司與字節跳動旗下的云服務平臺火山引擎型的軟、硬件解決方案。公司與豆包大模型的合作，將分多階段進行，現階段已經適配了實時翻譯、紀要、實時對話等功能，后續雙方將會面對不同商商與火山引擎達成深度合作,共建聯合實驗與火山引擎達成深度合作,共建聯合實驗公司是字節跳動核心代理商。公司與巨量引公司是字節跳動核心代理商。公司與巨量引603533.SH掌閱科技生產、廣告商業化等多方面開展了深度合作。在豆包111支持方，基于豆包大模型技術，為《三星堆：未來啟畫面生成、圖像到視頻轉換、視頻編輯和媒體內容增300921.SZ南凌科技火山引擎代理商公司是火山引擎全線產品的代理商。300921.SZ南凌科技火山引擎代理商公司是火山引擎全線產品的代理商。300413.SZ芒果超媒短劇策出品的《重生之農門肥妻》及華策和抖音的《我在冷宮忙種田》等多部精品短劇在紅策團隊開發劇本、制作、出品，紅果給予優公司自研游戲產品與字節跳動相關方在中國公司自研游戲產品與字節跳動相關方在中國東南亞、韓國等地區開展合作；公司與字節跳動301171.SZ易點天下廣告營銷