區gfwangliang@請注意，耿正,任思儒并非香港證券及期貨事務監察委員會的注冊持牌人，不可在香港從事受監管活動。核心觀點：Decode階段通常是顯存帶寬密集場景超長上下文進一步提高了對顯存容量、顯存帶寬的需求。大模型支持上下文長度的持續、快速提升是行業發展報告日期合理價值（元/股）688008.SH688123.SH300476.SZ 6 6 7 9 5 5 6 7 8 前言AIGC行業需要什么樣的推理算力芯片、如何設計更有性價比的推理產品？中基于理論推算框架分析發現，顯存性能對于GPU推理性能影響較大。為了進一步架推算假設產品的推理性能。結果顯示使用HBM后推理性能獲得大幅提升。這對于一、若使用HBM顯存方案，L40S推理性能提升明顯HBM，而是使用了48GBGDDR6，顯存帶目前英偉達主流的訓推一體卡均使用了HBM方案，且每一次產品迭代通常都伴隨表2：NVIDIA幾款主要訓推一體卡顯存方案發布時間3用A100/H100/H200/B200的HBM替代GDDR作為顯存方案；產品分別命名為推理全程每秒每卡Throughput0L40SL40S二、Decode階段通常是顯存帶寬密集場景，顯存帶寬直接影響Decode速度階段，每個Token生成的過程都要經歷一次模型參數從顯存向GPU的讀取，顯存讀提Decode階段生成每Token平均顯存讀取74推理全程平均每卡每秒輸出Tokens數量三、增大BatchSize可提高推理效率，顯存容量決定BatchSize上限算力利用率僅達到約0.2%。在實際部署推理算力系統時，可以同時允許多個用戶端的連接，并批量處理這些用0BatchSize的增大會導致推理過程KVCache增大，可以被復用，從而避免重復計算，有效降低了運算量，對于長上下文推理場景的計算環節加速至關重要。由于KVCache與Ba輸入輸出長度）不變的情況下，最大BatchSize可支持的最大BatchSize提升至64。圖5：模型推理所需顯存容量（單位：GB）與Bat50模型參數所需顯存容量KVCache所需顯存容量四、超長上下文進一步提高了對顯存容量、顯存帶寬的一言等國內大語言模型也紛紛宣布加入超長上下文推理的版本發布/內測。其他海內務、支持更多模態任務等；大模型支持上下文長度的持續、快速提升目前看來是大語言模型發展的明顯趨勢之一。表7：使用不同HBM的L40S可支持的最大推理BatchSize模型2025年3月宣布正式內測500萬字長文本處GPT2/3/4支持上下文長度分別為2大語言模型在處理超長上下文時除面臨計算復雜度等軟件層面挑戰，也需要面對顯存容量瓶頸的硬件層面挑戰。如前文所述，在大模型推理過程中，占據顯存容量的主要有模型參數本身和KVCache，其中KVCache0的顯存帶寬需求從約300GB/s增長至約8TB/s。0五、備注及附錄另一方面，算力芯片實際應用過程中，其推理過程的軟、硬件環境也會影響其最終NVIDIAH200等產品披露的實際測試推理性能（一）推算結果VS測試結果：NVIDIA誤差均在6%以內，具有較高的一致性。基于推算框架，我們計算比較了AMDMI300X與NVIDIAH100的推理性能。在Latency優先場景下，MI300X的吞吐量是H100的1.55倍（AMD官網測試數據為1.4）；框架計算）（AMD官網披露）基于推算框架，我們計算比較了NVIDIAH200與NVIDIAH100的推理性能。參考算（NVIDIA官網披露）六、風險提示（一）理論計算結果與實際測試存在誤差在大模型推理實際運行過程中，推理系統運行所處的軟、硬件環境都會對推理系統的實際運行表現造成影響，因此關于推理性能的理論計算結果與實際測試難免存在本報告介紹的框架是從基于Transformer架構的大語言模型的推理過程的算力需求出發，測算各類算力芯片/系統在不同推理環境下的性能。如果后續大語層架構發生變化，或新