孟令公得物機器學習高級專家主要負責得物算法平臺的相關研發工作。在得物從0到1打造通用大模型訓練和推理平臺。曾就職于騰訊、阿里等多家互聯網大廠。2022年加入得物，專注于大模型相關技術，包括推理加速與各應用場景落地，曾在得物技術公眾號發表過多篇高質量大模型相關文章，比如：利用多L演講主題：大模型推理性能提升實踐大模型推理引擎設計KVCache高效顯存管理Prefill與Decode階段的優化利用多Lora節省成本大模型推理引擎設計模塊模型模塊模型調度器調度器大模型推理引擎設計?業務方在訓練并部署大模型后，需要專用的大模型推理引擎來加速推理過程。當用戶發送請求時，Req會首先傳遞給應用程序；當應用程序會調用大模型的推理引擎來觸發推理邏輯。?大模型推理引擎的核心目標是提升推理速度和吞吐量，并兼容各種?推理引擎的核心模塊主要包括調度器、Prefill、Decode和KVCache管理，這四個部分是性能優化的關鍵。當然，它還包括Token、DeToken、采樣、模型支持、硬件支持(CUDA)等其他邏輯。KVCache高效顯存管理-自回歸推理過程的的的的退出條件：?達到模型預定義的最大長度。KVCache高效顯存管理-Attention計算KVCache高效顯存管理-KVCache與顯存碎片推理引擎人工智能是一項人工智能是一項快速發展的技術硬件支持：GPUCPUXPU?需要為每個請求維護一個KVCache的緩存。KVCache高效顯存管理-KVCache與顯存碎片?KVCache在系統中占比多少？圖片來自論文：EfficientMemoryManagementforLargeLanguageModelServingwithPaged?KVCache的頻繁申請與釋放會帶來什么問題？顯存碎片！就像內存管理一樣，頻繁的申請與釋放不規則的內存，時間長KVCache高效顯存管理-VLLMPagedAttention視頻來自文章：vLLM:Easy,Fast,andCheapLLMServingwithPagedAttentionKVCache高效顯存管理-VLLMPagedAttention?VLLM的PagedAttention是受操作系統虛擬內存和分頁啟發的注意?此外，它支持多序列共享內存，例如在并行采樣時共享提示詞的KV緩存，進一步降低內存開銷并提升性能。圖片來自文章：vLLM:Easy,Fast,andCheapLLMServingwithPagedAttentionKVCache高效顯存管理-VLLMPagedAttentionKVCache高效顯存管理-SGLangRadixAttention共享部分的KVCache能否復圖片來自文章：SGLang:EfficientExe不可共享的模型輸出。?可共享的元素包括少樣本學習示例、自一致性中的問題、多輪對話中的聊KVCache高效顯存管理-SGLangRadixAttention圖片來自V章：SGLang:EfficientE2.第一場聊天開始：用戶發送“你好！”,助手回復新節點附加到樹上。存。6.處理少樣本學習查詢：服務器收到不與現有節點共享請求作為單獨分支插入樹中。以高效管理內存。要的節點以為新請求分配內存。KVCache高效顯存管理-SGLangRadixAttention圖片來自V章：AchievingFasterOpen-SourceLlama3ServingwithSGLangRuntime(vs.TensorRT-LLM,vLLM)大模型推理的關鍵階段Prefill與Decode的的的的退出條件：?達到模型預定義的最大長度。大模型推理的Prefill階段與Decode階段推理引擎前向傳播對輸入Prompt進行批量計算人工智能是一項硬件支持：硬件支持：GPUCPUXPU推理引擎人工智能是一項快速發展的技術人工智能是一項快速發展的技術人工智能是一項快速發展的技術前向傳播人工智能是一項快速發展的技術前向傳播未經過chunkedprefill拆分的請求，會將整個請求圖片來自TamingThroughput-LatencyTradeoffinLLMInferencewithSarathi-ServevLLM@FourthMeetup(Public)圖片來自TamingThroughput-LatencyTradeoffinLLMInferencewithSarathi-ServevLLM@FourthMeetup(Public)大模型推理的Decode階段推理引擎前向傳播對輸入Prompt進行批量計算人工智能是一項硬件支持：硬件支持：GPUCPUXPUDecode階段-Continuousbatchingdecode快速推理引擎快速發展的技術人工智能是一項發展的技術人工智能是一項前向傳播硬件支持：GPUCPUXPU就會導致GPU利用率不足。Decode階段-Continuousbatchingdecode例子來自/blog/continuous-batching-llm-inferenceDecode階段-SpeculativeDecoding?目標模型的并行驗證：將提出的詞元一次性送入目標模型進行驗證。?錯誤檢測和糾正：目標模型發現第三個詞元“cooking”不正確，應該是“playing”。例子來自https://blog.vllm.ai/2024/10/17/spec-decode.htmlDecode階段-SpeculativeDecoding例子來自docs.vllm.ai推理引擎前向傳播等待隊列-調度器前向傳播?服務收到REQ后，會首先把REQ加入到等待隊列中。調度策略決定了調度器如何從等待隊列中選擇和組合請求。以下是幾種常見的調度策略：）：）：優先處理具有最長匹配前綴的請求，通常用于優化緩存命中率。）：優點：簡單實現，避免請求饑餓。缺點：不保證公平性和資源利用率最優化。，缺點：不保證公平性和資源利用率最優化。，圖片來自https://blog.vllm.ai據格式化）會與GPU密集型任務（如模型推理）競爭CPU資源。?通過將API服務器和推理引擎分離到不同的進程，利用多Lora節省大模型部署成本W表示大模型的一個原始參數矩陣。Lora的利用多Lora節省大模型部署成本大模型大模型數據數據基礎大模型合并參數部署大模型合并參數部署大模型對于每個業務場景，我們首先通過微調訓練生成一個Lora參數文件，然后將Lora參數利用多Lora節省大模型部署成本場景1大模型1場景2大模型2場景3大模型3真的需要為每個場景都獨立部署一個大模型嗎？利用多Lora節省大模型部署成本基礎大模型場景1場景1場景2場景3場景3每個業務場景都基于自己的業務數據訓練一個Lora