王炳寧百川智能預訓練負責人博士畢業于中國科學院自動化研究所，主要研究問答系統和大語言模型。歷任搜狗、騰訊高級研究員，有著豐富大規模生成式模型經驗，主導并發布如ReCO、ComQA、ChiQA、T2Ranking等大規模中文問答數據，以及Baichuan系列預訓練模型。在ACL、SIGIR、AAAI等國際頂級人工智能和自然語言處理會議上以第一作者發表論文11篇，并獲得2021年CIKMbestpaperrunnerup。博士論文《機器閱讀理解關鍵技術研究》獲2019年中國中文信息學會優秀博士論文獎。中國中文信息學會青年工作委員會執行委員。演講主題：Transformer效率優化語言模型會將句子的概率拆解成其組成部分的概率P(我是中國人)=P(我)*P(是|我)*P(中|是)*P(國傳統統計學習的方法大多都是基于極大似然估計（傳統統計學習的方法大多都是基于極大似然估計（maximum傳播來優化整個模型。將將feed-forward網絡替換為和語言表示更為接近Radford,Alec,etal."Impr?當前語言模型發展的最重要的特征：越來越大。不管是語言模型訓練數據的增多，還是本身參數規模的擴大，scaling當前語言模型取得突破的最關鍵因素?OpenAI的GPT-4和Google的GeminiUltra的訓練成本估計分別為7800萬美元和1.91億美元。?大語言模型的訓練成本與計算需求之間存在線性相關性，具有更高計算訓練需求的模型訓練成本要高得多。大語言模型的基礎模塊-Transformer大語言模型的基礎模塊-Transformer語言模型的發展之：Transformer-Core的在的在Attention，即模型在預測下一個單詞的時候會關注之語言模型的發展之：Transformer-Core好的效果，經過多年認證大概率是同尺寸模型中效果最好的一類方案?需要顯式引入位置編碼，無法像RNN那樣進行位置的自動擴展u傳統Attention的計算方法是把Q,K直接計算最后的結果（而不用返回給HBO這樣可以顯著降低IOQwen-1.5Qwen-1.5Cache:將輸入的表示降低到隱含空間C上面，C的大小很小雖然不是主要的部分Cache:將輸入的表示降低到隱含空間C上面，C的大小很小個新的位置編碼的在的在的劣勢，我們可以讓現在的Attention改進一下，只關注最近的K個單），Mistral-7B-0.1Xiao,Guangxuan,etal."EfficientStreamingLanguageModelswithAttentionSinks."arXivpreprintarXiv:2309.17453(2023).?RNN:循環神經網絡具有天然的“遞歸”性質，處理時間隨著Peng,Bo,etal."Rwkv:Reinventingrnnsforthetransformerera."arXivpreprintarXiv:2305.13048(2023).Q:為什么之前很多模型結構無法替代Transformer?Tay,Yi,etal."Scalinglawsvsmodelarchitectures:Howdoesinductivebiasinfluencescaling?."arXivpreprintarXiv:2207.10551(2022).KaplanJ,McCandlishS,HenighanT,etal.Scalinglawsforneurallanguagemodels[J].arXivpreprintarXiv:2001.08361,2020.?微軟亞研之前提出的YoCo模型，提出了利用16層的kvcache復用給所有17-32層進行attention使用Sun,Yutao,etal."Youonlycacheonce:Decoder-decoderarchitecturesforSun,Yutao,etal."Youonlycacheonce:Decoder-decoderarchitecturesforTransformer的效率優化-Parameter-SharingTransformer的效率優化-Parameter-SharingTransformer的效率優化-Parameter-SharingTransformer的效率優化-SparseParameter/blog/accelerating-neural-network-training/Conclustion:?對Transformer的效率優化要從Prefilling和decoding兩個階段去考慮?kv-cache在很多情況下是限制推理速度的主要因素，特別是decode階段，大量的cache會IO-?GQA、MQA是降低緩存的一個重要手段，但是或多或少會