大模型在華為推薦場景中的探索和應(yīng)用演講人：陳渤華為諾亞方舟實驗室高級算法工程師CONT目E錄NTS0102背景LLM

for

Feature0304LLM

for

Ranking總結(jié)與展望背景推薦系統(tǒng)背景信息過載時代下的推薦系統(tǒng)

為用戶推薦感興趣的資訊，提升用戶體驗

廣告主精準投放，挖掘潛在客戶

提供更好的服務(wù)，建設(shè)平臺生態(tài)，提升平臺收益Historicaluser-iteminteractionsoradditionalsideinformation(e.g.,socialrelations,item’sknowledge,etc.)INPUTPredicthowlikelyauserwouldinteractwithatargetitem(e.g.,click,view,orpurchase)OUTPUT大模型時代下的推薦系統(tǒng)傳統(tǒng)的推薦模型大模型時代下的推薦系統(tǒng)

充分利用用戶-物品協(xié)同信號建模√

模型相對較小，時間空間開銷低√

只能利用數(shù)據(jù)集內(nèi)的知識×

缺乏語義信息和深度意圖推理×

引入外部開放世界知識，豐富語義信號√

具備跨域推薦能力，適合冷啟動場景√

協(xié)同信號缺失×

計算復(fù)雜度高，難以處理海量樣本×推薦模型如何從大模型中取長補短，從而提升推薦性能？LLM4RecHowcanrecommendersystemsbenefitfromlargelanguagemodels:AsurveyLLM4Rec在工業(yè)推薦鏈路中的應(yīng)用：

特征工程：對原始數(shù)據(jù)進行加工、增強，得到結(jié)構(gòu)化特征，包括用戶/物品維度和樣本維度的特征

特征編碼：對結(jié)構(gòu)化特征進行編碼，得到對應(yīng)的稠密向量表示，如用戶/物品表征

打分/排序：對候選物品進行打分排序，包括物品打分（精排）和物品直接生成（召回/重排）

用戶交互：對話式推薦中用戶和系統(tǒng)交互過程中，通過理解用戶對話和意圖，給用戶提供物品推薦

流程控制：控制推薦系統(tǒng)的整體流程，如對排序階段的控制LinJ,DaiX,XiY,etal.Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey[J].TOIS2024.LLM4RecHowcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey不微調(diào)LLM，引入CRM微調(diào)LLM，引入CRM根據(jù)訓(xùn)練和推理兩個階段，將現(xiàn)有LLM4Rec工作分為四個象限：

橫坐標：在訓(xùn)練階段，大語言模型是否需要微調(diào)

縱坐標：在推理階段，是否需要引入傳統(tǒng)推薦模型LLM4Rec呈現(xiàn)出兩個趨勢：語義+協(xié)同

模型：通過引入傳統(tǒng)推薦模型（CRM）為語言模型注入?yún)f(xié)同信號

數(shù)據(jù)：通過引入推薦場景的數(shù)據(jù)，結(jié)合大模型微調(diào)，為語言模型注入?yún)f(xié)同信號不微調(diào)LLM，不引入CRM微調(diào)LLM，不引入CRM大語言模型在推薦系統(tǒng)應(yīng)用的四象限圖及代表性工作LinJ,DaiX,XiY,etal.Howcanrecommendersystemsbenefitfromlargelanguagemodels:Asurvey[J].TOIS2024.LLM

for

Feature利用LLM開放知識輔助推薦的通用框架KAR大語言模型是世界知識的壓縮器

傳統(tǒng)的推薦系統(tǒng)為封閉的系統(tǒng)，僅使用推薦場景內(nèi)部的數(shù)據(jù)進行訓(xùn)練?

開放世界的知識?

基礎(chǔ)的邏輯推理能力?

僅具備推薦領(lǐng)域內(nèi)的知識，利用協(xié)同信號和特征共現(xiàn)關(guān)系進行推薦相關(guān)新聞報道用戶可能的心情和狀態(tài)用戶可能的個性和品位可能感興趣的電影類別可能感興趣的導(dǎo)演……?

對于用戶偏好的學(xué)習(xí)局限、不全面?

難以解決冷啟動和數(shù)據(jù)稀疏的問題

引入世界知識以及邏輯推理能力的開放推薦系統(tǒng)?

開放世界通用知識：用戶、物品相關(guān)的背景知識?

邏輯推理能力：深層理解用戶行為動機、偏好推理時間因素（如假期等）外部知識邏輯推理重要事件（如奧運會）獲獎情況和影評……XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024技術(shù)方案知識推理和生成知識適配知識利用

基于推薦場景分解關(guān)鍵因素，對用戶偏好和物品外部知識分別對LLM提問

LLM生成相應(yīng)的用戶興趣推理知識和物品事實知識

所生成的文本信息內(nèi)容復(fù)雜多面，且存在幻覺問題，推薦模型難以直接理解和利用

設(shè)計多專家網(wǎng)絡(luò)進行知識提取、壓縮、映射，適配至推薦空間，輸出結(jié)果魯棒

將所生成的知識增強向量作為額外的特征輸入到傳統(tǒng)的推薦模型XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024實驗效果

在9個SOTA的推薦模型上，平均AUC顯著提升1%+，顯示出較好的兼容性和有效性

基于盤古大模型KAR在華為音樂歌單推薦榜單全量上線，對歌曲風(fēng)格、情感、節(jié)奏傾向，用戶聽歌偏好等知識進行生成，線上A/B播放歌曲次數(shù)+1.7%，播放歌曲設(shè)備數(shù)+1.64%，播放時長+1.57%

在華為應(yīng)用市場場景全量上線，對APP的開放域標簽，用戶的APP使用模式和偏好等知識進行生成XiY,LiuW,LinJ,etal.TowardsOpen-WorldRecommendationwithKnowledgeAugmentationfromLargeLanguageModels.RecSys[C],2024進一步探索

進一步探索1：用戶和物品規(guī)模大，所需推理次數(shù)多，且協(xié)同信息缺失?

方法：利用協(xié)同信息對用戶/物品聚類，對每一個聚類用戶/物品集進行LLM推理?

效果：華為音樂場景線上A/B，播放歌曲次數(shù)+1.99%，播放歌曲設(shè)備數(shù)+1.73%，播放時長+2.04%

進一步探索2：用戶興趣變遷快，需周期性更新?

方法：采用流式知識提取，感知用戶興趣變遷，學(xué)習(xí)增量興趣?

效果：華為音樂場景全量上線，相比固定提取，流式提取離線AUC+0.27%

進一步探索3：embedding表征精細化使用?

方法：對原始embedding表征進行離散化，如聚類?

效果：相比直接使用embedding，使用離散化ID方法離線AUC+0.3%面向LLM推薦知識生成的解碼加速方法

大語言模型蘊含著豐富的開放世界知識（物品語義知識），具備超強的邏輯推理能力（用戶意圖、興趣演變）

LLM作為推薦知識生成器提供給傳統(tǒng)推薦模型，已帶來顯著商業(yè)收益

LLM是高資源消耗模型，用于推薦知識生成任務(wù)會面臨調(diào)用次數(shù)多，單次調(diào)用時延長，所需推理機器多等問題?

推薦場景中海量的用戶（億級）和物品（千萬級）規(guī)模?

用戶興趣變遷快，需要周期性刷新?

大模型解碼耗時長（數(shù)秒）?

推理機器成本高，電量資源消耗多XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.解碼加速發(fā)現(xiàn)基于檢索的投機解碼分析

基于檢索的投機解碼?

從歷史知識中檢索相關(guān)文本，并復(fù)制到新知識末尾，從而跳過LLM解碼過程實現(xiàn)加速解碼?

串行解碼

->并行驗證

解碼加速發(fā)現(xiàn)?

RetrievalInefficiency：檢索的耗時占比會隨著檢索池規(guī)模的增長而上漲明顯?

DiversityTolerance：解碼時從top-k的tokens中采樣以增加文本多樣性，下游推薦任務(wù)高容忍度XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.技術(shù)方案

個性化檢索?

構(gòu)建個性化檢索池（基于協(xié)同和基于屬性），控制檢索池大小和增加文本分布一致性

模糊校驗?

校驗階段放松驗證條件，接受更多token，提升加速比?

可配置接收門檻概率，避免LLM發(fā)散生成XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.實驗結(jié)果

在4個LLM知識生成框架中，取得3-5x的加速效果，顯示出顯著的兼容性和有效性，以及近乎無損的下游預(yù)測效果XiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.實驗結(jié)果

在5個不同類型LLM中，取得一致的加速效果，顯示出較好的兼容性

在華為廣告場景落地，利用LLM對目標廣告可能吸引的人群，產(chǎn)品特點，競爭優(yōu)勢，品牌定位和形象等知識進行生成，相比原始解碼方式，在AUC持平的情況下解碼加速3.45xXiY,WangH,ChenB,etal.ADecodingAccelerationFrameworkforIndustrialDeployableLLM-basedRecommenderSystems[J].arXivpreprint2024.LLM

for

RankingLLM直接排序的長序列理解方法

用戶行為序列建模對推薦系統(tǒng)預(yù)測效果至關(guān)重要?

用戶行為序列長（~106），興趣多樣?

序列長度對推薦系統(tǒng)的效果影響巨大?

用戶長序列建模工作帶來顯著商業(yè)價值：UBR、ETA等

大模型的長序列理解問題相比傳統(tǒng)推薦系統(tǒng)更加嚴峻?

大多數(shù)LLM用于理解用戶序列只選取最近10-15個行為?

拉長用戶行為序列并不能為LLM的推薦效果帶來增長，即使輸入長度遠未超過LLM上下文長度限制（Vicuna-13B的上限為2048tokens）LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.技術(shù)方案

利用語義相似度檢索用戶長序列中最相關(guān)的行為，彌補LLM長序列理解問題

不微調(diào)LLM：通過引入語義級的用戶行為檢索，根據(jù)當(dāng)前預(yù)測物品提取用戶序列核心行為，進而提升LLM的推薦性能

微調(diào)LLM：利用用戶行為檢索作為數(shù)據(jù)增強手段，構(gòu)造模式增強的混合訓(xùn)練數(shù)據(jù)集，提升LLM對用戶長行為序列的理解能力Userbehaviors:[‘GonewiththeWind(1939)(2stars)','TheSilenceoftheLambs(1991)(3stars)','TheTerminator(1984)(5stars)','BeforeSunrise(1995)(2stars)','BladeRunner(1982)(5stars),'StarWars:EpisodeIV(1977)(4stars)','ModernTimes(1936)(5stars)’,'2001:ASpaceOdyssey(1968)(5stars)’,'Alien(1979)(5stars)','BacktotheFuture(1985)(4stars)‘…]Recent-based：The

useris

a

female.Herjobis

sales.

Herage

is

35-44.She

watched

the

followingmoviesinorderin

the

past,andratedthem:['0.GonewiththeWind(1939)(2stars)','1.TheSilenceoftheLambs(1991)(3stars)','2.The

Terminator

(1984)(5stars)','3.BeforeSunrise(1995)(2stars)','4.BladeRunner(1982)(5stars)’]Basedonthemoviesshehaswatched,deduceifshewilllikethemovie***TheMatrix(1999)***.YoushouldONLYtellmeyesorno.Retrieval-based(Rella):The

useris

a

female.Herjobis

sales.

Herage

is

35-44.She

watched

the

followingmoviesinorderin

the

past,andratedthem:['0.TheTerminator(1984)(5stars)','1.StarWars:EpisodeIV(1977)(4stars)','2.2001:ASpaceOdyssey(1968)(5stars)',

'3.Alien(1979)(5stars)',

'4.Back

to

the

Future

(1985)(4stars)']Basedonthemovies

shehas

watched,

deduceifshewilllikethemovie***TheMatrix(1999)***.YoushouldONLYtellmeyesorno.LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.實驗結(jié)果

ReLLa可以大幅提升不微調(diào)、小樣本微調(diào)場景中推薦性能，并展現(xiàn)出極強的樣本高效性（10%樣本）?

行為檢索可以顯著提升LLM對用戶長序列的理解?

LLMSFT可以顯著提升推薦效果，且具備極強的樣本高效性不微調(diào)全量樣本訓(xùn)練小樣本微調(diào)LinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.實驗結(jié)果

序列長度分析?

SIM等ID-basedRS隨長度增加而提升?

LLM有明顯的長序列理解問題（K：15-30）?

ReLLa顯著緩解LLM長序列理解問題拉長序列長度和增加訓(xùn)練樣本均可以顯著提升預(yù)測效果

->訓(xùn)練效率低如何權(quán)衡模型效果和訓(xùn)練效率！

樣本高效性分析?

LLM相比ID-basedRS有更好的樣本高效性?

少樣本微調(diào)情況下可以超過全量訓(xùn)練的傳統(tǒng)ID-basedRSThenumberofSFTsamplesThenumberofSFTsamplesThenumberofSFTsamplesLinJ,ShanR,ZhuC,etal.Rella:Retrieval-enhancedlargelanguagemodelsforlifelongsequentialbehaviorcomprehensioninrecommendation[C].WWW2024.LLM個性化參數(shù)微調(diào)方法

現(xiàn)有基于LLM推薦排序方法的弊端?

低訓(xùn)練效率限制模型性能?

短序列：用戶行為序列長（~106），采用ReLLa檢索方式，只能提取少量最相關(guān)的部分行為?

少樣本：LLM雖然具備樣本高效性，但是少樣本依舊限制模型對全量空間的感知，影響推薦效果?

LoRA參數(shù)微調(diào)方法難以體現(xiàn)核心個性化ZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.技術(shù)方案

傳統(tǒng)RS模型作為透鏡，權(quán)衡效率和效果?

維持LLM較高的訓(xùn)練效率?

隱式拓展到長序列、全樣本空間，擴大LLM感受野，避免信息損失

個性化LLM?

Meta-LoRA提供可控、可拓展性參數(shù)?

個性化動態(tài)路由實現(xiàn)個性化LLMZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.實驗結(jié)果

RecLoRA通過引入傳統(tǒng)RS作為透鏡，取得更好的預(yù)測效率和模型效果?

通過將用戶長行為序列輸入RS，避免LLM長輸入帶來的低效率問題?

通過RS的透鏡效應(yīng)獲得更個性化的LoRA參數(shù)，提升預(yù)測效果將協(xié)同信息注入LLM可以顯著提升LLM訓(xùn)練效率

->LLM推理時延依舊高將語義信息注入傳統(tǒng)RS，只使用傳統(tǒng)RS線上推理ZhuJ,LinJ,DaiX,etal.LifelongPersonalizedLow-RankAdaptationofLargeLanguageModelsforRecommendation[J].arXivpreprint2024.語義增強的推薦方法

現(xiàn)有LLMforranking的方法，如ReLLa、RecLoRA?

在線推理時直接使用LLM，帶來巨大的推理時延和機器資源壓力?

難以在高時延場景落地

現(xiàn)有傳統(tǒng)RS的方法，如DCN、DIN?

基于協(xié)同信息建模，缺乏語義知識?

冷啟動等場景建模效果較差LiX,ChenB,HouL,etal.CTRL:ConnectCollaborativeandLanguageModelforCTRPrediction.RecSys’DLP,2023.技術(shù)方案

跨模態(tài)知識對齊:將基于ID的協(xié)同空間和基于文本的語義空間進行對齊，隱式將語義知識注入傳統(tǒng)RS中

自監(jiān)督微調(diào):將對齊后的RS模型進行微調(diào)以獲得最終線上推理模型LiX,ChenB,HouL,etal.CTRL:ConnectCollaborativeandLanguageModelforCTRPrediction.RecSys’DLP,2023.實驗結(jié)果

和推薦模型和語言模型基線相比，