錄2000年左 2010年左

2015年左 今

45TB570GB清洗后語料(93%175GB模型（在GPU顯存

830GB代碼數

表征建模能力：推薦系統缺乏語義信息；而大模型推薦能提取高質量的文本表示，并利用編碼的世界知識完善物品理解和用戶建模個性化內容生成：推薦系統僅能回答用戶對給定候選集中物品的偏好；而大模型推薦具備生成能力生成不受限的個性化內容，且具備較好的可解釋性 傳統大模型推薦1傳統大模型推薦1C的傳統語言模型(GloveC的傳統語言模型(BERTA與BC無關CAB大模型嵌入替代或添加進推薦模型嵌入(大模型嵌入替代或添加進推薦模型嵌入(如BIGRec)：利用大模型獲取物品的嵌入，將嵌入替代或添加薦嵌入進行后續推薦

訓練與推理時延：LLM模型生成嵌入的速度較慢訓練與推理時延：LLM模型生成嵌入的速度較慢，導致了額外的傳統大模型推薦2傳統大模型推薦2無法對輔助信息推理：推薦模型通常只基于序列或特征建模，而LLM可以結合上下文和輔助信息進行

提煉和聯想新信息(如KAR)：提煉和聯想新信息(如KAR)：利用LLM從輸入中提煉關鍵信息，并聯想開放域知識引入(如CTRL通過嵌入對齊，將開放域知識

通過預訓練后的LLM提示工程(如TALLRec、KP4SR)：通過設計專門的prompt，輸入用戶信息、上下文以及候選物品列表作為輔助信息，使M生成推薦結果推薦模型嵌入融入（如LLaRa）：將來自推薦模型（如協同過濾模型或圖神經網絡）的embedding融入到模型中，結合M的語義理解能力和推薦模型提取協同信息的能力設計prompt，處理推薦信

ChatGPT對“是”回答 基于語義embedding獲取語義ID，用來代替無意義的物品ID層次化碼本：基于殘差量化的方式獲得重要程度逐級遞減的碼本（粗粒度->細粒度），

每層碼本表達意義的“模長”生成式推薦大模型2：生成式推薦大模型2：生成式推薦大模型2：生成式推薦大模型2：推薦任務->序列生成任務：將輸入的各項異構特征整合和編碼成一個統一的時間序列，并將召回、排序等推薦任務重構為統一的Seq2Seq序列生成任務，設計基于trsforr的架構生成下一個to。生成式推薦大模型2：生成式推薦大模型2：時間復雜度：不涉及對時間復雜度的在模型架構層面的優化，未來工作可以考慮設計類似于線性注意力機制或最新提出的mamba等一次復雜度的架構代替或部分代替二次復雜度的自注意力機制。但對于新架構，如何保持sligl是一個挑戰

GPT成功的數據基石：GPTGPT成功的數據基石：GPT進化中，模型結構保持相似，訓練數據的規模、質量亟待解決的問題：,Model-centric同原始數據中學習到的→映射關系具有不同側重，而Data-centric范式先從原始數據集針對不同模型重生成易于學習模式的數據集′，使學習映射′→更加簡單直觀Model-centric：Onedataset,AllData-centric:Onedataset,One推薦系統中存在的數據問 odlcentric和data-centric范式對DR4SR預訓練階段(A)學習重生成器:提出滑動窗口策略提取“(序列,模式)”對，構建預訓練任務，解決監督信號缺失；提出方法優越性：DR4SR在不同數據集和各類模型上的性能均顯著提升，展現了跨模型結構泛化能力以Data-centric和Modlcentric范式互補性，體現了Data-centric進一步分析：雖然DR4SR可以提供模型感知的序列訓練數據集，但仍需要基于原始的數據集構建高階數據模式和用于增廣訓練的數據，針對不同數據類型擴展D4S數據重生成方法仍需探索基于benchmark數據集在5大類

Entropylaw數據壓縮率R：度量了數據中所蘊含的信息密度。可通過現有的各類數據壓縮算法對文本數據進行壓縮，訓練損失L：度量了數據被模型記憶的難易程度。可通過觀察LLM訓練的第一個epoch的少數訓練步數便數據一致性C：度量了數據之間的組合效應。反映給定上下文時，預測下一個token平均數據質量Q：度量了數據的樣本級別質量基于EntropylawZIP根據信息冗余度向量，選擇K1Entropylaw的實驗驗證模型效果vs壓縮率：壓縮率越低，代表了更大的Entropylaw的實驗驗證模型效果vs壓縮率：壓縮率越低，代表了更大的信息總量而壓縮率接近的do，Clstr，rlity具有接近的損失及模型效果，符合entropylaw模型效果vs訓練損失：更低的壓縮率通常伴隨著更大的訓練損失，這是因為數據中信息總量更大，增大了模型的理解難度 Scalinglaw的擬合分析：對于模型的loss與模型維度作scalinglaw擬合，初步驗證loss與模型層數，嵌入scaling

L=

(1+

引入近似熵ApEn衡量數據質量，熵值越低，數據質量越高。驗證擬合數據參數與數據規模/近似熵成8.38633E-2.58694E-8.12462E-

（R2=ScalingLaw只揭示了loss模型規模影響因素分析：給定數據集規模，推薦模型scalinglaw中最優模型參數正比于模型層數L與嵌入維