1、內容電商推薦算法體系介紹技術創新 變革未來目錄內容電商的主要挑戰系統框架我們的主要工作心得體會場景模態目標內容電商的業務場景多，分散還有大量的內容場景，穿插在其他產品下面場景分散目前包含：圖片集，文本，短視頻，中長視頻，直播等形態每種類型還有若干種展示方案多變模態l 內容電商的主要挑戰點擊，停留時間，IPV，GMV還要考慮內容生態建設多目標TPP（推薦入口）SP（搜索入口）ABFSQPBERTPPAI PSPAI TFPorscheBlinkODPSQuery/User FeatureProfile/ActionModelRank/SortrecallIgraphRealtime User-A

2、ctionUser Long term-TriggerUser embeddingFeed Feature內容召回鏈路：寶貝召回鏈路：u2follow；I2i2a；U2watch；I2i2feed；flowA2a； A2a；等I2a；等向 量 召 回Feed Feature圖文類視頻類直播類（離線+實時）TimeLine（離線 + 實時）內容平臺 內容庫選品離線/在線學習系統Merge Sort (混排策略)日志/系統event系統架構內容加工內容生產內容理解智能展示投放算法召回策略多目標排序策略內容建設文本特征+商品特征+主題特征+場景特征質量+個性化+動態相關性+商業目標主題質量體 系主題

3、價值分 級主題標簽 建設卡片膠囊樣式策略商品簇挖掘，主題聚合，關鍵詞理解，LBS挖掘圖集生成，問大家結構化抽取，主題挖掘，場 景挖掘，圖文生成外部數據理解特別關注熱點數據，獲取并理解淘內沒有的增量信息用戶實時意圖實時挖掘用戶瀏覽等長期忽略的行為，動態認知交互策略定坑展示/動態展示/跳失點展示/pop layer展示宏觀業務指標大盤指標+各主題產品指標+用戶粘性指標微觀業務指標CTR + VV率 + 停留時間+GMV用戶理解內部 畫像外部 畫像多維 屬性時空 偏好需求分類意圖識別負反饋識別購物決策階 段熱點預估達人/機構運營/商家媒體/達人等級建設，流量分配，運營機制興趣熱點/ 平滑短期行為理解

4、打通淘內電商數據，UC/優酷等數據，長期用戶數據業務目標我們的主要工作關鍵 詞/用 戶觸 發內容 詳情商品 詳情內容 列表內容 坑位相似 內容用戶詳情回退與 商 品 混 排點擊詳情回退點擊換詞/ 刷新點擊點擊換詞/ 刷新智能內容 首頁素材庫 優化內容頁UI優化Session推薦關聯推薦Feeds首圖 首Icon Suggest內容詳情頁圖文類視頻類直播類（離線+實時）TimeLine（離線 + 實時）內容平臺內容庫展示排序 召回選品內容建設輔助韓國婚禮舉辦Text Tokens/Sente ncesImage Regions (e.g., object generator)Raw Images

5、Normal:BertMasked LMMulti-Modal:Bert style Transformer on 1 and 2Combining 1 and 3 fordifferent tasksImage-Text Pair ClassificationImage Encode- DecodeImage Inpainting NextSentenceOutput:ORMasked LMText Embedding Image EmbeddingMulti-Modal EmbeddingFinetune (sub)network on new tasks (e.g., CTR)No La

6、bels內容表征的工作Next SentenceSparse FeaturesDense FeaturesFeature ExtractionCo-Training NetworkObjectivechannel specific networkContent Embedding networkdisplay learning network 大小渠道聯合學習解決淘寶經驗冷啟動的 問題 加入channel specific network去學 習渠道特有的特征l 加入產品迭代策略 加入display learning network去學習 不同的展示樣式帶來的效果基于co-training的多

7、場景訓練l工程上實現了業務無關，完全按照展示樣式和位置schemal對算法來說，是很好的display learning 特征Multi-Scale CNNDense FeaturesD&W Features顯示單張圖還是多張圖列表的主圖瀑布流主圖標題副標題業務類型的icon，個數/類型底部展示的icon，個數/類型底部icon后面追回的文本底部tag文案最后一張圖上的第一行文案最后一張圖上的第二行文案直播觀看人數文案lbs類型的距離文案Display learning network在線決策- LTR特點&挑戰 業務目標復雜業務多目標人群目標差異支持流量調控冷啟動 online-LTR數據分

8、布變化(case：大促期間)，更快的擬合新數據快速響應需求：能夠靈活調頭，指哪打哪兒在線決策 RLlist天然是一個序列決策過程，可以兼顧多個業務要求使用神經網絡去逼近策略函數和Q函數 （soft update, replay buffer）但是在具體場景應用RL會有一些難點：l 缺乏模擬器，依靠模型在線學習l 策略探索的regret比較高l 高度sparse高度方差的reward可能的解法：基于監督信息以及輔助獎 賞的訓練方法決策與內容生態內容生態建設業務長期發展的基礎如何全面認識我們的決策對業務的影響如何提高優質內容的ROI，一方面解決Return，一方面解決Investment決策機制內

9、容質量機制升級作者賦能支撐內容優質模板行業數據輸入自動化選品原創保護質量預估預估數據披露新內容冷啟動，流量探索流量監控和下發診斷直接間接強感知弱感知平臺策略內容運營者本身在持續做trail-and-error，反饋的缺乏抓手主要問 題在于這個過程反饋緩慢，導致內容 運營者普遍追求短平快的手段，抑制了平臺供給水平的快速提升流量過于集中，兩極分化比較嚴重； 可能會導致優質內容量下降，創作者 流失質量評估和保護原商品素材（視頻 / 圖片）素材單獨招商文案 / 促銷 / 服務信息底料素材加工素材類型媒體質量圖片合成視頻圖提取視頻圖封面視頻圖摘要圖片縮放圖片主體識別白底圖場景圖詳情圖合成圖視頻圖實拍圖S

10、KU圖視頻摘要圖像/視頻決策信息商品賣點屬性促銷信息服務行業人工模板模型生成模板投放策略： 概率投放 | 貪心策略 | Bandit思想展示預估：用戶展示圖偏好模型 | 信息優選模型 | 布局優選展示引擎中控樞紐前臺策略及 場景主搜結果頁（包含新的垂直化場景）店鋪搜挑尖貨等tab個性化偏好匹配 人/人群與圖片的匹配業務需求智能化展示 店鋪搜-品質圖片展示需求行業特征特殊化支持 服飾-搭配/SKU合圖智能展示的體系換圖合圖摘要標題智能展示業務case單次請求內容數較多，客觀造成用戶與系統交互少，算法能力受限的情況隨著手機端的計算能力提升和業務對于實時意圖計算能力的要求，促使我們思考是否可以在手機

11、端進行模型的預測智能交互依賴客戶端的能力搜索/推薦場景Jarvis實時特征收集事件監聽模型推理Tpp搜索主題內容排序用戶實時意圖識別：預估點擊率與商品統計點擊率比較ClientNative廣播渲染內容視頻圖文智能交互的工作case)*:,9:0Query是顯示表征用戶需求的工具內容query vs. 商品query用戶實時點擊 - 生成內容query根據用戶行為算法設計基本思想：解析出屬性偏好，根據商品屬性生成一句內容需求Query; = argmax (0:1|) 8 log 9 9?0, , 0:1內容需求挖掘與用戶引導V embeddingK embeddingV encoderK encoderV attentionK attentioncontextdecoderl Input: (品類，連衣裙)，(材質，雪紡)單純的V屬性導致屬性和品類詞是相等對待，造成缺少中心詞 問題，額外的K特征幫助減輕這一問題；同時也希望模型可以 學習到重要的屬