1、愛(ài)奇藝推薦中臺(tái)技術(shù)架構(gòu)實(shí)踐目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同 問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果需求排期，堆積如山推薦中臺(tái)背景業(yè)務(wù)方重復(fù)造輪子推薦業(yè)務(wù)小視頻熱點(diǎn)動(dòng)漫看點(diǎn)推薦實(shí)體豎屏小視頻橫屏視頻圖文漫畫直播推薦形式個(gè)性化推薦信息流推薦相關(guān)推薦主題推薦推薦需求入場(chǎng)規(guī)則時(shí)效性多樣性AB實(shí)驗(yàn)?zāi)夸浲扑]中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同 問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果推薦閉環(huán)實(shí)體數(shù)倉(cāng)推薦池算法引擎用戶行為數(shù)據(jù)推薦中臺(tái)整體架構(gòu)多端適配（APP/PC/H5/PAD/VR/TV）愛(ài)奇藝 TO C 個(gè)性化用戶觸達(dá)系統(tǒng)愛(ài)奇藝 TO

2、 C 短視頻推薦觸達(dá)系統(tǒng)愛(ài)奇藝APPPCVRTVAPP泡泡好多 納豆姜餅 無(wú)際PPS基礎(chǔ)服務(wù)平臺(tái)審核平臺(tái)分布式在線機(jī)器 學(xué)習(xí)平臺(tái)用戶數(shù)據(jù) 分析平臺(tái)通用AB TEST平臺(tái)標(biāo)注平臺(tái)大數(shù)據(jù)存儲(chǔ) 和服務(wù)平臺(tái)內(nèi)容生產(chǎn)系統(tǒng)愛(ài)奇藝號(hào)PGC優(yōu)質(zhì)內(nèi)容優(yōu)質(zhì)卡段（人工，AI）基礎(chǔ)內(nèi)容理解組件基礎(chǔ)用戶畫像多路召回愛(ài)奇藝推薦中臺(tái)排序（粗排，精排、Rerank）融合控制特殊策略干預(yù)通用推薦池平臺(tái)用戶興趣試探保量系統(tǒng)通用特征服務(wù)新內(nèi)容試探推薦中臺(tái)內(nèi)部架構(gòu)內(nèi)容 理解分類體系內(nèi)容標(biāo)簽深度特征質(zhì)量評(píng)估推薦池視頻圖文直播漫畫輕小說(shuō)線上 引擎用戶興趣召回過(guò)濾粗排精排多樣性控制Workflow 配置平臺(tái)基本配置模塊配置報(bào)表效果總表AB

3、實(shí)驗(yàn) 報(bào)表用戶畫像靜態(tài)畫像短期畫像中期畫像長(zhǎng)期畫像召回模型熱門召回相關(guān)召回協(xié)同召回向量召回排序模型LRFMGBDTDNN特征工程Meta特征統(tǒng)計(jì)特征向量特征環(huán)境特征推薦中臺(tái)內(nèi)部架構(gòu)：推薦池長(zhǎng)，短，小視頻智能特征庫(kù)非視頻數(shù)據(jù)愛(ài)奇藝號(hào)數(shù)據(jù)自定義數(shù)據(jù)源適配數(shù)據(jù)生產(chǎn)源用戶行為數(shù)據(jù)數(shù)據(jù)校驗(yàn)實(shí)時(shí)監(jiān)控輔助功能漏斗分析HAsnapshot文件近實(shí)時(shí)Hbase表去重mapping推薦池?cái)?shù)據(jù)服務(wù)實(shí)時(shí)更新消息推薦池通用邏輯層通用元數(shù)據(jù) 轉(zhuǎn)換實(shí)體關(guān)聯(lián)通用去重?cái)?shù)據(jù)補(bǔ)償/ 糾錯(cuò)通用緩存統(tǒng)一數(shù)據(jù)拓 撲/字典推薦池運(yùn)維服務(wù)一站式workflow 配置平臺(tái)自動(dòng)化部署toolkit業(yè)務(wù)推薦池孵化器規(guī)則引擎準(zhǔn)入/過(guò)濾/ 退場(chǎng)業(yè)務(wù)去

4、重干預(yù)后臺(tái)推薦中臺(tái)內(nèi)部架構(gòu)：內(nèi)容理解分類體系內(nèi)容標(biāo)簽質(zhì)量評(píng)估內(nèi)容風(fēng)險(xiǎn)評(píng)估內(nèi)容深度表示通用內(nèi)容 理解組件文本理解圖像理解多模態(tài)特征融合視頻理解音頻理解內(nèi)容理解 基礎(chǔ)技術(shù)產(chǎn)品標(biāo)簽體 系定制業(yè)務(wù)線標(biāo)準(zhǔn)適配產(chǎn)品用戶群行 為適配業(yè)務(wù)定制 化組件內(nèi)容理解 服務(wù)在線服務(wù)消息推送智能特征庫(kù)推薦中臺(tái)內(nèi)部架構(gòu)：特征工程特征倉(cāng)庫(kù)特征文件實(shí)時(shí)特征 消息特征查詢特征運(yùn)維部署平臺(tái)一站式workflow配置平臺(tái)特征運(yùn)維特征校驗(yàn)任務(wù)監(jiān)控服務(wù)降級(jí)附加服務(wù)HAmeta特征統(tǒng)計(jì)特征深度特征特征數(shù)據(jù)業(yè)務(wù)隔離解析配置數(shù)據(jù)規(guī)范特征數(shù)據(jù)源接入平臺(tái)實(shí)時(shí)特征計(jì)算平臺(tái)實(shí)時(shí)統(tǒng)計(jì) 特征框架實(shí)時(shí)特征歸session特征 一化框架實(shí)時(shí)meta 特征框架

5、用戶行為實(shí)時(shí)ETL細(xì)粒度延遲 監(jiān)控告警多機(jī)房互備（HA）實(shí)時(shí)/離線規(guī) 范統(tǒng)一流式ETL 處理框架離線特征計(jì)算平臺(tái)數(shù)據(jù)轉(zhuǎn)化統(tǒng)計(jì)特征 計(jì)算框架特征ID服務(wù)化數(shù)據(jù)源解析meta特征 計(jì)算框架正排服務(wù)化特征歸一化外部特征 接入框架推薦中臺(tái)內(nèi)部架構(gòu)：算法數(shù)據(jù)接入數(shù)據(jù)格式規(guī)約數(shù)據(jù)同步流程樣本處理流程配置文件排序模型線性模型樹模型深度學(xué)習(xí) 模型多目標(biāo)模型 融合監(jiān)控離線評(píng)估產(chǎn)出校驗(yàn)畫像數(shù)據(jù)監(jiān)控超時(shí)監(jiān)控覆蓋監(jiān)控標(biāo)簽標(biāo)準(zhǔn)化標(biāo)簽計(jì)算數(shù)據(jù)抽取興趣計(jì)算數(shù)據(jù)清洗興趣衰減興趣合并業(yè)務(wù)畫像靜態(tài)興趣短期興趣中期興趣長(zhǎng)期興趣標(biāo)簽擴(kuò)展基礎(chǔ)畫像全站基礎(chǔ) 畫像多模型融合新用戶模版召回興趣不足時(shí)的召回拓展冷啟試探實(shí)體詞&主題詞召回分類召

6、回語(yǔ)義Embedding模型相關(guān)召回Item協(xié)同過(guò)濾行為Embedding模型協(xié)同召回全局熱門區(qū)分用戶群的熱門熱門召回厭倦懲罰召回配比質(zhì)量控制召回策略推薦中臺(tái)內(nèi)部架構(gòu)：引擎用戶興趣服務(wù)興趣獲取興趣衰減興趣試探負(fù)反饋過(guò)濾興趣冷凍Root服務(wù)人工干預(yù)融合控制定向運(yùn)營(yíng)AB分流保量系統(tǒng)上線部署配置平臺(tái)UIAB實(shí)驗(yàn)配置平臺(tái)一站式workflow配置平臺(tái)召回服務(wù)平臺(tái)向量召回服務(wù)向量召回倒排召回服務(wù)標(biāo)簽召回協(xié)同召回附加服務(wù)多語(yǔ)言實(shí)時(shí)監(jiān)控智能降級(jí)HA回滾機(jī)制服務(wù)發(fā)現(xiàn)調(diào)用鏈特征服務(wù)離線特征實(shí)時(shí)特征特征填充特征轉(zhuǎn)換引擎現(xiàn)場(chǎng)模型服務(wù)DNNFMGBDTLR粗排服務(wù)單路粗排多路粗排多樣性控制多目標(biāo)精排多樣性控制模型Re

7、rank精排服務(wù)目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同 問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果問(wèn)題一：推薦形式不同個(gè)性化推薦信息流推薦相關(guān)推薦主題推薦解決方案一：統(tǒng)一接口參數(shù)含義area推薦區(qū)域，綁定策略配置passport_id登錄IDdevice_id設(shè)備IDcontext_id上下文ID，相關(guān)推薦session_id會(huì)話ID，翻頁(yè)去重theme_id主題ID，主題推薦解決方案一：統(tǒng)一流程用戶畫像推薦歷史一級(jí)召回一級(jí)排序Rerank是否個(gè)性化是否信息流二級(jí)召回二級(jí)排序YYNNYN是否主題模式請(qǐng) 求響應(yīng)解決方案一：召回倉(cāng)庫(kù)熱門召回標(biāo)簽召回協(xié)同召回主題召回地

8、域召回向量召回協(xié)同過(guò)濾Word2VecDSSM解決方案一：模型倉(cāng)庫(kù)Factorization MachinesLogistic RegressionGBDTWide & DeepDeepFM目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同 問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果問(wèn)題二：推薦實(shí)體不同豎屏小視頻橫屏視頻圖文漫畫直播解決方案二：統(tǒng)一實(shí)體字段原始字段名映射字段名通用字段定義idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_time first_online_timefirst_pub

9、lish_timeis_valid/is_onlineis_valid業(yè)務(wù)獨(dú)有字段定義live_statusliveroom_live_status解決方案二：推薦池合并愛(ài)奇藝 小視頻好多 小視頻片段VLOG劇頭條影訊奇秀直播游戲直播豎屏視頻 公共池橫屏視頻 公共池圖文公共 池直播公共 池視頻公共 數(shù)據(jù)圖文公共 數(shù)據(jù)直播公共 數(shù)據(jù)中臺(tái)業(yè)務(wù)同類推薦池公共層數(shù)據(jù)解決方案二：通用特征通用特征展示量點(diǎn)擊量點(diǎn)擊率長(zhǎng)點(diǎn)擊率平均觀看時(shí)長(zhǎng)消費(fèi)金額新鮮度熱度業(yè)務(wù)方提供特征解決方案二：自定義特征目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同 問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果問(wèn)題三：需求不同入場(chǎng)規(guī)則時(shí)效性多樣性AB實(shí)驗(yàn)業(yè)務(wù)方提供入場(chǎng)規(guī)則腳本解決方案三：入場(chǎng)規(guī)則腳本業(yè)務(wù)方提供LUA過(guò)濾腳本解決方案三：引擎在