1、文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)bdforcast2.1.4 出價(jià)建議引入 crm網(wǎng)絡(luò)技術(shù)（北京） 所有,()網(wǎng)絡(luò)技術(shù)（北京）- 1 -模塊名稱(chēng)展現(xiàn)概率提示與分析所屬系統(tǒng)dr-budget/bdforcast2.1.4模塊項(xiàng)目吳清華作者吳清華文檔提交日期2011.3.9文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)修改網(wǎng)絡(luò)技術(shù)（北京）- 1 -No修改后版本號(hào)修改內(nèi)容簡(jiǎn)介修改日期修改人1V1.0全文2011-03-09吳清華文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)目 錄Bdanalyze1.0.0 預(yù)算分析詳細(xì)設(shè)計(jì)錯(cuò)誤!未定義書(shū)簽。123背景1名詞解釋1設(shè)計(jì)目標(biāo)13.13.23.33.43.5實(shí)現(xiàn)的功能1設(shè)計(jì)的性能

2、指標(biāo)錯(cuò)誤!未定義書(shū)簽。系統(tǒng)環(huán)境（可選）2假設(shè)及與其它模塊.2相關(guān)軟件及硬件245設(shè)計(jì)思路及折衷2服務(wù)模塊設(shè)計(jì)錯(cuò)誤!未定義書(shū)簽。5.1模塊架構(gòu)、類(lèi)、流程及說(shuō)明錯(cuò)誤!未定義書(shū)簽。5.1.15.1.25.1.3模塊架構(gòu)圖及說(shuō)明錯(cuò)誤!未定義書(shū)簽。類(lèi)圖錯(cuò)誤!未定義書(shū)簽。主線程流程圖及說(shuō)明錯(cuò)誤!未定義書(shū)簽。5.25.35.45.55.6數(shù)據(jù)結(jié)構(gòu)及說(shuō)明錯(cuò)誤!未定義書(shū)簽。與其它模塊的接口錯(cuò)誤!未定義書(shū)簽。異常處理錯(cuò)誤!未定義書(shū)簽。配置項(xiàng)說(shuō)明錯(cuò)誤!未定義書(shū)簽。各子模塊設(shè)計(jì)錯(cuò)誤!未定義書(shū)簽。5.6.15.6.25.6.35.6.45.6.5數(shù)據(jù)子模塊錯(cuò)誤!未定義書(shū)簽。算法子模塊錯(cuò)誤!未定義書(shū)簽。網(wǎng)絡(luò)服務(wù)子模塊錯(cuò)誤

3、!未定義書(shū)簽。文件更新子模塊錯(cuò)誤!未定義書(shū)簽。動(dòng)態(tài)子模塊錯(cuò)誤!未定義書(shū)簽。6計(jì)算模塊設(shè)計(jì)26.1 各子模塊設(shè)計(jì)錯(cuò)誤!未定義書(shū)簽。6.1.16.1.26.1.3下最大點(diǎn)擊和消費(fèi)子模塊錯(cuò)誤!未定義書(shū)簽。模塊錯(cuò)誤!未定義書(shū)簽。流量最高預(yù)算和平均預(yù)算子模塊錯(cuò)誤!未定義書(shū)簽。7風(fēng)險(xiǎn)評(píng)估及對(duì)其它模塊/系統(tǒng)影響（可選）107.1 已知的或可預(yù)知的風(fēng)險(xiǎn)107.2 與其它模塊/系統(tǒng)可能的影響10設(shè)計(jì)評(píng)審意見(jiàn)10附件及參考資料1189網(wǎng)絡(luò)技術(shù)（北京）- 2 -文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)1 背景是和客戶之間的橋梁，一方面負(fù)責(zé)幫助和指導(dǎo)客戶學(xué)會(huì)使用，管理賬戶，不斷提升客戶 ROI，提高客戶對(duì)的忠誠(chéng)和依賴度的作用

4、。另一方面，作為利益的代表，客服是提高客戶消費(fèi)，促進(jìn)長(zhǎng)期增長(zhǎng)的驅(qū)動(dòng)動(dòng)力之一。基于以上的，有兩個(gè)優(yōu)勢(shì)特征：一，更加熟悉和了解客戶，積累了豐富的跟不同客戶打交道的經(jīng)驗(yàn)，客戶對(duì)的信任度和依賴性也會(huì)更高，所以從入手去影響客戶比直接影響客戶會(huì)更有效果；二，并有投機(jī)的動(dòng)力，反而會(huì)利用盡量影響客戶；綜上，我們決定從為切入點(diǎn)，通過(guò)指導(dǎo)出價(jià)，進(jìn)而影響客戶出價(jià)，從而達(dá)到提升的效果。結(jié)構(gòu)化詞庫(kù)是 CRM 中為提供快速使用詞庫(kù)的系統(tǒng)工具，立足于幫助更好地為客戶提交質(zhì)量高，并且與客戶業(yè)務(wù)范圍關(guān)聯(lián)緊密的，從而可以快速輸出為客戶定制的結(jié)構(gòu)化包，提升方案質(zhì)量和制作效率。目前結(jié)構(gòu)化詞庫(kù)只是做到了推薦這個(gè)環(huán)節(jié)，獲得推薦以后還需要

5、線下制作創(chuàng)意和設(shè)定出價(jià)等步驟才能形成完整方案，后期工作量仍然比較大，希望能夠在系統(tǒng)中完成完整方案的制作，以提高效率。綜合的優(yōu)勢(shì)以及當(dāng)前結(jié)構(gòu)化詞庫(kù)進(jìn)一步完善的需求，決定在結(jié)構(gòu)化詞庫(kù)中引入創(chuàng)意制作和出價(jià)建議環(huán)節(jié)，解決需求的同時(shí)，利用系統(tǒng)建議出價(jià)達(dá)到引導(dǎo)出價(jià)提升的目標(biāo)。2 名詞解釋左側(cè)首屏：左上（pp 或ppim）區(qū)域排名第 1第i 的位置（i 默認(rèn)取 3）：與web 物料列表頁(yè)面看到的生效狀態(tài)的定義是一致的：自身未被暫停、已被激活、生效已被人工審核通過(guò)、已被審核通過(guò)，出價(jià)大于起價(jià)的未刪除的；展現(xiàn)概率：一個(gè)（winfoid）在精確觸發(fā)下在某個(gè)區(qū)域（首屏或首位）一段時(shí)間的展現(xiàn)次數(shù)/該廣告在精確觸發(fā)下該

6、時(shí)間段內(nèi)（時(shí)間段的定義請(qǐng)見(jiàn)正文）的總展現(xiàn)次數(shù)；這里展現(xiàn)次數(shù)的計(jì)算不包括外部（如微軟等）和小頻道的展現(xiàn)情況，僅考慮 cmatch 為 201、204 和 225；首屏展現(xiàn)價(jià)格：對(duì)于一次檢索，如果要出在左側(cè)首屏需要的出價(jià)。3 設(shè)計(jì)目標(biāo)3.1 實(shí)現(xiàn)的功能網(wǎng)絡(luò)技術(shù)（北京）第 1 頁(yè) 共 11 頁(yè)文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)3.1.1出價(jià)建議計(jì)算競(jìng)價(jià)客戶數(shù)！=0 且 7 天歷史檢索次數(shù)=C 的(word)的建議出價(jià).除去以上情況下的，均采用行業(yè)的出價(jià)。3.2 系統(tǒng)環(huán)境（可選）計(jì)算共有兩輪 map reduce，第一輪：每天的 asp 日志，輸出 query 以及對(duì)應(yīng)的首屏展現(xiàn)價(jià)格列表。第二輪：累計(jì)

7、7 天的信息，輸出檢索次數(shù)=C 的 query 以及首屏展現(xiàn)價(jià)格列表。3.3 假設(shè)及與其它模塊3.4 相關(guān)軟件及硬件建議配置：4 設(shè)計(jì)思路及折衷5 模塊設(shè)計(jì)5.1出價(jià)建議5.1.1 aspl一天的 asp 日志文件對(duì)于每一條 asp 日志，根據(jù) cmatch（201，204，225）挑選出屬于的檢索，并計(jì)算屬于首屏的最后一個(gè)位置（即第3 位的）的q*bid, 計(jì)算左側(cè)隊(duì)列中的最小q 值 q=avg_rate。其中 avg_q 是左側(cè)的平均 q 值。1. 如果首屏不滿 3 條，則說(shuō)明對(duì)應(yīng)的只需要出一定的價(jià)格就可以展現(xiàn)在首屏。因此，首屏展現(xiàn)價(jià)格=默認(rèn)的建議價(jià)格，在hadoop 中采用0 來(lái)代替,然

8、后在單機(jī)上處理時(shí)替換成默認(rèn)的建議價(jià)格。2. 如果首屏數(shù)=3, 則首屏展現(xiàn)價(jià)格 screen_bid=q*bid/q+0.01對(duì)于每一次檢索，map 階段輸出：query 簽名值, screen_bid，以 query 作為 key 來(lái)分桶。第一輪 reduce：輸出 query 簽名值、bid 列表1. query 次數(shù) 閾值 MAX_QUERY_PV，則進(jìn)行抽樣, 最后輸出的 bid 個(gè)數(shù)為 MAX_QUERY_PV.網(wǎng)絡(luò)技術(shù)（北京）第 2 頁(yè) 共 11 頁(yè)項(xiàng)目?jī)?nèi)存硬盤(pán)操作系統(tǒng)數(shù)目計(jì)算模塊16Glinux文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)將同一個(gè) query 對(duì)應(yīng)的各個(gè) bid 取值組成集合，

9、采用逗號(hào)進(jìn)行分割。如果 bid 集合的元素個(gè)數(shù)超過(guò) MAX_QUEYR_PV, 則去掉 0 （ 如果全部為 0 ， 則輸出MAX_QUERY_PV 個(gè) 0）。如果去掉 0 后，小于 MAX_QUERY_PV 個(gè) bid，則小于的部分用 0 補(bǔ)充。如果大于 MAX_QUERY_PV 的話，則對(duì)剩余的 bid 進(jìn)行等距離抽樣。間隔的距離為: (bid_num_new 1)/(MAX_QUERY_PV 1), 這樣可以保證 bid 列表中的最小 bid 和最大bid 都包含進(jìn)來(lái)。其中 bid_num_new 是去掉 0 之后的 bid 個(gè)數(shù)。l統(tǒng)計(jì) 7 天的結(jié)果文件map: catreduce:將

10、7 天的 bid 列表合并成一個(gè)，bid 之間用逗號(hào)分割，對(duì) bid 進(jìn)行排序后輸出.統(tǒng)計(jì) 7 天 query 的檢索次數(shù)（即：7 天所有 bid 的個(gè)數(shù)），如果 query 的次數(shù)C(配置的最低展現(xiàn)次數(shù)),則不做處理。否則：1. query 次數(shù) 閾值 MAX_QUERY_PV，則進(jìn)行抽樣, 最后輸出的 bid 個(gè)數(shù)為 MAX_QUERY_PV.處理方式與第一輪 reduce 是一樣的。對(duì) bid 進(jìn)行排序輸出。(采用 python 實(shí)現(xiàn))5.1.1.1 流程圖及說(shuō)明第一輪 map 流程圖如下：（src 增加 219 判定，用于區(qū)分某些非大搜索的內(nèi)部 asp 請(qǐng)求）網(wǎng)絡(luò)技術(shù)（北京）第 3 頁(yè)

11、 共 11 頁(yè)文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)否Asp日志同時(shí)包含src=1，204，213是否Pn=0是包含cmatch=201,204,225,左側(cè)=3是否輸出query簽名, q*bid/(avg_rate)輸出query簽名,0備注：min_q 更改為 avg_q, 如果左側(cè)是 pp 隊(duì)列，則使用 ppq 計(jì)算平均 q 值，如果左側(cè)是 ppim 隊(duì)列，則使用 leftq 計(jì)算平均 q 值。第二輪map：catreduce：將 7 天的bid 集合再次合并成一個(gè)集合，如果 bid 列表個(gè)數(shù)=C，則輸出 query”t”bid 列表。在輸出 bid 列表的時(shí)候，如果 bid 個(gè)數(shù) bid_

12、num 超過(guò)了 MAX_QUERY_PV 個(gè)，則去掉 0，采用等距離抽樣， 方法同第一輪的 map reduce。（采用 python 實(shí)現(xiàn)）5.1.1.2 數(shù)據(jù)結(jié)構(gòu)與配置項(xiàng)第一輪 map網(wǎng)絡(luò)技術(shù)（北京）第 4 頁(yè) 共 11 頁(yè)cal_conf獲取第3位的q*bid（如果是pp隊(duì)列，則用ppq，如果是ppim，則用leftq）是遍歷左側(cè)的，計(jì)算avg_q一條asp日志文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)5.1.1.3 與其他子模塊接口集群上 7 天的 asp 展現(xiàn)日志5.1.2 出價(jià)計(jì)算模塊將 hadoop 上asp后的結(jié)果文件到單機(jī)上。文件數(shù)據(jù)格式：query 簽名, bid 列表(以逗號(hào)分隔)

13、其他外部輸入文件：1.2.3.atom wordlist 文件：wordid，word 字面行業(yè)分類(lèi)文件（wordid、行業(yè)），建立 trade_hash行業(yè)價(jià)格文件（tradid、價(jià)格）4.5.庫(kù)文件，用于統(tǒng)計(jì) hash_usernum競(jìng)價(jià)區(qū)間閾值文件，建立數(shù)組 thres_percent輸出文件：wordid、bid、word 字面。整體處理過(guò)程（拆分來(lái)做）：1.競(jìng)價(jià)區(qū)間文件，建立數(shù)組 thres_percentuser_num 字段中。（hash_word 全集表示有生效客戶數(shù)的 wordid 集合）3.atom 文件，將字面填充到 hash_word中的 word 字段，同時(shí)生成has

14、h_word_id，注意：此處需要對(duì) word 進(jìn)行預(yù)處理，然后求 md5 值，處理網(wǎng)絡(luò)技術(shù)（北京）第 5 頁(yè) 共 11 頁(yè)2.庫(kù)文件，統(tǒng)計(jì)每個(gè)的競(jìng)價(jià)客戶數(shù)，填充到 hash_word 中的q_rate: first_page_pos: comlog device_num: 1procname: rp_asp_parser level: 4 comlog.devicetype : ULLOG path : ./logfile :recmd_price.log syslevel : 16size : 2048open : 1文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)函數(shù)與 pvstat 的處理保持一致。4

15、.遍歷 hash_word，查找數(shù)組 thres_percent，根據(jù)競(jìng)價(jià)客戶數(shù)找到對(duì)應(yīng)的百分比，填充到 hash_word中的 thres 字段中。5.行業(yè)價(jià)格文件，建立 hash_tradeprice6.行業(yè)分類(lèi)文件(wordid, tradeid)，查找hash_tradeprice, 找到對(duì)應(yīng)的建議出價(jià)，查找hash_word,將對(duì)應(yīng)的 price 填充到 trade_price 字段。 7.asp后的文件，將 query 進(jìn)行，然后查找 hash_word_id 找到對(duì)應(yīng)的 wordid，然后查找 hash_word 找到對(duì)應(yīng)的的信息, 將bid 列表中的 0 替換成 trade_p

16、rice, 然后進(jìn)行排序，取出 index = thres/100*bid_num -1 所對(duì)應(yīng)的價(jià)格作為出價(jià)。輸出 wordid、出價(jià)、word 字面。如果查找不到，說(shuō)明沒(méi)有生效的競(jìng)價(jià)客戶數(shù)，則不用輸出對(duì)應(yīng)的建議出價(jià)。拆分成以下 3 個(gè)小模塊：1.A.計(jì)算 wordid 對(duì)應(yīng)的閾值（可參考展現(xiàn)概率 show_rate/calc_cwords/src/calc_cwords.cpp） 庫(kù)文件字段分別為：1.winfoid 2.unitid 3.planid 4.userid 5.wordid該文件，建立 bsl:hashset _hs_wordusr, 其中key = (wordid 32)

17、+ userid;B.遍歷_hs_wordusr，計(jì)算每個(gè) wordid 對(duì)應(yīng)的 userid 數(shù)，生成 bsl_hashmap_hm_usrcntC.競(jìng)價(jià)區(qū)間閾值文件，字段分別為:1.競(jìng)價(jià)客戶數(shù)起始值，2.競(jìng)價(jià)客戶數(shù)截至值，3.對(duì)應(yīng)的百分比數(shù)值建立數(shù)組 usercnt_thres，分別保存(競(jìng)價(jià)客戶數(shù)起始值，競(jìng)價(jià)客戶數(shù)截止值，百分比)D. 遍歷_hm_usrcnt，根據(jù)每個(gè) wordid 對(duì)應(yīng)的 usercnt 數(shù)，查找 usercnt_thres 數(shù)組，找到對(duì)應(yīng)的百分比，輸出：wordid”t”usercnt_thres 文件。2.A.每個(gè) word 對(duì)應(yīng)的默認(rèn)建議價(jià)格 (也可以用 pyt

18、hon,hash一下即可)計(jì)算行業(yè)對(duì)應(yīng)的價(jià)格建立 bsl:hashmap _hm_tradeprice; 其中 key 為：tradeid，value 為 price.B.行業(yè)分類(lèi)文件，文件字段分別為: 1. wordid; 2. tradeid; 3. word 字面查找_hm_tradeprice,找出每個(gè) wordid 對(duì)應(yīng)的行業(yè)的價(jià)格輸出：wordid”t”price3.生成最后的文件a)步驟 1 生成的文件， bsl:hashmap _hm_wordinfo; 其中key=wordid, value 中的 thres=文件中的第二個(gè)字段取值，price=0.0；步驟 2 生成的文件，

19、將文件的第二個(gè)字段，即默認(rèn)價(jià)格填充到_hm_wordinfo 中的default_price 字段。b)c)wordlist 文件，文件字段格式為：wordid t word（以“t”分割，word 字面可能有特殊網(wǎng)絡(luò)技術(shù)（北京）第 6 頁(yè) 共 11 頁(yè)文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)字符，所以第一個(gè)”t”之前的部分是 wordid，其余部分是 word 字面）查找_hm_wordinfo, 如果存在，則將 word 字面填充到_word_info_t.word 字段，同時(shí)生成bsl:hashmap_hm_query_id, 其中 key=處理后的 word 字面的 md5 值，value=w

20、ordid. 此處的處理函數(shù)直接調(diào)用展現(xiàn)概率項(xiàng)目中的 word_pretreat 函數(shù)。d)過(guò)的 asp 結(jié)果文件，文件字段內(nèi)容：1. query 簽名值； 2.bid 列表（列表元以逗號(hào)分隔）間根據(jù) query 簽名值查找_hm_query_id，找出對(duì)應(yīng)的 wordid。如果沒(méi)有，則不處理這條。若找到 wordid，則查找_hm_wordinfo 字典，找到該 wordid 對(duì)應(yīng)的信息（default_price, word字面，thres）。將bid 列表中的bid 取值保存到一個(gè)數(shù)組bid_list 中。查找defalut_price 在bid_list中的位置 insert_pos，

21、統(tǒng)計(jì) 0 的個(gè)數(shù) zero_num，那么小于 defult_price 的元素個(gè)數(shù)less_num=insert_pos - zero_num 。我們需要的 bid 是排序后的數(shù)組中 index=thres*bid_num -1 對(duì)應(yīng)的數(shù)值。比較 index 與位置的大小，然后找到 index 對(duì)應(yīng)的 bid 值，輸出 wordid”t”bid”t”word字面。排序前的數(shù)組：排序之后的數(shù)字如下：為了減少排序移動(dòng)數(shù)據(jù)，直接計(jì)算排序后 index 對(duì)應(yīng)的位置在原數(shù)組中的位置。如果 index=insert_pos, 那么 bid = bid_listindex如果 index = less &

22、index =default_price(insert_pos)【insert_pos, bid_num）0 【 less_num, insert_pos）=default_price(insert_pos)default_price (less_num)0(zero_num)文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)START到庫(kù)文件的每一條記遍歷完 _hs_worduser到競(jìng)價(jià)(winfoid, uintid, planid,否是(start_num,userid, wordid)?th否END是遍歷是Wordid+userid在_hs_worduser中Wordid在_hm_usercnt中否_

23、hs_worduser.insert(wordi d32+userid)_hm_usecnt.insertUsercnt+第 3 個(gè)小模塊的處理流程圖:網(wǎng)絡(luò)技術(shù)（北京）第 8 頁(yè) 共 11 頁(yè)_hm_usercnt?否輸出wordid, thres在數(shù)組usercnt_thres中查找usercnt對(duì)應(yīng)的閾值thres出(wordid, userid)文件的一條保存到數(shù)組usercnt_thres中end_num, res)文檔名稱(chēng)：組附件出價(jià)建議詳細(xì)設(shè)計(jì)START是END完asp文件(query,完(wordid,thres)文件完(wordid, price)文件完wordlist文件 (

24、wordid,word)是是是bid列表)否否否在_hm_wordid中查找到query對(duì)應(yīng)的wordid_hm_wordinfo 字典中找到wordid?找到_hm_wordinfo.find(wordi d)Wordinfo.price=0; Wordinfo.thres=thres; Wordinfo.word=NULL;_hm_wordinfo.insert是是根據(jù)wordid查找_hm_wordinfo,找到對(duì)應(yīng)的value將word保存到內(nèi)存,地址為word_ptr value.word=word_ptr Query=word_pretreat(word)_hm_wordid.insert5.1.2.2 系統(tǒng)說(shuō)明內(nèi)存估計(jì)：1. 有生效競(jìng)價(jià)客戶數(shù)的= 1G量大概為：1 千萬(wàn)，所以內(nèi)存為：10M*(4+4+4+4+64+4)+10M*(8+4+4)2. 行業(yè)