數(shù)據(jù)處理計算廣告DataProcessing第三章目錄數(shù)據(jù)采集DATACOLLECTION數(shù)據(jù)清洗DATACLEANING數(shù)據(jù)洞察與建模DATAINSIGHTANDMODELING01數(shù)據(jù)采集采集目標在數(shù)據(jù)采集之前，首先要確定本次廣告活動想要達到的營銷目標與廣告效果，如了解消費者的需求轉(zhuǎn)移路徑，或者產(chǎn)品之間的關聯(lián)性等。采集來源第一方數(shù)據(jù)是在廣告主自有平臺上產(chǎn)生和被采集的，所有權屬于廣告主的數(shù)據(jù)。第二方數(shù)據(jù)是在外部平臺上產(chǎn)生和被采集的，所有權屬于廣告主的數(shù)據(jù)。第三方數(shù)據(jù)即在外部平臺上產(chǎn)生和被采集的，所有權屬于第三方的數(shù)據(jù)。采集系統(tǒng)計算廣告數(shù)據(jù)種類較多，并且不同種類數(shù)據(jù)產(chǎn)生的方式與來源不同。據(jù)此，采集系統(tǒng)主要分為系統(tǒng)日志采集系統(tǒng)、網(wǎng)絡數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)庫采集系統(tǒng)等三種類型。數(shù)據(jù)庫數(shù)據(jù)采集常見的三種采集方式是直連同步、數(shù)據(jù)文件同步和數(shù)據(jù)庫日志解析同步。HSDKTUOPMN數(shù)據(jù)采集是通過傳感器、社交網(wǎng)絡、移動互聯(lián)網(wǎng)等渠道獲得各種類型的結(jié)構化、半結(jié)構化及非結(jié)構化的海量數(shù)據(jù)，以供后續(xù)數(shù)據(jù)開發(fā)和使用。廣告采集的數(shù)據(jù)主要有四種類型：系統(tǒng)數(shù)據(jù)、指標數(shù)據(jù)、監(jiān)控數(shù)據(jù)和性能數(shù)據(jù)。數(shù)據(jù)采集02數(shù)據(jù)清洗用戶標識數(shù)據(jù)私有用戶標識僅僅標識了用戶的簽約狀態(tài)，不需要告知別人，用戶也無須感知；公有用戶標識包括UserID、Cookie、IDFA、IDFV、IMEI、AndroidID、MAC、OAID、OpenID、UnionID。人口屬性數(shù)據(jù)人口屬性是指人口所固有的性質(zhì)和特點，包括生物屬性和社會屬性兩個方面。生物屬性是社會屬性的自然條件；社會屬性是人口區(qū)別于生物群體的根本標志。地理位置數(shù)據(jù)地理位置數(shù)據(jù)是指與地理空間或水平面上存在的物體或元素相關的信息。地理位置信息可以用于用戶行為和生活狀態(tài)分析。用戶行為數(shù)據(jù)主要有轉(zhuǎn)化、預轉(zhuǎn)化、搜索廣告點擊、展示廣告點擊、搜索點擊、搜索、分享、頁面瀏覽、廣告瀏覽。根據(jù)效果廣告的有效性來劃分，用戶行為可以分為決策行為、主動行為、半主動行為和被動行為。社交關系數(shù)據(jù)在線社交網(wǎng)絡是由互聯(lián)網(wǎng)用戶通過自組織方式構建組成的集合，是真實物理世界的社交關系在虛擬網(wǎng)絡世界的一種映射，其本質(zhì)是人與人之間的關系網(wǎng)絡。包括雙向確認的社交網(wǎng)絡數(shù)據(jù)、單向關注的社交網(wǎng)絡數(shù)據(jù)和基于社區(qū)的社交網(wǎng)絡數(shù)據(jù)。數(shù)據(jù)分類數(shù)據(jù)標準化——不標準數(shù)據(jù)形式標準化主要解決數(shù)據(jù)的形式問題；數(shù)據(jù)同趨化處理解決不同性質(zhì)的數(shù)據(jù)問題；數(shù)據(jù)無量綱化處理主要解決數(shù)據(jù)的可比性問題。異常數(shù)據(jù)過濾——不干凈異常數(shù)據(jù)是指那些在數(shù)據(jù)集中存在的不合理的值。首先使用工具和數(shù)據(jù)分析來進行異常數(shù)據(jù)的排查，之后進行異常數(shù)據(jù)過濾，常用方法有七種：刪除、視為缺失值、平均值修正、蓋帽法、分箱法、回歸插補、多重插補。數(shù)據(jù)ID打通——不整合ID打通也稱為“同人”，即找到“人和設備”“設備和設備”之間的關聯(lián)。ID打通常用的幾個合規(guī)做法包括會員體系ID打通、IP同源ID打通、多場景ID適配。數(shù)據(jù)整理數(shù)據(jù)庫技術數(shù)據(jù)模型管理常用的數(shù)據(jù)模型數(shù)據(jù)庫技術是研究如何組織和存儲數(shù)據(jù)，如何高效地獲取和處理數(shù)據(jù)，是一種計算機輔助管理數(shù)據(jù)的方法。包括存儲、查找、添加、修改、刪除數(shù)據(jù)等功能。數(shù)據(jù)模型是現(xiàn)實世界在數(shù)據(jù)庫中的抽象，也是數(shù)據(jù)庫系統(tǒng)的核心和基礎。數(shù)據(jù)模型通常包括數(shù)據(jù)結(jié)構、數(shù)據(jù)操作和數(shù)據(jù)完整性約束三個要素。數(shù)據(jù)庫理論領域中最常見的數(shù)據(jù)模型主要有層次模型、網(wǎng)狀模型和關系模型三種。數(shù)據(jù)管理03洞察建模數(shù)據(jù)洞察計算廣告數(shù)據(jù)洞察針對廣告投放后的數(shù)據(jù)報表及其分析，涵蓋推廣賬號、推廣計劃、廣告組、定向標簽等多個層級的數(shù)據(jù)，并支持按日、按小時進行查詢。基于“數(shù)據(jù)擴充”的數(shù)據(jù)洞察基于“數(shù)據(jù)擴充”的數(shù)據(jù)洞察法是根據(jù)廣告主采集的的9直接采購外部供應商的現(xiàn)成標簽用以數(shù)據(jù)洞察。數(shù)據(jù)分析和數(shù)據(jù)挖掘數(shù)據(jù)分析是通過SQL、Python、Excel等工具匯總數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為可理解可使用的信息。數(shù)據(jù)挖掘是通過建模來挖掘數(shù)據(jù)的內(nèi)在關聯(lián)，主要是通過機器學習從訓練集中發(fā)現(xiàn)一定的規(guī)律，從而將數(shù)據(jù)轉(zhuǎn)換為信息。基于“知識圖譜”的數(shù)據(jù)洞察基于“知識圖譜”的數(shù)據(jù)洞察法即通過“知識圖譜”結(jié)構化數(shù)據(jù)，建立自定義標簽用以數(shù)據(jù)洞察。常規(guī)的知識圖譜有URL圖譜、App圖譜、Location圖譜、互動行為圖譜和產(chǎn)品分類圖譜。數(shù)據(jù)洞察數(shù)據(jù)建模計算廣告本質(zhì)是一個流量售賣的過程，是廣告主、媒體方和用戶三方的博弈。廣告主通過流量的購買最大化自己的投資回報率（ROI），媒體方通過流量的售賣進行充分“變現(xiàn)”，用戶可以從廣告中獲取自己需要的信息。從交易方式來看，計算廣告可以分為合約式廣告和競價廣告兩大類。合約式廣告由廣告代理公司和媒體簽訂協(xié)議，確保某些廣告位在某時間段為指定的廣告商所占有，同時廣告商按整體合同支付廣告費用，合約交易并不需要廣告模型。

在競價廣告中，廣告主針對曝光展示機會出價競購，最后由流量方按照競價規(guī)則（一價或者二價）將流量售賣給廣告主。數(shù)據(jù)模型類型數(shù)據(jù)模型作用數(shù)據(jù)建模步驟概念數(shù)據(jù)模型是面向用戶、面向現(xiàn)實世界的數(shù)據(jù)模型，通常是對實際的客觀對象的簡化描述。邏輯模型是指數(shù)據(jù)的邏輯結(jié)構。物理模型就是把邏輯模型的內(nèi)容在具體的物理介質(zhì)上實現(xiàn)出來。計算廣告數(shù)據(jù)模型的作用是通過分析廣告投放數(shù)據(jù)、用戶行為數(shù)據(jù)和其他相關數(shù)據(jù)，預測廣告的點擊率、轉(zhuǎn)化率等關鍵指標。數(shù)據(jù)建模的具體步驟分為選