大數據算法與分析天貓用戶

重復購買預測姓名：學號：姓名：學號：班級：成績：電子與計算機工程學院SchoolofElectronic&ComputerEngineering2021年1月【大作業名稱】天貓用戶重復購買預測【大作業目的】掌握大數據分析從數據預處理、特征分析、特征提取、數據建模、預測結果一系列流程；掌握特征分析方法；掌握根據主題進行重要特征提取；掌握使用多種大數據分析算法進行問題建模；學會分析模型預測結果的準確性；【大作業任務】天貓商家開展大型促銷活動以吸引大量新買家。然而，許多吸引過來的購買者只是一次性交易，這些促銷對于轉換為長期的顧客來說可能收效甚微。為了有針對性地向潛在重復購買用戶開展營銷活動，商家必須確定哪些人可以轉化為重復購買者。通過對這些潛在的忠誠客戶進行精細化營銷，商家可以大大降低促銷成本，提高投資回報率。現提供的項目數據是雙十一及過去6個月內用戶的日志信息，預測未來6個月內用戶是否在同一商鋪中重復購買。目錄TOC\o"1-3"\h\u第一章背景與挖掘目標 41.1背景 41.2挖掘目標 41.3目標數據分析 4第二章數據探索與預處理 52.1重復值分析與處理 52.2缺失值分析與處理 5第三章特征過程 63.1用戶特征分析 63.2商家特征分析 63.3用戶和商家的交互特征分析 6第四章模型構建與應用 74.1特征選擇 74.2模型構建 74.3模型分析 7第五章小結 8第一章背景與挖掘目標1.1背景行業內競爭——折扣活動層出不窮補貼翻倍：超300億元現金補貼，規模是去年的2倍，以及養貓瓜分20億紅包頭號京貼+雙百億補貼：跨商家、全品類滿300減40/滿1000減60超級百億補貼和超省百億消費劵組成的“雙百億計劃”覆蓋廣+大牌狂補：補貼線上渠道，以及覆蓋蘇寧旗下全國數千家線下門店家電3C重點補貼、搶手尖貨和5G新品，頭部品牌大力補貼用戶行為分析——“湊單現象”頻出由于消費者在“雙十一”，“雙十二”等購物節進行消費時，心儀的物品往往達不到消費券的使用額度，常常會選擇一些本來不需要購買的物品，而這些物品并不會成為消費者再次購買的物品。商家行為商家開展大型促銷活動以吸引大量新買家。然而，許多吸引過來的購買者只是一次性交易，這些促銷對于轉換為長期的顧客來說可能收效甚微。為了有針對性地向潛在重復購買用戶開展營銷活動，商家必須確定哪些人可以轉化為重復購買者。通過對這些潛在的忠誠客戶進行精細化營銷，商家可以大大降低促銷成本，提高投資回報率。重復購買預測目前提供的項目數據是雙十一及過去6個月內用戶的日志信息，預測未來6個月內用戶是否在同一商鋪中重復購買。1.2挖掘目標目的是根據用戶與商家在雙11之前6個月的交互記錄數據和雙11期間的交互記錄預測商家的新買家在未來的6個月內再次從同一商家購買商品的概率。結合目前天貓平臺銷售的數據情況，可以實現以下目標:對數據進行基本的處理；根據用戶行為提取出相應的特征，用以判斷用戶是否會重復購買；依據用戶行為特征訓練合適的分類模型，預測用戶重復購買的概率；根據模型對天貓用戶重復率進行預測。1.3目標數據分析（注意：這里有三個數據表需要分析）用戶屬性（用戶ID，用戶年齡段，用戶性別）用戶行為數據表（用戶ID，商品ID，商品類別ID，商家ID，品牌ID，時間戳，Actiontype）訓練/測試數據表（用戶ID，商家ID，label）數據探索與預處理2.1重復值分析與處理對用戶信息、用戶日志進行加載，首先去除數據中的重復記錄。然后去除數據中所有特征值全部缺失的記錄。當然，我們發現仍存在基礎信息數據少部分缺失的情況，我們先保存該用戶記錄的其他信息，后續會結合模型統一處理。2.2缺失值分析與處理特征過程（當前的數據，只有用戶基本信息和購買明細，不具備可以直接建模的基礎。除用戶的年齡、性別之外，分析哪些特征可能與用戶復購相關？該如何計算？）3.1用戶特征分析（參考：用戶在平臺的總交互次數；（用戶在平臺的所有操作記錄都認為是交互）用戶最近一次購買距離第一次的時長；用戶對不同【商品、品類、品牌、商家】的交互次數；用戶進行【點擊、加購物車、購買、收藏】的次數；用戶的購買率）3.2商家特征分析（參考：商家被交互的數量；商家被交互的【商品、品類、品牌】的數量；與商家交互的用戶數量；商家【被點擊、被加購物車、被購買、被收藏】的次數；商家的復購次數；商家的被購買率）3.3用戶和商家的交互特征分析（參考：用戶在商家的交互次數；用戶對商