6-1認(rèn)識(shí)個(gè)性化推薦模塊?個(gè)性化推薦：主動(dòng)滿足你的需求目錄CONTENTS個(gè)性化推薦的思路01推薦算法分類02推薦效果評(píng)估03一.個(gè)性化推薦的思路1.基于的事實(shí)認(rèn)知人們更喜歡那些與自己喜歡的東西相似的物品、傾向于與和自己趣味相投的人有相似的愛好，或者不同的客戶群體有固定的購(gòu)物習(xí)慣等。個(gè)性化推薦的實(shí)現(xiàn)過程：一.個(gè)性化推薦的思路2.推薦系統(tǒng)的兩個(gè)特性特征主動(dòng)化個(gè)性化推薦系統(tǒng)應(yīng)用領(lǐng)域二.推薦算法分類1.協(xié)同過濾推薦算法基本思想：給用戶推薦和他興趣相似的用戶感興趣的物品。當(dāng)需要為用戶A推薦時(shí)，首先找到和A興趣相似的用戶集合（用U表示），然后把集合U中所有用戶感興趣而A沒有聽說過（未進(jìn)行過操作）的物品推薦給A。1.基于用戶的協(xié)同過濾推薦算法：算法步驟：1.計(jì)算用戶之間的相似度，選取最相似的N個(gè)用戶構(gòu)成用戶集合。2.找到集合中用戶喜歡但目標(biāo)用戶沒有用過的物品，將其推薦給目標(biāo)用戶。二.推薦算法分類1.協(xié)同過濾推薦算法皮爾遜相關(guān)系數(shù)：P余弦向量相似度:相似度計(jì)算：二.推薦算法分類1.協(xié)同過濾推薦算法基于用戶協(xié)同過濾推薦示例：二.推薦算法分類1.協(xié)同過濾推薦算法2.基于物品的協(xié)同過濾推薦算法：基本思想：給用戶推薦與他們以前喜歡的物品相似的物品。這里所說的相似并非從物品的角度出發(fā)，而是基于一種假設(shè)：喜歡物品A的用戶大多也喜歡物品B，代表著物品A和物品B相似。算法步驟：1.計(jì)算物品之間的相似度。2.針對(duì)目標(biāo)用戶u，找到和用戶感興趣的物品最相似的物品集合，然后根據(jù)其感興趣程度由高到低確定N個(gè)物品并推薦給用戶u。二.推薦算法分類1.協(xié)同過濾推薦算法2.基于物品的協(xié)同過濾推薦算法：物品相似度計(jì)算用戶u對(duì)可能感興趣的物品j的興趣度二.推薦算法分類1.協(xié)同過濾推薦算法2.基于物品的協(xié)同過濾推薦算法：基于物品的協(xié)同過濾推薦示例二.推薦算法分類2.

基于內(nèi)容推薦算法基本思想：向用戶推薦與其感興趣的內(nèi)容相似的物品，如用戶喜歡勵(lì)志類電影，那么系統(tǒng)會(huì)直接他推薦《阿甘正傳》這部電影。這個(gè)過程綜合考慮了用戶興趣和電影內(nèi)容，因此不需要提供用戶的歷史行為數(shù)據(jù)，這能夠很好地解決新用戶的“冷啟動(dòng)”問題。算法步驟：1.為每個(gè)物品（Item）構(gòu)建一個(gè)物品的特征。2.為每個(gè)用戶（User）構(gòu)建一個(gè)用戶的喜好特征。3.計(jì)算用戶喜好特征與物品特征的相似度，向用戶推薦相似度最高的物品。二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法基本原理：基于物品之間的關(guān)聯(lián)性，通過對(duì)用戶的購(gòu)買記錄進(jìn)行規(guī)則挖掘，發(fā)現(xiàn)不同用戶群體之間共同的購(gòu)買習(xí)慣，從而實(shí)現(xiàn)用戶群體的興趣建模和物品推薦。概念：項(xiàng)集而項(xiàng)集是指總項(xiàng)集中所有不同項(xiàng)目分別組合形成的集合，如{牛奶}、{牛奶,面包}、{牛奶,尿不濕,啤酒}等。項(xiàng)目數(shù)為k的項(xiàng)集稱為k-項(xiàng)集，因此，上述項(xiàng)集分別是1-項(xiàng)集、2-項(xiàng)集、3-項(xiàng)集。二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法關(guān)聯(lián)規(guī)則3個(gè)統(tǒng)計(jì)量二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法關(guān)聯(lián)規(guī)則3個(gè)統(tǒng)計(jì)量關(guān)聯(lián)規(guī)則的提取即找出所有支持度大于等于最小支持度，且置信度大于等于最小置信度以及提升度靠前（大于1）的關(guān)聯(lián)規(guī)則。像{牛奶}→{面包}這樣的關(guān)聯(lián)規(guī)則稱為強(qiáng)關(guān)聯(lián)規(guī)則，因?yàn)樗鼈兺瑫r(shí)具有高支持度和高置信度。二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法Apriori算法簡(jiǎn)介算法步驟：1.通過迭代計(jì)算所有事務(wù)中的頻繁項(xiàng)集，即支持度不低于用戶設(shè)定的閾值的項(xiàng)集。2.利用頻繁項(xiàng)集構(gòu)造出滿足用戶最小置信度的關(guān)聯(lián)規(guī)則。二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法Apriori算法應(yīng)用示例求最小支持度是50%，最小置信度是50%的關(guān)聯(lián)規(guī)則二.推薦算法分類3.關(guān)聯(lián)規(guī)則推薦算法Apriori算法應(yīng)用示例使用Apriori算法求解關(guān)聯(lián)規(guī)則的過程：三.推薦效果評(píng)估1.評(píng)估方法實(shí)驗(yàn)步驟：1.構(gòu)建測(cè)試數(shù)據(jù)集，并按照比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集。2.在訓(xùn)練集上建立算法模型，對(duì)用戶及其興趣建模。3.按照預(yù)先定義的評(píng)估指標(biāo)在測(cè)試集上進(jìn)行預(yù)測(cè)推薦，評(píng)估推薦效果。三.推薦效果評(píng)估1.評(píng)估方法三.推薦效果評(píng)估1.評(píng)估指標(biāo)①評(píng)分預(yù)測(cè)方法T表示測(cè)試集，包含用戶u和物品i，rui是用戶u對(duì)物品i的實(shí)際評(píng)分，而是推薦系統(tǒng)給出的預(yù)測(cè)評(píng)分，m是測(cè)試集的樣本總數(shù)。三.推薦效果評(píng)估1.評(píng)估指標(biāo)②TopN推薦方法其中U是所有被推薦的用戶的集合，是為用戶u推薦的N個(gè)物品的列表，是用戶u在測(cè)試集上喜歡的物品集合。三.推薦效果評(píng)估1.評(píng)估指標(biāo)②TopN推薦方法精確率和召回率都用于評(píng)估推薦系統(tǒng)效果，最理想的情況是精確率和召回率都比較高。人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!6-2項(xiàng)目1—推薦你喜愛的電影模塊?個(gè)性化推薦：主動(dòng)滿足你的需求目錄CONTENTS提出問題01預(yù)備知識(shí)03解決方案02任務(wù)1—合并電影基本信息和評(píng)分記錄04任務(wù)3—給某個(gè)用戶推薦前m部電影06任務(wù)2—找到與某用戶最相似的n個(gè)用戶05一.提出問題問題描述隨著人們生活節(jié)奏的加快，在工作之余上網(wǎng)看電影不失為一種放松身心的方式。面對(duì)網(wǎng)站里琳瑯滿目的電影，用戶自己有時(shí)也不知如何去選擇。那么，是否可以利用前文所介紹的推薦算法幫助用戶做出選擇，讓用戶體驗(yàn)到智能化的生活方式呢答案是肯定的。二.解決方案1.方案思路基于用戶的協(xié)同過濾推薦電影解決問題基本思想：首先要了解該用戶的興趣愛好，即他看過哪些電影、對(duì)哪些電影的評(píng)價(jià)較高等，以此來(lái)確定他的電影偏好；其次，要找出與當(dāng)前用戶具有相似電影愛好的用戶群體，看他們已經(jīng)看過哪些電影，然后從這些電影中篩選出當(dāng)前用戶沒有看過的電影；最后按評(píng)分從高到低的順序?qū)㈦娪巴扑]給用戶，以達(dá)到主動(dòng)滿足用戶看電影的需求的目的。電影偏好相似群體最愛電影篩選排序推薦topN二.解決方案2.具體方案三.預(yù)備知識(shí)1.MovieLens數(shù)據(jù)集將數(shù)據(jù)集解壓后，可以看到4個(gè)主要的CSV文件，它們分別是links.csv、movies.csv、ratings.csv和tags.csv三.預(yù)備知識(shí)2.按主鍵合并數(shù)據(jù)點(diǎn)X與點(diǎn)Y之間的歐氏距離等于各特征值之差的平方和的平方根為啥合并？于用戶與電影的數(shù)據(jù)非常多，為了便于管理，將這些數(shù)據(jù)分別存儲(chǔ)在不同的文件中。但在推薦過程中，要直觀了解一部電影的關(guān)聯(lián)信息，如用戶評(píng)價(jià)過哪幾部電影、它的名稱是什么等，就需要使用關(guān)鍵字將關(guān)聯(lián)信息合并在一張表中。三.預(yù)備知識(shí)2.按主鍵合并數(shù)據(jù)合并后的結(jié)果四.任務(wù)1——合并電影基本信息和評(píng)分記錄1.讀取文件數(shù)據(jù)四.任務(wù)1——合并電影基本信息和評(píng)分記錄2.合并數(shù)據(jù)五.任務(wù)2——找到與某個(gè)用戶最相似的n個(gè)用戶1.統(tǒng)計(jì)各用戶已評(píng)價(jià)的電影和評(píng)分用戶1評(píng)分的部分?jǐn)?shù)據(jù)五.任務(wù)2——找到與某個(gè)用戶最相似的n個(gè)用戶2.計(jì)算兩個(gè)用戶之間的相似度五.任務(wù)2——找到與某個(gè)用戶最相似的n個(gè)用戶3.找到與某用戶最相似的前n個(gè)用戶與用戶1最相似的10個(gè)用戶的相似度六.任務(wù)3——給某個(gè)用戶推薦前m部電影1.找出最相似的用戶看過的但該用戶沒有看過的m部電影六.任務(wù)3——給某個(gè)用戶推薦前m部電影2.向指定用戶推薦前m部電影推薦給用戶2的前8部電影六.任務(wù)3——給某個(gè)用戶推薦前m部電影3.課后思考人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!6-3項(xiàng)目2—推薦你要一起購(gòu)買的商品模塊?個(gè)性化推薦：主動(dòng)滿足你的需求目錄CONTENTS提出問題01預(yù)備知識(shí)03解決方案02任務(wù)1—將CSV文件數(shù)據(jù)轉(zhuǎn)換為事務(wù)型數(shù)據(jù)04任務(wù)3—提取有用的銷售關(guān)聯(lián)規(guī)則06任務(wù)2—找出購(gòu)物清單中頻繁購(gòu)買的商品05一.提出問題問題描述當(dāng)顧客走進(jìn)一家實(shí)體賣場(chǎng)或進(jìn)入一個(gè)在線商店時(shí)，商家會(huì)如何向他推薦商品呢？或者作為一個(gè)賣場(chǎng)的管理者，該如何根據(jù)顧客已購(gòu)買的商品類型向他兜售關(guān)聯(lián)的商品呢？假設(shè)賣場(chǎng)想舉辦一個(gè)商品促銷活動(dòng)，如何知道哪些捆綁商品是顧客喜歡的？進(jìn)一步思考，為方便顧客購(gòu)買，提升顧客的消費(fèi)體驗(yàn)，該如何對(duì)賣場(chǎng)的商品擺放布局進(jìn)行調(diào)整呢二.解決方案2.解決方案（1）數(shù)據(jù)整理表6-6中1表示某商品出現(xiàn)在某次購(gòu)物清單中，0表示沒有出現(xiàn)，這樣就形成了一個(gè)可反映所有種類商品在購(gòu)物清單中是否出現(xiàn)的矩陣。二.解決方案2.解決方案（2）具體方案數(shù)據(jù)合并整理為事務(wù)型數(shù)據(jù)找頻繁被購(gòu)商品項(xiàng)篩選有用的購(gòu)物模式推薦購(gòu)物模式三.預(yù)備知識(shí)1.事務(wù)型數(shù)據(jù)轉(zhuǎn)換事務(wù)型數(shù)據(jù)三.預(yù)備知識(shí)1.事務(wù)型數(shù)據(jù)代碼實(shí)現(xiàn)三.預(yù)備知識(shí)2.frequent_patterns模塊的主要函數(shù)【引例6-3】按最小支持度為0.5、最小置信度為0.6來(lái)計(jì)算表6-7所示購(gòu)物清單中的頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則。三.預(yù)備知識(shí)2.frequent_patterns模塊的主要函數(shù)（1）找支持度>=0.5的頻繁項(xiàng)集實(shí)現(xiàn)代碼運(yùn)行結(jié)果三.預(yù)備知識(shí)2.frequent_patterns模塊的主要函數(shù)（2）找出步驟1中頻繁項(xiàng)集隱含的關(guān)聯(lián)規(guī)則運(yùn)行結(jié)果四.任務(wù)1——將CSV文件數(shù)據(jù)轉(zhuǎn)換為事務(wù)型數(shù)據(jù)1.將文件數(shù)據(jù)保存到列表中列表中的數(shù)據(jù)（部分）四.任務(wù)1——將CSV文件數(shù)據(jù)轉(zhuǎn)換為事務(wù)型數(shù)據(jù)2.對(duì)列表數(shù)據(jù)進(jìn)行事務(wù)編碼處理部分?jǐn)?shù)據(jù)五.任務(wù)2——找出購(gòu)物清單中頻繁被購(gòu)買的商品1.確定合理的最小支持度結(jié)論：一種商品每天被購(gòu)買的次數(shù)為0.02609×9835÷30≈8.6次，說明以這個(gè)頻次被購(gòu)買的商品是值得去發(fā)現(xiàn)其中可能隱藏的一些規(guī)則的，所以嘗試設(shè)定最小支持度為0.02。五.任務(wù)2——找出購(gòu)物清單中頻繁被購(gòu)買的商品2.找出頻繁項(xiàng)集（1）利用Apriori找出所有的頻繁項(xiàng)集運(yùn)行結(jié)果五.任務(wù)2——找出購(gòu)物清單中頻繁被購(gòu)買的商品2.找出頻繁項(xiàng)集（2）找出頻繁2-項(xiàng)集運(yùn)行結(jié)果：六.任務(wù)3——提取有用的銷售關(guān)聯(lián)規(guī)則1.挖掘出一些關(guān)聯(lián)規(guī)則已經(jīng)找出了一些頻繁2-項(xiàng)集，但兩種商品一起出現(xiàn)的可能性有多大？它們之間是否存在一些購(gòu)買模式或者關(guān)聯(lián)規(guī)則呢？前11項(xiàng)六.任務(wù)3——提取有用的銷售關(guān)聯(lián)規(guī)則2.關(guān)聯(lián)規(guī)則分析和評(píng)估在買黃油的顧客中，有一半的人同時(shí)購(gòu)買了全脂牛奶提升度均大于1，說明這些關(guān)聯(lián)規(guī)則所涉及的兩種商品是有關(guān)聯(lián)，前一種商品的銷售是會(huì)影響后一種商品的銷售的。六.任務(wù)3——提取有用的銷售關(guān)聯(lián)規(guī)則2.關(guān)聯(lián)規(guī)則分析和評(píng)估這些關(guān)聯(lián)規(guī)則中，哪些關(guān)聯(lián)規(guī)則是有用的？哪些關(guān)聯(lián)規(guī)則的商業(yè)價(jià)值不大？哪些關(guān)聯(lián)規(guī)則其實(shí)就是一類事實(shí)的重現(xiàn)？六.任務(wù)3——提取有用的銷售關(guān)聯(lián)規(guī)則2.關(guān)聯(lián)規(guī)則分析和評(píng)估五.任務(wù)3——為3類客戶