大數(shù)據(jù)分析與挖掘主講教師：賀寧《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)關(guān)聯(lián)規(guī)則的概念支持度與提升度0102實(shí)現(xiàn)過程031關(guān)聯(lián)規(guī)則所謂數(shù)據(jù)挖掘就是以某種方式分析源數(shù)據(jù)，從中發(fā)現(xiàn)一些潛在的有用的信息，即數(shù)據(jù)挖掘又可以稱作知識(shí)發(fā)現(xiàn)。而機(jī)器學(xué)習(xí)算法則是這種“某種方式”，關(guān)聯(lián)規(guī)則作為十大經(jīng)典機(jī)器學(xué)習(xí)算法之一，因此搞懂關(guān)聯(lián)規(guī)則（雖然目前使用的不多）自然有著很重要的意義。顧名思義，關(guān)聯(lián)規(guī)則就是發(fā)現(xiàn)數(shù)據(jù)背后存在的某種規(guī)則或者聯(lián)系。舉個(gè)簡(jiǎn)單的例子（尿布和啤酒太經(jīng)典）：通過調(diào)研超市顧客購(gòu)買的東西，可以發(fā)現(xiàn)30%的顧客會(huì)同時(shí)購(gòu)買床單和枕套，而在購(gòu)買床單的顧客中有80%的人購(gòu)買了枕套，這就存在一種隱含的關(guān)系：床單→枕套，也就是說購(gòu)買床單的顧客會(huì)有很大可能購(gòu)買枕套，因此商場(chǎng)可以將床單和枕套放在同一個(gè)購(gòu)物區(qū)，方便顧客購(gòu)買。一般，關(guān)聯(lián)規(guī)則可以應(yīng)用的場(chǎng)景有：優(yōu)化貨架商品擺放或者優(yōu)化郵寄商品的目錄交叉銷售或者捆綁銷售搜索詞推薦或者識(shí)別異常1概念項(xiàng)目：交易數(shù)據(jù)庫(kù)中的一個(gè)字段，對(duì)超市的交易來說一般是指一次交易中的一個(gè)物品，如：牛奶事務(wù)：某個(gè)客戶在一次交易中，發(fā)生的所有項(xiàng)目的集合：如｛牛奶，面包，啤酒｝項(xiàng)集：包含若干個(gè)項(xiàng)目的集合（一次事務(wù)中的），一般會(huì)大于0個(gè)支持度：項(xiàng)集｛X，Y｝在總項(xiàng)集中出現(xiàn)的概率（見下面的例子）頻繁項(xiàng)集：某個(gè)項(xiàng)集的支持度大于設(shè)定閾值（人為設(shè)定或者根據(jù)數(shù)據(jù)分布和經(jīng)驗(yàn)來設(shè)定），即稱這個(gè)項(xiàng)集為頻繁項(xiàng)集。置信度：在先決條件X發(fā)生的條件下，由關(guān)聯(lián)規(guī)則｛X->Y｝推出Y的概率（見下面的例子）提升度：表示含有X的條件下同時(shí)含有Y的概率，與無(wú)論含不含X含有Y的概率之比。2支持度和提升度示例：假如有一條規(guī)則：牛肉—>雞肉，那么同時(shí)購(gòu)買牛肉和雞肉的顧客比例是3/7，而購(gòu)買牛肉的顧客當(dāng)中也購(gòu)買了雞肉的顧客比例是3/4。這兩個(gè)比例參數(shù)是很重要的衡量指標(biāo)，它們?cè)陉P(guān)聯(lián)規(guī)則中稱作支持度（support）和置信度（confidence）。對(duì)于規(guī)則：牛肉—>雞肉，它的支持度為3/7，表示在所有顧客當(dāng)中有3/7同時(shí)購(gòu)買牛肉和雞肉，其反應(yīng)了同時(shí)購(gòu)買牛肉和雞肉的顧客在所有顧客當(dāng)中的覆蓋范圍；它的置信度為3/4，表示在買了牛肉的顧客當(dāng)中有3/4的人買了雞肉，其反應(yīng)了可預(yù)測(cè)的程度，即顧客買了牛肉的話有多大可能性買雞肉。其實(shí)可以從統(tǒng)計(jì)學(xué)和集合的角度去看這個(gè)問題，假如看作是概率問題，則可以把“顧客買了牛肉之后又多大可能性買雞肉”看作是條件概率事件。2支持度和提升度示例：從集合的角度去看，可以看下面這幅圖：上面這副圖可以很好地描述這個(gè)問題，S表示所有的顧客，而A表示買了牛肉的顧客，B表示買了雞肉的顧客，C表示既買了牛肉又買了雞肉的顧客。那么C.count/S.count=3/7，C.count/A.count=3/4。2提升度示例：1000名顧客，購(gòu)買年貨，A組有500人購(gòu)買茶葉，有450人購(gòu)買咖啡；B組有0人購(gòu)買茶葉，有450人購(gòu)買咖啡。

購(gòu)買茶葉購(gòu)買咖啡A組（500人） 500 450B組（500人） 0 450茶葉->咖啡的支持度＝450/1000=45%茶葉->咖啡的置信度＝450/500=90%茶葉->咖啡的提升度＝90%／90%＝13實(shí)現(xiàn)過程

從以上的分析可以得知，關(guān)聯(lián)規(guī)則是從事務(wù)集合中挖掘出這樣的關(guān)聯(lián)規(guī)則｛X->Y｝：它的支持度和置信度要大于最小閾值（minSup，minConf），當(dāng)然這個(gè)最小閾值是由用戶指定的，可以根據(jù)數(shù)據(jù)分布和經(jīng)驗(yàn)；同時(shí)他的提升度最好是大于1的（具體值根據(jù)實(shí)際情況設(shè)定，例如：3、5均可），即是有效強(qiáng)關(guān)聯(lián)規(guī)則。使用關(guān)聯(lián)規(guī)則的過程主要包含以下三個(gè)步驟：（1）數(shù)據(jù)篩選，首先對(duì)數(shù)據(jù)進(jìn)行清洗，清洗掉那些公共的項(xiàng)目，比如：熱門詞，通用詞（此步依據(jù)具體項(xiàng)目而定）（2）根據(jù)支持度（support），從事務(wù)集合中找出頻繁項(xiàng)集（使用算法：Apriori算法，F(xiàn)P-Growth算法）（3）根據(jù)置信度（confidence），從頻繁項(xiàng)集中找出強(qiáng)關(guān)聯(lián)規(guī)則（置信度閾值需要根據(jù)實(shí)