統計學1統計學1目錄批判性思維統計學思維A/B測試統計學方法分類2目錄批判性思維2懂統計學有什么用？能更好地辨別各種分析。3懂統計學有什么用？能更好地辨別各種分析。3熟悉一下常見的批判性思維4熟悉一下常見的批判性思維4歧義語言經常是模糊的。有些詞是多義詞。聽眾要結合上下文弄明白發言者的每個詞的確切意思。發言者要界定清楚那些多義詞的確切含義。5歧義語言經常是模糊的。有些詞是多義詞。5因果關系以先后論因果：A在B之后發生，不見得說明A會導致B很多事情發生的原因其實不止一個不應盲目以結果好壞判斷決定的優劣分析的結論不一定只有一個6因果關系以先后論因果：A在B之后發生，不見得說明A會導致B6證據與信息源發言者有時把個人經歷、典型個案、專家意見作為證據。這些證據都可靠嗎？發言者是否省略了重要的數據信息源可靠嗎？發言者所引用的數據是否來歷不明7證據與信息源發言者有時把個人經歷、典型個案、專家意見作為證據證據從眾心理：大家都認為如此，就一定如此嗎？共識有可能是危險的。就算有數百萬人聲稱某件蠢事是對的，這件蠢事也不會因此成為聰明之舉。虛假類比——他總玩游戲但是上MIT了，你跟他都是人，所以你總玩游戲也能上MIT。樣本能代表總體嗎？樣本有代表性嗎？樣本足夠大嗎？8證據從眾心理：大家都認為如此，就一定如此嗎？共識有可能是危險個人經驗可靠嗎？你是否糾纏于沉沒成本？為什么我們試過衣服后一般就會買下來？為什么經驗有時讓人變蠢？為什么拿錘子的人會把一切看成釘子？為什么自己做的菜吃起來更香？為什么我們會認為現狀最好？9個人經驗可靠嗎？你是否糾纏于沉沒成本？為什么我們試過衣服后一分析一下發言者的背景和目的應該試圖了解發言者的背景、并判斷其可能想要達到的目的。發言者是否試圖轉移別人的注意力，回避真正的問題。為什么推銷員說出產品缺陷時，我們也須謹慎？顯眼的不一定等于是重要的為什么我們不要購買包裝過于精美的產品？為什么要忽略討人喜歡的推銷員？10分析一下發言者的背景和目的應該試圖了解發言者的背景、并判斷其典型的統計學思維11典型的統計學思維11重視變異性應高度關注變異性，不要用平均數來掩蓋異常值。在社會上，對平均值的濫用隨處可見。平均值就像安眠藥，把你催眠，但你沒有注意到變異性，就有可能帶來損失。比如，一個富翁走入一家坐滿了窮人的酒吧，酒吧里人均收入將迅速提升，但每個窮人并沒有因此致富。比如，有兩家公司的年均增長率都相同，但是其中一家每年增長率很穩定，而另一家的每年的增長率不斷上下波動，那么顯然，兩家公司的資金需求就截然不同了。12重視變異性應高度關注變異性，不要用平均數來掩蓋異常值。在社會重視組間差異如果組間存在差異，就應該把幾個組分開，而不應合并起來統計。不同的組有時是不具有可比性的。13重視組間差異如果組間存在差異，就應該把幾個組分開，而不應合并不要過分在意小概率事件不要過分在意小概率事件：遭遇空難和中彩票其實都是小概率事件，發生的可能性很小，所以不必為了活命而懼怕坐飛機，也不必為了賺錢而玩彩票。在個體遇到醫療健康相關的問題，或者企業家遇到經營管理問題的時候，都容易以偏概全，認為個人體驗到的就是總體的全局的情況。另一方面，如果你覺得奇跡的發生是天意，你就錯了。幾乎不可能發生的事件也有發生的必然性。14不要過分在意小概率事件不要過分在意小概率事件：遭遇空難和中彩盡量提高預測精度在有監督學習中，應努力減少假陰性和假陽性，兩者都要盡量減少。比如，在通過分析網上數據識別恐怖分子時，如果寧可錯殺三千，不可放過一個，那么很可能會冤枉很多好人。15盡量提高預測精度在有監督學習中，應努力減少假陰性和假陽性，兩重視隨機對照試驗和回歸分析相關關系并不等同于因果關系。最強的用于檢測因果關系的統計學武器：隨機對照試驗無法進行隨機對照試驗時該怎么辦？做回歸分析。16重視隨機對照試驗和回歸分析相關關系并不等同于因果關系。16回歸分析中的遺漏變量偏差在回歸分析時，有時會出現變量遺漏偏差。比如，有研究認為“常打高爾夫易患心臟病、癌癥和關節炎”——真的嗎？其實是因為打高爾夫者年齡更大，疾病多只是因為年齡大而已。一些教育學者就常常用數據說話，聲稱電子游戲會加大孩子的暴力傾向，卻遺漏了暴力傾向加大有著多重誘因。家庭教育、父母性格及行為習慣所起到的作用更大。17回歸分析中的遺漏變量偏差在回歸分析時，有時會出現變量遺漏偏差循環論證即便存在因果關系，因與果之間可能會存在雙向影響。需要在得出結論前把這一點考慮到。是否存在循環論證？18循環論證即便存在因果關系，因與果之間可能會存在雙向影響。需要統計學思維的通俗入門書《看穿一切數字的統計學》《赤裸裸的統計學》

《數據統治世界》19統計學思維的通俗入門書《看穿一切數字的統計學》19A/B測試A/B測試是互聯網產品設計人員最熟悉的網頁優化方法，能夠對比不同版本的設計，選取更吸引用戶眼球的那一款，以便增加用戶點擊、回訪、購買等行為，或者增加轉化率注冊率等。為了搞清楚哪個功能或設計更好，每個網站或移動應程序的數據科學家都離不開A/B測試工具。A/B測試有點類似于統計學里面的隨機對照實驗。20A/B測試A/B測試是互聯網產品設計人員最熟悉的網頁優化方法A/B測試的重要性不少互聯網巨頭都是A/B測試的忠實信徒，這其中就包括Google、Amazon、Bing、Netflix等。搜索引擎、有推薦系統的網站、大型門戶網站往往非常倚重A/B測試。這種公司的網站設計很多時候是數據驅動的。谷歌連工具欄上的顏色選擇也要A/B測試。21A/B測試的重要性不少互聯網巨頭都是A/B測試的忠實信徒，這A/B測試的步驟使用A/B測試首先需要建立一個測試頁面（variationpage），這個頁面可能在標題字體、背景顏色、措辭等方面與原有頁面（controlpage）有所不同。然后將這兩個頁面以隨機的方式同時推送給所有瀏覽用戶。接下來分別統計兩個頁面的用戶轉化率，即可清晰的了解到兩種設計的優劣。22A/B測試的步驟使用A/B測試首先需要建立一個測試頁面（vaA/B測試怎樣識別用戶它通過Cookie或用戶名識別用戶。它對同一個用戶展現同一個版本。所以，同一個用戶不會發現不同的測試版本。不過，如果你換臺電腦，可能就會發現網站的不同版本。23A/B測試怎樣識別用戶它通過Cookie或用戶名識別用戶。2A/B測試的局限性必須在有大量被測用戶的前提下，才是有意義的。很多用戶少的網站不適合做這種測試。它是為了驗證已有產品想法。你只有知道A方案和B方案分別是什么，才能去比較這兩種方案。你在A和B之間做比較的時候，可能會忽略了其他很多可能更好的方案24A/B測試的局限性必須在有大量被測用戶的前提下，才是有意義的A/B測試的基本注意事項A/B測試必須是單變量一般都著眼于轉化率注意控制訪問各個版本的人數，大多數情況下希望將訪問者平均分配到各個不同的版本上。不一定僅限于分成兩個組。分成多個組也可以。要確保兩個組的用戶是來自同一個總體的，也就是說它們的特征要相同。否則，組間的轉化率的差異到底是由于用戶本身的差異造成的，還是真的由于A和B兩種方案的不同而造成的，就很難說清楚了。25A/B測試的基本注意事項A/B測試必須是單變量25你可以對比不同標題或文案的效果26你可以對比不同標題或文案的效果26你還可以對比不同圖片的效果27你還可以對比不同圖片的效果27你可以對比不同按鈕設計的效果例如，“立即購買！（BuyNow！）”按鈕在某個主頁上效果不佳。我們可以嘗試改變按鈕的形狀、大小、顏色或者位置。28你可以對比不同按鈕設計的效果例如，“立即購買！（BuyNoA/B測試服務商的出現有些公司幫助網站或移動應用更便捷地做A/B測試：Optimizely、Leanplum、Splitforce、PredictiveEdge等。這種工具可以幫助小白用戶測試網站的不同版本。用戶可以輕松地測試不同版本的對比效果，從而選擇出效果最好的網頁版本，或者選出最適合某種特定訪客的網頁版本。這種測試工具能幫助營銷人員測試和優化網站，非常適合銷售、市場、公關等人員使用。有了這種工具，營銷人員不一定要求助于公司IT人員。這種公司的收費依據可以是：參加測試的用戶數量29A/B測試服務商的出現有些公司幫助網站或移動應用更便捷地做AA/B測試服務商的出現Optimizely、PredictiveEdge都是2010年前后成立的，成立之初都是幫網站做A/B測試的。近來才開始幫app做測試。將來的趨勢是，它們還會幫可穿戴設備、實體零售店做測試。有些公司專門幫助移動app做A/B測試：Leanplum（2012年成立）、Splitforce。30A/B測試服務商的出現Optimizely、PredictiA/B測試服務商的出現這些公司的創始人大多之前具有主要的互聯網產品的測試的經驗。例如，Leanplum的兩位創始人之前在谷歌做測試工作。Optimizely的創始人曾擔任GoogleChrome產品經理，并曾擔任奧巴馬競選活動的網站分析主管。31A/B測試服務商的出現這些公司的創始人大多之前具有主要的互聯App推送領域的A/B測試服務A/B測試在應用推送領域也有運用。例如，app消息推送服務商（swrve、個推等）開通了A/B測試功能。32App推送領域的A/B測試服務A/B測試在應用推送領域也有運3333互聯網巨頭也提供A/B測試工具對于網站來說：谷歌的WebsiteOptimizer或者VWO（VisualWebsiteOptimizer）對于app來說：AmazonAppstore、GooglePlay34互聯網巨頭也提供A/B測試工具對于網站來說：谷歌的Websi網頁推送領域的A/B測試服務FacebookParse增加了一項全新的功能--ParsePushExperiments。35網頁推送領域的A/B測試服務FacebookParse增加網頁推送領域的A/B測試服務在ParsePushExperiments功能下，開發者可輕松地創建用于推送通知的A/B測試，這樣他就能對數據進行分析然后了解怎樣的內容以及怎樣的時機才是最有效的。36網頁推送領域的A/B測試服務在ParsePushExpe網頁推送領域的A/B測試服務開發者可在測試結束之后通過數據分析選擇反響更好的那組通知內容進行推送。37網頁推送領域的A/B測試服務開發者可在測試結束之后通過數據分統計學方法38統計學方法38常見的統計方法描述性統計：這是最基本的一類統計方法。方差分析（ANOVA）因子分析（factoranalysis）回歸（regression）：這是最常用的一種。OLS回歸：適于因變量是連續值的情形。廣義線性模型（generalizedlinearmodels）：主要包括邏輯回歸（logisticregression）和泊松回歸（poissonregression）。它們適于因變量不是連續值的情形。生存分析（survivalanalysis）判別分析（discriminantanalysis）39常見的統計方法描述性統計：這是最基本的一類統計方法。39T檢驗它往往用于比較兩個組的轉化率、訪問次數等是否有明顯差異。具體有兩種：對照組和干預組這兩個組的用戶群體的對比：采用獨立組樣本T檢驗。比如，可以看看兩組用戶的轉化率是否有明顯差異。比較同一組用戶在運營活動的前后的訪問活躍度的差異：采用配對組樣本T檢驗。這種檢驗有助于說明運營活動是否明顯提升了用戶的訪問活躍度。40T檢驗它往往用于比較兩個組的轉化率、訪問次數等是否有明顯差異方差分析方差分析用來檢驗多個總體的均值是否相等。換言之，它可以確定各總體的均值之間是否存在差異。它用來研究分類型自變量對數值型（連續型）因變量的影響。它可看成是t檢驗的擴展。t檢驗用于兩組連續型因變量的比較；而方差分析則用于三組或更多組的連續型因變量的比較。每個分類型自變量稱作一個因素，它的每個可能取值稱作“水平”或treatment。例如，每種促銷方式就是不同的treatment。41方差分析方差分析用來檢驗多個總體的均值是否相等。換言之，它可方差分析最常用的是單因素的方差分析（One-wayANOVA）。單因素可以表示運營策略的不同。雙因素方法分析（Two-wayANOVA）：能考察兩個因素的各個水平之間的不同搭配對因變量的影響，這也稱作交互作用。42方差分析最常用的是單因素的方差分析（One-wayANOVT檢驗與方差分析的區別T檢驗一次只能檢驗兩個總體，即兩個組。而方差分析一次能檢驗多個總體的均值是否相等。43T檢驗與方差分析的區別T檢驗一次只能檢驗兩個總體，即兩個組。回歸分析回歸分析（Regressionanalysis）用來確定因變量和自變量之間的相互依賴關系。它有兩種用途：用來挑選能夠影響因變量的自變量生成一個等式，從而能用自變量的值來預測因變量的值。這種用法其實是一種有監督學習。44回歸分析回歸分析（Regressionanalysis）用統計學45統計學1目錄批判性思維統計學思維A/B測試統計學方法分類46目錄批判性思維2懂統計學有什么用？能更好地辨別各種分析。47懂統計學有什么用？能更好地辨別各種分析。3熟悉一下常見的批判性思維48熟悉一下常見的批判性思維4歧義語言經常是模糊的。有些詞是多義詞。聽眾要結合上下文弄明白發言者的每個詞的確切意思。發言者要界定清楚那些多義詞的確切含義。49歧義語言經常是模糊的。有些詞是多義詞。5因果關系以先后論因果：A在B之后發生，不見得說明A會導致B很多事情發生的原因其實不止一個不應盲目以結果好壞判斷決定的優劣分析的結論不一定只有一個50因果關系以先后論因果：A在B之后發生，不見得說明A會導致B6證據與信息源發言者有時把個人經歷、典型個案、專家意見作為證據。這些證據都可靠嗎？發言者是否省略了重要的數據信息源可靠嗎？發言者所引用的數據是否來歷不明51證據與信息源發言者有時把個人經歷、典型個案、專家意見作為證據證據從眾心理：大家都認為如此，就一定如此嗎？共識有可能是危險的。就算有數百萬人聲稱某件蠢事是對的，這件蠢事也不會因此成為聰明之舉。虛假類比——他總玩游戲但是上MIT了，你跟他都是人，所以你總玩游戲也能上MIT。樣本能代表總體嗎？樣本有代表性嗎？樣本足夠大嗎？52證據從眾心理：大家都認為如此，就一定如此嗎？共識有可能是危險個人經驗可靠嗎？你是否糾纏于沉沒成本？為什么我們試過衣服后一般就會買下來？為什么經驗有時讓人變蠢？為什么拿錘子的人會把一切看成釘子？為什么自己做的菜吃起來更香？為什么我們會認為現狀最好？53個人經驗可靠嗎？你是否糾纏于沉沒成本？為什么我們試過衣服后一分析一下發言者的背景和目的應該試圖了解發言者的背景、并判斷其可能想要達到的目的。發言者是否試圖轉移別人的注意力，回避真正的問題。為什么推銷員說出產品缺陷時，我們也須謹慎？顯眼的不一定等于是重要的為什么我們不要購買包裝過于精美的產品？為什么要忽略討人喜歡的推銷員？54分析一下發言者的背景和目的應該試圖了解發言者的背景、并判斷其典型的統計學思維55典型的統計學思維11重視變異性應高度關注變異性，不要用平均數來掩蓋異常值。在社會上，對平均值的濫用隨處可見。平均值就像安眠藥，把你催眠，但你沒有注意到變異性，就有可能帶來損失。比如，一個富翁走入一家坐滿了窮人的酒吧，酒吧里人均收入將迅速提升，但每個窮人并沒有因此致富。比如，有兩家公司的年均增長率都相同，但是其中一家每年增長率很穩定，而另一家的每年的增長率不斷上下波動，那么顯然，兩家公司的資金需求就截然不同了。56重視變異性應高度關注變異性，不要用平均數來掩蓋異常值。在社會重視組間差異如果組間存在差異，就應該把幾個組分開，而不應合并起來統計。不同的組有時是不具有可比性的。57重視組間差異如果組間存在差異，就應該把幾個組分開，而不應合并不要過分在意小概率事件不要過分在意小概率事件：遭遇空難和中彩票其實都是小概率事件，發生的可能性很小，所以不必為了活命而懼怕坐飛機，也不必為了賺錢而玩彩票。在個體遇到醫療健康相關的問題，或者企業家遇到經營管理問題的時候，都容易以偏概全，認為個人體驗到的就是總體的全局的情況。另一方面，如果你覺得奇跡的發生是天意，你就錯了。幾乎不可能發生的事件也有發生的必然性。58不要過分在意小概率事件不要過分在意小概率事件：遭遇空難和中彩盡量提高預測精度在有監督學習中，應努力減少假陰性和假陽性，兩者都要盡量減少。比如，在通過分析網上數據識別恐怖分子時，如果寧可錯殺三千，不可放過一個，那么很可能會冤枉很多好人。59盡量提高預測精度在有監督學習中，應努力減少假陰性和假陽性，兩重視隨機對照試驗和回歸分析相關關系并不等同于因果關系。最強的用于檢測因果關系的統計學武器：隨機對照試驗無法進行隨機對照試驗時該怎么辦？做回歸分析。60重視隨機對照試驗和回歸分析相關關系并不等同于因果關系。16回歸分析中的遺漏變量偏差在回歸分析時，有時會出現變量遺漏偏差。比如，有研究認為“常打高爾夫易患心臟病、癌癥和關節炎”——真的嗎？其實是因為打高爾夫者年齡更大，疾病多只是因為年齡大而已。一些教育學者就常常用數據說話，聲稱電子游戲會加大孩子的暴力傾向，卻遺漏了暴力傾向加大有著多重誘因。家庭教育、父母性格及行為習慣所起到的作用更大。61回歸分析中的遺漏變量偏差在回歸分析時，有時會出現變量遺漏偏差循環論證即便存在因果關系，因與果之間可能會存在雙向影響。需要在得出結論前把這一點考慮到。是否存在循環論證？62循環論證即便存在因果關系，因與果之間可能會存在雙向影響。需要統計學思維的通俗入門書《看穿一切數字的統計學》《赤裸裸的統計學》

《數據統治世界》63統計學思維的通俗入門書《看穿一切數字的統計學》19A/B測試A/B測試是互聯網產品設計人員最熟悉的網頁優化方法，能夠對比不同版本的設計，選取更吸引用戶眼球的那一款，以便增加用戶點擊、回訪、購買等行為，或者增加轉化率注冊率等。為了搞清楚哪個功能或設計更好，每個網站或移動應程序的數據科學家都離不開A/B測試工具。A/B測試有點類似于統計學里面的隨機對照實驗。64A/B測試A/B測試是互聯網產品設計人員最熟悉的網頁優化方法A/B測試的重要性不少互聯網巨頭都是A/B測試的忠實信徒，這其中就包括Google、Amazon、Bing、Netflix等。搜索引擎、有推薦系統的網站、大型門戶網站往往非常倚重A/B測試。這種公司的網站設計很多時候是數據驅動的。谷歌連工具欄上的顏色選擇也要A/B測試。65A/B測試的重要性不少互聯網巨頭都是A/B測試的忠實信徒，這A/B測試的步驟使用A/B測試首先需要建立一個測試頁面（variationpage），這個頁面可能在標題字體、背景顏色、措辭等方面與原有頁面（controlpage）有所不同。然后將這兩個頁面以隨機的方式同時推送給所有瀏覽用戶。接下來分別統計兩個頁面的用戶轉化率，即可清晰的了解到兩種設計的優劣。66A/B測試的步驟使用A/B測試首先需要建立一個測試頁面（vaA/B測試怎樣識別用戶它通過Cookie或用戶名識別用戶。它對同一個用戶展現同一個版本。所以，同一個用戶不會發現不同的測試版本。不過，如果你換臺電腦，可能就會發現網站的不同版本。67A/B測試怎樣識別用戶它通過Cookie或用戶名識別用戶。2A/B測試的局限性必須在有大量被測用戶的前提下，才是有意義的。很多用戶少的網站不適合做這種測試。它是為了驗證已有產品想法。你只有知道A方案和B方案分別是什么，才能去比較這兩種方案。你在A和B之間做比較的時候，可能會忽略了其他很多可能更好的方案68A/B測試的局限性必須在有大量被測用戶的前提下，才是有意義的A/B測試的基本注意事項A/B測試必須是單變量一般都著眼于轉化率注意控制訪問各個版本的人數，大多數情況下希望將訪問者平均分配到各個不同的版本上。不一定僅限于分成兩個組。分成多個組也可以。要確保兩個組的用戶是來自同一個總體的，也就是說它們的特征要相同。否則，組間的轉化率的差異到底是由于用戶本身的差異造成的，還是真的由于A和B兩種方案的不同而造成的，就很難說清楚了。69A/B測試的基本注意事項A/B測試必須是單變量25你可以對比不同標題或文案的效果70你可以對比不同標題或文案的效果26你還可以對比不同圖片的效果71你還可以對比不同圖片的效果27你可以對比不同按鈕設計的效果例如，“立即購買！（BuyNow！）”按鈕在某個主頁上效果不佳。我們可以嘗試改變按鈕的形狀、大小、顏色或者位置。72你可以對比不同按鈕設計的效果例如，“立即購買！（BuyNoA/B測試服務商的出現有些公司幫助網站或移動應用更便捷地做A/B測試：Optimizely、Leanplum、Splitforce、PredictiveEdge等。這種工具可以幫助小白用戶測試網站的不同版本。用戶可以輕松地測試不同版本的對比效果，從而選擇出效果最好的網頁版本，或者選出最適合某種特定訪客的網頁版本。這種測試工具能幫助營銷人員測試和優化網站，非常適合銷售、市場、公關等人員使用。有了這種工具，營銷人員不一定要求助于公司IT人員。這種公司的收費依據可以是：參加測試的用戶數量73A/B測試服務商的出現有些公司幫助網站或移動應用更便捷地做AA/B測試服務商的出現Optimizely、PredictiveEdge都是2010年前后成立的，成立之初都是幫網站做A/B測試的。近來才開始幫app做測試。將來的趨勢是，它們還會幫可穿戴設備、實體零售店做測試。有些公司專門幫助移動app做A/B測試：Leanplum（2012年成立）、Splitforce。74A/B測試服務商的出現Optimizely、PredictiA/B測試服務商的出現這些公司的創始人大多之前具有主要的互聯網產品的測試的經驗。例如，Leanplum的兩位創始人之前在谷歌做測試工作。Optimizely的創始人曾擔任GoogleChrome產品經理，并曾擔任奧巴馬競選活動的網站分析主管。75A/B測試服務商的出現這些公司的創始人大多之前具有主要的互聯App推送領域的A/B測試服務A/B測試在應用推送領域也有運用。例如，app消息推送服務商（swrve、個推等）開通了A/B測試功能。76App推送領域的A/B測試服務A/B測試在應用推送領域也有運7733互聯網巨頭也提供A/B測試工具對于網站來說：谷歌的WebsiteOptimizer或者VWO（VisualWebsiteOptimizer）對于app來說：AmazonAppstore、GooglePlay78互聯網巨頭也提供A/B測試工具對于網站來說：谷歌的Websi網頁推送領域的A/B測試服務FacebookParse增加了一項全新的功能--ParsePushExperiments。79網頁推送領域的A/B測試服務FacebookParse增加網頁推送領域的A/B測試服務在ParsePushExperiments功能下，開發者可輕松地創建用于推送通知的A/B測試，這樣他就能對數據進行分析然后了解怎樣的內容以及怎樣的時機才是最有效的。80網頁推送領域的A/B測試服務在ParsePushExpe網頁推送領域的A/B測試服務開發者可在測試結束之后通過數據分析選擇反響更好的那組通知內容進行推送。81網頁推送領域的A/B測試服務開發者可在測試結束之后通過數據分統計