數據挖掘中的統計學參考資料：Wiki：統計學研究者July的CSDN蝸牛向前沖2013年6月2日星期日綱要概率論條件概率全概率貝葉斯公式離散型隨機變量連續型隨機變量概率論總結數理統計數學期望方差協方差相關系數主成分分析中心極限定理χ2分布、t分布、F分布正態分布簡史正態分布簡史誤差計算中英文對照概率分布集中趨勢離散程度分布形態2013-06-02Sunday2概率論條件概率全概率貝葉斯公式離散型隨機變量連續型隨機變量概率論總結2013-06-02Sunday3條件概率定義：在同一個樣本空間Ω中的事件A、B,如果從Ω中隨機選出的一個元素屬于B，那么這個隨機選出的元素也屬于A的概率就定義為B條件下A發生的條件概率，即為P(A|B)=|A∩B|/|B|分子、分母同除以|Ω|，得到條件概率的公式：P(A|B)=P(A∩B)/P(B)亦稱為后驗概率。P(A|B)與P(B|A)的關系為：P(A|B)×P(B)=P(B|A)×P(A)2013-06-02Sunday4全概率公式

2013-06-02Sunday5貝葉斯公式

2013-06-02Sunday6貝葉斯公式正概率是由原因推結果(現在推未來)，稱為概率論某藥廠用從甲、乙、丙三地收購而來的藥材加工生產出一種中成藥，三地的供貨量分別占40%，35%和25%，且用這三地的藥材能生產出優等品的概率分別為0.65，0.70和0.85，求從該廠產品中任意取出一件成品是優等品的概率。（0.7175）逆概率是由結果推原因(現在推過去)，稱為數理統計如果一件產品是優質品，它的材料來自甲地的概率有多大呢？（0.3624）2013-06-02Sunday7離散型隨機變量

2013-06-02Sunday8連續型隨機變量

2013-06-02Sunday9連續型隨機變量

2013-06-02Sunday10連續型隨機變量圖片來源：《大嘴巴漫談數據挖掘》2013-06-02Sunday11概率論總結圖片來源：《概率論與數理統計》盛驟版2013-06-02Sunday12概率論總結圖片來源：《概率論與數理統計》盛驟版2013-06-02Sunday13數理統計數學期望方差協方差相關系數主成分分析中心極限定理χ2分布、t分布、F分布2013-06-02Sunday14數學期望MathematicalExpectation隨機變量X的期望值vs樣本均值積分的本質亦是求和例：擲色子一次，期望值為3.52013-06-02Sunday15方差Variance方差：變量距其期望值的距離；亦稱為二階矩2013-06-02Sunday16協方差Covariance

協方差矩陣兩個向量的協方差cov(X,Y)和cov(Y,X)互為轉置矩陣2013-06-02Sunday17相關系數CorrelationCoefficient

而實際上，上述數據的函數關系為y=0.10+0.01x；E(x)=3.8，E(y)=0.138，x-E(x)、y-E(y)得x=(?2.8,?1.8,?0.8,1.2,4.2)、

y=(?0.028,?0.018,?0.008,0.012,0.042),得皮爾遜相關系數2013-06-02Sunday18相關系數CorrelationCoefficient2013-06-02Sunday19主成分分析PrincipalComponentAnalysis又稱主分量分析，PCA指將多個變量通過線性變換以選出較少個數重要變量的方法，在減少數據集維數的同時，保持數據集的對方差貢獻最大的特征。

PCA的目的是使變換后的數據有最大的方差，這些性質不同于普通模型為求穩定性往往會減小方差；主要方法：對協方差矩陣進行特征分解，得出數據的主成分(特征向量)和權值(特征值)步驟：數據標準化；求特征協方差矩陣；通過正交變換使非對角線的元素為0，求得特征值和特征向量；對特征值降序排列，取最大k個組成特征向量矩陣；投影矩陣=原始樣本數據×特征向量矩陣；(理論依據為SVD)2013-06-02Sunday20中心極限定理

獨立變量和

2013-06-02Sunday21中心極限定理

獨立同分布變量和

2013-06-02Sunday22中心極限定理

此定理表明：二項分布的極限是正態分布；二項分布是離散分布，正態分布是連續分布n重伯努利試驗在出現第r個A前A不出現的試驗次數的概率分布為負二項分布，又稱帕斯卡分布。獨立同分布

2013-06-02Sunday23中心極限定理

若序列滿足李雅普若夫條件：

獨立變量2013-06-02Sunday24χ2分布、t分布、F分布在正態分布、中心極限定理確立之下，20世紀后χ2分布、t分布、F分布也出現了2013-06-02Sunday25正態分布簡史正態分布簡史誤差計算2013-06-02Sunday26正態分布簡史17世紀，惠更斯(1629-1695)研究賭博時創立數學期望；18世紀，伯努利(1667-1748)伯努利大數定律：事件發生的頻率依概率收斂于事件的概率；1909年由伯萊爾證明；18世紀，棣莫弗(1667-1754)二項概率逼近：用二項分布逼近正態分布，并提出了中心極限定理；18世紀，拉普拉斯(1749-1827)建立了中心極限定理的一般形式；19世紀，勒讓德(1752-1833)發明最小二乘法；19世紀，高斯(1777-1855)正態誤差理論(以下有詳解)；19世紀，拉普拉斯在高斯研究的基礎上，用中心極限定理論證了正態分布(高斯分布)；19世紀，海根提出元誤差學說，逐步正式確立誤差服從正態分布。2013-06-02Sunday27誤差計算

即可解得系數a、b。

2013-06-02Sunday28誤差計算

2013-06-02Sunday29中英文對照概率分布集中趨勢離散程度分布形態2013-06-02Sunday30中英文對照-概率分布ProbabilityTheory：概率論MathematicalStatistics：數理統計SampleSpace：樣本空間RandomOccurrence：隨機事件Fundamentalevent：基本事件Certainevent:必然事件Impossibleevent：不可能事件RandomVariable：隨機變量DiscreteRandomVariable：離散型ContinuousRandomVariable:連續型Bayes’sFormula：貝葉斯公式ProbabilityDistribution：概率分布DistributionFunction：分布函數DistributionLaw：分布律ProbabilityDensity：概率密度ConditionalDistribution：條件分布UniformlyDistribution：均勻分布BinomialDistribution：二項分布BernoulliDistribution：伯努利分布GeometricDistribution：幾何分布PoissonDistribution：泊松分布ExponentitalDistribution：指數分布MathematicalExpectation：數學期望Variance：方差Covariance：協方差CorrelationCoefficient：相關系數NormalDistribution：正態分布CentralLimitTherem：中心極限定理Chebyshev’sInequality：切比雪夫不等式PrincipalComponentAnalysis：主成分分析2013-06-02Sunday31中英文對照-集中趨勢

2013-06-02Sunday32中英文對照-離散程度Rang