1、ClassificationInput: x = x1,x2T ,Output: C 0,1Prediction: 1Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)Bayes Rule2posteriorlikelihoodpriorevidenceLecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)K=2 ClassesDichotomi

2、zer (K=2) vs Polychotomizer (K2)g(x) = g1(x) g2(x)Log odds: 3Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)Bayes Rule: K2 Classes4Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)Parametric Classification5Lecture Note

3、s for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)數學基礎的重要性研究數據分析必須打好概率和統計基礎Using fancy tools like neural nets, boosting and support vector machines without understanding basic statistics like doing brain surgery before knowing how to use a band-aid.預修課程：概率統計主要內容：概率、隨機變量及其分

4、布、常用分布、多元隨機向量隨機變量的變換及其分布獨立、條件獨立、貝葉斯公式期望、方差第一章：概率概率：定量描述不確定性的數學語言例：P(牙痛是由蟲牙引起) = 0.8 20% 所有其他可能實際數值可能來源于統計數據、模型、啟發規則或猜測更精確的概率定義： 代數、可測量、測度（參考CB Chp1）概率、樣本空間和事件考慮一個事先不知道輸入的試驗：試驗的樣本空間 是所有可能輸出的集合事件A是樣本空間的子集對每個事件A ，我們定義一個數字P(A) ，稱為A 的概率。概率根據下述公理定義：概率公理事件A 的概率是一個非負實數P(A) 0合法命題的概率為1P( ) = 1兩兩不相交（互斥）事件A1, A

5、2, 從上述三個公理，可推導出概率的所有的其他性質。公理的推論不可滿足命題的概率為0P () = 0P(A Ac) = 0對任意兩個事件A 、 BP(A B) = P (A) + P(B) P(A B )對事件A的補事件AcP(Ac) = 1 P(A)對任意事件A0 P(A) 1概率的解釋概率的 “真正意義” 仍是一個非常有爭議的論題沒有一種解釋被一致接受概率兩種主要的解釋：頻率解釋概率 = 一個事件的相對頻率 （大量試驗情況下）對應頻率推斷（點估計、置信區間）可信度解釋概率 = 觀測者對可能性的判斷 “貝葉斯概率”對應貝葉斯推斷概率的頻率解釋在相似試驗條件下，進行多次重復試驗，得到某個特定輸

6、入的相對頻率 （如擲骰子或拋硬幣）滿足概率公理只有試驗才能確定概率但是試驗次數多少次才足夠多?相似條件? (條件完全相同?)P(正面朝上)?P(你本門課程得90分以上)?P(明天會下雨)?概率的可信度解釋亦稱“貝葉斯概率”概率表示觀測者對可能性的判斷定量表示某人的信念強度是基于個人的信念和信息“主觀概率” 而不是 “真正的概率”并沒有對世界客觀的表述主觀判斷完全一致沒有矛盾?不同人之間沒有統一的客觀基準滿足概率公理 (在保持一致性的情況下)獨立事件當P (AB) = P(A) P(B)時，稱兩個事件A與B獨立，記為可推廣到有限個事件系列可通過兩種方式確定事件之間的獨立性顯式假設：如拋硬幣試驗中

7、，假設每次拋擲都是獨立的數值推導：滿足P (AB) = P(A) P(B)如在一個公正的擲骰子的試驗中，則不相交 獨立獨立總結獨立總結若P(AB) = P (A) P(B) ，則A和B獨立。獨立某些時候是假設的，某些時候推導得到的。有正概率的不相交事件不一定獨立。條件概率當P(B)0 時，給定B時A的條件概率為給定任意B，若P(B)0 ，則 也是一個概率，即滿足概率的三個概率公理 當 不相交時，條件概率下列等式不一定成立 條件概率例1.13： 對疾病D的醫學測試結果輸出為+和-，其概率分別為：假設某個測試的結果為+，則得病的概率為多少？檢驗相當正確不要相信直覺！得病概率很小+.009.099.

8、108-.001.891.892.010.9901.0條件概率例1.13（續）：假設某個測試的結果為-，則得病的概率為多少？+.009.099.108-.001.891.892.010.9901.0得病概率幾乎為0獨立與條件概率若A與B獨立事件，則知道B不會改變A的概率當A與B不獨立時Vs. A與B獨立時：例：條件獨立賭徒的謬誤：戴倫伯特系統參與者賭紅色或黑色，每賭失敗一次就加大賭數，每賭贏一次就減少賭數。如果小小的象牙球讓他贏了，那么就會有某種原因“記住”它，不太可能讓他在下一次再贏；如果小球使他輸了，它將感到抱歉，很可能幫助他在下一次贏。 事實上：每一次旋轉，輪盤都與以前旋轉的結果無關。摘

9、自數學悖論奇景條件概率總結1. 如果 P(B)0，則2. 對給定的B ，P(.|B) 滿足概率公理。通常，對給定的A ，P (A|.) 不滿足概率公理。3. 通常，P(A|B)P(B|A)。4. 當且僅當P(A|B)=P(A) 時， A 與B 獨立。貝葉斯公式全概率公式：令A1, , Ak 為 的一個劃分，則對任意事件B，有 。貝葉斯公式：令A1, , Ak 為 的一個劃分且對每個i， i =1,2, ,k 。若 ，則對每個 有 后驗概率先驗概率例：郵件分類例1.19：email可分為三類：A1 =“垃圾,” A2 =“低優先級” 和A3 =“高優先級”。根據先前的經驗，我們發現則：0.7+0

10、.2+0.1 = 1。令B表示email中包含單詞 “free”。根據先前的經驗，思考如果收到一封帶有單詞“free”的郵件，該郵件為垃圾郵件的概率是多少？如果僅以單詞“free”為先驗來進行郵件郵件分類 ，如何判別一封郵件是否為垃圾郵件？第二章：隨機變量上節課內容概率理論概率公理及推論隨機變量之間的關系：條件概率、獨立/條件獨立、貝葉斯公式本節課內容隨機變量及其分布隨機變量變換常見分布族多元隨機向量的分布聯合分布、邊緣分布、條件分布、獨立隨機變量統計推斷是與數據相關的。隨機變量就是將樣本空間/隨機事件與數據之間聯系起來的紐帶隨機變量是一個映射 ，將一個實數值 賦給一個試驗的每一個輸出例2.2

11、：拋10次硬幣，令X()表示序列中正面向上的次數，如當 = HHTHHTHHTT，則 X() = 6。隨機變量的概率描述事件的概率 隨機變量的概率描述給定一隨機變量X及實數子集A，定義 例2.4：拋2次硬幣，令X表示正面向上的次數，則其中X表示隨機變量，x表示X可能的取值P()X()TT1/40TH1/41HT1/41HH1/42xP(X=x)01/411/221/4隨機變量的分布函數隨機變量X的累積分布函數 (cumulative distribution function, CDF) 定義為CDF是一個非常有用的函數：包含了隨機變量的所有信息。 CDF的性質：略 （見書） 有時記為F例：隨

12、機變量的CDF例2.6：公正地拋硬幣2次，令X表示正面向上的次數，則CDF右連續、非減函數對所有實數x都有定義雖然隨機變量只取0、1、2離散型隨機變量的概率函數離散型隨機變量的概率函數 (probability function or probability mass function, pmf)定義為對所有的 CDF與pmf之間的關系為：有時記為 f例：離散型隨機變量的pmf例2.10：公正地拋硬幣2次，令X表示正面向上的次數，則概率函數為：連續型隨機變量的概率（密度）函數對連續型隨機變量X，如果存在一個函數 ，使得對所有的x， ，且對任意 有則函數 被稱為概率密度函數 (probabili

13、ty density function, pdf)。CDF與pdf之間的關系： 在所有 可微的點x，則注意： 是可能的例：連續型隨機變量的CDF和pmf例2.12：設X有PDF:顯然有有該密度的隨機變量為(0,1)上的均勻分布：Uniform(0, 1)，即在0和1之間隨機選擇一個點。其CDF為：分位函數 (quantile function)令隨機變量X的CDF為F，CDF的反函數或分位函數(quantile function)定義為其中 。若F嚴格遞增并且連續，則 為一個唯一確定的實數x，使得 。 為增函數中值(median)：一個很有用的統計量，對噪聲比較魯棒隨機變量的變換X：老的隨機變

14、量，Y：新的隨機變量，離散：離散型隨機變量的變換例2.45：假設Y的取值比X少，因為該變換不是一一映射。xfX(x)-11/401/211/4yfY(y)01/211/2連續型隨機變量的變換方法1：CDF方法變換的三個步驟對每個y，計算集合計算CDFPDF為 連續型隨機變量的變換方法2：Jacobian方法當r為單調增函數/減函數，定義r的反函數 ，則當X、Y存在一一映射時，上述結論仍可用分區間：在每個 區間內為單調函數，可分區間利用上述結論例：連續型隨機變量的變換例2.46：令求Y的概率密度函數例：連續型隨機變量的變換例2.46：則CDF法：Jacobian方法例：連續型隨機變量的變換例：概

15、率積分變換 X有連續CDF ，定義隨機變量Y為 ，則Y為0,1上的均勻分布，即對隨機數產生特別有用0.51.00二元隨機向量的聯合分布離散型隨機變量的聯合分布：令X、Y為一對離散型隨機變量，聯合概率函數(pmf)定義為聯合累積分布函數(CDF)為：(X, Y)：隨機向量例2.18：對如下有兩個隨機變量的二元分布，變量X和Y取值為0、1， 則 。12/31/32/35/92/9X=11/32/91/9X=0Y=1 Y=0聯合分布邊緣分布二元隨機向量的聯合分布連續型隨機變量的聯合分布：令X、Y對一對連續型隨機變量，聯合概率密度函數(pdf)定義為 對任意集合聯合概率分布函數(CDF)為：邊緣分布離

16、散型隨機變量：邊緣分布連續型隨機變量：聯合分布包含了隨機向量概率分布的信息聯合分布唯一確定了邊緣分布，但反之通常不成立獨立 PDF可以因式分解獨立隨機變量之間的關系獨立 當且僅當不獨立：隨機變量之間的關系用條件分布描述條件分布：條件分布離散型隨機變量的條件概率函數：對連續型隨機變量，條件概率定義相同，但解釋不同第一節課中隨機事件的條件概率：條件分布 給定變量Y時，在 X上的概率分布對Y的每個可能取值，對X都定義有一個概率分布 是一個概率分布，滿足概率分布的所有性質，如例：條件分布聯合分布、邊緣分布與條件分布邊緣分布與聯合分布：條件分布與邊緣分布、聯合分布：聯合分布與條件分布、邊緣分布：條件概率

17、 鏈規則（Chain Rule） 鏈規則或貝葉斯規則貝葉斯規則似然先驗后驗貝葉斯規則中的邊緣化給定 和 ，推導經常使用貝葉斯規則的歸一化因子 通過邊緣化，已知?邊緣分布通過使用 (1) 邊緣化和 (2) 鏈規則，給定 ，可以計算： 條件獨立（絕對）獨立： 給定Y，不會對X增加任何信息條件獨立：若在給定Z的情況下，X與Y條件獨立，則 一旦已知Z，Y不會對X提供額外的信息例：聯合概率聯合概率：定義了所有可能狀態的概率二值變量的情況下有 項如果這些變量是獨立的，則 對二值變量，用n個獨立變量表示聯合概率例： 但若Y和W 在給定X下獨立，且Z和W、X在給定Y下獨立，則 真實問題通常是這樣的，貝葉斯網絡

18、就是利用了條件獨立的性質鏈規則推廣條件概率的定義遞歸定義：多元隨機向量的分布令隨機向量 ，其中 為隨機變量，用 表示X的pdf/pmf，先前討論的關于二元隨機向量分布的結論都可以推廣到多元隨機向量，如可以定義邊緣分布、條件分布等當隨機向量 互相獨立時，隨機向量相互獨立兩兩獨立，但反之不成立 隨機向量的變換令 ，求1. 對每個z，計算集合2. 計算CDF3. PDF為 例 2.48常見分布族離散型隨機變量 Ch2, p25均勻(Uniform)分布貝努利(Bernoulli)分布二項(Binnomial)分布 超幾何(HyperGeometric)分布幾何(Geometric)分布泊松(Poss

19、ion)分布連續型隨機變量 Ch2, p27均勻(Uniform)分布正態(Normal)分布Gamma分布Beta分布 分布指數(Exponential)分布常見分布族每個分布族pdf/pmf形式參數典型應用均值、方差正態分布亦稱高斯分布， : 位置（location）參數 : 尺度（scale）參數如圖像處理中的多尺度分析正態分布最重要的分布之一在實際遇到的許多隨機現象都服從或近似服從正態分布 如考試成績 中心極限定理：隨機樣本的均值近似服從正態分布 對任意IID樣本 ，則 標準正態分布當 時，正態分布稱為標準正態分布，通常用Z表示服從標準正態分布的變量，記為 。pdf和CDF分別記為標準

20、化變換：若 ，則若 ，則正態分布的線性組合仍是正態分布：若 是獨立的，則常見多元分布多元二項分布多元正態分布多元二項分布二項分布的多元變量版本 其中例：從箱子中共k中顏色的球， 為抽取到顏色j的概率，共抽取n次，令 為顏色j出現的次數，則多元二項分布邊緣分布：若 ， 其中 且 ，則 的邊緣分布為 多元正態分布令 ，其中 且互相獨立則Z的協方差矩陣為單位矩陣I，記為 。多元正態分布 更一般地， 其中 表示矩陣的行列式， 為均值向量，協方差矩陣 為一個對稱的正定矩陣 多元正態分布多元正態分布有如下性質：1、若 且 ，則2、若 ，則3、若 ，a為與X相同長度的向量，則隨機向量的變換 令集合集合且A、

21、B存在一一映射時，可利用Jacobian方法計算定義反變換 ，變換的Jacobian為(U,V)的聯合分布為思考題：求兩個正態分布的和與乘積的分布第三章：期望上節課內容隨機變量及其分布隨機變量變換的分布常見分布族多元隨機向量的分布：聯合分布、邊緣分布、條件分布本節課內容常用統計量：期望、方差、矩、中值、分位數IID樣本、樣本均值、樣本方差期望期望/均值：隨機變量的平均值概率加權平均期望期望是隨機變量的一個很好單值概述：隨機變量典型的值或期望值大數定律(Chp5)：當有大量獨立同分布(Independed Identical Distribution, IID) 樣本 時，期望 可視為樣本均值

22、當 ，我們說 是良好定義的（well defined）；否則我們說期望不存在。期望最小距離 假設我們用L2距離度量一個隨機變量X與一個常數b的距離，即 。b離X越近，這個量就越小。因此我們可以確定b的值，使得 最小，b可認為是X的一個很好預測。問題：如果采用L1作為距離度量呢？注意： 是常數隨機變量變換的期望1. 2. 注意：當 時，隨機變量變換的期望例1： ，則概率是一個特殊的期望：概率 為 的期望例3.7： ，則也可以先求 ，然后隨機向量變換的期望隨機向量變換的期望令例3.9: 設（X,Y）是單位正方形區域上的聯合均勻分布，則 期望的性質線性運算：加法規則：乘法規則：期望的性質不好計算。利

23、用加法規則：令 則眾數（mode）眾數：設隨機變量X有密度 ，且存在 滿足 ，則稱 為X的眾數。隨機變量出現次數最多的位置期望、中位數和眾數都稱為位置參數。當隨機變量的分布為高斯分布時，三者相等方差方差：刻畫隨機變量圍繞均值的散布程度方差越大，X變化越大；方差越小，X與 越接近方差：二階中心矩方差的性質注意：期望的加法規則無需獨立條件 不獨立隨機變量和的方差計算需考慮變量之間的協方差方差此時為確定性事件，故沒有變化，方差為0樣本均值和方差令 為IID，樣本均值定義為計算均值時忽略了概率？樣本方差定義為樣本均值和方差 和 分別為 和 的很好估計（無偏估計）協方差(covariance) /相關系

24、數協方差/相關系數：刻畫兩個隨機變量之間關系強弱 協方差(covariance) /相關系數 X、Y獨立，則X、Y 不相關：但反過來不成立！協方差的性質 對任意兩個隨機變量X和Y，有當X、Y獨立時：推廣到多個隨機變量：方差-協方差矩陣令隨機向量 的形式為：則 的方差協方差矩陣 為當個成分變量獨立時，協方差矩陣是什么樣子呢？相關(correlation)相關：度量兩個變量之間的線性相關程度若 當 時，當 時， 變量之間不線性相關獨立意味著不相關但反過來不成立！非線性相關，但可能高階相關條件期望 給定變量Y時，在 X上的概率分布對Y的每個可能取值，對X都定義有一個概率分布也能求期望，稱為條件期望條件期望 ：數字 ：y的函數。在知道y的值之前，不知道 ：隨機變量，當Y=y時， 的值 ：隨機變量條件期望例3.23: 假定對 采樣，在給定x后，在對 采樣 直觀地，期望實事上，對 ，有得到期望因而注意： 是隨機變