Chp9：參數推斷主要內容參數推斷的基本概念參數推斷的方法矩方法極大似然估計（MaximumLikelihoodEstimator,MLE）MLE的性質1Chp9：參數推斷主要內容1參數推斷假設已知模型的函數形式

其中為參數空間 目標：估計參數，2參數推斷假設已知模型的函數形式，2例子一些流行的參數模型的例子：線性判別分別（LDA）(分類)混合高斯模型(密度估計)高斯噪聲模型(回歸)3例子一些流行的參數模型的例子：3參數估計假設有一類模型函數，如所有的高斯函數的集合，其參數參數空間為

。通常我們只對一些函數感興趣，如均值或均值的函數。因此為感興趣參數(parameterofinterest)，為冗余參量(nuisanceparameter)。有多種方法可用來估計模型的參數矩估計法極大似然估計：更流行貝葉斯方法4參數估計假設有一類模型函數，如所有的高斯函數的集合，其矩方法矩方法得到的估計雖然不是最優的，但是很容易計算當其他方法不可用時，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配對真正的矩和樣本矩進行匹配5矩方法矩方法得到的估計雖然不是最優的，但是很容易計算5矩方法

j階矩：j階樣本矩：

矩方法：取前k階矩真正的矩樣本矩6矩方法真正的矩樣本矩6例：Bernoulli分布令，一階矩一階樣本矩所以我們得到估計7例：Bernoulli分布令例：高斯分布令，參數為，一階矩一階樣本矩二階矩二階樣本矩所以

8例：高斯分布令極大似然估計（MLE）極大似然估計似然函數對似然函數求最大值極大似然估計的性質9極大似然估計（MLE）極大似然估計9似然函數令為IID，其PDF為，似然函數定義為有時也記為或，表示似然函數為在給定x的情況下，參數θ的函數。似然函數在數值上是數據的聯合密度，但它是參數θ的函數，。因此似然函數通常不滿足密度函數的性質，如它對θ的積分不必為1。10似然函數令為IID，其P似然的解釋若X是離散的，則。如果我們比較兩個參數θ1和θ2的似然值，如果則觀測到的樣本更可能發生在θ=θ1下，也就是說，相比θ2

，θ1是一個更可信的猜測。

對連續的X，但通常我們并不將似然解釋為參數θ的概率11似然的解釋若X是離散的，則極大似然估計極大似然估計（MLE）是使得最大的，即log似然函數定義為：，它和似然函數在相同的位置取極大值。同樣，相差常數倍也不影響似然函數取極大值的位置。因此似然函數中的常數項也可以拋棄。12極大似然估計極大似然估計（MLE）是使得例：Bernoulli分布令，則概率函數似然函數為其中所以解方程13例：Bernoulli分布令例：高斯分布令，參數為，似然函數（忽略常數項）為其中為樣本均值為樣本方差

因為14例：高斯分布令例：高斯分布log似然函數為解方程得到可以證明，這是似然函數的全局最大值。15例：高斯分布log似然函數為15對似然函數求最大值對似然函數求極值（求導）解析法（如上例中的高斯模型）數值計算：優化算法如梯度下降法如EM算法（如下例中的混合高斯模型）需注意的問題：要找到似然函數的全局極大值一階導數為0只是必要條件，非充分條件而且一階導數為0只能找到函數定義域內部的局部極值點。如在邊界上取極值，一階導數可能不為0。因此還必須檢驗邊界。16對似然函數求最大值對似然函數求極值（求導）16例：均勻分布令則概率函數考慮一個固定的值，假設對于某一個i，有，則

因此令則所以遞減函數17例：均勻分布令遞減函數17混合高斯模型(GMM)

(MixtureofGaussiansModel)假設有K個成分每個成分從均值為、協方差矩陣為的高斯分布產生數據假設每個數據點根據如下規則產生：隨機選擇一個成分，選擇第k個成分的概率為從第k個成分產生數據：即18混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型問題：給定IID數據，求參數MLE不能解析求得，因此我們通過數值計算（如EM算法）求解。將完整數據轉換為非完整數據/缺失數據，其中為所屬的類別。19混合高斯模型問題：給定IID數據EMEM用于混合模型參數推斷的具體過程請參見參考文獻和參考ppt再下次課上講述Matlab函數：ecmnmle

[Mean,Covariance]=ecmnmle(Data,InitMethod,MaxIterations,Tolerance,Mean0,Covar0)20EMEM用于混合模型參數推斷的具體過程請參見參考文獻和參考pEMforGMM第t次的估計為則第t+1次的估計為E步M步21EMforGMM第t次的估計為E步M步21EM總結總結EM會收斂到局部極值，但不保證收斂到全局最優適合的情況 缺失數據不太多時數據維數不太高時（數據維數太高的話，E步的計算很費時）參考文獻JeffA.Bilmes,AGentleTutorialoftheAlgorithmanditsApplicationtoParameterEstimationforGaussianMixtureandHiddenMarkovModels22EM總結總結22下節課內容MLE的性質23下節課內容MLE的性質23Chp9：參數推斷主要內容參數推斷的基本概念參數推斷的方法矩方法極大似然估計（MaximumLikelihoodEstimator,MLE）MLE的性質24Chp9：參數推斷主要內容1參數推斷假設已知模型的函數形式

其中為參數空間 目標：估計參數，25參數推斷假設已知模型的函數形式，2例子一些流行的參數模型的例子：線性判別分別（LDA）(分類)混合高斯模型(密度估計)高斯噪聲模型(回歸)26例子一些流行的參數模型的例子：3參數估計假設有一類模型函數，如所有的高斯函數的集合，其參數參數空間為

。通常我們只對一些函數感興趣，如均值或均值的函數。因此為感興趣參數(parameterofinterest)，為冗余參量(nuisanceparameter)。有多種方法可用來估計模型的參數矩估計法極大似然估計：更流行貝葉斯方法27參數估計假設有一類模型函數，如所有的高斯函數的集合，其矩方法矩方法得到的估計雖然不是最優的，但是很容易計算當其他方法不可用時，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配對真正的矩和樣本矩進行匹配28矩方法矩方法得到的估計雖然不是最優的，但是很容易計算5矩方法

j階矩：j階樣本矩：

矩方法：取前k階矩真正的矩樣本矩29矩方法真正的矩樣本矩6例：Bernoulli分布令，一階矩一階樣本矩所以我們得到估計30例：Bernoulli分布令例：高斯分布令，參數為，一階矩一階樣本矩二階矩二階樣本矩所以

31例：高斯分布令極大似然估計（MLE）極大似然估計似然函數對似然函數求最大值極大似然估計的性質32極大似然估計（MLE）極大似然估計9似然函數令為IID，其PDF為，似然函數定義為有時也記為或，表示似然函數為在給定x的情況下，參數θ的函數。似然函數在數值上是數據的聯合密度，但它是參數θ的函數，。因此似然函數通常不滿足密度函數的性質，如它對θ的積分不必為1。33似然函數令為IID，其P似然的解釋若X是離散的，則。如果我們比較兩個參數θ1和θ2的似然值，如果則觀測到的樣本更可能發生在θ=θ1下，也就是說，相比θ2

，θ1是一個更可信的猜測。

對連續的X，但通常我們并不將似然解釋為參數θ的概率34似然的解釋若X是離散的，則極大似然估計極大似然估計（MLE）是使得最大的，即log似然函數定義為：，它和似然函數在相同的位置取極大值。同樣，相差常數倍也不影響似然函數取極大值的位置。因此似然函數中的常數項也可以拋棄。35極大似然估計極大似然估計（MLE）是使得例：Bernoulli分布令，則概率函數似然函數為其中所以解方程36例：Bernoulli分布令例：高斯分布令，參數為，似然函數（忽略常數項）為其中為樣本均值為樣本方差

因為37例：高斯分布令例：高斯分布log似然函數為解方程得到可以證明，這是似然函數的全局最大值。38例：高斯分布log似然函數為15對似然函數求最大值對似然函數求極值（求導）解析法（如上例中的高斯模型）數值計算：優化算法如梯度下降法如EM算法（如下例中的混合高斯模型）需注意的問題：要找到似然函數的全局極大值一階導數為0只是必要條件，非充分條件而且一階導數為0只能找到函數定義域內部的局部極值點。如在邊界上取極值，一階導數可能不為0。因此還必須檢驗邊界。39對似然函數求最大值對似然函數求極值（求導）16例：均勻分布令則概率函數考慮一個固定的值，假設對于某一個i，有，則

因此令則所以遞減函數40例：均勻分布令遞減函數17混合高斯模型(GMM)

(MixtureofGaussiansModel)假設有K個成分每個成分從均值為、協方差矩陣為的高斯分布產生數據假設每個數據點根據如下規則產生：隨機選擇一個成分，選擇第k個成分的概率為從第k個成分產生數據：即41混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型問題：給定IID數據，求參數MLE不能解析求得，因此我們通過數值