1、精選優質文檔-傾情為你奉上穩健回歸（M估計）方法簡介浙江大學 唐啟義估計的穩健性(Robustness)概念指的是在估計過程中產生的估計量對模型誤差的不敏感性。因此穩健估計是在比較寬的資料范圍內產生的優良估計。如在獨立同分布正態誤差的線性模型中，最小二乘估計(LSE)是有效無偏估計。然而當誤差是非正態分布時，LSE不一定是最有效的。但誤差分布事先不一定知道，故有必要考慮穩健回歸的問題。穩健回歸(Robust Regression)估計，如誤差為正態時，它比LSE稍差一點，但誤差非正態時，它比LSE要好得多。這種對誤差項分布的穩健特性，常能有效排除異常值干擾。DPS提供了穩健回歸中常用的最大似然

2、型的M估計。一般回歸模型:這里1,p為未知回歸系數，e1,en獨立同分布，均值為0。最小二乘法是找使表達式達到最小作為代價函數，即。這樣做會往往使得那些遠離數據群體的數據(很可能是異常值)對殘差平方和影響比其他數據大得多。這是因為最小二乘估計為了達到極小化殘差平方和的目的，必須遷就遠端的數據，所以異常值對于參數估計相當敏感(如圖1)。M估計穩健回歸的基本思想是采用迭代加權最小二乘估計回歸系數，根據回歸殘差的大小確定各點的權wi，以達到穩健的目的，其優化的目標函數是：為減少“異常點”作用，我們可以對不同的點施加不同的權重，即對殘差小的點給予較大的權重，而對殘差較大的點給予較小的權重，根據殘差大小

3、確定權重，并據此建立加權的最小二乘估計，反復迭代以改進權重系數，直至權重系數之改變小于一定的允許誤差(tolerance)。其參數bj可采用迭代加權最小二乘方法求解。構造權重，許多學者提出了許多方法，因此得到的穩健回歸估計大同小異。DPS提供了10種不同的定義權重的公式，供用戶選用。在以下公式中，都用到一個“標準化”的殘差指標ui，med()為中位數，s為殘差尺度。1. Andrews 法，式中c一般取1.339。2. Biweight法，式中c一般4.685。3. Cauchy法，式中c一般2.385。4. Fair法，式中c一般1.4。5Hampel法這里a,b,c都是參數，0<a&

4、lt;b<c。一般a=2，b=4，c8.6. Huber法，式中ch一般取1.345。7. Logistic法，式中c一般1.205。8. Median法。9. Talworth法，式中ch一般取2.795。10. Welsch法，式中c一般取2.985。DPS提供了上述介紹的Andrews，Biweight，Cauchy，Fair，Hampel，Huber，Logistic，Median，Talworth和Welsch 等10種權重定義方法供用戶選用,并提供了不加權的普通最小二乘(OLS)，以便用戶根據其擬合圖形進行診斷。DPS分析的數據格式和多元線性回歸分析相同，即：自變量在左邊，最右邊一列是因變量(下圖的左邊)。用鼠標選中數據后，執行菜單下的“多元分析”“回歸分析”“回歸分析”“穩健回歸(M估計)”功能，即可出現如下圖所示的工作界面(