其他經典估計§最大似然估計例最小二乘估計——內容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結最小二乘估計——引言第一次觀測：38.0第二次觀測：37.9第三次觀測：38.1第四次觀測：38.1第五次觀測：37.9前后觀測五次溫度值如下：取個平均！38攝氏度最小二乘估計——引言假設信號是，經過N次觀測，觀測數據為：

如何得到A？取個平均！最小二乘估計——引言樣本均值估計即是一種特殊的最小二乘估計最小二乘估計——引言無偏估計的類型確定最小方差觀測數據的概率描述各種限制。。。之前學過的估計方法對觀測數據不做任何概率或統計描述僅僅假設一個數學模型最小二乘估計古老但實用！最小二乘估計——引言最小二乘估計（LeastSquareEstimate，LSE）估計的目的是使得所有觀測數據和假設信號之間的平方誤差最小均方誤差準則最小二乘估計——引言假設取決于未知參量的信號，由于噪聲或模型不準確，觀測信號是受干擾的信號，用觀測數據表示，的最小二乘估計就是選擇使得最小的值通常用于數據的準確統計特性未知，或不能找出最優估計的場合最小二乘估計——引言假設信號是，經過N次觀測，觀測數據為：

使得最小,上式對A求導，并令結果為0，可得：最小二乘估計——引言最小二乘估計最小方差無偏估計是高斯白噪聲最小二乘估計——引言考慮正弦信號，信號模型為：若A是待估計參量，是已知的：若是待估計參量，A是已知的：線性最小二乘非線性最小二乘最小二乘估計——內容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結最小二乘估計——線性最小二乘估計表1中是在不同溫度下測量同一熱敏電阻的阻值，根據測量值確定該電阻的數學模型，并求出當溫度在70攝氏度時的電阻值。最小二乘估計——線性最小二乘估計Rt數學模型：最小二乘估計——線性最小二乘估計LS為：求極值，對上式求導：二元一次方程！最小二乘估計——線性最小二乘估計最小二乘估計——線性最小二乘估計最小二乘估計——線性最小二乘估計矢量最小二乘假設矢量參量是維的，信號是待估計參量的線性函數，假設：觀測矩陣滿秩矩陣LS為：最小二乘估計——線性最小二乘估計對求導，并令其值為0，有：所以：定理4.1若觀測數據可表示為則MVU估計量最小二乘估計——線性最小二乘估計當系統測量噪聲V是均值為0，方差為R時性質1.最小二乘估計即是無偏估計，有：證明最小二乘估計——線性最小二乘估計當系統測量噪聲V是均值為0，方差為R時性質2.最小二乘估計的均方誤差為：自行證明最小二乘估計——線性最小二乘估計因此：最小二乘估計——線性最小二乘估計估計的均方誤差為：缺點：對所有測量數據同等看待最小二乘估計——線性最小二乘估計加權最小二乘法對不同置信度的測量值采用加權的辦法分別對待強調可靠數據的重要性LS改為：N×N維加權矩陣最小二乘估計——線性最小二乘估計此時的LSE為：此時估計的均方誤差為：加權最小二乘法一般的LSE為：一般的均方誤差為：最小二乘估計——線性最小二乘估計加權最小二乘法如果是零均值和具有方差的不相關噪聲，那么加權因子的合理選擇是：當時，加權最小二乘退化為普通的最小二乘最小二乘估計——線性最小二乘估計使用加權最小二乘估計第一次測量的權重大了！最小二乘估計——線性最小二乘估計使用加權最小二乘估計估計的均方誤差為：最小二乘估計——線性最小二乘估計小結LSE為：估計的均方誤差為：最小二乘估計——內容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結最小二乘估計——序貫最小二乘估計前面的方法均是等到所有可供使用的數據全部采樣后再進行處理。序貫最小二乘估計不必得到全部數據后批處理！求出基于=的最小二乘估計得到對進行更新，得到新的而不是利用全部數據，套用求得最小二乘估計——序貫最小二乘估計假設信號是，經過N次觀測，觀測數據為：

利用前面的知識，容易得到：又得到新的樣本，那么此時的估計為：利用前面的LSE和新的觀測，可求得新的LSE!!最小二乘估計——序貫最小二乘估計老的估計修正項改寫形式最小二乘估計——序貫最小二乘估計若對觀測數據加權，

那么，0式1最小二乘估計——序貫最小二乘估計若，其中是均值為零，方差為的噪聲則：因此有：式2式3最小二乘估計——序貫最小二乘估計式1式2式3最小二乘估計——內容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結最小二乘估計——非線性最小二乘估計y不是待估計參量a,b的線性函數！！！！使用參數變換方法最小二乘估計——非線性最小二乘估計lny是lna和b的線性函數！！！！取對數最小二乘估計——非線性最小二乘估計最小二乘估計——非線性最小二乘估計例：設有一個正弦信號模型為：參數變換：已知！已知！已知量已知量線性了！最小二乘估計——內容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結最小二乘估計——小結還記得哪些概念和公式?#(*&!~%^%&^最小二乘估計——小結最小二乘估計的特點最小二乘估計定義公式的推導直線的擬合應用，y=a+bx矢量最小二乘估計加權最小二乘估計序貫