#文檔收集于互聯網，如有不妥請聯系刪除.題目:最小二乘法的綜述及算例院系：航天學院自動化班級：學號：學生簽名：指導教師簽名：日期：2011年12月6日目錄1．綜述2．概念3．原理4．算例10105．總結1010參考文獻1．綜述最小二乘法最早是由高斯提出的，這是數據處理的一種很有效的統計方法。高斯用這種方法解決了天文學方面的問題，特別是確定了某些行星和彗星的天體軌跡。這類天體的橢圓軌跡由5個參數確定，原則上，只要對它的位置做5次測量就足以確定它的整個軌跡。但由于存在測量誤差，由5次測量所確定的運行軌跡極不可靠，相反，要進行多次測量，用最小二乘法消除測量誤差，得到有關軌跡參數的更精確的值。最小二乘法近似將幾十次甚至上百次的觀察所產生的高維空間問題降到了橢圓軌跡模型的五維參數空間。最小二乘法普遍適用于各個科學領域，它在解決實際問題中發揮了重要的作用。它在生產實踐、科學實驗及經濟活動中均有廣泛應用。比如說，我們引入等效時間的概念,根據Arrhenius函數和指數函數研究水化熱化學反應速率隨溫度的變化,最后采用最小二乘法回歸分析試驗數據,確定絕熱溫升和等效時間的關系式。為了更好地掌握最小二乘法，我們引入以下兩個問題：⑴假設已知一組二維數據(x,y),(i=1,2,3???n),怎樣確定它的擬合曲線y=f(x)(假ii設為多項式形式f(x)=a+ax+...+axn)，使得這些點與曲線總體來說盡量接近？01n(2)若擬合模型為非多項式形式y=aebx，怎樣根據已知的二維數據用最小二乘線性擬合確定其系數，求出曲線擬合函數？怎樣從給定的二維數據出發，尋找一個簡單合理的函數來擬合給定的一組看上去雜亂無章的數據，正是我們要解決的問題。2．概念在科學實驗的統計方法研究中，往往要從一組實驗數(x,y)(i=l,2,3???m)中尋ii找自變量x與y之間的函數關系y=F(x).由于觀測數據往往不準確，此時不要求y=F(x)經過所有點(x,y)，而只要求在給定x上誤差6=f(x)-y.(i=1,2,3???m)按某種標準iiiiii最小。/、若記6=6^6?！?/就是要求向量6的范數1611最小。如果用最大范數，計算上困1,2m難較大，通常就采用Euclid范數|61|作為誤差度量的標準。2關于最小二乘法的一般提法是：對于給定的一組數據(x,y)(i=0,1,…m)要求在函數ii空間①=span｛申,申，????,申｝中找一個函數S*(x)，使加權的誤差平方和16II2=01n2￡?(x)(S(x)-y)2最小，其中，?(x)>=0是［a,b］上的權函數，它表示反應數據(x,yiiiiiii=0在實驗中所占數據的比重。我們說，S(x)=aP(x)+aP(x)ap(x)(nvm)這就是一般的最小二乘逼近，0011nn用幾何語言說就是曲線擬合的最小二乘法。注意這里的P(x)，P1(x)…申(x)是線性無關01n的。在研究兩個變量之間的關系時，可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數，進而建立經驗方程。為了通過試驗數據來估計參數的值，可以采用許多統計方法，而最小二乘法是目前最常用最基本的。3．原理最小二乘法原理簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這里的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小.在我們研究兩個變量（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2...xm,ym）；將這些數據描繪在x-y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。Y=a0+a1X（式1-1）其中：a0、a1是任意實數為建立這直線方程就要確定a0和al，應用《最小二乘法原理》，將實測值Yi與利用（式1-1）計算值（Y=aO+a1X）的離差（Yi-Y計）的平方和〔》（Yi-Y計）2〕最小為“優化判據”。令：申=Z（Yi-Y計）2（式1-2）把（式1-1）代入（式1-2）中得:申=￡（Yi-a0-a1Xi）2（式1-3）當￡（Yi-Y）平方最小時，可用函數申對a0、a1求偏導數，令這兩個偏導數等于零。亦即：ma0+（￡Xi）al=￡Yi（式1-4）（ZXi）a0+（》Xi2）al=￡（Xi,Yi）（式1-5）得到的兩個關于a0、a1為未知數的兩個方程組，解這兩個方程組得出：a0=（￡Yi）/m-a1（￡Xi）/m（式1-6）al=[m￡XiYi-（￡Xi￡Yi）]/[m￡Xi2-（》Xi）2）]（式1-7）這時把a0、a1代入（式1-1）中，此時的（式1-1）就是我們回歸的元線性方程即：數學模型。在回歸過程中，回歸的關聯式是不可能全部通過每個回歸數據點（x1,y1.x2,y2...xm,ym）,為了判斷關聯式的好壞，可借助相關系數“R”，統計量“F”，剩余標準偏差“S”進行判斷；“R”越趨近于1越好；“F”的絕對值越大越好；“S”越趨近于0越好。R=[￡XiYi-m（￡Xi/m）（￡Yi/m）]/SQR{[￡Xi2-m（￡Xi/m）2][￡Yi2-m（￡Yi/m）2]}（式1-10）*在（式1-1）中，m為樣本容量，即實驗次數；Xi、Yi分別任意一組實驗X、Y的數值。從計算的角度看，最小二乘法與插值法類似，都是處理數據的算法.但從創設的思想看，二者卻有本質的不同。前者尋求一條曲線，使其與觀測數據“最接近”，目的是代表觀測數據的趨勢；后者則是使曲線嚴格通過給定的觀測數據，其目的是通過來自函數模型的數據來近似刻畫該函數.在觀測數據帶有測量誤差的情況下，就會使得這些觀測數據偏離函數曲線，結果使得與觀測數據保持一致的插值法不如最小二乘法得到的曲線更符合客觀實際。最小二乘法公式》（X--X平）（Y--Y平）=￡（XY--X平Y--XY平+X平Y平）=￡XY--X平￡Y--Y平》X+nX平Y平=￡XY--nX平Y平--nX平Y平+nX平Y平=￡XY--nX平Y平￡（X--X平F2=Y（X人2--2XX平+X平A2）=￡XA2--2nX平人2+nX平A2=￡XA2--nX平人2Y=kX+b:k=（（XY）平--X平*Y平）/（（XA2）平--（X平）人2）;b=Y平--kX平X平=1/n￡Xi；（XY）平=l/n》XiYi什么時候用最小二乘法在研究兩個變量之間的關系時，可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數，進而建立經驗方程.例如，在現實世界中，這樣的情形大量存在著：兩個變量X和Y（比如身高和體重）彼此有一些依賴關系，由X可以部分地決定Y的值，但這種關系又是不確定的?人們常常借助統計學中的回歸模型來尋找兩個變量之間的關系，而模型的建立當然是依據觀測數據.首先通過試驗或調查獲得x和Y的一組對應關系（x,Y），（x,Y）,…，（x,Y），然后回答下1122nn列5個問題：這兩個變量是否有關系？（畫出散點圖，作直觀判斷）這些關系是否可以近似用函數模型來描述？（利用散點圖、已積累的函數曲線形狀的知識和試驗數據，選擇適當的回歸模型，如一元線性模型y=bo+bix，二次函數模型y=b0＋bx＋bx2等）12建立回歸模型.對模型中的參數進行估計，最小二乘法是這些參數的一種常用估計方法.討論模型的擬合效果.在上述第3步中，設所建立的回歸模型的一般形式是丫二f（x|9）+匕，其中Y稱為響應變量，x稱為解釋變量或協變量；f（x|9）是一個由參數9決定的回歸函數；￡是一個不可觀測的隨機誤差.為了通過試驗數據來估計參數9的值，可以采用許多統計方法，而最小二乘法是目前最常用、最基本的?由9的估計值“決定的方程y=f（x|9）稱為經驗回歸方程或經驗方程.教科書中涉及的回歸模型是最簡單的一元線性模型此時模型的擬合效果可以通過Pearson相關系數來描述。事實上，在線性回歸模型中可以證明相關指數等于相關系數的平方.4．算例例題一一組測量數據{(x，y)，i=0,l,2,…,m},基于最小二乘原理，求得變量x和y之間的ii函數關系f(x,A)，使它最佳地逼近已知數據。其中A=(a,a,...,a)是一些待定參數。0ln為了是問題的提法更有一般性，通常把最小二乘法中的|P||2都考慮為加權平方和，即2||5||2=￡W(x)(f(x)-y)22iiii=0其中，譏x)>=0是［a,b］上的權函數，它表示反應數據(X,y)在實驗中所占數據的比重。TOC\o"1-5"\h\ziii選擇參數A使得加權平方和最小，即求滿足￡w(x)(f*(x)-y)2=min￡rn(x)(f(x)-y)2,rn(x)>=0(1)iiiiiiii=0i=0的f*(x)。要使(1)最小，它轉換為求多元函數的極小點(a*,a*…a*)問題。01n由求多遠函數極值的必要條件，有若記(申,申)=￡?(xm(xm(x)，jkijikii=0則可改寫為￡(申,申)a=d(k=0,1，…,n).(2)jkjkj=0此方程成為法方程。它也可以寫成矩陣形式由于9，9…申線性無關，故|G|豐0,方程組(2)存在唯一解01na=a*(i=1,2,3???n),kk從而得到函數f(x)的最小二乘法解為可以證明，這樣得到的對于任何多項式形式的S(x)，都有故S*(x)確實所求最小二乘解。以上法方程是一種實現方法，對于多項式擬合，我們還可以這樣求。設f(x,A)=a+ax+...+ax”，由最小二乘法確定其系數a,a，…,a，假設每個數據點的01n01n

權為1，令申（a權為1，令申（a0,叮二區e2=遲(ai0i=0i=0+ax+...+axn11ni一y)2最小,i則有：=2蘭xj(a+a+...+axn—y)=0(j=0,l,2,…n)dai01niiji=0即：區xjyii遲axj+axj+i+...+axn+j)即：區xjyii0i1inii=0m+1得方程組：i=0m+1得方程組：i=0xi賢x2ii=0E'Vxnxn+1iii=0i=0Xxnia[Xy[i=0[[Xmi=0X0axn+1iX1a=xy[iii=12[i=0Xx2nii=0an[Xxny[iii=0i=0此方程稱為多項式擬合的法方程。令X=m+1xii=X=m+1xii=0xi賢x2ii=0E'Vxnxn+1iii=0i=0Xxni[Xy.[i[[mi=0[XxyXxn+1[iiiY=i=1[i=0Xx2ni[Xxnyiii=0」Li=0」A=a0a1a2則得：XA=Y，從而A=X-1Y例題二在研究某單分子化學反應速度時,得到下列數據:i12345678369121518212457.641.931.022.716.612.28.96.5其中t表示從實驗開始算起的時間,y表示時刻工反應物的量.試根據上述數據定出經驗公式y=f（T）.y=kem解：由化學反應速度的理論知,經驗公式應取其中k,m為待定常數.對其取對數得lny=mt+lnk因此a,b應滿足法方程組：經計算得解得:a=—0.104,b=4.364所求經驗公式為其均方誤差為V'1M=0.13577通過計算確定某些經驗公式類型的方法:觀測數據：（x.,y.）（i=0,1,，n）ii轉化為lny二blnx+lna用最小二乘法確定a,b5、總結最小二乘法是指使因變量估計值與實測值間的相對誤差平方和為最小。在研究兩個變量之間的關系時，我們可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數，進而建立數學模型，然后通過MATLAB求解模型。通過本文實例模型（非多項式