1、線性最小二線乘問(wèn)題的存在與唯一線性模型的正規(guī)方程線性模型舉例線性模型引深及推廣線性最小二乘方法評(píng)注正交多項(xiàng)式問(wèn)題的提出 實(shí)例講解 某種合成纖維的強(qiáng)度與其拉伸倍數(shù)有直接關(guān)系，下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)拉伸倍數(shù)的記錄。 提示：將拉伸倍數(shù)作為x, 強(qiáng)度作為y,在座標(biāo)紙上標(biāo)出各點(diǎn)，可以發(fā)現(xiàn)什么?數(shù)據(jù)表格編號(hào)拉伸倍數(shù)強(qiáng)度kg/mm2編號(hào)拉伸倍數(shù)強(qiáng)度kg/mm211.91.4135.05.522.01.3145.25.032.11.8156.05.542.52.5166.36.452.72.8176.56.062.72.5187.15.373.53.0198.06.583.52.7208.

2、07.094.04.0218.98.5104.03.5229.08.0114.54.2239.58.1124.63.52410.08.10 01 12 23 34 45 56 67 78 89 90 02 24 46 68 810101212 從上圖中可以看出強(qiáng)度與拉伸倍數(shù)大致成線形關(guān)系，可用一條直線來(lái)表示兩者之間的關(guān)系。 解：設(shè) y*=a+bxi i ，令=yi-y*i=yi-a-bxi，根據(jù)最小二乘原理，即使誤差的平方和達(dá)到最小，也就是令 n Q=i2 i=1為最小 ，即求使 (a,b)=)22412412(xyiiiiiba 解得： a=0.15 , b=0.859 直線方程為：y*=0

3、.15+0.859x60.73161.8295 .1271 .1135 .12724baba 插值法是使用插值多項(xiàng)式來(lái)逼近未知或復(fù)雜函數(shù)的，它 要求插值函數(shù)與被插函數(shù)在插值節(jié)點(diǎn)上函數(shù)值相同 ，而在其他點(diǎn)上沒(méi)有要求。在非插值節(jié)點(diǎn)上有時(shí)函數(shù)值會(huì)相差很大 。若要求在被插函數(shù)的定義區(qū)間上，所選近似函數(shù)都能與被插函數(shù)有較好的近似，就是最佳逼近問(wèn)題。最佳逼近是在函數(shù)空間 M中選 P(x) 滿足 但由于絕對(duì)值函數(shù)不宜進(jìn)行分析運(yùn)算,常將上式化為來(lái)討論 ，于是最佳逼近問(wèn)題變?yōu)樽罴哑椒奖平鼏?wèn)題 ,而離散的最佳平方逼進(jìn)問(wèn)題就是常說(shuō)的曲線擬合它們都可用最小二乘法求解。 主頁(yè)(*)min)()(maxxpxfbxami

4、n)()()(2dxxxpxfbamin)()(20 xpxfiimii曲線擬合的最小二乘法曲線擬合的最小二乘法 最小二乘原理 當(dāng)由實(shí)驗(yàn)提供了大量數(shù)據(jù)時(shí),不能要求擬合函數(shù) 在數(shù)據(jù)點(diǎn) 處的偏差,即 (i=1,2,m) 嚴(yán)格為零,但為了使近似曲線盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢(shì) ,需對(duì)偏差有所要求.通常要求偏差平方和 最小,此即稱為最小二乘原理),(yxiiyxiii)( mimiiyxii1212)(|)(x 最小二乘法的求法最小二乘法的求法yxxxxyxxaxyxaayyaaaaaaiimijjikimijkjminkmiijiijikkmiijinkikkjmiiinnnfxxxy)(,)()(

5、,:)()()()()(:min)(),.,()(.)()(:* 11101101210110002 :020,n)mm若引入記號(hào)得可得求偏導(dǎo)數(shù)并令其為零對(duì)函數(shù)組數(shù)據(jù)且共有設(shè)近似方程為 就是所求的擬合函數(shù)存在唯一解線性無(wú)關(guān)時(shí)當(dāng)可知可得矩陣則有 niiinnnnnnnnnjkjkxnixxxfffnjfaaaaa0i101010101110101000n0k10 ,10:a)(),.,()(),.(),(,.,.,.,.,.,.,),.,(,最小二乘法的幾種特例最小二乘法的幾種特例)(),.,1 , 0(.n)mm(,.)(:,. 11021122210 xnimxxayxyxyaaaxxxxx

6、xxxxaxaaaiiniiiinninininiiiniinn即可求得擬合函數(shù)由此可得到相應(yīng)的系數(shù)組數(shù)據(jù)且共有的相應(yīng)法方程組則以同樣原理即擬合函數(shù)式擬合函數(shù)常為代數(shù)多項(xiàng)見(jiàn)情況作為曲線擬合的一種常即可解得即對(duì)于擬合函數(shù)擬合這就是用途最廣的線性時(shí)特別的當(dāng)bayxybaxxxxbayiiiiiim0000200,.,1n. 2例例 題題 下面舉個(gè)例子以說(shuō)明用最小二乘法解題的步驟。例例 電流通過(guò) 2電阻，用伏安法側(cè)得的電壓電流如表 I(A)1246810 V(V)1.83.78.212.0 15.8 20.2用最小二乘法處理數(shù)據(jù)。解解 1.確定 V=(I)的形式。 將數(shù)據(jù)點(diǎn)描繪在坐標(biāo)上 （如下圖）

7、，可以看出這些點(diǎn)在一條直線的附近，故用線形擬合數(shù)據(jù)，即 2.建立方程組。IaaV10二 線性最小問(wèn)題的存在與唯一 在科學(xué)實(shí)驗(yàn)中，很多情況數(shù)據(jù)間存在線性或可轉(zhuǎn)化為線性的關(guān)系。線性最小二乘是最基本也是最重要的一種。 1 線性最小二乘問(wèn)題與線性最小二乘求解 設(shè)Ax=b 其中 AR mn，bR m，x R n當(dāng)mn 時(shí)，上方程超定方程組 令 r =b-Ax ， 一般，超定方程無(wú)通常意義下解， 既無(wú)x使 t=0。對(duì)這類方程求解意義是求x，使 r 22 = b-Ax 22為最小，稱x為Ax=b的最小二乘解。主頁(yè)2 最小二乘解的存在性與唯一性 定理 ：x* 為Ax=b 的最小二乘解充要條件 AT A X *

8、 =AT b 證明 ：充分性：若存在X* ，使 AT A X * =AT b 則對(duì)任意向量 令 x=x* +y 有 b Ax 22 = b AX* 222（y，AT（ b AX*）+ A y 22 = b AX* 22 + A y 22 b AX* 22 X*為Ax=b的最小二乘解。 必要性： 令 b AX 22=（x1，x2，x n）= （x） 則由多元函數(shù)極值的必要條件知，若X*為極值點(diǎn)， 則 （x） | | =0 x i |x=x* 而（x1，x2，x n）=b T b 2Ax+（Ax）TAx （x） 由 =0 （i=1，2， n） ATAx=ATb。 x i 若x*為Ax=b最小二乘解

9、，則AT A x *=ATb。證畢 AT A x =AT b 稱為最小二乘問(wèn)題的 Ax=b法方程組。當(dāng)A =（aIj）mn 的秩為n ，既A的列線性無(wú)關(guān)時(shí)， AT A x =AT b有唯一解。三 線形模型的正規(guī)方程 關(guān)于擬和模型必須能反映離散點(diǎn)分布基本特征。常選取是線性擬和模型，既所屬函數(shù)類為M =Span 0，1， n， 其中 0，1， n 是線性無(wú)關(guān)的基函數(shù) m 于是 （x）= c j j（x） j=0 通常選取每個(gè)j是次數(shù)j的簡(jiǎn)單多項(xiàng)式，即M 是次 數(shù) n 的n次多項(xiàng)式空間。取 j（x）=x j ， j=0，1，n M =Span1 ,x , x2，x n， 從而（x）= C0 +C1

10、x1 + + C n x n =Pn(x)主頁(yè) n 設(shè)離散數(shù)據(jù)模型 （x）= c j j（x） j=0則求解歸結(jié)為 n+1元函數(shù)S的 極值問(wèn)題: m n S（c0，c1，c n）= i y i c j j（xi） 2 i=0 j=0顯然S達(dá)最小值必要條件是 S m n =2 i y i c j j（xi） k（x i）= 0 C k i=0 j=0 （k=0 ，1，n）這是關(guān)于 c0，c1，c n 的方程組， n改寫(xiě)成 （j ， k) c j =(y, k ) (k=0,1,2,n)稱為正規(guī)方程組 j=0其中 m n（j ， k )= i j（xi） k（x i） i=0 j=0一般，n m，

11、函數(shù) 0，1，n，線性無(wú)關(guān)能保證正規(guī)方程組的系數(shù)矩陣 （ 0， 0 ）（1， 0 ）， （n ， 0 ） G= ， (*) （ 0， n ） （1， n ） ， （ n ， n ） 的行列式不為零。因此正規(guī)方程組有唯一解。設(shè)其解為 c j =c j *，j=0，1，n則所要求的離散點(diǎn)的擬合函數(shù)(最佳平方逼近)為 n *（x）= c j *j（x）。 J=0對(duì)已知連續(xù)函數(shù)f(x)的最佳平方逼近問(wèn)題與離散點(diǎn)的最佳平方逼近有相同形式的正規(guī)方程組和結(jié)論,只不過(guò)內(nèi)積公式變?yōu)?dxjxxxkbajk)()()(),( 表中提供離散數(shù)據(jù)（x i ， y i），（0i4） 試用二次多項(xiàng)式進(jìn)行擬合. i xi

12、yi *（xi） yi - *（xi） 0 0 1.0000 1.0052 -0.0052 1 0.25 1.2840 1.2740 0.0100 2 0.50 1.6487 1.6482 0.0005 3 0.75 2.1170 2.1279 -0.0109 4 1.00 2.7183 2.7130 0.0053四線形模型舉例主頁(yè)解:取 M=Span（1，x，x2 ） 其三個(gè)基函數(shù)為 j （x）=x j j=0, 1, 2 擬和函數(shù) 是基函數(shù)的線性組合: （x）=c0+c1x+c2x2 取0=1=4=1 ,由公式 5 5（ j，k）= xi j+k， （y， k）= y i x i k ，

13、i=1 i=1 j，k=0，1，2 可以算出（ 0 ，0 ）=5，（1， 1）=1.875，（ 2 ，2）=1.3828 （0 ，1）=（ 1 ，0）=2.5,（0 ，2）=（ 2 ，0）=1.875（1 ，2）=（ 2 ，1）=1.5625（y ， 0）=8.7680，（y，1）=5.4514，（y，2）=4.4215 正規(guī)方程為5C0+2.5C1+1.875C2 =8.76802.5C0+1.875C1+1.5625C2 =5.45141.875C0+1.5625C1+1.3828C2=4.415解得 C0=1.0052，C1=0.8641，C2=0.8427所求連續(xù)模型 * 為， *（x

14、）=1.0052+0.8641x+0.8437x2最小平方殘差 5 | y *|22 = （ yi *（x i)2 = 2.7610-4 i=1 由上述我 們已經(jīng)知到上述線性模型實(shí)際上是最小二乘法的推廣，實(shí)際上也就是多項(xiàng)式逼近函數(shù)的問(wèn)題。它不僅可以解決一元問(wèn)題還可用于多元問(wèn)題。除此外還可求解某些非線性問(wèn)題。求解方法是將其通過(guò)一定的代數(shù)變換轉(zhuǎn)換為可用線性模型求解的問(wèn)題。 比如對(duì)方程 y=a e b x 取對(duì)數(shù)，得l n y=l n a+b x， 令 Y=lny, A= l n a, B=b 則問(wèn)題轉(zhuǎn)化為解 Y=A+Bx的線性問(wèn)題。 類似的再如，對(duì)y=a+ b/ x擬和可對(duì)此方程取倒數(shù)，則新變量1

15、/y于x成線性關(guān)系。五線性模型引深及推廣主頁(yè)六最小二乘法方法評(píng)注。主頁(yè)正交多項(xiàng)式正交多項(xiàng)式 在高等數(shù)學(xué)中介紹付立葉級(jí)數(shù)時(shí)，曾提到函數(shù)系 1,cosx,sinx,cos2x,sin2x,cosnx,sinnx,中，由于任意兩個(gè)函數(shù)乘積在區(qū)間-，+上的積分都等于零，則說(shuō)這個(gè)函數(shù)系在-，+上是正交的，并稱這個(gè)函數(shù)系為正交函數(shù)系。下面給出正交函數(shù)系定義：設(shè)函數(shù)f(x),g(x)a,b,且則稱f(x)與g(x)在a,b上帶權(quán)(x)正交,0)()()(),(dxxgxfxgfba在a,b上連續(xù)的函數(shù)0(x), 1(x), 2(x),. k(x)., 滿足 則稱該函數(shù)系是在區(qū)間a,b上帶權(quán)(x)正交函數(shù)系.

16、下面介紹與上述定義有關(guān)的幾個(gè)概念，然后引出正交多項(xiàng)的概念，最后再介紹正交多項(xiàng)式的性質(zhì)以及幾種常見(jiàn)的正交多項(xiàng)式。1.權(quán)函數(shù):(1)設(shè)a,b是有限或無(wú)限區(qū)間, (x)是定義在a,b上的非零可積函數(shù)，若其滿足則稱(x)是a,b上的一個(gè)權(quán)函數(shù)。kjAkjxdxxxkkbajkj00)()()()(),(baba, 2 , 1)()2(0)( (1)ndxxxdxxn存在2 2 內(nèi)積與范數(shù)內(nèi)積與范數(shù)設(shè)f(x),g(x)a,b, (x)是a,b上的一個(gè)權(quán)函數(shù)，稱為f(x)與g(x)在為 a,b上以權(quán)函數(shù)(x)的內(nèi)積。顯然，對(duì)于任意實(shí)數(shù)a,b,有稱為f(x)的帶權(quán)(x)的2范數(shù)。dxxgxfxgfba)()

17、()(),(212212)()(),(dxxfxfffba),(),(),(hfbgfabhagf3 正交多項(xiàng)式。最高冪項(xiàng)的系數(shù)0na的幾次多項(xiàng)式, 1 , 0),(nxgn若滿足jigjiggjji, 0, 0),(2則)(xgn稱為在a,b上帶權(quán))(x正交，)(xgn稱為a,b上帶權(quán))(x的幾次正交多項(xiàng)式。正交多項(xiàng)式的性質(zhì)正交多項(xiàng)式的性質(zhì)定理1 a,b上帶權(quán)(x)的正交多項(xiàng)式系gn(x)一定是 a,b上線相關(guān)的函數(shù)系。定理2 設(shè)是gn(x)a,b上帶權(quán)(x)的正交多項(xiàng)式系，則對(duì)于任何次數(shù)不高于n-1的多項(xiàng)式q(x),總有 (q(x), gn(x)=0 ( n=1,2,） 定理3 n次正交多項(xiàng)式gn(x)有n個(gè)互異定根，且全部若在(a,b)內(nèi)。0)(),(xgxqn定理4:任何相鄰的三個(gè)正交多項(xiàng)式,都具有下列遞推關(guān)系式 gn+1(x)=(nx-n)gn(x)-n-1gn-1(x)常見(jiàn)的正交多項(xiàng)式常見(jiàn)的正交多項(xiàng)式勒讓德多項(xiàng)式(Legendre)切比雪夫多項(xiàng)式(Chebyshev)拉蓋爾多項(xiàng)式(Laguerre)埃爾米特多項(xiàng)式 (Hermite)勒讓德多項(xiàng)式(Legendre)-1,1 , (x)=1遞推關(guān)系:P0(x)=1, P1(x)=x, 22)1(!21)(xdxdxPnnnn) 13 ()(2212xxP)35()(3213xxxPnnxPxxPxPn