節向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil1一、定義在解析幾何中，兩個點和間的距離等于向量

-的長度.在歐氏空間中我們同樣可引入定義13

長度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當

=時等號才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個點和間的距離等于向量Foil2二、向量到子空間各向量間的最短距離在中學所學幾何中知道一個點到一個平面(或一條直線)上所有點的距離以垂線最短.下面可以證明一個固定向量和一個子空間中各向量的距離也是以“垂線最短”.先設一個子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說一個向量垂直于子空間W，就是指向量垂直于W

中任何一個向量.容易驗證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學所學幾何中知道一個點Foil3垂直于每個i

(i=1,2,…,k).現在來證明向量到子空間各向量間的距離以垂線最短.設

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對W中任一向量，有|-

||-

|.我們可以畫出下面的示意圖：垂直于每個i(i=1,2,…,k).Foil4---W

圖9-2---W圖9-2Foil5證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil6三、最小二乘法1.引例上述幾何事實可以用來解決一些實際問題.其中的一個應用就是解決最小二乘法問題.先看下面的例子.引例已知某種材料在生產過程中的廢品率y與某種化學成分x

有關.下列表中記載了某工廠生產中y

與相應的x

的幾次數值：三、最小二乘法1.引例上述幾何事實可以用來解決一些實際問Foil7y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對x

的一個近似公式.解把表中數值畫出圖來看，發現它的變化趨勢近于一條直線.因此我們決定選取x

的一次式ax+b

來表達.當然最好能選到適當的a,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil83.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實際上是不可能的.任何a,b

代入上面各式都會發生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實際上是不可Foil9(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現在轉向一般的最小二乘法問題.(3.6a+b-1.00)2+(3.7a+Foil102.定義定義14

線性方程組可能無解.即任何一組數x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無解.即任何一組數Foil11不等于零.我們設法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問題就叫做最小二乘法問題.3.最小二乘法的代數表示下面我們利用歐氏空間的概念來表達最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們設法找x10,x20,…,xs0Foil12(2)(2)Foil13用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil14把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil154.最小二乘解的求法應用前面所講的結論，設Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應用前面所講的結論，設Y=AXFoil16回憶矩陣乘法規則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規則，上述一串等式可以寫成矩陣相乘的式子，即1Foil17這就是最小二乘解所滿足的代數方程，它是一個線性方程組，系數矩陣是ATA，常數項是ATB.這種線性方程組總是有解的.(參見第5章習題17)現在回到前面的例子，易知這就是最小二乘解所滿足的代數方程，它是一個線性方程組，系數矩Foil18最小二乘解a,b

所滿足的方程是即為解得a=-1.05,b=4.81(取三位有效數字).最小二乘解a,b所滿足的方程是即為解得a=-1.Foil19本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!若想結束本堂課,請單擊返回按鈕.本節內容已結束!本節內容已結束!本節內容已結束!本節內Foil20節向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil21一、定義在解析幾何中，兩個點和間的距離等于向量

-的長度.在歐氏空間中我們同樣可引入定義13

長度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當

=時等號才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個點和間的距離等于向量Foil22二、向量到子空間各向量間的最短距離在中學所學幾何中知道一個點到一個平面(或一條直線)上所有點的距離以垂線最短.下面可以證明一個固定向量和一個子空間中各向量的距離也是以“垂線最短”.先設一個子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說一個向量垂直于子空間W，就是指向量垂直于W

中任何一個向量.容易驗證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學所學幾何中知道一個點Foil23垂直于每個i

(i=1,2,…,k).現在來證明向量到子空間各向量間的距離以垂線最短.設

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對W中任一向量，有|-

||-

|.我們可以畫出下面的示意圖：垂直于每個i(i=1,2,…,k).Foil24---W

圖9-2---W圖9-2Foil25證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil26三、最小二乘法1.引例上述幾何事實可以用來解決一些實際問題.其中的一個應用就是解決最小二乘法問題.先看下面的例子.引例已知某種材料在生產過程中的廢品率y與某種化學成分x

有關.下列表中記載了某工廠生產中y

與相應的x

的幾次數值：三、最小二乘法1.引例上述幾何事實可以用來解決一些實際問Foil27y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對x

的一個近似公式.解把表中數值畫出圖來看，發現它的變化趨勢近于一條直線.因此我們決定選取x

的一次式ax+b

來表達.當然最好能選到適當的a,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil283.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實際上是不可能的.任何a,b

代入上面各式都會發生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實際上是不可Foil29(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現在轉向一般的最小二乘法問題.(3.6a+b-1.00)2+(3.7a+Foil302.定義定義14

線性方程組可能無解.即任何一組數x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無解.即任何一組數Foil31不等于零.我們設法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問題就叫做最小二乘法問題.3.最小二乘法的代數表示下面我們利用歐氏空間的概念來表達最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們設法找x10,x20,…,xs0Foil32(2)(2)Foil33用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil34把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil354.最小二乘解的求法應用前面所講的結論，設Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應用前面所講的結論，設Y=AXFoil36回憶矩陣乘法規則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規則，上述一串等式可以寫成矩陣相乘的式子，即1Foil37這就是最小二乘解所滿足的代數方程，它是一個線性方程組，系數矩陣是ATA，常數項是ATB.這種線性方程組總是有解的.(參見第5章習題17)現在回到前面的例子，易知這就是最小二乘解所滿足的