1、最小二乘法最小二乘法最小二乘解的求法最小二乘解的求法加權最小二乘法加權最小二乘法主要內容主要內容問題的提出問題的提出一、問題的提法一、問題的提法怎樣從給定的一組數據出發，在某個函數類中怎樣從給定的一組數據出發，在某個函數類中尋找一個尋找一個“最好最好”的函數來擬合這組數據。的函數來擬合這組數據。二、目二、目 的的在科學實驗和生產實踐中，經常要從一組實驗數據在科學實驗和生產實踐中，經常要從一組實驗數據出發，尋找函數出發，尋找函數y=f(x)的一個近似公式（稱為經驗公的一個近似公式（稱為經驗公式）。已有的多項式插值法解決這類問題有明顯的式）。已有的多項式插值法解決這類問題有明顯的缺陷：實驗數據有誤

2、差；實驗數據量大等。缺陷：實驗數據有誤差；實驗數據量大等。三、方三、方 法法曲線擬合方法曲線擬合方法.一、基本概念：殘差一、基本概念：殘差(1,2,)iiieyyiN二、殘差的選取方法（原則）二、殘差的選取方法（原則）1、選取、選取 ，使偏差絕對值之和最小，即，使偏差絕對值之和最小，即)(x11minNNiiiiieyy擬合的目的：使得殘差最小，其中擬合的目的：使得殘差最小，其中 為所要找為所要找的函數。的函數。( )yx3、選取、選取 ，使偏差平方之和最小，即，使偏差平方之和最小，即)(x2、選取、選取 ，使偏差最大絕對值最小，即，使偏差最大絕對值最小，即)(x2211minNNiiiiie

3、yymaxmaxminiiiiieyy三、最小二乘原則（方法）三、最小二乘原則（方法）1、定義：使、定義：使“偏差平方和最小偏差平方和最小”的原則的原則稱為最小二乘原則。稱為最小二乘原則。2、定義：按照最小二乘原則選取擬合曲、定義：按照最小二乘原則選取擬合曲線的方法，稱為線的方法，稱為最小二乘法最小二乘法。3、線性最小二乘問題的提法、線性最小二乘問題的提法對給定數據表對給定數據表要求在某個函數類要求在某個函數類 中尋求一個函數（中尋求一個函數（線性構成線性構成）使使 滿足條件滿足條件1212NNx x xxy y yy01( ),( ),( )()mxxxmN *0011( )( )( )(

4、)mmxaxaxax)(*x22( )11 ( )min ( )NNiiiixiixyxy式中，式中， 是函數類是函數類 中中任一函數。任一函數。0 01 1( )( )( )( )m mxaxaxax滿足上述關系式的函數滿足上述關系式的函數 ，稱為上述最小二乘，稱為上述最小二乘問題的問題的最小二乘解最小二乘解。)(*x如何求解最小二乘問題？如何求解最小二乘問題？22( )11 ( )min ( )(*)NNiiiixiixyxy1、確定函數類、確定函數類 原則：根據實際問題與所給數據點的變化規律；原則：根據實際問題與所給數據點的變化規律；有兩個基本環節有兩個基本環節2、求解如下方程：、求解如

5、下方程：一、求解的基本原理：極小值原理一、求解的基本原理：極小值原理點點 是多元函數是多元函數的極小值點，從而有的極小值點，從而有 滿足方程組滿足方程組20110(,)( )NmmkkiiikS a aaaxy 01(,)ma aa01,ma aa0,(0,1,)kSkma二、正則（法）方程組二、正則（法）方程組0001000101111101( , ) ( , )( ,)( , )( , ) ( , )( ,)( , )(*)( , ) ( , )( ,)( , )mmmmmmnmafafaf 如果定義如果定義:對任意函數對任意函數 和和 ，引入記號，引入記號( )h x( )g x1( ,

6、 )( ) ( )Niiih gh x g x三、定理（最小二乘解的存在唯一性定理）三、定理（最小二乘解的存在唯一性定理）對于給定的一組實驗數據對于給定的一組實驗數據 ( 互異，互異， ）, 在函數類在函數類 （ 且且 線性無關）線性無關）中，存在唯一的函數中，存在唯一的函數使得關系式（使得關系式（*）成立，并且其系數）成立，并且其系數 可以通過解法方程組（可以通過解法方程組（*）得到。）得到。( ,)iix yix1,2,iN01 ( ), ( ),( )mxxx01( ),( ),( )mxxxmN*0011( )( )( )( )mmxaxaxax*01,ma aa作為一種應用，擬合曲線

7、假設為代數曲線，即取作為一種應用，擬合曲線假設為代數曲線，即取:01( )1,( ),( )mmxxxxx則有：則有：11(,)( ,0,1,)NNjkj kjkiiiiix xxj km 11(,)(0,1,)NNkj kkiiiiifx yxkm四、應用分析四、應用分析于是正則（法）方程組為：于是正則（法）方程組為：11102111111121111NNNmiiiiiiNNNNmiiiiiiiiinNNNNmmmmiiiiiiiiiNxxyaxxxax yaxxxx y五、應用舉例五、應用舉例說明最小二乘法解決實際問題的具體步驟和某些技巧。說明最小二乘法解決實際問題的具體步驟和某些技巧。例

8、例1(補充補充) 某種鋁合金的含鋁量為某種鋁合金的含鋁量為x(),其熔解溫度為其熔解溫度為y（0C），由實驗測得），由實驗測得x與與y的數據如下表左邊的三列。試的數據如下表左邊的三列。試用最小二乘法建立用最小二乘法建立x與與y的經驗公式。的經驗公式。解：解：1、將、將數據數據進行描圖觀察；進行描圖觀察；2、確定擬合曲線的形式。這里根據所描圖形分析，、確定擬合曲線的形式。這里根據所描圖形分析，擬合曲線接近于一直線，故可用擬合曲線接近于一直線，故可用進行擬進行擬合這組數據；合這組數據；3、建立法方程組建立法方程組；4、解法方程組；、解法方程組；5、檢驗擬合值與實測值之間的偏差（、檢驗擬合值與實測值

9、之間的偏差（）：）：616161261616iiiiiiiiiiiyxybaxxx法方程組法方程組3 .10117628.283656 .39614589 .3966baba對應的代數方程組：對應的代數方程組：1、實際問題的解決中測得的數據并不都是等精度、等、實際問題的解決中測得的數據并不都是等精度、等地位的。顯然，對于精度高、地位重的數據應該以足夠地位的。顯然，對于精度高、地位重的數據應該以足夠的重視，在計算時，給以足夠的、更大的權重，在這種的重視，在計算時，給以足夠的、更大的權重，在這種情況下，求給定的數據的擬合曲線，情況下，求給定的數據的擬合曲線，2、利用最小二乘法原則上解決了最小二乘法意義下的、利用最小二乘法原則上解決了最小二乘法意義下的曲線擬合問題，但在實際問題的解決時，曲線擬合問題，但在實際問題的解決時，n往往很大，往往很大，法方程組往往是病態的，因而給求解帶來了一定的困難，法方程組往往是病態的，因而給求解帶來了一定的困難，為了解決這一問題，近年來，產生了一些新方法來克服為了解決這一問題，近年來，產生了一些新方法來克服這一困難，利用正交函數（正交多項式）作多項式的擬這一困難，利用正交函數（正交多項式）作多項式的擬合。合。小結小結曲線擬合的最小二乘法的基本原理、具體的