回歸分析根本原理目錄第1節回歸分析概述2第2節多元回歸分析根本原理2第3節回歸分析預測在測繪中的根底應用63.1回歸分析預測步驟63.2一元線性回歸分析應用73.3多元線性回歸分析應用73.4基于Matlab的回歸分析應用7第4節非線性回歸分析74.1非線性函數形式確實定與線性轉換74.2多面函數擬合法74.3基于正交函數系的擬合法8第1節回歸分析概述在我們現實生活中，處于同一個過程的變量往往是相互依賴和制約的，這二者的關系可以分為兩種形式：一種是確定性的關系〔譬如可以用一個直線方程來表示〕，另一種是不確定的，雖然有關系，但是關系的表現形式卻是不確定的，依賴于實際的情形，不能用一個精確的函數表達。舉個例子來說：人的血壓與年齡的關系，人的年齡越大血壓就會越高，但是相同年齡的人，血壓未必相同。也就是說血壓與是有關系的，但是二者的關系無法用一個確定的函數表示。血壓的取值是可觀測的，但是卻是不確定的，在回歸分析中，這種變量稱為不可控變量。在線性方程里自變量與因變量相對應，不可控變量也就是自變量。由此引入回歸分析的概念：研究一個隨機變量〔不可控變量〕與一個或者幾個可控變量之間相互關系的統計方法，就是回歸分析。只有一個自變量的回歸分析，成為一元回歸分析；有多個自變量的回歸分析，稱為多元回歸分析。回歸分析無非是求不可控變量與可控變量之間的關系因子，無論是一元的還是多元目的都是一樣的。回歸分析的主要內容有：如何確定因變量與自變量之間的回歸模型；如果根據樣本觀測數據估計并檢驗回歸模型及其未知參數；判別影響因變量的重要自變量；根據已經知道的值來估計和預測因變量的條件平均值并給出預測精度等。通常在數據挖掘里面或者信息檢索里面我們的應用無非是根據一系列訓練樣本(已觀測樣本)來預測一個未知的不可控變量的值。第2節多元回歸分析根本原理多元線性回歸分析是利用多元線性回歸模型進行分析的一種方法。多元線性回歸模型表示一種地理現象與另外多種地理現象的依存關系，這時另外多種地理現象共同對一種地理現象產生影響，作為影響其分布與開展的重要因素。設變量與變量具有統計關系，那么稱為影響因變量或因變量，為自變量或預報變量。所謂多元線性回歸模型是指這些自變量對的影響是線性的，即〔1〕其中，是與無關的未知參數，稱為對自變量的線性回歸函數。為隨機誤差，一般包括非重要自變量的省略、人為隨機行為、數學模型欠妥、歸并誤差、測量誤差。采用最小二乘法對上式中的待估計回歸系數進行估計，求得值后，即可利用多元線性回歸模型進行預測了。1、多元線性回歸模型的表示記組樣本觀測值為，，代入〔1〕式，那么有展開，即得〔2〕其中，相互獨立，且，，這個模型稱為多元線性回歸模型。令，，，那么上述函數模型可用矩陣形式表示為〔3〕可歸納總結為高斯-馬爾可夫模型。2、線性回歸模型參數的估值計算線性回歸模型中的回歸參數可通過變量的樣本數據〔觀測數據〕來估計，用最小二乘法可獲得回歸參數的最優無偏估計值。記的估計量，故的估計量參數估計的關鍵是求得觀測值的改正數，而滿足方程的有無限組，其中只有一組改正數的平方和為最小，這組最小改正數正是我們需要的，這種以改正數平方和為最小得到參數唯一解的準那么，稱為最小二乘準那么，其表達式為，下面利用最小二乘準那么對高斯-馬爾可夫模型進行參數估計。令估計值與原觀測量的差值為，那么有誤差方程按照最小二乘估計準那么，有為了得到參數估計值，構造函數求對的偏導數，令其為零，即可滿足最小的條件〔4〕根據列矩陣對列矩陣求導的性質，假設，那么對的導數為對〔4〕式求導過程為令，那么即得展開，有等式兩邊再次轉置，得，此為法方程即可求得的最小二乘估計值的最小二乘估計量為多元線性回歸模型標準差〔中誤差〕的計算公式為[備注]:自由度=樣本個數-樣本數據受約束條件的個數，即df=n-k〔df自由度，n樣本個數，k約束條件個數〕，n-1是通常的計算方法，更準確的講應該是n-k，n表示“處理〞的數量，k表示實際需要計算的參數的數量。(多余觀測數=總觀測數-必要觀測數)計算了多元線性回歸方程之后，為了將它用于解決實際預測問題，還必須進行數學檢驗。多元線性回歸分析的數學檢驗，包括回歸方程和回歸系數的顯著性檢驗。3、回歸模型〔即方程〕的顯著性檢驗設原假設為：，備選假設為：，，不全為零。構建統計量式中：為回歸平方和〔regressionsumofsquares，SSR〕，其自由度為；為殘差平方和〔residualsumofsquares，SSE〕，其自由度為。利用上式計算出值后，再利用分布表進行檢驗。給定顯著性水平，在分布表中查出自由度為和的值，如果≥，那么說明與的線性相關密切；反之，那么說明兩者線性關系不密切。表1線性回歸模型的方差分析表方差來源平方和自由度均方和值回歸SSR誤差SSE總計SST備注：把的個觀測值之間的差異，用觀測值與其平均值的偏差平方和來表示，稱為總離差平方和〔totaldeviationsumofsquares，SST〕。4、回歸系數的顯著性檢驗設原假設為：，備選假設為：，。構建統計量其中是回歸系數的標準差，是中第個對角線元素。值應該有個，對每一個可以計算一個值。給定顯著性水平，確定臨界值。假設≥，那么拒絕原假設，接受備選假設，即總體回歸系數。5、多元線性回歸模型的精度多元線性回歸模型精度可以利用殘差〔剩余〕標準差來衡量。越小，那么用回歸方程預測越精確；反之亦然。6、回歸模型的預報方程線性回歸模型的預報方程為預報就是給自變量某一特定值，對因變量值進行估計，求得的作為的預報值。即用預報，其預報誤差為，顯然與互相獨立，且有此即為預報精度計算公式。構造分布統計量式中，為的均方根值，給定顯著性水平，預報值的置信區間為第3節回歸分析預測在測繪中的根底應用3.1回歸分析預測步驟回歸分析預測法，是在分析自變量和因變量之間相關關系的根底上，建立變量之間的回歸方程，并將回歸方程作為預測模型，根據自變量在預測期的數量變化來預測因變量關系大多表現為相關關系。回歸分析預測法有多種類型。依據相關關系中自變量的個數不同分類，可分為一元回歸分析預測法和多元回歸分析預測法。在一元回歸分析預測法中，自變量只有一個，而在多元回歸分析預測法中，自變量有兩個以上。依據自變量和因變量之間的相關關系不同，可分為線性回歸預測和非線性回歸預測。回歸分析預測法的步驟1、根據預測目標，確定自變量和因變量明確預測的具體目標，也就確定了因變量。如預測具體目標是下一年度的銷售量，那么銷售量Y就是因變量。通過市場調查和查閱資料，尋找與預測目標的相關影響因素，即自變量，并從中選出主要的影響因素。2、建立回歸預測模型，計算回歸參數依據自變量和因變量的歷史統計資料進行計算，在此根底上建立回歸分析方程，即回歸分析預測模型。3、進行相關分析回歸分析是對具有因果關系的影響因素〔自變量〕和預測對象〔因變量〕所進行的數理統計分析處理。只有當變量與因變量確實存在某種關系時，建立的回歸方程才有意義。因此，作為自變量的因素與作為因變量的預測對象是否有關，相關程度如何，以及判斷這種相關程度的把握性多大，就成為進行回歸分析必須要解決的問題。進行相關分析，一般要求出相關關系，以相關系數的大小來判斷自變量和因變量的相關的程度。4、檢驗回歸預測模型，計算預測誤差回歸預測模型是否可用于實際預測，取決于對回歸預測模型的檢驗和對預測誤差的計算。回歸方程只有通過各種檢驗，且預測誤差較小，才能將回歸方程作為預測模型進行預測。5、計算并確定預測值利用回歸預測模型計算預測值，并對預測值進行綜合分析，確定最后預測值。應用回歸預測法時應注意的問題應用回歸預測法時應首先確定變量之間是否存在相關關系。如果變量之間不存在相關關系，對這些變量應用回歸預測法就會得出錯誤的結果。正確應用回歸分