SPC統計相關與回歸分析

課時安排本章的特點描述統計與推斷統計中相關回歸分析的差別第一節相關與回歸分析的基本概念(1學時)第二節一元線性回歸分析(4學時)第三節多元線性回歸分析(2學時)第四節非線性回歸分析(1學時)第五節相關分析(1學時)本章的特點與以往的統計學原理教科書不同，本章從推斷統計的角度講解相關分析與回歸分析。這是因為在有關現實經濟和管理問題的定量分析中，作為推斷統計的相關分析與回歸分析更加具有廣泛的應用價值。描述統計與推斷統計中相關回歸分析的差別描述統計:不需要對隨機誤差項作出各種假定,各種參數估計值是具體數值,是對總體存在的相關關系的描述,不存在顯著性檢驗.推斷統計:需要對隨機誤差項作出各種假定,各種參數估計量是隨機變量,抽取的樣本不同時,得到的估計值也不同.可以用來推斷總體.需要進行各種檢驗.

第一節相關與回歸分析的基本概念

一、函數關系與相關關系二、相關關系的種類三、相關分析與回歸分析四、相關表和相關圖一、函數關系與相關關系當一個或幾個變量取一定的值時，另一個變量有確定值與之相對應，稱這種關系為確定性的函數關系。當一個或幾個相互聯系的變量取一定數值時，與之相對應的另一變量的值雖然不確定，但它仍按某種規律在一定的范圍內變化。變量間的這種相互關系，稱為具有不確定性的相關關系。變量之間的函數關系和相關關系，在一定條件下是可以互相轉化的.二、相關關系的種類

按相關的程度可分為完全相關、不完全相關和不相關。一般的相關現象是不完全相關。按相關的方向可分為正相關和負相關。按相關的形式可分為線性相關和非線性相關。按變量多少可分為單相關、復相關和偏相關。一個變量對另一變量的相關關系，稱為單相關。一個變量對兩個以上變量的相關關系時，稱為復相關。在某一現象與多種現象相關的場合，當假定其他變量不變時，其中兩個變量的相關關系稱為偏相關。按相關的性質可分為“真實相關”和“虛假相關”。判斷什么是“真實相關”什么是虛假相關，必須依靠實質性科學三、相關分析與回歸分析相關分析是用一個指標來表明現象間依存關系的密切程度。回歸分析是用數學模型近似表達變量間的平均變化關系。相關分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量都是隨機變量。回歸分析必須事先確定具有相關關系的變量中哪個為自變量，哪個為因變量。一般地說，回歸分析中因變量是隨機的，而把自變量作為研究時給定的非隨機變量。一定要始終注意把定性分析和定量分析結合起來，在定性分析的基礎上開展定量分析。四、相關表和相關圖

相關表是一種反映變量之間相關關系的統計表。將某一變量按其取值的大小排列，然后再將與其相關的另一變量的對應值平行排列，便可得到簡單的相關表。相關圖又稱散點圖。它是以直角坐標系的橫軸代表變量X，縱軸代表變量Y,將兩個變量間相對應的變量值用坐標點的形式描繪出來，用來反映兩變量之間相關關系的圖形。根據表8-2的資料繪制的相關圖如下：第二節一一元元線性回回歸分析析一、標準準的一元元線性回回歸模型型二、一元元線性回回歸模型型的估計計三、一元元線性回回歸模型型的檢驗驗四、一一元線性性回歸模模型預測測一、標準準的一元元線性回回歸模型型(一)總總體回歸歸函數Ｙt＝β1＋β2Ｘt＋ut（8.1）ut是隨機誤誤差項，，又稱隨隨機干擾擾項，它它是一個個特殊的的隨機變變量，反反映未列列入方程程式的其其他各種種因素對對Ｙ的影影響。(二)樣樣本回歸歸函數:ｔ＝１，，２，...nｅt稱為殘差差，在概概念上，，ｅt與總體誤誤差項ut相互對應應；ｎ是是樣本的的容量。。總體回歸歸線與隨隨機誤差差項Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。。ut樣本回歸歸函數與與總體回回歸函數數區別總體回歸歸線是未未知的，，只有一一條。樣樣本回歸歸線是根根據樣本本數據擬擬合的，，每抽取取一組樣樣本，便便可以擬擬合一條條樣本回回歸線。。總體回歸歸函數中中的β1和β2是未知的的參數，，表現為為常數。。而樣本本回歸函函數中的的是是隨機機變量，，其具體體數值隨隨所抽取取的樣本本觀測值值不同而而變動。。總體回歸歸函數中中的ut是Ｙt與未知的的總體回回歸線之之間的縱縱向距離離，它是是不可直直接觀測測的。而而樣本回回歸函數數中的ｅｅt是Ｙt與樣本回回歸線之之間的縱縱向距離離，當根根據樣本本觀測值值擬合出出樣本回回歸線之之后，可可以計算算出ｅt的具體數數值。誤差項的的標準假假定假定１：：ＥＥ（（ut）＝０假定２：：Var(ut)＝Ｅ（（））＝＝假定３：：Cov(utus)＝Ｅ（（utus）＝０ｔｔ≠≠ｓ假定４：：自變量量是給定定變量，，與誤差差項線性性無關。。假定５：：隨機誤誤差項服服從正態態分布。。滿足以上上標準假假定的一一元線性性回歸模模型，稱稱為標準準的一元元線性回回歸模型型。二、一元元線性回回歸模型型的估計計（一）回回歸系數數的估計計最小二乘乘法設將Ｑ對求求偏導數數，并令令其等于于零，可可得:加以整理理后有：：回歸系數數的最小小二乘估估計量以上方程程組稱為為正規方方程組或或標準方方程組，，式中的的ｎ是樣樣本容量量。求解這一一方程組組可得：：（二）總總體方差差的估計計上式中，，分母是是自由度度，其中中ｎ是樣樣本觀測測值的個個數，２２是一元元線性回回歸方程程中回歸歸系數的的個數。。在一元元線性回回歸模型型中，殘殘差ｅt必須滿足足因而失去去了兩個個自由度度，所以以其自由由度為ｎｎ－２。。Ｓ2的正平方方根又叫叫做回歸歸估計的的標準誤誤差。S2＝＝０；＝０證明:殘差平方方和計算算一般采用用以下公公式計算算殘差平平方和：：（三）最最小二乘乘估計量量的性質質最小二乘乘估計量量是隨機機變量。。在標準假假定能夠夠得到滿滿足的條條件下，，回歸系系數的最最小二乘乘估計量量的期望望值等于于其真值值，即有有：Ｅ（））＝β1Ｅ（））＝＝β2其方差為為：Ｖａｒ（（））＝Ｖａｒ（（））＝估計量性性質的數數學證明明(一)線線性估計計量將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計計量，得得：===最小二乘乘估計量量可表現現為所要要估計的的參數的的真值與與隨機誤誤差項的的線性組組合推導用的的恒等式式＝０＝Ｘｔ＝令最小小二二乘乘估估計計量量期期望望值值和和方方差差的的推推導導Ｅ（（））＝＝β2＋ＥＥ（（∑∑ｗｗｔuｔ）＝ββ2＋∑∑ｗｗｔｔＥＥ（（uｔ）（根根據據標標準準假假定定４４））＝β2＋∑∑ｗｗｔ×０（（根根據據標標準準假假定定１１））＝β2Ｖａａｒｒ（（））＝＝ＶＶａａｒｒ（（β2＋∑ｗｗｔuｔ）＝ＥＥ（（∑ｗｗｔuｔ）2＝（（根根據據標標準準假假定定４４、、３３））＝（（根根據據標標準準假假定定２２））＝有效效性性證證明明：：設＝＝為為任任意意無無偏偏線線性性估估計計量量，，則則有有約約束束條條件件：：按照照與與上上面面同同樣樣的的方方法法，，可可推推導導出出Var()=比較較ＶＶａａｒｒ（（））與與Var()的的大大小小，，有有：：Var()－－Var（（））＝＝－－＝））＝以上上第第二二步步到到第第三三步步之之所所以以成成立立，，是是因因為為：：而利利用用前前面面關關于于線線性性無無偏偏估估計計量量的的約約束束條條件件，，可可有有：：三、、一一元元線線性性回回歸歸模模型型的的檢檢驗驗（一一））回回歸歸模模型型檢檢驗驗的的種種類類回歸歸模模型型的的檢檢驗驗包包括括理理論論意意義義檢檢驗驗、、一一級級檢檢驗驗和和二二級級檢檢驗驗。。（二二））擬擬合合程程度度的的評評價價總離離差差平平方方和和的的分分解解ＳＳＳＴＴ＝＝ＳＳＳＳＲＲ＋＋ＳＳＳＳＥＥ（（8.28））ＳＳＳＴＴ是是總總離離差差平平方方和和；；ＳＳＳＳＲＲ是是回回歸歸平平方方和和；；ＳＳＳＳＥＥ是是殘殘差差平平方方和和。。可決決系系數數：：ｒ2＝=1－－（（8.30））可決決系系數數的的特特性性（三三））顯顯著著性性檢檢驗驗1．．提提出出假假設設。。2.確確定定顯顯著著水水平平αα。。3.計計算算回回歸歸系系數數的的ｔｔ值值。。=（（8.36））4.確確定定臨臨界界值值。。雙側側檢檢驗驗查查ｔｔ分分布布表表所所確確定定的的臨臨界界值值是是（（-ｔｔα／2））和和（（ｔｔα／2））；；單單側側檢檢驗驗所所確確定定的的臨臨界界值值是是（（ｔｔα）。。5.做做出出判判斷斷。。四、、一一元元線線性性回回歸歸模模型型預預測測（一一））簡簡單單回回歸歸預預測測的的基基本本公公式式：：（8.38）回歸歸預預測測是是一一種種有有條條件件的的預預測測，，在在進進行行回回歸歸預預測測時時，，必必須須先先給給出出ＸＸf的具具體體數數值值。。內內插插檢檢驗驗或或事事后后預預測測。。外外推推預預測測或或事事前前預預測測。。（二二））預預測測誤誤差差發生生預預測測誤誤差差的的原原因因。。預測測誤誤差差ＶＶar（（ｅｅf）＝＝σσ2（8.42））（三三））區區間間預預測測Ｙf的（（１１－－αα））的的置置信信區區間間為為：：ＹＹf±ｔｔα／／2(n-2)××ＳＳｅｅf回歸歸預預測測的的置置信信區區間間的的特特點點。。回歸歸預預測測的的置置信信區區間間第三三節節多多元元線線性性回回歸歸分分析析一、、標標準準的的多多元元線線性性回回歸歸模模型型二、、多多元元線線性性回回歸歸模模型型的的估估計計三、、多多元元線線性性回回歸歸模模型型的的檢檢驗驗和和預預測測四、、多多元元線線性性回回歸歸預預測測一、、標標準準的的多多元元線線性性回回歸歸模模型型多元元線線性性回回歸歸模模型型總總體體回回歸歸函函數數的的一一般般形形式式(8.48)多元元線線性性回回歸歸模模型型的的樣樣本本回回歸歸函函數數(8.49)多元元線線性性回回歸歸分分析析的的標標準準假假定定除除了了包包括括上上一一節節中中已已經經提提出出的的的的假假定定外外，，還還要要追追加加一一條條假假定定。。這這就就是是回回歸歸模模型型所所包包含含的的自自變變量量之之間間不不能能具具有有較較強強的的線線性性關關系系。。二、、多多元元線線性性回回歸歸模模型型的的估估計計（一一））回回歸歸系系數數的的估估計計＝(X'X)－1X'Y(8.55)（二二））總總體體方方差差的的估估計計Ｓ2＝(8.56)（三三））最最小小二二乘乘估估計計量量的的性性質質標準準的的多多元元線線性性回回歸歸模模型型中中，，高高斯斯.馬馬爾爾可可夫夫定定理理同同樣樣成成立立。。三、、多多元元線線性性回回歸歸模模型型的的檢檢驗驗和和預預測測（一一））擬擬合合程程度度的的評評價價修正正自自由由度度的的可可決決系系數數（（理理由由））。。＝１１－－(8.61)＝１１－－（（１１－－Ｒ2）(8.62)式中中，，ｎｎ是是樣樣本本容容量量；；ｋｋ是是模模型型中中回回歸歸系系數數的的個個數數。。修正正自自由由度度的的可可決決系系數數的的特特點點。。(二二)顯顯著著性性檢檢驗驗1．．回回歸歸系系數數的的顯顯著著性性檢檢驗驗ｔ＝＝j=1,2,……,k(8.63)式中中，，S是是的的標標準準差差的的估估計計值值。。按按下下式式計計算算：：Ｓ＝＝(8.64)式中中，，是是(X'X)-1的第第ｊｊ個個對對角角線線元元素素，，ＳＳ2是隨隨機機誤誤差差項項方方差差的的估估計計值值。。(8.63)式的的ｔｔ統統計計量量的的原原假假設設是是ＨＨ0：ββj＝００，，因因此此ｔｔ的的絕絕對對值值越越大大表表明明ββj為００的的可可能能性性越越小小，，即即表表明明相相應應的的自自變變量量對對因因變變量量的的影影響響是是顯顯著著的的。。2．．回回歸歸方方程程的的顯顯著著性性檢檢驗驗具體體的的方方法法步步驟驟回歸歸模模型型方方差差分分析析表表（3））ＦＦ統統計計量量Ｆ＝＝離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=四、多元線線性回歸預預測基本公式：：(8.66)式中，Xjf(j=2,3,………k)是給給定的Xj在預測期的的具體數值值；是是已估計計出的樣本本回歸系數數；是是Xj給定時Ｙ的的預測值。。第四節非非線性回歸歸分析一、非線性性回歸分析析的意義二、非線性性函數形式式的確定確定函數形形式的原則則實際分析中中較常用的的幾種非線線性函數的的特點三、非線性性回歸模型型的估計幾種線性變變換方法實際應用時時要注意：：第一、比較較復雜的非非線性函數數，需綜合合利用上述述的幾種方方法。第二、變換換得到的方方程式中的的變量不允允許包含未未知的參數數。第三、當變變換后的新新模型中包包含的誤差差項能夠滿滿足標準假假定時，新新模型中回回歸系數最最小二乘估估計量的理理想性質才才能成立。。第四、嚴格格地說，線線性變換方方法只是適適用于變量量為非線性性的函數。。第五、并并不是所有有的非線性性函數都可可以通過變變換得到與與原方程完完全等價的的線性方程程。第五節相相關分析析一、單相關關系數及其其檢驗二、等級相相關系數及及其檢驗四、復相關關系數和偏偏相關系數數六、相關指指數一、單相關關系數及其其檢驗（一）相關關系數的定定義ｒ＝（（8.86））樣本相關系系數的定義義還可從另另一個角度度給出。設設Ｙ倚Ｘ和和Ｘ倚Ｙ的的樣本回歸歸方程為：：（8.87）（8.88）樣本相關系系數可定義義為樣本回回歸系數的的乘積的開開方，即:ｒ＝±（8.89）上式中ｒ的的符號應與與回歸系數數的符號一一致。（二）相關關系數與可可決系數簡單線性回回歸模型中中相關系數數ｒ的平方方等于可決決系數ｒ2。樣本相關系系數的特點點：（三）單相相關系數的的檢驗二、等級相相關系數及及其檢驗（一）等級級相關系數數的定義和和計算ｒs=(8.92)式中，，，和和分分別別是兩個變變量按大小小（或優劣劣）排位的的等級，n是樣本的容容量。推導通常的單相相關系數為為：ｒs＝i=1,2,……n