緣起與發展變量間的關系研究內容建模思路小結與評注回歸分析之緒論應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院

1/47緣起與發展變量間的關系研究內容建模思路小結與評注統計學與回歸分析圖

1:統計學研究思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院2

/

47緣起與發展變量間的關系研究內容建模思路小結與評注目錄緣起與發展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院3

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起與發展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院4

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起“回歸”的概念最早出現在生物遺傳學領域，其中作出巨大貢獻的兩位學者就是達爾文（Darwin）和他的表弟高爾頓（Galton）。

1859年，達爾文發表了《OntheOriginofSpecies》（《物種起源》）一書，開創了生物學發展史上的新紀元，引起了整個人類思想的巨大革命。圖

2:Darwin(1809-1882)（左）

Galton(1822-1911)（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院5

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起在自然選擇理論思想的引導下，達爾文的表弟高爾頓（Galton）先后完成了兔子模型、甜豌豆模型等論證實驗，試圖對人類遺傳規律進行研究。圖

3:甜豌豆模型實驗（左）兔子模型實驗（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院6

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起1885

年,通過允諾保密并提供獎金的方式,高爾頓獲得了205

對夫婦及其928位成年子女的遺傳特征數據，包括身高、眼睛顏色、脾氣、藝術才能、疾病等。其中身高數據見下表：圖

4:高爾頓實驗數據李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院7

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院8

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院9

/

47緣起與發展變量間的關系研究內容建模思路小結與評注發展圖

5:回歸分析發展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院10

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：最小二乘法的提出回歸分析中經典的最小二乘法最早出現于天文學與地理測量學領域的研究。1801年，意大利天文學家皮亞齊（Piazzi）發現了第一顆小 行星谷神星，經過40天的跟蹤觀測后，由于谷神星運行至太 陽背后，使得皮亞齊失去了谷神星的位置。為利用皮亞齊的觀測數據尋找谷神星的運行軌道，1805年勒 讓德（Legendre）在一本關于計算彗星軌道的書籍中首次發 表了最小二乘法清晰和簡明的闡述。1809年，高斯（Gauss）發表了著作《關于繞日行星運動的 理論》。書中聲稱他自1799年以來就使用最小二乘方法，并 且其提出的正態誤差理論也成功地將最小二乘法與概率原理 和正態分布聯系起來。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院11

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系小故事：高斯與勒讓德之爭圖

6:高斯與勒讓德之爭最小二乘法的提出，曾在高斯與勒讓德兩位大數學家之間引發了優先權之爭，其知名度僅次于牛頓和萊布尼茲之間關于微積分發明的優先權之爭。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院12

/

47緣起與發展變量間的關系研究內容建模思路小結與評注發展圖

7:回歸分析發展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院13

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：19世紀-20世紀初19世紀80年代1885年，高爾頓完成了人類遺傳研究實驗,獲得了205

對夫婦及其928

位成年子女的遺傳特征數據。借由實驗中的身高數據，

高爾頓發現，

當父母身高走向極 端，子女的身高不會象父母身高那樣極端化，其身高要比父 母們的身高更接近平均身高，即有“回歸”到平均數去的趨 勢，“回歸”的概念由此誕生。20世紀初馬爾可夫（Markov）于1900年證明了在經典線性回歸的假定下，最小二乘估計量是具有最小方差的性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院14

/

47緣起與發展變量間的關系研究內容建模思路小結與評注發展圖

8:回歸分析發展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院15

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：20世紀50-70年代20世紀50年代1953年，Box提出“穩健”（Robustness）的概念。James和

Stein

發現，最小二乘估計并不具有不可容許性。20世紀60年代1962年Horel提出了嶺回歸估計；

1965年，Massy提出了主成分回歸估計。在穩健概念的基

上，1964年，Huber提出了基于位置參M估 計量，同年提出極小極大理論也為解決參數估計的效率問題 奠定理論基

。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院16

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：20世紀50-70年代20世紀70年代1970年，Schweppe

提出加權最小二乘估計方法，并將該方法應用于電力系統的狀態估計中。1972年，Nelder放寬對因變量隨機誤差的正態分布要求，提出廣義線性模型；Gallant于1975年提出非線性回歸的概念。1978年，Koenker

和Bassett提出分位回歸模型以研究自變量 與因變量條件分位數的關系；

AIC、Cp準則也分別于1971、

1973年問世。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院17

/

47緣起與發展變量間的關系研究內容建模思路小結與評注發展圖

9:回歸分析發展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院18

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：20世紀80年代-21世紀初20世紀80年代1983年，Wold提出偏最小二乘法，不但放寬n

>p的假定，也使得每一個系數估計更易解釋。Baron于1986年提出利用逐步回歸的思想實現對變量的選擇。最小截尾二乘法LTS（Least

Truncated

Square）、最小中位數 二乘法LMS（LeastMedianSquare）、S估計、MM估計都是這 一時期提出的。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院19

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系發展：20世紀80年代-21世紀初20世紀90年代Tibshirani于1996年提出了利用Lasso罰函數實現變量選擇的思想，解決了高維情況下回歸系數的估計問題。21世紀初Fan于2001年提出的SCAD方法以及2007年Zhang提出的MCP 法均屬于基于罰函數的變量選擇方法，區別在于罰函數形式 不同。Zou于2006年提出的Adaptive

Lasso

法同樣可以用于變量選擇，該方法下得到的估計具有Oracle性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院20

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起與發展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院21

/

47緣起與發展變量間的關系研究內容建模思路小結與評注函數關系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院22

/

47緣起與發展變量間的關系研究內容建模思路小結與評注函數關系圖

10:銷售量（萬件）與銷售額（萬元）函數關系圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院23

/

47緣起與發展變量間的關系研究內容建模思路小結與評注統計關系統計關系書籍單價Y

與書籍頁數X

間的關系房屋價格Y

與房屋面積X

間的關系居民消費額Y

與居民收入X

間的關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院24

/

47緣起與發展變量間的關系研究內容建模思路小結與評注統計關系?2.50.02.5?440xy圖

11:x與y的相關關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院25

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系統計關系與函數關系的區別通過上述示例可以發現，統計關系與函數關系的區別在于：函數關系是一種確定性的關系，當其中一個變量給定，另一 個變量的取值確定；統計關系則是一種非確定性的關系，當 一個變量變化時，另一變量的取值有一定的隨機性。從研究方法看，客觀現象的函數關系可以用數學分析的方法 研究；而研究客觀現象的統計關系，則必須借助于統計學中 的相關與回歸分析方法。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院26

/

47緣起與發展變量間的關系研究內容建模思路小結與評注統計關系的刻畫

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院27

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系相關分析與回歸分析的區別一是變量的地位不同。在回歸分析中，變量有因變量和自變 量之分，因變量處于被解釋的地位。研究人員希望討論自變 量對因變量的影響。在相關分析中，變量的地位平等，研究 變量A和變量B的相關關系與研究變量B和變量A的相關關系 是等價的。二是變量的類型存在差異。回歸分析中，

因變量為隨機變 量，自變量可以是隨機變量也可以是非隨機變量，而相關分 析中變量都是隨機變量。三是研究目的不完全相同。相關分析的研究目的是為了探究 兩類變量間相關關系，而回歸分析一方面研究自變量對因變 量的影響并對現象進行解釋，另一方面也可實現預測與控制 的功能。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院28

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起與發展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院29

/

47緣起與發展變量間的關系研究內容建模思路小結與評注研究內容線性回歸分析對回歸模型中參數估計方法的研究對回歸模型檢驗與診斷的研究對回歸模型選擇的研究非線性回歸分析參見文獻Bates

and

Watts(1988)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院30

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系研究內容：估計方法19世紀初，最小二乘法的提出在估計回歸系數過程中發揮了重要作用。極大似然估計、加權最小二乘估計等方法在不同條件下亦可用于回歸模型參數的估計。為解決在假設不滿足情況下最小二乘估計量失效的問題，一 些改進的參數估計方法應運而生，比如嶺回歸估計、主成分 回歸估計等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院31

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系研究內容：檢驗與診斷在回歸分析中，對模型進行檢驗與診斷是必要工作之一。估計模型對觀測數據的擬合效果是否良好？回歸系數在總體 中是否與零有顯著差異？這些問題可以通過對參數進行假設 檢驗來回答。回歸模型建立在一些假設基

上，通過檢驗與診斷判別數據 是否滿足基本假設對估計方法的選擇與數據處理具有重要意 義。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院32

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系研究內容：模型選擇在實證研究中，研究人員根據研究目標事先確定了因變量與 自變量范圍，并不意味著該模型一定具有合理性。針對同一 個因變量，不同的自變量組合可以建立不同的模型。變量選擇是依據某種評價準則從眾多備選模型中選擇最優結 果的過程。常用的經典模型選擇準則有AIC、BIC、Cp等，還 有一些基于懲罰函數的新興的模型選擇方法等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院33

/

47緣起與發展變量間的關系研究內容建模思路小結與評注緣起與發展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院34

/

47緣起與發展變量間的關系研究內容建模思路小結與評注建模思路圖

12:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院35

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系建模思路：描述統計例1.2

安斯庫姆（Anscombe）曾于1973年構造了四組數據，見下表。請讀者分別根據這四組數據建立回歸模型，

并對此進行分析。X1Y1X2Y2X3Y3X4Y444.2643.1045.3986.5855.6854.7455.7385.7667.2466.1366.0887.7174.8277.2676.4488.8486.9588.1486.7788.4798.8198.7797.1187.04108.04109.14107.4685.25118.33119.26117.8185.561210.84129.13128.1587.91137.58138.741312.7486.89149.96148.10148.841912.5李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院36

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系建模思路：描述統計

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院37

/

47研究內容建模思路小結與評注緣起與發展

變量間的關系建模思路：描述統計圖

13:安斯庫姆數據散點圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院38

/

47緣起與發展變量間的關系研究內容建模思路小結與評注建模思路圖

14:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院39

/

47緣起與發展變量間的關系研究內容建模思路小結與評注建模思路：示例例1.1研究者希望利用回歸分析對某地區某行業中產品的產量與生產總成本間的關系進行研究。為實現研究目標，從當地企業中按照某種抽樣方法隨機抽取了20家企業，獲取數據見表1。請利用表中的數據建立產量與生產費用間的回歸模型，并進行簡要分析。編號產量生產費用編號產量生產費用1782401122370622065971218656332025981312137142066511428189652658731512336462106541625973575216017122425810830818117330921763919973201017968820108307李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統計學院40

/

47緣起與發展變量間的關系研究內容建模思路小結與評注建模思路：示例研究目標為對某地區某行業的生產損耗進行影響因素分析根據研究目標設置指