第六章數(shù)據(jù)回歸分析大數(shù)據(jù)管理與應(yīng)用——主編：王剛副主編：劉婧、邵臻數(shù)據(jù)回歸分析作為大數(shù)據(jù)分析中的一個(gè)重要的分支，在管理科學(xué)，社會(huì)經(jīng)濟(jì)學(xué)領(lǐng)域中被廣泛使用。在本章中您將了解數(shù)據(jù)回歸分析的整體概述，掌握常用的回歸分析方法包括線性回歸分析，嶺回歸分析和LASSO回歸分析，廣義線性回歸，非線性回歸的基本概念以及建模過(guò)程。數(shù)據(jù)回歸分析概述線性回歸分析嶺回歸和LASSO回歸分析廣義線性回歸分析非線性回歸分析第六章

數(shù)據(jù)回歸分析01數(shù)據(jù)回歸分析概述02線性回歸分析03嶺回歸和LASSO回歸分析04廣義線性回歸分析05非線性回歸分析

1.1回歸分析概念回歸描述了兩種及兩種以上的變量間的相關(guān)關(guān)系。按照涉及的特征變量的多少，可以將回歸分為一元回歸分析和多元回歸分析；按照變量間的關(guān)系類型，分為線性回歸分析和非線性回歸分析。嶺回歸分析及LASSO分析是基于正則化的回歸方法。并且，由于線性回歸模型通常需要滿足樣本標(biāo)簽服從正態(tài)分布的假設(shè)前提，然而在實(shí)際問(wèn)題中，樣本標(biāo)簽的分布有時(shí)并不能滿足上述假設(shè)，因而可以用來(lái)分析連續(xù)型樣本標(biāo)簽和任意型特征變量之間關(guān)系的廣義線性回歸方法，也是回歸分析中的一類經(jīng)典方法。1.2回歸分析的基本類型變量間關(guān)系變量的數(shù)量回歸類型線性回歸單個(gè)樣本標(biāo)簽，單個(gè)特征變量一元線性回歸單個(gè)樣本標(biāo)簽，多個(gè)特征變量多元線性回歸多個(gè)樣本標(biāo)簽，多個(gè)特征變量多個(gè)樣本標(biāo)簽與多個(gè)特征變量的回歸非線性回歸單個(gè)樣本標(biāo)簽，單個(gè)特征變量一元非線性回歸單個(gè)樣本標(biāo)簽，單個(gè)特征變量多元非線性回歸表6-1回歸分析基本類型回歸分析方法是用來(lái)研究變量間關(guān)系，結(jié)構(gòu)分析以及模型預(yù)測(cè)的有效工具，在經(jīng)濟(jì)，管理，金融等各個(gè)領(lǐng)域中應(yīng)用廣泛。從回歸分析方法應(yīng)用的形式來(lái)看，回歸分析方法可以描述各個(gè)變量之間的關(guān)系，研究對(duì)樣本標(biāo)簽造成影響的最主要因素，其影響方向以及影響程度等。回歸分析方法可以進(jìn)行結(jié)構(gòu)分析，即利用回歸模型的回歸系數(shù)來(lái)解釋各變量之間的數(shù)量關(guān)系。回歸分析方法通常是利用歷史數(shù)據(jù)對(duì)已經(jīng)發(fā)生的現(xiàn)象活動(dòng)進(jìn)行模擬，找出變化的規(guī)律，進(jìn)而通過(guò)特征變量在未來(lái)一段時(shí)間的估計(jì)值來(lái)預(yù)測(cè)樣本標(biāo)簽，達(dá)到模型預(yù)測(cè)的目的。從回歸分析方法應(yīng)用的場(chǎng)景來(lái)看，回歸分析方法的應(yīng)用涉及多個(gè)方面，是輔助管理決策的有效工具。回歸分析方法是進(jìn)行人口預(yù)測(cè)分析的一類經(jīng)典方法回歸分析方法在輔助市場(chǎng)參與者進(jìn)行需求預(yù)測(cè)以及規(guī)劃倉(cāng)儲(chǔ)方案上具有實(shí)際的應(yīng)用利用學(xué)生的校園行為數(shù)據(jù)，結(jié)合回歸分析方法，可以優(yōu)化學(xué)生培養(yǎng)和管理工作。1.3回歸分析的應(yīng)用線性回歸（LinearRegression）是回歸分析方法中的一類，主要是對(duì)一個(gè)或多個(gè)特征變量和樣本標(biāo)簽之間的關(guān)系進(jìn)行建模的一種回歸分析方法。在線性回歸過(guò)程中，使用線性回歸方程對(duì)已知數(shù)據(jù)進(jìn)行建模，并利用這些數(shù)據(jù)對(duì)未知的模型參數(shù)進(jìn)行估計(jì)，最終模擬關(guān)于特征變量和樣本標(biāo)簽的線性變化關(guān)系。線性回歸函數(shù)是一個(gè)或多個(gè)回歸系數(shù)與特征變量的線性組合，當(dāng)線性回歸函數(shù)中只有一個(gè)特征變量時(shí)稱之為一元線性回歸，當(dāng)有大于一個(gè)特征變量的情況稱之為多元線性回歸。實(shí)現(xiàn)方法直接，建模速度快，計(jì)算簡(jiǎn)單。可解釋性強(qiáng)，各個(gè)特征變量對(duì)樣本標(biāo)簽的影響強(qiáng)弱都可以通過(guò)特征變量前面的系數(shù)進(jìn)行體現(xiàn)。對(duì)特征變量和樣本標(biāo)簽之間的相關(guān)性進(jìn)行量化，識(shí)別出與樣本標(biāo)簽不相關(guān)的特征變量以及對(duì)樣本標(biāo)簽具有重要影響力的特征變量。2.1線性回歸分析概述線性回歸分析的應(yīng)用場(chǎng)景廣泛，在金融預(yù)測(cè)、經(jīng)濟(jì)預(yù)測(cè)以及探究觀測(cè)數(shù)據(jù)的因果關(guān)系的觀察性研究中被普遍應(yīng)用。

2.2線性回歸分析建模過(guò)程圖6-1一元線性回歸模型

2.2線性回歸分析建模過(guò)程

2.2線性回歸分析建模過(guò)程

2.2線性回歸分析建模過(guò)程

2.2線性回歸分析建模過(guò)程

2.2線性回歸分析建模過(guò)程

3.1嶺回歸分析

3.1嶺回歸分析

3.1嶺回歸分析

3.1嶺回歸分析嶺回歸的算法偽代碼：3.1嶺回歸分析LASSO回歸分析概述LASSO（LeastAbsoluteShrinkageandSelectionOperator），是由1996年RobertTibshirani首次提出，其主要是通過(guò)在最小二乘法的基礎(chǔ)上添加一個(gè)懲罰函數(shù)，壓縮回歸系數(shù)，使得其同時(shí)具有子集選擇和嶺回歸的優(yōu)點(diǎn)。LASSO回歸的主要思想是通過(guò)限制回歸系數(shù)絕對(duì)值之和小于某個(gè)固定值來(lái)實(shí)現(xiàn)對(duì)最小二乘的約束，其同時(shí)能夠使一些回歸系數(shù)為零，從而實(shí)現(xiàn)其變量選擇的作用。由此可以看出，LASSO具有較好的防止過(guò)擬合的作用。因?yàn)樵跇颖镜奶卣髯兞窟^(guò)多的情況下，通過(guò)訓(xùn)練模型能夠較好地?cái)M合訓(xùn)練數(shù)據(jù)，達(dá)到損失函數(shù)接近于0，而這一過(guò)程也會(huì)造成使訓(xùn)練的模型無(wú)法在新的數(shù)據(jù)樣本中繼續(xù)保持較好的預(yù)測(cè)效果。在這種情況下，LASSO通過(guò)加入正則項(xiàng)，對(duì)樣本的特征變量實(shí)現(xiàn)變量選擇的作用，降低在訓(xùn)練模型過(guò)程中的過(guò)擬合風(fēng)險(xiǎn)。3.2LASSO回歸分析

3.2LASSO回歸分析

3.2LASSO回歸分析

3.2LASSO回歸分析圖6-3LASSO及嶺回歸模型示意圖

3.2LASSO回歸分析

4.1廣義線性回歸分析概述

4.1廣義線性回歸分析概述

4.2泊松回歸分析

4.2泊松回歸分析

4.2泊松回歸分析

4.2泊松回歸分析非線性回歸是線性回歸分析的一種擴(kuò)展，當(dāng)非線性回歸中只有單個(gè)特征變量時(shí)稱為一元非線性回歸，當(dāng)含有多個(gè)特征變量時(shí)則稱為多元非線性回歸。非線性回歸問(wèn)題一般可分為將非線性變換成線性和不能變換成線性兩大類。常用的可轉(zhuǎn)換為線性回歸模型的非線性回歸模型有冪函數(shù)，指數(shù)函數(shù)，對(duì)