1、對(duì)線性回歸、邏輯回歸、各種回歸的概念學(xué)習(xí)回歸問題的條件/前提：1）收隼的數(shù)據(jù)2）假設(shè)的模型，即一個(gè)函數(shù)，這個(gè)函數(shù)里含有未知的參數(shù)，通過學(xué)習(xí)，可以估計(jì)出參數(shù)。然后利用這個(gè)模型去預(yù) 測(cè)/分類新的數(shù)據(jù)。1.線性回歸假設(shè)特征和結(jié)果都滿足線性。即不大于一次方。這個(gè)是針對(duì)收隼的數(shù)據(jù)而言。收隼的數(shù)據(jù)中，每一個(gè)分量，就可以看做一個(gè)特征數(shù)據(jù)C每個(gè)特征至少對(duì)應(yīng)一個(gè)未知的參數(shù)。這樣就形成了一個(gè)線 性模型函數(shù)，向量表示形式：這個(gè)就是一個(gè)組合問題，已知一些數(shù)據(jù)，如何求里面的未知參數(shù)，給出一個(gè)最優(yōu)解。一個(gè)線性矩陣方程，直接求 解，很可能無法直接求解。有唯一解的數(shù)據(jù)隼，微乎其微。基本上都是解不存在的超定方程組。因此，需要退

2、一步，將參數(shù)求解問題，轅化為求最小誤差問題，求出一個(gè)杲接 近的解，這就是一個(gè)松弛求解。求一個(gè)杲接近解，直觀上，就能想到，誤差最小的表達(dá)形式。仍然是一個(gè)含未知參數(shù)的線性模型，一堆觀測(cè)數(shù)據(jù)， 其模型與數(shù)據(jù)的誤差最小的形式，模型與數(shù)據(jù)差的平方和最小：這就是損失函數(shù)的來源。接下來，就是求解這個(gè)函數(shù)的方法，有最小二乘法，梯度下降法。/wiki/%E7%EA%EF%E6%80%A7%E6%96%E9%E7%A8%8E%E7%EB%84杲小二乘法是一個(gè)直接的數(shù)學(xué)求解公式，不過它要求X是列滿秩的，梯度下降法分別有梯度下降法，批梯度下降法，增量梯度下降。本質(zhì)上，部是偏導(dǎo)數(shù)，步長/

3、疑佳學(xué)習(xí)率，更新，收斂的問題。這個(gè)算法只是最優(yōu)化原理中的一個(gè)普通的方法，可以結(jié)臺(tái)最優(yōu)化原理來學(xué)，就容易理解了。2邏輯回歸邏輯回歸與線性回歸的聯(lián)乘、異同？ 邏輯回歸的模型是一個(gè)非線性模型，sigmoid函數(shù)，又稱邏輯回歸函數(shù)。但是它本質(zhì)上又是一個(gè)線性回歸模型，因?yàn)槌igmoid映射函數(shù)矢系，其他的步腺，算法都是線性回歸的。可以說，邏輯回歸，都是以線性回歸為理論支持的。只不過，線性模型，無法做到sigmoid的非線性形式，sigmoid可以輕松處理0/1分類問題。另外它的推導(dǎo)含義：仍然與線性回歸的最大似然估計(jì)推導(dǎo)相同，最大似然函數(shù)連續(xù)積(這里的分市，可以使伯努利分布，或泊 松分市等其他分布形式

4、)菜導(dǎo)得損失函數(shù)。111邏輯回歸函數(shù)表現(xiàn)了 0,1分類的形式。應(yīng)用舉例：是否垃圾分類？是否腫瘤、癌癥診斷?是否金融欺詐？3. 一般線性回歸線性回歸是以高斯分布為誤差分析模型；邏輯回歸采用的是伯努利分布分析誤差。而高斯分布、伯努利分布、貝塔分布、迪特里特分布，都屬于指數(shù)分布。而一般線性回歸，在X條件下，y的概率分布P (ylx)就是指指數(shù)分布.經(jīng)歷最大似然估計(jì)的推導(dǎo)，就能導(dǎo)出一般線性回歸的誤差分析模型（最小化誤差模型）。softmax回歸就是一般線性回歸的一個(gè)例子。有監(jiān)督學(xué)習(xí)回歸，針對(duì)多類問題（邏輯回歸，解決的是二類劃分問題），如數(shù)宇宇符的分類問題，0-9,10個(gè)數(shù)字，y 值有10個(gè)可能性。而這

5、種可能的分布，是一種指數(shù)分布。而且所有可能的和為1,則對(duì)于一個(gè)輸入的結(jié)果，其結(jié)果可表示為：參數(shù)是一個(gè)k維的向量。而代價(jià)函數(shù)：是邏輯回歸代價(jià)函數(shù)的推廣。而對(duì)T softmax的求解，沒有閉式解法（高階多頂方程組求解）仍用梯度下降法或L-BFQS求解。當(dāng)k=2時(shí) softmax退化為邏輯回歸這也能反映softmax回歸是邏輯回歸的推廣。線性回歸，邏輯回歸，softmax回歸三者聯(lián)系，需要反復(fù)回味，想的多了，理解就能深入了。 4擬合：擬合模型/函數(shù)由測(cè)重的數(shù)據(jù)，估計(jì)一個(gè)假宦的模型/函數(shù)。如何擬合，擬合的模型是否合適？可分為以下三類 臺(tái)適擬臺(tái)欠擬合過擬合看過一篇文章（附錄）的圖示，理解起來很不錯(cuò): 欠

6、擬合：臺(tái)適的擬臺(tái)/ g(0 () + 龍 1 + %龍 2+03好+ %詭儀+05不L2)過擬臺(tái)g（%+弘彳汀+玄必7 +&3蘭轉(zhuǎn) + 04A1A2+ 05八0 +% 咄2 + .）過擬合的問題如何解決？問題起源？模型太復(fù)雜，參數(shù)過多，特征數(shù)目過多。方法：1）減少特征的數(shù)重，有人工選擇，或者采用模型選擇算法.cnblogs./heaad/archive/2011/01/02/192408&html （特征選擇算法的綜述）2）正則化，即保留所有特征，但降低參數(shù)的值的影響。正則化的優(yōu)點(diǎn)是，特征很多時(shí)，每個(gè)特征都矣有一個(gè) 合適的影響因子。5 概率解釋：線性回歸中為什么選用平方和作為誤差函數(shù)？假設(shè)模型

7、結(jié)果與測(cè)量值誤差滿足，均值為O的高斯分布，即正態(tài)分布。這個(gè)假設(shè)是靠譜的，符合一般客觀統(tǒng)計(jì)規(guī)律。數(shù)據(jù)X與y的條件概率：若使模型與測(cè)量數(shù)據(jù)最接近，那么其概率積就最大。概率積，就是概率密度函數(shù)的連續(xù)積，這樣，就形成了一個(gè)杲大似然函數(shù)估計(jì)。對(duì)最大似然函數(shù)估計(jì)進(jìn)行推導(dǎo)，就得出了求導(dǎo)后結(jié)果：平方和熾小公式參數(shù)估計(jì)與數(shù)據(jù)的矢系擬合尖系錯(cuò)誤函數(shù)/代價(jià)函數(shù)/損失函數(shù)：線性回歸中采用平方和的形式，一般都是由模型條件概率的最大似然函數(shù)概率積最大值，求導(dǎo)，推導(dǎo)出來的。統(tǒng)計(jì)學(xué)中，損失函數(shù)一般有以下幾種：01損失函數(shù)z (MA) ) =i,0,y/x4A) /X4A)平方損失函數(shù)z (K4A) ) = L4AJ) 2絕對(duì)

8、損失函數(shù)砒個(gè))卄個(gè)I對(duì)數(shù)損失函數(shù)L (Y,FYA) =-JogP (YA損失函數(shù)越小，模型就越好，而且損失函數(shù)盡重是一個(gè)凸函數(shù)，便于收斂計(jì)算。線性回歸，采用的是平方損失函數(shù)。而邏輯回歸采用的是對(duì)數(shù)損失函數(shù)。這些僅僅是一些結(jié)果，沒有推導(dǎo)。&正則化:為防止過度擬臺(tái)的模型出現(xiàn)(過于負(fù)雜的模型)，在損失函數(shù)里増加一個(gè)每個(gè)特征的懲罰因子。這個(gè)就是正則化。如 正則化的線性回歸的損失函數(shù)：lambda就是懲罰因于。正則化是模型處理的典型方法。也是結(jié)構(gòu)風(fēng)險(xiǎn)最小的策略。在經(jīng)驗(yàn)風(fēng)險(xiǎn)（誤差平方和）的基礎(chǔ)上，増加一個(gè)懲罰頂/ 正則化頂。線性回歸的解，也從（XTXiX7y轉(zhuǎn)化為rO0 =也 + A括號(hào)的矩陣，即使在樣本

9、數(shù)小干特征數(shù)的情況下，也是可逆的。邏輯回歸的正則化:I m疋）二羸D log加（小）+ （1）1隅（1 一切（）從貝葉斯估計(jì)來看，正則化頂對(duì)應(yīng)模型的先驗(yàn)概率，復(fù)雜模型有較大先驗(yàn)概率，簡(jiǎn)單模型具有較小先驗(yàn)概率。這個(gè)里 面又有幾個(gè)概念。什么是結(jié)構(gòu)風(fēng)險(xiǎn)最小化？先驗(yàn)概率？模型簡(jiǎn)單與否與先驗(yàn)概率的尖系？經(jīng)驗(yàn)風(fēng)險(xiǎn)、期望風(fēng)險(xiǎn)、經(jīng)驗(yàn)損失*結(jié)構(gòu)風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)（直實(shí)風(fēng)險(xiǎn)），可理解為模型函數(shù)固定時(shí)，數(shù)據(jù)平均的損失程度，或“平均”犯錯(cuò)誤的程度。期 望風(fēng)險(xiǎn)是依 賴損失函數(shù)和概率分布的。只有樣本，是無法計(jì)算期望風(fēng)險(xiǎn)的。所以，采用經(jīng)驗(yàn)風(fēng)險(xiǎn)，對(duì)期望風(fēng)險(xiǎn)進(jìn)行估計(jì)，并設(shè)計(jì)學(xué)習(xí)算法，使其最小化。即經(jīng)驗(yàn)風(fēng)險(xiǎn)杲小化（Empirical

10、Risk Minimization） ERM,而經(jīng)驗(yàn)風(fēng)險(xiǎn)是用損失函數(shù)來評(píng)估的、計(jì)算的。對(duì)于分類問題，經(jīng)驗(yàn)風(fēng)險(xiǎn)，就訓(xùn)練樣本錯(cuò)誤率。對(duì)于函數(shù)逼近，擬臺(tái)問題，經(jīng)驗(yàn)風(fēng)險(xiǎn)，就平方訓(xùn)練誤差C對(duì)于概率密度估計(jì)問題，ERM,就是最大似然估計(jì)法。而經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，并不一定就是期望風(fēng)險(xiǎn)最小，無理論依據(jù)。只有樣本無限大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)就逼近了期望風(fēng)險(xiǎn)。如何解決這個(gè)問題？統(tǒng)計(jì)學(xué)習(xí)理論SLT,支持向量機(jī)SVM就是專門解決這個(gè)問題的。有限樣本條件下，學(xué)習(xí)出一個(gè)較好的模型。由干有限樣本下，經(jīng)驗(yàn)風(fēng)險(xiǎn)Rempf無法近似期望風(fēng)險(xiǎn)Rif o因此，統(tǒng)計(jì)學(xué)習(xí)理論給出了二者之間的尖系：Rf = ( Rempf + e )而右端的表達(dá)形式就是結(jié)

11、構(gòu)風(fēng)險(xiǎn)，是期望風(fēng)險(xiǎn)的上界。而e = g(li/n)是置倍區(qū)間，是VC維h的增函數(shù)，也是樣本數(shù) n的減函數(shù)。VC維的定義在SVM, SLT中有詳細(xì)介紹。e依賴h和n,若使期望風(fēng)險(xiǎn)最小，只需尖心其上界杲小，即e杲小化。所 以需耍選擇合適的h和n。這就是結(jié)構(gòu)風(fēng)險(xiǎn)最小化Stnicture Risk Minimization, SRM.SVM就是SRM的近似實(shí)現(xiàn)，SVM中的概念另有一大筐。就此打住。爲(wèi)2數(shù)的物理意義：數(shù)，能將一個(gè)事物，映射到非負(fù)實(shí)數(shù)，且滿足非負(fù)性，齊次性，三角不等式。是一個(gè)具有“長度”概念的函數(shù)。1數(shù)為什么能得到稀疏解？壓縮感知理論，求解與重構(gòu)，求解一個(gè)L1數(shù)正則化的最小二乘問題。其解正

12、是欠定線性系統(tǒng)的解。2數(shù)為什么能得到最大間隔解？ 2數(shù)代表能量的度重單位，用來重構(gòu)誤差。以上幾個(gè)概念理解需要補(bǔ)充。9最小描述長度準(zhǔn)則：即一組實(shí)例數(shù)據(jù)，存儲(chǔ)時(shí)，利用一模型，編碼壓縮。模型長度，加上壓縮后長度，即為該數(shù)據(jù)的總的描述長度。最小 描述長度準(zhǔn)則，就是選擇總的描述長度最小的模型。最小描述長度MDL準(zhǔn)則，一個(gè)重要特性就是避免過度擬合現(xiàn)象。如利用貝葉斯網(wǎng)絡(luò)，壓縮數(shù)據(jù)，一方面，模型自身描述長度隨模型復(fù)雜度的增加而增加；另一方面，對(duì)數(shù)據(jù)隼描述的 長度闕模型復(fù)雜度的增加而下隔。因此，貝葉斯網(wǎng)絡(luò)的MDL總是力求在摸型精度和模型復(fù)雜度之問找到平衡。當(dāng)模 型過于復(fù)雜時(shí)，最小描述長度準(zhǔn)則就矣其作用，限制復(fù)雜

13、程度。奧卡姆剃刀原則：如果你有兩個(gè)原理，它們都能解釋觀測(cè)到的事實(shí)，那么你應(yīng)該使用簡(jiǎn)單的那個(gè)，直到發(fā)現(xiàn)更多的證據(jù)。萬事萬物應(yīng)該盡量簡(jiǎn)單，而不是更簡(jiǎn)單。H.凸松弛技術(shù)：將組合優(yōu)化問題，轉(zhuǎn)化為易于求解極值點(diǎn)的凸優(yōu)化技術(shù)。凸函數(shù)/代價(jià)函數(shù)的推導(dǎo)，熾大似然估計(jì)法。12牛鎖法求解最大似然估計(jì)前提條件：求導(dǎo)迭代，似然函數(shù)可導(dǎo)，且二階可導(dǎo)。迭代公式：若是向量形式，H就是n*n的hessian矩陣了。特征：當(dāng)靠近極值點(diǎn)時(shí)，牛頓法能快速收斂，而在遠(yuǎn)離極值點(diǎn)的地方，牛頓法可能不收斂。這個(gè)的推導(dǎo)？這點(diǎn)是與梯度下降法的收斂特征是相反的。線性與非線性：線性，一次函數(shù)；非線性，輸入、輸出不成正比，非一次函數(shù)。線性的局限性：

14、xoi問題。線性不可分，形式：xOOx而線性可分，是只用一個(gè)線性函數(shù)，將數(shù)據(jù)分類。線性函數(shù)，直線。線性無尖：各個(gè)獨(dú)立的特征，獨(dú)立的分重，無法由其他分重或特征線性表示。核函數(shù)的物趣意義：映射到高維使其變得線性可分。什么是髙維？如一個(gè)一維數(shù)據(jù)特征X,轉(zhuǎn)換為（x, x八2,x八3）,就成為了 一個(gè)三維特征且線性無尖。一個(gè)一維特征線性不可分的特征在髙維就可能線性可分了。邏輯回歸logicalistic regression本質(zhì)上仍為線性回歸，為什么被單獨(dú)列為一 類？其存在一個(gè)非線性的映射尖系，處理的一般是二元結(jié)構(gòu)的o, 1問題，是線性回歸的擴(kuò)展，應(yīng)用廣泛，被單獨(dú)列為一 類。而且如果直接應(yīng)用線性回歸來擬

15、臺(tái)邏輯回歸數(shù)據(jù)，就會(huì)形成很多局部最小值。是一個(gè)非凸隼，而線性回歸損失函數(shù) 是一個(gè)凸函數(shù)，即最小極值點(diǎn)，即是全局極小點(diǎn)。模型不符。若采用邏輯回歸的損失函數(shù)，損失函數(shù)就能形成一個(gè)凸函數(shù)。” convex”多頂式樣條函數(shù)擬合多頂式擬合，模型是一個(gè)多頂式形式；樣條函數(shù)，模型不僅連瀆，而且在邊界處，髙階導(dǎo)數(shù)也是連續(xù)的。好處：是 一條光滑的曲線，能避免邊界出現(xiàn)震蕩的形式出現(xiàn)（龍格線性）baike.baidn. /view/ 301735.htm以下是幾個(gè)需倏倏深入理解的概念：無結(jié)構(gòu)化預(yù)測(cè)模型結(jié)構(gòu)化預(yù)測(cè)模型什么是結(jié)構(gòu)化問題？adaboost, svm, lr三個(gè)算法的尖系。三種算法的分布對(duì)應(yīng)exponential loss （指數(shù)損失函數(shù)），hinge loss, log loss （對(duì)數(shù)損失函數(shù)），無本質(zhì)區(qū)別。 應(yīng)用凸上界取代0、1損失，即凸松弛技術(shù)。從組合優(yōu)化到凸隼優(yōu)化問題。凸函數(shù)，比較容易計(jì)算極值點(diǎn)。正則化與貝葉斯參數(shù)估計(jì)的聯(lián)丟？部分參考文章：.giizili./?p=4515052opencoiirse./133/coursera%E5%