考試事項(xiàng)及復(fù)習(xí)提綱考試時(shí)間及地點(diǎn)：本周日（12月1號），（8:50—11：25）2—4節(jié)，在1區(qū)教三樓3-102題目類型：滿分100分6道簡答+6道計(jì)算復(fù)習(xí)范圍：1、09年試題+10年考試試題 2、課本例題（附章節(jié)和頁面）3、中科院考博題庫題目透視：09年和10年試題預(yù)覽：題目+答案一、簡答題1簡述模式識別系統(tǒng)的構(gòu)成。2簡述機(jī)器學(xué)習(xí)方法中隨機(jī)訓(xùn)練、成批訓(xùn)練和在線訓(xùn)練的區(qū)別。3簡述隱馬爾可夫模型的三個(gè)核心問題。4簡述基于貝葉斯分類器的分類系統(tǒng)產(chǎn)生的最終分類誤差的來源。5簡單列舉出三種度量距離的方法。6具有d個(gè)輸入單元、n個(gè)隱單元、c個(gè)輸出單元以及偏置的一個(gè)標(biāo)準(zhǔn)三層反向傳播網(wǎng),網(wǎng)絡(luò)中有多少權(quán)值？7最大似然方法與Bayes估計(jì)的差異答案：信息獲取是指通過傳感器將光或聲音等信息轉(zhuǎn)化為計(jì)算機(jī)可以處理的電信息；預(yù)處理包括A\D,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等，主要指圖象處理;特征提取和選擇是把測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征的過程分類器設(shè)計(jì)的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時(shí),錯(cuò)誤率最低;分類決策是在特征空間中對被識別對象進(jìn)行分類在線訓(xùn)練：每種模式只提供一次，不需要存儲器來保存模式，當(dāng)訓(xùn)練數(shù)據(jù)很多或者當(dāng)內(nèi)存消耗大而無法存儲數(shù)據(jù)時(shí)常采用在線訓(xùn)練.3、隱馬爾可夫模型的三個(gè)核心問題：估值:HMM的轉(zhuǎn)移概率已知，計(jì)算這個(gè)模型產(chǎn)生一個(gè)特定觀測值的概率；解碼:已知一個(gè)HMM和一個(gè)它所產(chǎn)生的觀測序列,確定產(chǎn)生該觀測序列最有可能的隱狀態(tài)序列；學(xué)習(xí):只知一個(gè)HMM的大致結(jié)構(gòu)，其轉(zhuǎn)移概率都未知.如何從一組可見符號的序列中，決定這些參數(shù)4、簡述基于貝葉斯分類器的分類系統(tǒng)產(chǎn)生的最終分類誤差的來源:貝葉斯誤差：由于不同的類條件概率密度函數(shù)之間的互相重疊引起的固有誤差，無法消除；模型誤差:選擇不正確的模型所導(dǎo)致的分類誤差估計(jì)誤差：采用有限樣本進(jìn)行估計(jì)帶來的誤差。d為IX-XId(X-X,)2ij=5、 k=1ikjkij=對 ikjkYk=1 簡單列舉出三種度量距離的方法:絕對值距離：歐幾里德距離：絕對值距離：d..(g)=maxIX..一X..Iij ik jk1<k<n切比雪夫距離：明考夫斯基距離：6、 具有d個(gè)輸入單元、n個(gè)隱單元、c個(gè)輸出單元以及偏置的一個(gè)標(biāo)準(zhǔn)三層反向傳播網(wǎng)，網(wǎng)絡(luò)中有多少權(quán)值？每個(gè)輸入單元對應(yīng)n個(gè)隱單元:d*n每個(gè)隱單元對應(yīng)c個(gè)輸出單元:n*c偏置單元連到每個(gè)隱單元和輸出單元：n+c一共d*n+n＊c+n+c個(gè)權(quán)值7、 最大似然方法與Bayes估計(jì)的差異：最大似然估計(jì)就是把待估的參數(shù)看做是確定性的量,只是其取值未知。最佳估計(jì)就是使得產(chǎn)生以觀測到的樣本的概率最大的那個(gè)值。

二、1(54頁,12題)設(shè)? (x)為類別狀態(tài)，對所有的i(i=l,...c)，有P(e Ix)>P(eIx)。max max i(a)證明P(w Ix)>1/cmax(b)證明對于最小誤差判定規(guī)則，平均誤差概率為Ip(wmax|x)P(x)dxa)門mtz：也，存如卜疋殺成立_：宜鞏為劇=麗77T假設(shè)P(盛則刊則X)乞円％?|幻V*.7=1, 卩；|此仏Vp(^|x)<V丄=12-1 M廠b)P(enor)=jP(ctto?^x)p{x\dx=[y*TZt2、(116頁,2題冷x具有均勻分布的概率密度:P(x10)~P(x10)~U(0,0)二1/000<x<0其他假設(shè)n個(gè)樣本點(diǎn)D={xx}都獨(dú)立地服從P(x10)，證明對于0的最大似然1 n估計(jì)就是D中的最大值點(diǎn)max[D]。假設(shè)n=5個(gè)樣本點(diǎn)是從這個(gè)分布中抽取的，并且有maxxk=0.6。畫出區(qū)k間0W0W1上的似然函數(shù)P(D10)。并且解釋為什么此時(shí)不需要知道其余4個(gè)點(diǎn)的值。

a)構(gòu)逍IUa)構(gòu)逍IU然函數(shù);osiers 0.6二max(D)oiitm顯然，當(dāng) Q｝時(shí)，1(6｝he的單?調(diào)卜陳隔數(shù)+ 時(shí)+/(0)=0,因此矽)的最人值產(chǎn)左在｛0|max(Z))｝的最小值如即8二財(cái)敘口)=1-b)當(dāng)n=5時(shí)，由以上可知P(D10)= ,0二max(D)二max(x),因此當(dāng)max(x)=0.605 i i時(shí)就可以得到0 ,不需要知道其余四個(gè)值.<40>C41><40>C41>3、應(yīng)用題：計(jì)算兩類問題中二維數(shù)據(jù)的貝葉斯判決邊界，并繪出判決邊界的圖形假設(shè)兩類分布的先驗(yàn)概率相等。叫的樣本為(2,6)，(3,4),(3，8)，(4，6)，竹的樣本為(。，3)，(1,-2),(2,-4)，(5，-2)。weJMp(X)dxX— - -|￡)f]=/(x-fJL)(x-^Yp(K)d*

測1二維高斯分布數(shù)據(jù)的判決邑域?yàn)榱岁U陰國上這些園想+麴們通過本例廳詳細(xì)飾計(jì)算兩類岡題中二雅效據(jù)的判夾邊界”馬耒商斯i＞帶所計(jì)掠出的貝葉斯利決邊界，每i類都斗于-V于瑕撫點(diǎn)r以叫表示電個(gè)黑點(diǎn)的集含?砂表貳紅點(diǎn)集合“.盡強(qiáng)找們在下一章中需用大盛的篇福來說明如極估汁這些井布的營數(shù)?怛在這里仗僅假設(shè)輿們吳需要計(jì)算均值和協(xié)方基，由式(40)^式銳打中采用的腐散計(jì)算方送兩得，旳彳訂：為=(腎7)及」則逆矩陣溝：魁段厲類甘:審的先監(jiān)概率相等.PSJlFW八一6訂牌賓代人一頰形式的判別式＜■閔｝?式(6S),PJj旳￡10=^4｝時(shí)的列決邊界為x,=3314 1J^Sxi+0.1&7^此方程描述了f頂點(diǎn)位于L：J的拋物線。盡背兩神汙布的數(shù)據(jù)沿如方向的方差相等*但判決邊界井不通過兩均偵的中點(diǎn).『卜這與我們通常的獵想不同*這是閔為對于砂分布而言*沿血方向的概率甘布植比于s井布豈到擠應(yīng)，由于總妁先鑒旣率相等(卽螫傘嶽率密應(yīng)空伺曲積分相等幾罐么沿?方向的分?jǐn)葘⒃黾?相對于叫分布X因此判決邊界位于繭均値中點(diǎn)侯下一點(diǎn)*這可從圉中的判抉也界看出“2.考慮下面的二維空間的3-類別問題:xi10wiX2X1-100-2 510x2282-510—4畫出用最近鄰規(guī)則區(qū)分的決策邊界。計(jì)算樣本均值m1，叫和m3。在同一張圖上，畫出如果把樣本歸類為與之最接近的樣本最值的那個(gè)類時(shí)的判定邊界

1*020料請亳肆殲D:j/Wmf場他如&仔榊)#對芋鳴*供厲￡21*020料請亳肆殲D:j/Wmf場他如&仔榊)#對芋鳴*供厲￡2茲▲會(huì)b屮觀?呂棗呂幽◎申希―產(chǎn)幣&転刃兌龍;tXN起3。用偽逆矩陣構(gòu)造線性分類器，分類兩類二維點(diǎn)巴:(1,2)，和(2,及弩⑶"和(2,，并給出圖示結(jié)果。巒1用偽逆矩陣構(gòu)造維性分類器假設(shè)我門市下圖叭分沏用黑色和紅色表示的分屈麻類的二維點(diǎn)4f(b2)J和矗叫汎弭1尸^(2,3)'n輕過兒步簡單的汁舞得到偽逆矩陣我鶴隨意地令所脊的裕量都和尊——也就晶h=<J，1+14)^得到解詞=屮^=(11/3._4/3.—曲3尸，并由此得到如圖所示的判決迪畀?選擇我槍的b當(dāng)然合得到不同的判決邊界.4■!訓(xùn)練點(diǎn)和判決邊界“心—X這璽的注浪通社怙逆怯璃咼的，克此Y矩陣溝(5/4Y1=(￥￥「'￥=亠畀2\013/12亠1簡—W-冊-V3/4.假設(shè)在某個(gè)局部地區(qū)細(xì)胞識別正常?和異常?兩類的先驗(yàn)概率分別為：12正常狀態(tài)：P@）=0.91異常狀態(tài)：P（?2）二°」現(xiàn)有一待識別的細(xì)胞，其觀察值為X，從類條件概率密度分布曲線上查得P（xI①）二0.2,P（xI①）二0.412并且已知九二0,九二6,九二1,九二011122122試對該細(xì)胞X用以下兩種方法進(jìn)行分類：①基于最小錯(cuò)誤率的貝葉斯決策;②基于最小風(fēng)險(xiǎn)的貝葉斯決策。請分析兩種分類結(jié)果的異同及原因。毗1假設(shè)在菓個(gè)廚郵地區(qū)細(xì)I?識別中正常和異?！隁猓蹆深惖南闰敇Ｂ势蛣e為正常狀態(tài)1 尸【映】='I.91.態(tài)： 尸仃片）一山1.現(xiàn)有-持諷別的細(xì)胞?其觀察值為上?從婁集件概率耦度分布曲緩上査得pCroi|｝=0.2,試對諫鈿胞;r進(jìn)行廿類.0-2X0.90,八：以71?1一門“用th利用貝葉期公式，分別計(jì)算川蒯及他的后量Ift率』pz=汁罔円叫｝丫屮H叫｝0-2X0.90,八：以71?1一門“用尸他X）亠一酒皿1艙提掲貝葉斯atjffflws（2-2）^鞏31工2心闌昨？色力二6］駝所口合理的決遠(yuǎn)是把丄心類于正常狀態(tài)，從這個(gè)例于可見?決策結(jié)集鬆決于實(shí)際規(guī)靠到的簽條件趾幣密廢心糾吋I先臉槪傘丹碼）兩占?f￡這個(gè)例子中由于狀態(tài)世的先騎欄率比叫的先眈概粘人蚌幾信.便先驗(yàn)槪年在作出決抵中起了主導(dǎo)作用.我『I柱前而只是給出了啞小錯(cuò)謠率肌葉斯決盪規(guī)則*但阱垛i正冊按這種規(guī)則進(jìn)ff分炎確貫悄錯(cuò)泯率燧小匚規(guī)亞僅以」畢軸況來充成肚i證明結(jié)果不硝推廣到霧維.鋼2.2在例2-1條伴的皐剁上■利用義小風(fēng)險(xiǎn)如葉屠據(jù)策進(jìn)廿井fh已知築件為廠〔怔2丄L戶（工制」=0i4^12廠〔怔2丄L戶（工制」=0i4^12=6切=0山W82入，二，fit據(jù)例2.1的itJ（第杲可嶽后魏柢車為叫j）=0-&18t再投式（狹15）計(jì)算出條煒網(wǎng)險(xiǎn)Rg上》=，打f【町劃=右：鞏叫出）=].（）P2j-；肌叫兀廠⑷r>-0.B18由于 /t（ffi|i）>K（ai|j）即決策為叫的策件鳳網(wǎng)小于決策為卩的憑件風(fēng)險(xiǎn)、囲此弱們采取決策行動(dòng)吋即flOfin.別的細(xì)胞工為3類——異常維胞"將本例勺例巴1相對比?昇分類結(jié)果正好相反，這是硯為這蚩越響役乘結(jié)果的因盤文爭「一個(gè)、即”扭眞二而n材類錯(cuò)泯決策兩造成的捏嘴相芳很懸殊，丙此”捉夫E就起了主甘柞；IL直謨指田的址最小皿險(xiǎn)以葉斯央策際『翌有符倉寶辱悄況的先輪冊率円他）境類茶件概率密度戶（HgJ,J=1.…，r外=還必狽要有合適的損尖南數(shù)敘u「叫J …w：,廠L1*….r.寶際中程列出處認(rèn)的決巍衣狼不容崩.拄往亞桓振所研兗的比冰創(chuàng)題?仆折錯(cuò)訊決境jfi就損快的嚴(yán)重程度*與有關(guān)的?！黾业渫逃憗泶_定-上血我們C經(jīng)介紹了兩種井刖便錯(cuò)混率和園險(xiǎn)這到駅小的処肝斯決策規(guī)則■:這里出簡單討論…下這僧種決策規(guī)則之間的關(guān)系.設(shè)航尖函戳為5。令:x=r4],x=r1],x='0、,x=r5]1、5丿2、 D={ D={x,x,x},D={x},1 1 2 3 2 4由上面的計(jì)算式可得je1=18je2=18je3=17。3;jd1=16jd2=16jd3=