第一講：介紹1什么是視覺：Visionistheprocessofdiscoveringfromimageswhatispresentintheworld,andwhereitis.2研究視覺的用處：對象識別、空間定位、運動跟蹤、動作識別3什么是計算機視覺：ComputerVisionisthestudyofanalysisofpicturesandvideosinordertoachieveresultssimilartothoseasbymen.即為了近似于人眼觀察結果而進行的圖像和視頻的分析研究4MAR計算機視覺理論：將視覺過程看做一個信息加工過程，把視覺圖像的形成劃分為三個階段：1)二維1)二維基素圖（2-Dsketch）：視覺過程的第一階段，由輸入圖像而獲得基素圖。基素圖主要指圖像中強度變化劇烈處的位置及其幾何分布和組織結構，其中用到的基元包括斑點、端點、邊緣片斷、有效線段、線段組、曲線組織、邊界等.目的在于把原始二維圖像中的重要信息更清楚地表示出來。(2)2.5維要素圖：視覺過程的第二階段，通過符號處理，將線條、點和斑點以不同的方式組織起來而獲得2.5維圖。視覺過程的這一階段也稱為中期視覺。2.5維圖指的是在以觀察者為中心的坐標系中，可見表面的法線方向、大致的深度以及它們的不連續輪廓等。其中用到的基元包括可見表面上各點的法線方向、和各點離觀察者的距離（深度）、深度上的不連續點、表面法線方向上的不連續點等等。視覺的這一階段是由一系列相對獨立的處理模塊組成的。這些處理模塊包括：體現、運動、由表面明暗恢復形狀、由表面輪廓線恢復形狀、由表面紋理恢復形狀等。它的作用是揭示一個圖像的表面特征。Marr聲稱，早期視覺加工的目標就是要建立一個2.5維的要素圖，這是把一個表面解釋為一個特定的物體或一組物體之前的最后一步。(3)三維模型表征（3-Dmodelrepresentation）：視覺過程的第三階段，由輸入圖像、基素圖、2.5維圖而獲得物體的三維表示。視覺過程的這一階段，也稱為后期視覺。所謂物體的三維表示指的是在以物體為中心的坐標系中，用含有體積基元（即表示形狀所占體積的基元）和面積基元的模塊化分層次表象，描述形狀和形狀的空間組織形式，其表征包括容積、大小和形狀。當三維模型表征建立起來時，其最終結果是對我們能夠區別的物體的一種獨特的描述。第二講：視覺通路簡介1可見光譜范圍：380nm~780nm2眼球基本結構和功能：3視網膜：將光信號轉變成電脈沖信號1光感受體：包括視錐細胞和視桿細胞。作用是將光信號轉換為電脈沖信號。視錐細胞：亮視覺1光感受體：包括視錐細胞和視桿細胞。作用是將光信號轉換為電脈沖信號。視錐細胞：亮視覺視桿細胞：暗視覺2中間層：構成視覺信息傳輸的直接和間接通道。3神經節細胞層：視覺信息在這里形成纖維束,離開人眼。光線---------4視覺通路概述：視覺傳導通路：光線—角膜—瞳孔視覺傳導通路：光線—角膜—瞳孔—晶狀體—玻璃體—視網膜色素上皮細胞層—視錐視桿細胞層—雙極神經原—節細胞—視神經—視交叉—視束—外側膝狀體—視輻射—大腦半球枕葉皮質。視覺反射通路：光線—角膜—瞳孔—晶狀體—玻璃體—視網膜色素上皮細胞層—視錐視桿細胞層—雙極神經原—節細胞—視神經—視交叉—視束—外側膝狀體—上丘臂—雙側上丘—中腦動眼神經副交感核—動眼神經—睫狀神經節—節后纖維—瞳孔、睫狀體—調節瞳孔對光反射和視覺反射外側膝狀體視皮層視網膜視束交叉：視束神經交叉的關鍵是內側信號傳輸到對面,外側信號傳輸方向不變3視覺通道假說模型3視覺通道假說模型大量的動物實驗表明,靈長類動物視覺系統將圖像的不同特征(例如,形狀、運動、顏色、空間位置等)分成不同通路并行處理,各通路為串行的等級結構.在所有并行處理通路中,最重要的兩條通路是背側通路(DorsalPathway)和腹側通路(VentralPathway).前者完成“在哪兒(Where)”功能,后者完成“是什么(What)”功能.第三講：數學基礎1線性代數知識復習：齊次坐標系、普通二維坐標和二維齊次坐標之間進行轉換、行列式、行列式幾何意義（二階行列式：平面平行四邊形的有向面積；三階行列式：平行六面體的有向體積；n階行列式：n維平行多面體的有向容積）、行列式性質、兩個三維向量叉積、矩陣、任意一個矩陣其本身蘊含一個變換、矩陣與線性變換之間的關系（矩陣變換就是線性變換）、二階矩陣對應線性變換的平面幾何圖形小結、矩陣的秩（初等變換不改變矩陣的秩）、矩陣的K階子式、滿秩矩陣、滿秩矩陣的逆矩陣、反對稱矩陣、二元/三元線性方程組解的行列式表示、Gramer(克拉姆)法則、三點共線的判定（三點的齊次坐標行列式的值為0）、***反對稱矩陣***性質(1)對任意兩個三維向量x1,x2：(2)(3)***結束******二階矩陣對應線性變換的平面幾何圖形小結******結束******矩陣蘊含變換***3*3矩陣A把一個三維向量d映射到一個三維向量e；2*3矩陣A把一個三維向量d映射到一個二維向量e;1*3矩陣A把一個三維向量d映射到一個一維向量e；***結束******關于向量叉積***向量的叉積：

假設存在向量u(ux,uy,uz),v(vx,vy,vz),求同時垂直于向量u,v的向量w(wx,wy,wz).

因為w與u垂直，同時w與v垂直，所以w.u=0,w.v=0;即

uxwx+uywy+uzwz=0;

vxwx+vywy+vzwz=0;

分別削去方程組的wy和wx變量的系數，得到如下兩個等價方程式：

(uxvy-uyvx)wx=(uyvz-uzvy)wz

(uxvy-uyvx)wy=(uzvx-uxvz)wz

于是向量w的一般解形式為：

w=(wx,wy,wz)=((uyvz-uzvy)wz/(uxvy-uyvx),(uzvx-uxvz)wz/(uxvy-uyvx),wz)

=(wz/(uxvy-uyvx)*(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx))

因為：

ux(uyvz-uzvy)+uy(uzvx-uxvz)+uz(uxvy-uyvx)

=uxuyvz-uxuzvy+uyuzvx-uyuxvz+uzuxvy-uzuyvx

=(uxuyvz-uyuxvz)+(uyuzvx-uzuyvx)+(uzuxvy-uxuzvy)

=0+0+0=0

vx(uyvz-uzvy)+vy(uzvx-uxvz)+vz(uxvy-uyvx)

=vxuyvz-vxuzvy+vyuzvx-vyuxvz+vzuxvy-vzuyvx

=(vxuyvz-vzuyvx)+(vyuzvx-vxuzvy)+(vzuxvy-vyuxvz)

=0+0+0=0

由此可知，向量(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)是同時垂直于向量u和v的。

為此，定義向量u=(ux,uy,uz)和向量v=(vx,vy,vz)的叉積運算為：uxv=(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)

上面計算的結果可簡單概括為：向量uxv垂直于向量u和v。

根據叉積的定義，沿x坐標軸的向量i=(1,0,0)和沿y坐標軸的向量j=(0,1,0)的叉積為：

ixj=(1,0,0)x(0,1,0)=(0*0-0*1,0*0-1*0,1*1-0*0)=(0,0,1)=k

同理可計算jxk:

jxk=(0,1,0)x(0,0,1)=(1*1-0*0,0*0-0*1,0*0-0*0)=(1,0,0)=i

以及kxi:

kxi=(0,0,1)x(1,0,0)=(0*0-1*0,1*1-0*0,0*0-0*0)=(0,1,0)=j

由叉積的定義，可知：

vxu=(vyuz-vzuy,vzux-vxuz,vxuy-vyux)=-(uxv)***結束***2無窮遠點：齊次坐標：x,y至少有一個不是0；無窮遠點沒有歐式坐標；無窮遠點被視為“理想點”無窮遠直線：齊次坐標平面上所有無窮遠點構成的直線通常的直線加一個無窮遠點就是無窮遠直線直線平行：通過同一無窮遠點的所有直線平行。一平面內兩條平行的直線交于無窮遠點。無窮遠點和無窮遠直線的引入打破了原本只有兩條直線不平行才可求交點的限制。3射影平面（二維射影空間）：歐式平面與無窮遠直線的并集所形成的擴展平面對偶原理：在射影平面內，點和線是一對互為對偶元素。在包含“點”和“線”元素的命題中如果將兩個元素的角色互換，則對應的命題也成立，并稱它們是一對互為對偶命題。如果p1,p2是射影平面上的兩個點，則表示通過這兩點的直線。命題1.1：兩點p1,p2連線的坐標是三點共線的充要條件是命題1.2：兩直線p1,p2的交點坐標是三線共點的充要條件是4共線點的參數化：直線上的點只有一個自由度因此用二維齊次坐標來表示。給定直線l上兩個不同點的齊次坐標p1,p2，則直線上任何一個點p的坐標均可以表示為：直線上所有點都可以用二維向量表示：此二維向量為直線上點的參數化表示。顯然P1的參數化為P2的參數化為這種參數化過程實際上是建立直線坐標系的過程，直線上點的參數化不唯一，不同的參數化對應不同的坐標系。5共線點的交比：設為四個共線點，他們在某種參數化的其次坐標分別為交比定義：共線點的交比不依賴點的參數化選擇，直線坐標系的選擇將p3,p4在平面上的其次坐標分別表示為常用的交比計算公式6共點直線的交比：給定共點直線束的兩條不同直線的齊次坐標，則直線束中任一條直線l的坐標都可以表示為，這樣利用直線束中的兩條直線，其他的直線都可以用二維向量來表示：設為四個共線點，他們在某種參數化的其次坐標分別為命題1.3:如果四條有窮點直線的斜率分別為，則他們的交比為：命題1.4：如果4條直線被任意直線截于四點則交比是射影變換的不變量7二次曲線：二次曲線方程表示：矩陣形式：令：則C為一個對稱陣，二次曲線的矩陣表示：二次曲線的維度：5個，需要確定的5個參數：a/f,b/f,c/f,d/f,e/f非退化二次曲線：就是正常的二次曲線，C是滿秩；P為非退化二次曲線C上一點，則過該點的直線l為C的切線，l=Cp退化二次曲線：C不滿秩，由兩條直線構成或是兩條重合直線構成8二維射影變換：射影變換是射影平面上的可逆齊次線性變換，可以由3X3的矩陣來表示：射影變換：投影中心不在物體平面上的中心投影中心投影將物體平面上的點投影到圖像平面上得到像點，像點是物體平面點和投影中心的連線與像平面的交點。物體平面點到像點之間的變換是一個射影變換。射影變換：投影中心不在物體平面上的中心投影中心投影將物體平面上的點投影到圖像平面上得到像點，像點是物體平面點和投影中心的連線與像平面的交點。物體平面點到像點之間的變換是一個射影變換。射影變換：點-點；直線-直線；點共線-點共線；任何射影變換的逆變換（對應與單應矩陣的逆）都是射影變換，任意兩個合成（對應兩個單應矩陣的積）也都是射影變換，因此射影變換的全體構成射影平面上的一個變換群。9變換群與不變量等距變換：保持距離不變的變換。相當于是平移變換和旋轉變換的復合。R={{r11,r12,tx},{r21,r22,ty},{0,0,1}}三個自由度：旋轉、x方向平移、y方向平移不變量：兩點的距離，兩線的夾角，圖形的面積等距變換群：等距變換的逆變換、合成變換都是等距變換，等距變換的全體構成一個等距變換群相似變換：等距變換和均勻伸縮變換的合成變換S={{s*r11,s*r12,tx},{s*r21,s*r22,ty},{0,0,1}}四個自由度：旋轉、x方向平移、y方向平移、縮放因子s不變量：兩線的夾角，長度的比值，面積的比值相似變換群：相似變換的全體仿射變換：平移變換和非均勻變換的復合。A={{a11,a12,tx},{a21,a22,ty},*三對不共線對應點唯一確定仿射變換{0,0,1}}*******對A作奇異值分解，得到A=UDVT,U,V為正交矩陣，D為對角為正數的對角矩陣。仿射變換是一個等距變換VT仿射變換是一個等距變換VT和一個均勻伸縮變換D以及另一個等距變換U的合成。與相似變換差別在于非均伸縮*******六個自由度：旋轉4個，x方向平移、y方向平移不變量：平行性、面積比不變、共線線段和平行線段長度比不變、矢量線性組合不變、面積被縮放det(A)倍仿射變換群：仿射變換的全體.*是射影變換的特例射影變換:凡是利用中心投影或平行投影把一個圖形映成另一個圖形的映射都叫做射影變換討論：k=0：當且僅當這個攝影變換把無窮遠直線變換為通過坐標原點的直線。k!=0：一般情況，此時H分解為：其中k為行列式等于1的上三角正數矩陣，R為正交陣Hp:改變無窮遠直線的射影變換Ha:保持面積比不變的仿射變換Hs:相似變換自由度：8個不變量：變換前后共點，共線，交比，相切，拐點，切線的不連續性和岐點保持不變。是一個最為廣義的線性變換第四講空間射影幾何---數學基礎知識對上一講的知識回顧和補充：1空間點：在三維射影空間中沒有定義，不能作為三維射影空間中點的齊次坐標2空間平面：平面方程：即空間點的齊次坐標平面的齊次坐標無窮遠平面：空間點（x0,y0,z0）到直線Ax+By+Cz+D=0的距離：d=|Ax0+By0+Cz0|/sqrt(A^2+B^2+C^2)*平面上的無窮遠直線代表了該平面的法向結論：（1）兩平面平行的充要條件是，他們的交線為無窮遠直線，或他們有相同的方向。（2）直線與直線(平面)平行的充要條件是他們相交于無窮遠點三點確定一個平面計算：三平面確定一點：如果三面不共線，則系數矩陣的秩為3，否則共線于1，系數矩陣的秩為2，則不能唯一確定一點，而是在直線上的所有點。*面共線：面的法線共面空間平面點的參數化：給定平面π上不共線三個點的齊次坐標X1，X2，X3,則平面上任一點可表示為：X=αX1+βX2+γX3=(X1，X2，X3)x=(α,β,γ)為點X的參數化表示，也是平面點的齊次坐標。3空間直線：點表示：將直線作為兩個點的連線點束：(x1*α+x2*β,y1*α+y2*βz1*α+z2*β,α+β)即各個分量都是線性組合~~空間中的點和平面是對偶的，直線是自對偶的。面表示：將直線作為空間中的點和平面是對偶的，直線是自對偶的。三維射影變換是三維空間中可逆的齊次線性變換，用4*4的矩陣H三維射影變換是三維空間中可逆的齊次線性變換，用4*4的矩陣H來描述H為射影變換，或單應矩陣。有15個自由度?？捎?5個參數確定。三維射影變換將空間上的點(線、面)變換到點(線、面)，并保持點的共線共面性，線的共面性。任何三維射影變換的逆變換也是三維射影變換。任意三維射影變換的合成也是三維射影變換。三維射影變換的全體構成三維射影空間上的變換群，稱為三維射影變換群。仿射變換群：相似變換群：等距變換群：，是三維相似變換的子群。如果限制U為旋轉矩陣，則為歐式變換。歐式變換的全體構成等距變換的子群。第五講計算機視覺中的多視幾何1單視幾何主像點在圖像平面中心：空間中某一點的非齊次坐標為：(Xc空間中某一點的非齊次坐標為：(Xc,Yc,Zc)對應的齊次坐標為：(Xc,Yc,Zc,1)射影到圖像平面，對應的非齊次坐標和齊次坐標如下攝像機坐標系與圖像平面坐標系之間的關系：*P：攝像機矩陣。表示一個從空間到平面的齊次線性變換主像點偏離圖像平面中心：設主點在以圖像平面坐標系下的坐標為：則空間中的點在圖像平面中的非齊次坐標變化為：設主點在以圖像平面坐標系下的坐標為：則空間中的點在圖像平面中的非齊次坐標變化為：攝像機坐標系與圖像平面坐標系之間的關系：2CCD攝像機：假設CCD攝像機的每個像素是矩形，長為dx，寬為dy.則在攝像機坐標系中空間點在圖像平面中的齊次坐標離散化后為則其中fx=f/dx;fy=f/dy;一般CCD攝像機的像素是一個平行四邊形，如：則在攝像機坐標系中空間點在圖像平面中的齊次坐標離散化后為則：*K(I,O)為攝像機內參數矩陣3攝像機矩陣的一般形式：世界坐標系：令空間點在世界坐標系與攝像機坐標系的坐標分別為：世界坐標系中的點到攝像機坐標系的變換可以用一個正交變換矩陣R和一個平移變換矩陣T表示：=Rxyz+T=r11齊次坐標表示：其中，T=是世界坐標系原點在攝像機坐標系中的坐標，矩陣R是正交旋轉矩陣，其矩陣元素滿足：正交旋轉矩陣實際上只含有3個獨立變量，再加上tx,ty和tz，總共有六個參數決定了攝像機光軸在世界坐標系中空間位置，因此這六個參數稱為攝像機外部參數其中表示攝像機中心在世界坐標系中的非齊次坐標。小結：攝像機矩陣的一般形式攝像機外參數矩陣：攝像機內參數矩陣：K(I,O)4世界坐標系與圖像坐標系變換關系：z是什么含義？*M1:攝像機的內部參數矩陣0M2:攝像機的外部參數矩陣*上式就是攝影測量學中最基本的共線方程。說明物點、光心和像點這三點必須在同一條直線上。這是針孔模型或者中心投影的數學表達式。根據共線方程在攝像機內部參數確定的條件下，利用若干個已知的物點和相應的像點坐標，就可以求出攝像機的六個外部參數。5攝像機矩陣的元素（攝像機矩陣的幾何意義）攝像機的中心：攝像機矩陣的一般形式因為，所以是方程PC=0的一個解。故在已知攝像機矩陣的情況下，可以通過求解PX=0得到攝像機中心在世界坐標系下的坐標。求解：令,其中H為P的前三列構成的3*3矩陣，為第四維向量，從PX=0可以解出攝像機中心在世界坐標系中的齊次方程坐標原點與坐標軸方向;記攝像機矩陣為，其中為P的第j列向量。世界坐標系的原點坐標為,所以它的圖像坐標為:即：攝像機矩陣的第四列向量是世界坐標原點圖像的齊次坐標三個坐標軸與無窮遠平面的交點分別為：所以他們的圖像坐標為：*s0,s1,s2,s3都是可相差常數倍數因子即：攝像機矩陣的前三個列向量分別是世界坐標系3個坐標軸方向的圖像點的齊次坐標主平面與軸平面:6具體求解攝像機矩陣：六點法：7平面測量：8歐式空間與射影空間：一般來說，攝像機模型可以被看做從三維射影空間到二維射影平面的映射，可用下面的合成矩陣表達：1）如果，其中rank(A)=3,表示三維空間的仿射變換，則是世界坐標系為仿射坐標系的攝像機矩陣，稱它為放射空間中的攝像機矩陣。2）如果其中R是旋轉矩陣，s為非零常數，表示三維空間的相似變換，則是世界坐標系為歐式坐標系的攝像機矩陣，稱它為相似空間中的攝像機矩陣。3）如果其中R是旋轉矩陣，表示三維空間的歐式變換，則是世界坐標系為歐式坐標系（量度為絕對量度）的攝像機矩陣，稱它為歐式空間中的攝像機矩陣。即前面所講的攝像機矩陣。4）如果，則是攝像機坐標系為世界坐標系的攝像機矩陣。9兩視幾何外極幾何：研究兩幅圖像之間存在的幾何，和場景結構無關，只依賴于攝像機的內外參數。研究這種幾何可以用在圖像匹配、三維重建方面?；靖拍?基線：連接兩個攝象機光心O（O’）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應點對之間的約束基本性質：極平面上任意一點X在第一個攝像機平面上的投影m必位于極線上lX在第二個攝像機平面上的投影m’必位于極線上l’e是第二個攝像機光心e’在第一個攝像機平面的投影e’是第一個攝像機光心e在第二個攝像機平面的投影m的反投影線與的反投影線必相交于一個空間點X，因此反投影線確定一張通過兩攝像機光心的平面π極線是反投影線在第二個攝像機下的投影，極線是反投影線在第一個攝像機下的投影。命題一：令是點對應，則m’位于m對應的極線上，m位于m’對應的極線上，即給定兩攝像機下的圖像(I,I’),極幾何約束表明：*極幾何約束與場景幾何結構無關，是兩幅圖像間的固有射影性質。極幾何的代數表示:基本矩陣:描述圖像點與其極線的對應關系假設兩個攝像機矩陣為P，P’，攝像機平面為I,I’,則兩幅圖像之間關系推導：令其中：X(s)是世界坐標系下的X坐標（(第一個攝像機坐標系下X坐標)標準的，s是畸變因子，一般的，其中是P的廣義逆，即）C是第一個攝像機的光心，即PC=0.于是：----------------(2)記：---------------(3)小結：基本矩陣描述了點m與其對應極線的對應關系：=Fm----------------(4)由于圖像點m’在第二幅圖像上的對應點在極線上，所以必有：--------------(5)------(6)F:把第一個圖像平面上的二維空間點齊次線性映射到第二個圖像平面的共點線束上。F是齊次變換，3*3矩陣，8個參數。對于每個圖像點對應，(5)為基本矩陣提供一個線性約束，，8對以上的點對應可以線性求解基本矩陣?；揪仃嘑的估計方法：8點算法：一對對應點：，滿足約束：其中：展開得到約束方程：對于n對對應的圖像點對可以得到n個這樣的方程，構造向量：構造矩陣：從而：Af=0評價：8點算法估計基本矩陣F的結果與圖像點的坐標系有關。當圖像數據有噪聲，即對應點不精確時，由8點算法給出的基本矩陣F的解精度很低。10三視幾何：三幅圖像之間存在約束:三焦張量T(*四幅或更多圖像之間不存在獨立的約束，它們可以由F和T生成。)基本概念：三焦張量由三個3′3矩陣{T1，T2，T3}組成。一共有27個元素。三幅圖像之間的約束：其中：l，l’，l’’為在三幅圖像中對應的直線。基本矩陣與三焦張量之間存在的關系：由三焦張量和外極點可得到一組投影矩陣：第六講：光學系統的近軸成像1小孔成像：小孔成像的特點：1小孔成像的特點：1小孔成像是由光的直線傳播形成的2小孔成像與小孔形狀無關3小孔成像中像就是光斑4像是倒立的實像2成像：光線分類：物理光線：光從一個由兩個光孔限制的細長空間（即光管）中通過，若光管的截面跟其長度比可以忽略時，這樣的光管叫做物理光線。有直徑有體積。幾何光線：無直徑無體積的純幾何線波面：光傳播的空間（波場）中，振動相位相同的點在某一時刻所構成的曲面稱為波面。在各向同性媒質中，光沿著波面法線傳播。因此，通常說的幾何光線實際指的就是波面的法線；跟波面對應的法線束就是通常說的光束。可以認為光束是光能的載體，在同一波面上通過的光束愈寬，其所攜帶的光能就愈多。單心光束(同心光束)：各光線（或反向延長線）交于同一點的光束。物點&像點：一個以Q點為中心的同心光束經光具組（可以是透鏡組，也可以是透鏡跟面鏡的組合等等）折射（或反射）后，轉化為另一個以Q′點為中心的同心光束。Q為物點；Q′為像點。實像&虛像：若出射光束是會聚的，則為實像；若出射同心光束是發散的，則為虛像。實物&虛物：虛物常出現在光具組聯合成像的問題中。如一個光具組出射的是會聚光束，在會聚前就遇到了另一個光具組，那么，原來的那個會聚中心就是后一個光具組的虛物。物方&像方：物方(物空間)：物得光線所在的空間像方(像空間)：像的光線所在的空間理想成像：對任何一個物點成像后仍是一個點，即同心光束到同心光束理想光線系統（光具組）：能達到理想成像的光學系統,即使任何同心光束保持同心性的光具組，只有平面鏡可做到理想成像，其他系統在一定限制下可接近理想成像像差：如果同心光束的像不成一點，這種情況就稱系統有像差。物象之間的等光程性：根據費馬原理，在均勻介質中的兩點間（直線傳播）、經平面反射的兩點間，以及經平面折射的兩點間的實際光路均是光程取極小值的情形。即成象系統的物點和像點之間各光線的光程相等。*推論：任意兩波面間的光程相等*透鏡在成像過程中只會改變波面的形狀；不會引入附加相位差。3共軸球面組的傍軸(近軸)成像共軸球面光具組：由球心在同一直線上的一系列折射或反射球面組成的光學系統叫共軸光具組。各球心的連線為光軸傍軸光線：在共軸球面系統中，若入射光線和出射光線靠近主光軸，且與主光軸的夾角μ很小，使sinμ≈tgμ≈μ，cosμ≈1近似成立，則相應的光線稱為傍軸光線。此條件稱為傍軸條件。在傍軸條件下共軸球面系統可近似看做理想光學系統。單個球面成像公式：引入S和，如下圖：物象成像公式推導：基本關系式：三角形正弦公式：------------------------------------------------------------------------------(1)用(1)式分別表示出和，帶入基本關系式，調整得：---------(2)因為：展開,提公因式整理得：-----------------------(3)把(3)帶入(2)得準確的物象成像公式如下：-----------------------------------------------------------(4)說明：一般情況下與有關。因此Q點發出不同傾角的光線，折射后不再與光軸交于同一點。未保持同心光束的同心性不能成像傍軸條件下的物距和像距公式：基本關系式：------------ni=n￠i￠傍軸條件下的物距相距公式：-----------------------------------（5）（即（4）式右項為0，因為很?。?）式整理后得到單個折射球面的物象距公式：------------------------------------（6）*符號規定：實物實像時，和取正號；虛物虛像時，和取負號。凸面球迎著入射光線時，r取正號；凹面球迎著入射光線時，r取符號。*實際情況中非傍軸光線所推的結果與傍軸光線所推的結果的偏差稱為像差，常作為對實際系統質量的一種量度。焦點、焦距和光焦度第一焦點：當點光源在主光軸上的F1點時，如果折射光為平行于主光軸的光線(像距為無限遠),則F1稱為第一焦點第一焦距：第一焦點到O點的距離稱為第一焦距，用f1表示由公式(6)：，且為無窮大，故可得：f1=s==-------------------------------------（7）第二焦點：當平行于主光軸的光（物距為無限遠）經折射而成的像在主光軸上的F2時，稱F2為第二焦點第二焦距：第二焦點到O點的距離稱為第二焦距，用f2表示同理，由公式（6）：，且s為無窮大，故可得：f2===---------------------------------------（8）f1和f2的大小表征著折射面的折射本領。共軸球面系統：幾個折射球面的曲率中心在同一條直線上，該直線稱為此共軸球面的主光軸共軸球面系統成像求解：透鏡：是具有兩個折射球面的光學系統，是最簡單的共軸球面系統。透鏡厚度：透鏡兩個曲面在主光軸上的距離薄透鏡：透鏡厚度與其球面半徑比可忽略不計。薄透鏡種類如下：薄透鏡成像公式：第一次折射：-----------------------------（1）第二次折射：---------------------------（2）（1）+（2），得薄透鏡成像公式：----------------------------------（3）當透鏡置于空氣中，即=1時，薄透鏡成像公式為：--------------------------------（4）薄透鏡的焦點、焦距和焦度：第一焦點：當點光源在主光軸上F1點時，如果折射光為平行于主光軸的光線(像距為無窮遠),則F1稱為第一焦點第一焦距：第一焦點到透鏡中心的距離為第一焦距，用f1表示將u=f1,v=∞帶入（3），得：第一焦距：薄透鏡置于空氣中時：第二焦點：當平行于主光軸的光（物距為無限遠）經折射而成的像在主光軸上的F2時，F2為第二焦點第二焦距：第二焦點到透鏡中心點的距離，用f2表示將u=∞,v=f2帶入（3），得：第二焦距：薄透鏡置于空氣中時：*凸透鏡的焦距為正，凹透鏡的焦距為負即薄透鏡焦距：------------------------------(3)薄透鏡成像：-----------------------------(5)將薄透鏡的焦距公式帶入薄透鏡成像公式得：薄透鏡成像公式的高斯形式：-----------------------------（6）其中：稱為焦度薄透鏡組合：復合透鏡：兩透鏡之間的距離為0，在此條件下，第一透鏡所成的像就是第二透鏡的物。第一個透鏡：第二個透鏡：兩式相加：令：則有：f稱為透鏡組的等效焦距。若以焦度表示，則有：上式表明，實際情況下需要某一定焦度的透鏡而沒有時，就可用兩只適當的透鏡搭配起來。柱面透鏡：透鏡折射面不是球面的一部分，而是圓柱面的一部分，這種透鏡稱為柱面透鏡凸柱面透鏡凹柱面透鏡柱面透鏡成像：柱面透鏡的橫截面和球面透鏡的截面相同。因此，在同一個水平面的入射光線將被會聚（或發散）。但是，柱面透鏡豎直方向的截面（縱截面）卻像一個平板玻璃。因此在同一豎直平面內的入射光線通過柱面透鏡時，不改變進行方向，此方向稱為柱面透鏡的鏡軸方向。例：一個點光源發出的光線，經凸圓柱透鏡后，所成的像不是一個清晰的點，而是一條與鏡軸平行的直線。透鏡的像差：像差再次說明：光學系統實際成的像與理論計算結果有差別，這種差別叫做像差球面像差：在主光軸上以單色點光源發出的光線射到球面上往往不止是近軸光線，而是那些射到透鏡邊緣的光線，這樣就會受到較大的偏折，以至于不能與近軸光線同交于一點，使得在近軸光線的成像點位置處不是一個點，而是一個小圓斑。這種像差是由于透鏡表面呈球面引起的，因此叫球面像差。減小球面像差的方法：*在透鏡前加一個光闌，以遮斷射到透鏡邊緣的光線，*在透鏡前加一個光闌，以遮斷射到透鏡邊緣的光線，*配以適當的發散透鏡，組成一個符合透鏡，是射到透鏡邊緣的光線得到適當的發散，而與近軸光線會聚與一個交點上。色相差：不同顏色的光在不同的介質中折射率是不相同的。同一透鏡對不同波長的光它們的焦距也不相同。即一束平行于主光軸的復合光經過透鏡折射后，不能會聚在同一點上。這樣一束平行于主光軸的白光通過透鏡就不是形成一個清晰的點像，而是一個彩色亮斑，其中紫光的焦距最短，而紅光的焦距最長。減小色相差方法：配以不同質料的，適當的發散透鏡，配合成消色差透鏡。人眼屈光*不考，詳見課件《光學系統的近軸成像》第七講：圖像分割（1）1.基于邊緣檢測的分割常用的一些邊緣檢測方法：(標量場中某一點上的梯度指向標量場增長最快的方向，梯度長度表示最大的變化率)Roberts:交叉梯度算法Soble:Prewitt:2.基于閾值化分割最大類間方差法（OTSU）：具體實現方法：對于圖像I(x,y)T:前景（即目標）和背景的分割閾值ω0:前景像素點數占μ0:ω1:3基于聚類的分割4.均值漂移MeanShift算法5基于SVM的圖像分割6基于粒子群的分類優化方法7聚類：聚類方法：C均值聚類(HCM或K)均值聚類法FCM基于模糊均值聚類法KFCM模糊均值聚類核函數法第八講：圖像分割（2）1復習Hough變換2最小二乘直線擬合直線參數的估計：設直線方程為：(相關系數)r值范圍介于-1與+1之間，即-1≤r≤1。當r>0時直線的斜率為正，稱正相關；當r<0時直線的斜率為負，稱負相關。當|r|＝1時全部數據點(xi,yi)都落在擬合直線上。若r＝0則x與y之間完全不相關。r值愈接近±1則它們之間的線性關系愈密切。推導：定理（充分條件）：設函數z=f(x,y)在點(x0,y0)的某領域內連續且有一階及二階連續偏導數，又fx(x0,y0)=0，fy(x0,y0)=0，令fxx(x0,y0)=A，fxy(x0,y0)=B，fyy(x0,y0)=C，則f(x,y)在(x0,y0)處是否取得極值的條件如下：

（1）AC-B2>0時具有極值，且當A<0時有極大值，當A>0時有極小值；

（2）AC-B2<0時沒有極值；

（3）AC-B2=0時可能有極值，也可能沒有極值，還需另作討論。定理（必要條件）：設函數z=f(x,y)在點(x0,y0)具有偏導數，且在點(x0,y0)處有極值，則它在該點的偏導數必然為零。對a0,a1分別求偏導：3最小二乘曲線擬合考慮圖1的N個數據點，它們的坐標是(X1,Y1)，(X2,Y2)...，(XN,YN)。假設這些值中的X是嚴格的精確值，Y的值是測量值(含有一些誤差)二次擬合函數：4穩健回歸第九講：貝葉斯分類1概率論基本知識：先驗概率：事情還沒有發生,求這件事情發生的可能性的大小是在缺乏某個事實的情況下描述一個變量通常是經驗豐富的專家的純主觀的估計后驗概率：事情已經發生,求這件事情發生的原因是由某個因素引起的可能性的大小是在考慮了一個事實之后的條件概率可以根據通過貝葉斯公式，用先驗概率和似然函數計算出來。貝葉斯公式：離散形式：A,B為離散隨機變量連續形式：A為離散隨機變量，B為連續隨機變量2貝葉斯概率分類器：3多類貝葉斯分類器：4最小風險率Bayes分類5正態分布決策理論：正態分布判別函數：單變量正態分布：多維正態分布：正態分布決策理論：第十講：運動目標跟蹤技術（1）1.圖像特征匹配算法基于低層次視覺特征的圖像檢索與匹配方法歸納起來大致如下：基于顏色特征的圖像檢索與匹配；基于紋理特征的圖像檢索與匹配；基于形狀特征的圖像檢索與匹配；基于空間關系的圖像檢索與匹配。2基于顏色特征的匹配：方法：顏色直方圖法直方圖相交法距離法中心矩法顏色集顏色聚合向量顏色聚合向量法：顏色聚類：在建立顏色直方圖前,為減少直方圖的維數,有必要對顏色進行聚類.聚類的基本思想：是以量化點顏色為軸心,把與該顏色相似的顏色歸并到這一類,在最低平均方差下聚類出最少數目的顏色.圖像的顏色聚合向量：核心思想是將屬于直方圖每一個bin的像素分為兩部分：如果該bin內的某些像素所占據的連續區域的面積大于給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素，從而將每一個bin分為顏色聚合向量和顏色非聚合向量。顏色聚合向量的最大特點：克服了顏色直方圖和顏色矩的缺點，將顏色在圖像中的空間信息與顏色直方圖結合了起來。這樣既考慮了顏色分布的統計信息，又考慮了顏色的空間分布信息。假設，和分別代表直方圖的第i個bin中聚合像素和非聚合像素的數量，圖像的顏色聚合向量可以表達為。而顯然，就是該圖像的顏色直方圖。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。算法性能及評價顏色聚合向量很好地解決了直方圖沒有考慮圖像顏色空間分布信息的缺點，可以有效地減少檢索的誤差。在實際檢索應用中，對于兩幅圖像算法性能及評價顏色聚合向量很好地解決了直方圖沒有考慮圖像顏色空間分布信息的缺點，可以有效地減少檢索的誤差。在實際檢索應用中，對于兩幅圖像I和I'它們的顏色聚合向量分別為他們的距離或者說不同可以表示為總結：顏色聚合向量算法在直方圖的基礎上增加了劃分連通區域和判斷聚合性等步驟，大大增加了計算量。尤其是實現判斷連通區域的時候需要用到迭代與回溯算法，這對于計算量是很大的考驗。為了減少計算量，盡量采取均勻量化的方法，并可以適當減小量化的階數，即bin的個數。另外，也可以對于很大的圖像，可以先做一些“模糊化”的預處理，把某個小鄰域內的值用平均值代替，這樣也可以很大程度減少計算量。第十一講:運動跟蹤（2）多項式運動學：定義狀態向量：狀態方程：其中：（T為K+1與k之間的時間間隔）加速度一般不為常數，則設其在第k個間隔增量為n(k),那么速度的增量為n(k)T,位移的增量為那么三次運動模型可由方程來描述為：其中增量n(k)通常被描述為零均值白噪聲方向上加速度的噪聲第十二講：運動跟蹤（3）卡爾曼濾波：離散控制過程的系統：線性隨機微分方程描述：X(k)=AX(k-1)+BU(k)+W(k)W(k)：過程噪聲系統測量值：Z(k)=HX(k)+V(k)X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)式(1)中，X(k|k-1)是利用上一狀態預測的結果，X(k-1|k-1)是上一狀態最優的結果，U(k)為現在狀態的控制量，如果沒有控制量，它可以為0系統結果已經更新了，可是對應于X(k|k-1)的covariance還沒更新。我們用P表示covariance：P(k|k-1)=AP(k-1|k-1)A’+Q………(2)P(k|k-1)是X(k|k-1)對應的covariance(協方差)，P(k-1|k-1)是X(k-1|k-1)對應的covariance，A’表示A的轉置矩陣，Q是系統過程的covariance。式子1，2就是卡爾曼濾波器5個公式當中的前兩個，也就是對系統的預測。X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)其中Kg為卡爾曼增益(KalmanGain)：Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)觀測噪聲協方差R到現在為止，已經得到了k狀態下最優的估算值X(k|k)。但是為了要另卡爾曼濾波器不斷的運行下去直到系統過程結束，我們還要更新k狀態下X(k|k)的covariance：P(k|k)=（I-Kg(k)H）P(k|k-1)………(5)其中I為1的矩陣，對于單模型單測量，I=1。當系統進入k+1狀態時，P(k|k)就是式子(2)的P(k-1|k-1)。這樣，算法就可以自回歸的運算下去。記憶：X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)P(k|k-1)=AP(k-1|k-1)A’+Q………(2)X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)P(k|k)=（I-Kg(k)H）P(k|k-1)………(5)X(k|k-1)：利用上一狀態預測的結果X(k-1|k-1)：上一狀態最優的結果U(k)：現在狀態的控制量，如果沒有控制量，它可以為0A、B：系統參數,對于多模型系統，他們為矩陣A’：表示A的轉置矩陣P(k|k-1)：X(k|k-1)對應的covariance(協方差)P(k-1|k-1)：X(k-1|k-1)對應的covarianceQ：系統過程的covariance。Kg：卡爾曼增益Z(k)：k時刻的測量值H：測量系統的參數，對于多測量系統，H為矩陣Z(K)-HX(k):=V(k):測量噪聲因為：系統測量值Z(k)=HX(k)+V(k)R：觀測噪聲協方差H’：H的轉置矩陣I：1的矩陣，對于單模型單測量，I=1注：任意給定初值均可，但是P!=0第十三講：視頻目標檢測與跟蹤技術目標跟蹤常用算法：目標檢測主要算法：(1)基于幾何及亮度特征的跟蹤方法(1)幀差法(2)基于光流場的跟蹤方法(2)背景減法(3)基于頻域的跟蹤方法(3)光流法(4)基于區域匹配的方法(5)基于均值平移的方法背景減法：均值濾波W4模型碼書模型高斯背景模型內核密度估計法均值濾波：(用的最多的背景圖像重構方法)基本