協方差與相關系數對于二維隨機向量(X,Y)來說,數學期望E(X)、E(Y)只反映了X與Y各自的平均值,方差只反映了X與Y各自離開均值的偏離程度,它們對X與Y之間相互關系不提供任何信息.但二維隨機向量(X,Y)的概率密度p(x,y)或分布列pij全面地描述了(X,Y)的統計規律,也包含有X與Y之間關系的信息.我們希望有一個數字特征能夠在一定程度上反映這種聯系.問題的提出：2021/5/91二、相關系數的概念及性質一、協方差的概念及性質三、協方差的關系式2021/5/92定義：設二維隨機向量(X,Y)的數學期望(E(X),E(Y))存在,若E[(X-E(X))(Y-E(Y))]存在,則稱它為隨機變量X與Y的協方差,記為Cov(X,Y),即Cov(X,Y)=E[(X-E(X))(Y-E(Y))]協方差有計算公式Cov(X,Y)=E(XY)-E(X)E(Y)任意兩個隨機變量X與Y的和的方差為D(X+Y)=D(X)+D(Y)+2Cov(X,Y)§1協方差2021/5/93協方差的性質1.2.a,b是常數3.4.2021/5/94定理:Cov(X,Y)=Cov(Y,X)證明

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[(Y-E(Y))(X-E(X))]=Cov(Y,X)定理:

Cov(aX,bY)=abCov(X,Y),a,b是常數證明

Cov(aX,bY)=E[(aX-E(aX))(bY-E(bY))]=E{[a(X-E(X))][b(Y-E(Y))]}=abE{[X-E(X)][Y-E(Y)]}=abCov(X,Y)2021/5/95定理:Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)證明Cov(X+Y,Z)=E{[(X+Y)-E(X+Y)][Z-E(Z)]=E{[(X-E(X))+(Y-E(Y))][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]+[Y-E(Y)][Z-E(Z)]}=E{[X-E(X)][Z-E(Z)]}+E{[Y-E(Y)][Z-E(Z)]}=Cov(X,Z)+Cov(Y,Z)2021/5/96協方差的數值在一定程度上反映了X與Y相互間的聯系,但它受X與Y本身數值大小的影響.如令X*=kX,Y*=kY,這時X*與Y*間的相互聯系和X與Y的相互聯系應該是一樣的,但是Cov(X*,Y*)=k2Cov(X,Y)為了克服這一缺點,在計算X與Y的協方差之前,先對X與Y進行標準化:再來計算X*和Y*的協方差，這樣就引進了相關系數的概念.2021/5/97定義:設二維隨機變量(X,Y)的方差D(X)>0,D(Y)>0,協方差Cov(X,Y)均存在,則稱為隨機變量X與Y的相關系數或標準協方差.§2相關系數2021/5/98引理:對于二維隨機向量(X,Y),若E(X2),E(Y2)存在,則有|E(XY)|2≤E(X2)E(Y2)證明:考慮實變量t的二次函數h(t)=E[(tX-Y)2]=t2E(X2)-2tE(XY)+E(Y2)因為對一切t,有(tX-Y)2≥0,所以h(t)≥0.從而二次方程h(t)=0或者沒有實根,或者只有重根,因而，由二次方程根的判別式知識得|E(XY)|2≤E(X2)E(Y2)2021/5/99§2.1相關系數的性質性質1:隨機變量X和Y的相關系數滿足|ρXY|≤1.性質2:

|ρXY|=1的充要條件是,存在常數a,b使得P{Y=a+bX}=1.性質3:若X與Y相互獨立,則ρXY=0.2021/5/910性質1:隨機變量X和Y的相關系數滿足|ρXY|≤1.證明令則從而|ρXY|≤1.2021/5/911性質2:|ρXY|=1的充要條件是,存在常數a,b使得

P{Y=aX+b}=1證明令由ρXY2=[E(X*Y*)]2≤E(X*)E(Y*)=1知|ρXY|=1等價于[E(X*Y*)]2-E(X*)E(Y*)=0它又等價于h(t)=E[(tX*-Y*)2]=0有重根t0.又因為E(t0X*-Y*)=t0E(X*)-E(Y*)=0所以D(t0X*-Y*)=0,由方差的性質知它等價于P{t0X*-Y*

=0}=1,即P{Y=aX+b}=1其中a=t0σ(Y)/σ(X),b=E(Y)-t0E(X)

σ(Y)/σ(X).2021/5/912性質3:若X與Y相互獨立,則ρXY=0.證明若X與Y相互獨立,則E(XY)=E(X)E(Y),又Cov(X,Y)=E(XY)-E(X)E(Y),所以2021/5/913§2.2相關系數的含義考慮以X的線性函數a+bX來近似表示Y.以均方誤差e=E{[Y-(a+bX)]2}=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)來衡量以a+bX近似表達Y的好壞程度.e的值越小表示a+bX與Y的近似程度越好.為此令從而得解得2021/5/914相關系數只是隨機變量間線性關系強弱的一個度量.當|ρXY|=1時,說明X與Y間存在著線性關系(除去一個零概率事件以外).當|ρXY|<1時,這種線性相關程度隨著ρXY的減小而減弱.定義:(1)當ρXY=1時,稱X與Y正線性相關;(2)當ρXY=-1時,稱X與Y負線性相關;(3)當ρXY=0時,稱X與Y不相關.注:(1)X與Y不相關,只是意味著X與Y不線性相關,但可能存在著別的函數關系;(2)若ρXY存在,則當X與Y獨立時,X與Y一定不相關;但X與Y不相關時,X與Y不一定獨立.2021/5/915oXYoooXXXYYY0<ρ<1-1<ρ<0ρ=1ρ=-1相關情況示意圖2021/5/916證由協方差的定義及數學期望的性質，得定理:§3協方差的關系式2021/5/917證由方差公式及協方差的定義，得定理:2021/5/918YX-10100.07