1、7 7 平穩時間序列預測法平穩時間序列預測法7.1 概述概述7.2 時間序列的自相關分析時間序列的自相關分析7.3 單位根檢驗和協整檢驗單位根檢驗和協整檢驗7.4 ARMA模型的建模模型的建模 7.1 7.1 概概 述述 時間序列 取自某一個隨機過程，則稱： ty 一、平穩時間序列一、平穩時間序列過程是平穩的過程是平穩的隨機過程的隨機特征不隨時間變化而變化過程是非平穩的過程是非平穩的隨機過程的隨機特征隨時間變化而變化 寬平穩時間序列的定義：寬平穩時間序列的定義：設時間序列 ty，對于任意的t,k和m，滿足： ,tt mtE yE y1、對于任意時間 均值恒為常數2cov,cov,tt kt m

2、t m ky yyy 、其自相關系數只與時間的間隔有關，與起點和終點無關則稱 寬平穩。 ty 嚴平穩時間序列的定義：嚴平穩時間序列的定義： 所有的統計特性不隨時間的平移而變化q Box-Jenkins基本思想：用數學模型描述時間序列自身的相關性，并假定這種自相關性一直延續，用該模型預測未來的值。q ARMA模型是描述平穩隨機序列的最常用的一種模型。q Box-Jenkins方法提供了對時間序列進行分析、預測，以及對ARMA模型識別、估計和診斷的系統方法。 ARMA模型的三種基本形式：q 自回歸模型（AR：Auto-regressive）；q 移動平均模型（MA：Moving-Average）；

3、q 混合模型（ARMA：Auto-regressive Moving-Average）。 如果時間序列 滿足其中 是獨立同分布的隨機變量序列,且滿足： 則稱時間序列 服從p階自回歸模型。 t ty 二、自回歸模型二、自回歸模型 ty11.ttpt ptyyy 0Var , 02ttE1.p ，稱為自回歸系數，是模型的待估參數滯后算子多項式 11.- -ppBBB 的根均在單位圓外，即 0B的根大于1。 11,(.)1.=ktt kptpttppttB B yyyBByBBBB y 引入滯后算子記，模型表示為 自回歸模型的平穩條件：自回歸模型的平穩條件： 例例1 AR(1)模型的平穩性條件。模型

4、的平穩性條件。對1階自回歸模型AR(1)tttXX1方程兩邊平方再求數學期望，得到Xt的方差)(2)()()(122122tttttXEEXEXE由于Xt僅與t相關，因此，E(Xt-1t)=0。如果該模型穩定，則有E(Xt2)=E(Xt-12)，從而上式可變換為：22201X在穩定條件下，該方差是一非負的常數，從而有 |1。 而AR(1)的特征方程01)(zz的根為 z=1/ AR(1)穩定，即 | 1，意味著特征根大于1。 對高階自回模型對高階自回模型AR(p)來說來說，多數情況下沒有必要直接計算其特征方程的特征根，但有一些有一些有用的規則可用來檢驗高階自回歸模型的穩定性用的規則可用來檢驗高

5、階自回歸模型的穩定性： (1)AR(p)模型穩定的必要條件是模型穩定的必要條件是： 1+2+p1 (2)(2)由于i(i=1,2,p)可正可負，AR(p)模型模型穩定的充分條件是：穩定的充分條件是： |1|+|2|+|p|1 如果時間序列如果時間序列 滿足滿足 則稱時間序列則稱時間序列 服從服從q階移動平均模型。階移動平均模型。 或者記為或者記為 。 ttyB ty11.tttq t qy ty 三、移動平均模型三、移動平均模型MA(q) ，平穩條件：任何條件下都平穩。平穩條件：任何條件下都平穩。 1.q ，稱為移動平均系數，是模型的待估參數 對于移動平均模型對于移動平均模型MR(q)： Xt

6、= t - - 1 t-1 - - 2 t-2 - - - - q t-q 其中其中 t是一個白噪聲，于是是一個白噪聲，于是 MA(q)模型的平穩性模型的平穩性 0)()()()(11qqtttEEEXE22111121322111122210),cov()(),cov()(),cov()1 (varqqttqqqqttqqqttqtXXXXXXX 當滯后期大于當滯后期大于q時，時，XtXt的自協方差系數為的自協方差系數為0。因此因此: :有限階移動平均模型總是平穩的有限階移動平均模型總是平穩的。 ( )0Bq q=通常希望通常希望AR過程與過程能相互表出，即過程過程與過程能相互表出，即過程可

7、逆。可逆。如移動平均模型MA()：1(1)ttyBq qe e=-231111(1)(1)tttyBBByBe eq qq qq qq q=+-L可逆條件：可逆條件： 的根均在單位圓外的根均在單位圓外可逆條件： 11q qp，t與t-k間的偏自相關系數偏自相關系數為零。樣本的偏自相關函數的計算樣本的偏自相關函數的計算21122,11,(tktktk kt kk kt kE yyyyy 最最小小1212121,+kkkktttktkktttktkyyyyyyyyf ff ff ff f-LLL選擇系數使對 的線性估計方差最小，即使模型中包含之后，在增加一期滯后所增加的模型解釋能力。1211111

8、2(,)(,)(ttkkkttktkkkkttktkkkyEyEyyyEyyy （） + +, , ,最最 小小kk111, 111, 11kjjkjkkjjkjkk1k,.3 , 2k其中： jkkkkjkjk, 1, 1,10ker 0kkkEYuleW olE 方方 程程 1、時間序列的隨機性隨機性，是指時間序列各項之間沒有相關關系的特征。使用自相關分析圖判斷時間序列的隨機性，一般給出如下準則：q 若時間序列的自相關函數基本上都落入 置信區間 ，則該時間序列具有隨機性；q 若較多自相關函數落在置信區間之外， 則認為該時間序列不具有隨機性。時間序列特性分析時間序列特性分析22nn-（、）注

9、：注：在B-J方法中，測定時間序列的隨機性，多用于模型殘差，以評價模型優劣。 2、判斷時間序列是否平穩是否平穩，是一項很重要的工作。運用自相關分析圖判定時間序列平穩性的準則是： q若時間序列的自相關函數在k3時都落入置 信區間 ，且逐漸趨于零，則該時間序列具有平穩性；q若時間序列的自相關函數更多地落在置信區 間外面，則該時間序列不具有平穩性。22nn-（、） 注：注：在B-J方法中，只有平穩的時間序列平穩的時間序列才能建立ARMA模型，否則必須經過適當的處理使序列滿足平穩性要求。例對某種趨勢的時間序列進行差分處理。但很多序列不能通過差分達到平穩，而且差分雖然消除了序列的趨勢易于建模，但也消除了

10、序列的長期特征，實際的經濟序列差分一般不超過兩次。 3、時間序列的季節性季節性判定準則：q 月度數據，考察k=12,24,36, 時的自相關系數是否與0有顯著差異；q季度數據，考察k=4,8,12, 時的自相關系數是否與0有顯著差異 。注注1 1：實際問題中常遇到季節性和趨勢性同時存在的情況，應先剔除序列趨勢性，在識別季節性。 注注2 2：包含季節性的時間序列也不能直接建模，應先進行季節差分消除，季節差分一般不超過一階。三、三、ARMA模型的自相關分析模型的自相關分析 q AR(p)模型的偏自相關函數是以p步截尾的，自 相關函數拖尾；q MA(q)模型的自相關函數具有q步截尾性，偏 自相關函數

11、拖尾； （可用以上兩個性質來識別（可用以上兩個性質來識別AR和和MA模型的階數）模型的階數）q ARMA(p,q)模型的自相關函數和偏相關函數都 是拖尾的。 圖圖 ARMA(p,q)模型的模型的ACF與與PACF理論模式理論模式 ACF PACF 模型模型1： tttXX17 . 00.00.20.40.60.812345678ACF10.00.20.40.60.812345678PACF1 模型 2： tttXX17 . 0 模型 3： 17 . 0tttX-0.8-0.6-0.4-0.20.00.20.40.612345678ACF2-0.8-0.6-0.4-0.20.012345678P

12、ACF2-0.5-0.4-0.3-0.2-0.10.012345678ACF3-0.5-0.4-0.3-0.2-0.10.012345678PACF3 模型 4：ttttXXX2149. 07 . 0 模型 5：117 . 07 . 0ttttXX-0.4-0.20.00.20.40.612345678ACF4-0.4-0.20.00.20.40.612345678PACF4-1.2-0.8-0.40.00.40.812345678ACF5-1.0-0.8-0.6-0.4-0.20.012345678PACF57.4 ARMA7.4 ARMA模型的建模模型的建模 一、一、模型階數的確定模型階數

13、的確定 （1）基于自相關函數和偏相關函數的定階方法基于自相關函數和偏相關函數的定階方法 對于ARMA(p,q)模型，可以利用其樣本的自相關函數和樣本偏自相關函數的截尾性判定模型的階數。q如果樣本的偏自相關函數是以p步截尾的，模型為AR(p) ；q如果樣本的自相關函數具有q步截尾性，模型為MA(q)； q如果樣本的自相關函數和偏相關函數都是拖尾的，模型為ARMA(p,q) 。（1）自相關函數的截尾性統計檢驗：）自相關函數的截尾性統計檢驗：q對于每一個q,計算 1q2qMq.（M 取為 或者 ），n10/n2211121212qqkikiiinnr rr rr rr r=+邋或者 對于MA(q)模

14、型，當kq時，2110,(12)qkiiNnr rr r=驏+桫:q 1,0qr rr rL ，明顯不能為q考察其中滿足 的個數是否占M個的68.3%或者95.5%以上。 kkqr r=接受在之后截尾（2）偏自相關函數的截尾性統計檢驗：）偏自相關函數的截尾性統計檢驗：q對于每一個p,計算 11,ppp m p m （M 取為 或者 ），n10/n12kkkknnf ff f或者 對于AR(p)模型，當kp時，10,kkNnf f驏桫:q 11,0kkf ff fL ，明顯不能為q考察其中滿足 的個數是否占M個的68.3%或者95.5%以上。 kkkpf f=接受在之后截尾q 如果對于序列 kk

15、k和截尾，即不存在上述的 來說，均不0p0q和判定平穩時間序列 ，則可以 ty為ARMA模型。 一般地，對ARMA( , )p q模型 11pqttit ijtjijyy 12, t它們均值為0，可遞推得到殘量估計現作假設檢驗：0:H是來自白噪聲的樣本 ( )11njjtjttn0,1,jm( )( )( )0jj1, ,jm 令（3）殘差項的白噪聲檢驗：（）殘差項的白噪聲檢驗：（Q統計量檢驗）統計量檢驗）12, tm10nmn或其中取 左右。 0HQm p q 2 則當成立時，服從的分布。 2( )Q0H對給定的顯著性水平，若，則拒絕，即模型與原隨機序列之間擬合得不好，則認為模型與原隨機序列

16、之間擬合需重新考慮得較好，模型檢驗被通過。建模；若22( )( )11mmjjjjQnn自由度為2( )Q注：上機操作時，一般看Q統計檢驗的相伴概率 (1)用AR（1）擬合時間序列，考察其殘差樣本的自相關函數 是否q1 1步截尾，則模型為ARMA(1, q1 1 ),否則；(2)用AR（2）擬合時間序列，考察其殘差樣本的自相關函數 是否q2 2步截尾，則模型為ARMA(1, q2 2 )，否則；(3)繼續增大p，重復上述做法，直至殘差序列的樣本自相關 函數截尾為止1111kkkttptpttqt qyyy若若和和拖拖尾尾， （4）Tasy和TiaoARMA模型定階法1950年-1998年北京城

17、鄉居民定期儲蓄比例選 擇 合 適的 A R M A模型擬合可 以 考 慮擬 合 模 型為AR(1),ARMA(1,3)連續讀取70個化學反應數據可以嘗試使用AR(1)，MA(1)和ARMA(1,1)模型擬合該序列（2 2）基于）基于F F 檢驗確定階數檢驗確定階數（3 3）利用信息準則法定階（）利用信息準則法定階（AICAIC準則和準則和BICBIC準則）準則）此外，常用的方法還有：1967年，瑞典控制論專家K.J.Astrm教授將F檢驗準則用于對時間序列模型的定階。原理(模型階數簡約原則 parsimony principle)： 設yt(1tn)是零均值平穩序列，用模型AR模型擬合檢驗統計

18、量：結論若FF，則拒絕原假設，認為AR(p)合適；若FF ，則拒絕原假設，模型階數仍有上升的可能；若F1時，ARMA(1,1)預測值也是由如下差分方程決定的。110( )()ttylyl 1 ( )解得：lty lc111 (1)由于：tttycy 11推得：ttcy111 ( )因此：lttty ly(3) 向前L步預測公式(L2)11111211( )(|,)()t lt lt lt ltt lttttyyy lE yyyyy l 1011220001111110111101:( )( ):( ) ( )( ):tttttjtjtttjt lt lt lltltltt lt lltljtj

19、jARMAB yByBBG BGGGGGtlyGGGGGGGGG 設設有有平平穩穩模模型型如如下下此此模模型型寫寫成成其其傳傳遞遞形形式式如如下下其其中中將將下下標標代代入入上上式式得得 三、三、預測誤差預測誤差 由于預測只能建立在到t時刻為止的可用信息的基礎上，因此，根據最小均方誤預測的第二個準則，以及平穩可逆序列可以表示成傳遞函數形式的論斷，可以將預測值 表示成能夠估計的項t，t-1，的加權和的形式： ( )ty l11220* ( )tljtjltltltjy lGGGG *.ljG 式式中中 權權 系系數數可可以以在在預預測測誤誤差差的的方方差差達達到到最最小小的的意意義義下下確確定定

20、011110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 0111111011110tltltlltltlttltlltljtjjyGGGGGGGGG 由上得以t為原點，向前L步的預測誤差為：由于t是白噪聲，故有：200ttjaojEj 011110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 122222200*:( )( ( )()lt lttajaljljjjE yy lE e lGGG 所所以以 預預測測誤誤差差的的方方差差為為*:,.ljljGG 很很容容易易看看出出 當當時時 上上式式達達到到最最小小值值0

21、1111( )( )tt ltt lt llte lyy lGGG 誤差方差為：誤差方差為：1222222212101( ( )()ltalajjE e lGGGG 011110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 注：預測誤差的估算是注：預測誤差的估算是1， p算和算和1，q估計都為估計都為正確的假設，實際中參數通過估計得到的，且估計量是隨正確的假設，實際中參數通過估計得到的，且估計量是隨機變量，有均值和方差，因而實際誤差大于理論估計誤差。機變量，有均值和方差，因而實際誤差大于理論估計誤差。01111( )( ) tt ltt lt llte l

22、yy lGGGa 01111 ( )ttGte 期期的的預預測測誤誤差差：五、預測誤差的置信區間五、預測誤差的置信區間對于正態過程，預測誤差的分布為：122221211 961 ( ).()taly lGGG 所以：對所以：對yt+l預測的預測的95%的置信區間為：的置信區間為：)(, 0()(leDNlett因此：1(|,) ( ),( ( )t lttttyyyN y lD e l )1 ()()(21222122lattGGGleEleD設120.30.4ttttXXX為一AR(2)序列，其中 (0,1)tWN求tX的自協方差函數 k。 例 1解答：解答：Yule-WalkerYule-

23、Walker方程為：方程為：02121112 0110.30.41020.30.4且：20120.30.41聯合上面三個方程，解出：0131006350635563- ，120.30.4kkk 1k 例例 2考慮如下AR(2) 序列：121.50.30.5ttttXXX (0,1)tIIDN若已知觀測值507.64X497.47X （1）試預報5152,XX（2）給出（1）預報的置信度為95%的預報區間。,解答： 5011.50.3 7.640.5 7.477.527X 5021.50.3 7.5270.5 7.647.5781X（1）（2）20112121,0.3,0.59GGG 22501

24、1 222501211.09G預報的置信度為95%的預報區間分別為： 50501.96Xkk7.3 7.3 單位根檢驗和協整檢驗單位根檢驗和協整檢驗 一、平穩性的檢驗一、平穩性的檢驗引言：引言：前面我們討論的是平穩時間序列的建模和預測方法，即所討論的時間序列都是寬平穩的。一個寬平穩的時間序列的均值和方差均值和方差都是常數，并且它的協方差有時間上協方差有時間上的不變性。 但是許多經濟領域產生的時間序列都是非平穩的。呈現出明顯得趨勢性和周期性，序列不平穩，導致預測無效，產生謬誤回歸謬誤回歸等問題。1、通過時間序列的趨勢圖來判斷這種方法通過觀察時間序列的趨勢圖來判斷時間序列是否存在趨勢性或周期性。優

25、點：簡便、直觀。對于那些明顯為非平穩的時間序列，可以采用這種方法。缺點：對于一般的時間序列是否平穩，不易用這種方法判斷出來。2、通過自相關函數(ACF)判斷平穩時間序列的自相關函數(ACF)要么是截尾的，要么是拖尾的。因此我們可以根據這個特性來判斷時間序列是否為平穩序列。若時間序列具有上升或下降的趨勢若時間序列具有上升或下降的趨勢，那么對于所有短時滯來說，自相關系數大且為正，而且隨著時滯k的增加而緩慢地下降。若序列無趨勢若序列無趨勢，但是具有季節性但是具有季節性，那末對于按月采集的數據，時滯12，24，36的自相關系數達到最大(如果數據是按季度采集，則最大自相關系數出現在4，8，12， )，并

26、且隨著時滯的增加變得較小。若序列是有趨勢的，且具有季節性若序列是有趨勢的，且具有季節性，其自相關函數特性類似于有趨勢序列，但它們是擺動的，對于按月數據，在時滯12，24，36，等處具有峰態；如果時間序列數據是按季節的，則峰出現在時滯4，8，12， 等處。3、隨機游走的單位根檢驗(Unit root test)隨機游走是一種非平穩過程，其實隨機游走一種特殊的齊次非平穩過程。 檢驗序列是否為隨機游走，通常利用David Dickey和Wayne Fuller的單位根檢驗。單位根的含義和檢驗原理如下： 112002200101:+,(,),()(),()()()()ttttttttttttttyyy

27、uuyyyE yE yD yE yE yE yE yD yt 假假設設隨隨機機過過程程可可由由下下式式描描述述其其中中為為一一穩穩定定過過程程（零零均均值值，協協方方差差有有時時間間上上的的不不變變性性）則則稱稱該該過過程程為為單單位位根根過過程程。特特別別地地： 其其中中為為白白噪噪聲聲零零均均值值 恒恒定定方方差差點點 無無自自相相關關則則稱稱為為一一隨隨機機游游動動過過程程，它它是是單單位位根根的的特特例例。（1）單位根的含義單位根的含義（2）單位根的單位根的檢驗檢驗11112111230:( )( )( ):(int),().,.tttttttttDickeyFulleryyuyyuy

28、tyuerceptttrend 檢檢驗驗其其中中為為常常數數項項為為趨趨勢勢項項在在上上面面每每一一種種有有形形中中 原原假假設設都都是是即即存存在在一一個個單單位位根根用Eviews進行單位根檢驗時給出了上述選項。 如果DF檢驗統計量比給定顯著水平臨界值大，不能拒絕原假設，認為序列存在單位根，是非平穩的。ADF檢驗檢驗在在DF檢驗中，常常因為序列存在高階滯后相關，使檢驗中，常常因為序列存在高階滯后相關，使得隨機擾動不符合白噪聲假設，得隨機擾動不符合白噪聲假設，ADF檢驗修正了檢驗修正了DF檢檢驗中的自相關問題。驗中的自相關問題。此外還有：此外還有：PP檢驗：檢驗具有一般形式的單位根過程檢驗：

29、檢驗具有一般形式的單位根過程DFGLS檢驗：檢驗： DF及及ADF檢驗對含有時間趨勢的退勢平檢驗對含有時間趨勢的退勢平穩時間序列的檢驗失效穩時間序列的檢驗失效11122110,.ttttptpyyyyy 原原假假設設都都是是即即存存在在一一個個單單位位根根古典的回歸方法：只能對平穩的時間序列進行回歸古典的回歸方法：只能對平穩的時間序列進行回歸分析，或將非平穩的序列轉化為平穩序列再做回歸分析，或將非平穩的序列轉化為平穩序列再做回歸非平穩時間序列分析逐期差分后平穩，建立求和自回歸移動平均模型,記為ARIMA(p,d,q)234123411411111( )()( )I( , , ),()()()d

30、ttttBB yBAR MABBBBB yB 如如非平穩時間序列分析非平穩時間序列分析逐期差分+季節差分后平穩，建立乘積季節模型，即隨機季節模型與ARIMA模型結合，記為ARIMA(p,d,q)(P,D,Q)12231212123112111111311 111111111( )() ()( )I( , , )( , , )()()()()()()ds DpPtQqtttBBByBAR MABBBBBByBB 如如：表表示示季季度度自自回回歸歸部部分分的的變變量量：表表示示季季度度移移動動平平均均部部分分的的變變量量 二、二、協整檢驗協整檢驗q 如果兩個或多個非平穩的時間序列，其某個 線性組合后的序列呈平穩性，這樣的時間序 列間