上篇線性系統建模3.1問題的提出3時間序列模型在實際建模應用中，有一類系統不能完全用前面章節所介紹的輸入/輸出關系模型來描述，如生物系統中的生物電信號（心電、腦電…),經濟系統中的市場價格，機械系統中的機械振動，社會上的某種疾病的發病率等。這些系統變量的特征：一是系統不存在明確的因果關系，或者說“因”不清楚，能觀測到的只是“果”；二是這些量隨時間推移而變化的觀測值相關的；三是觀測值受隨機干擾影響，具有隨機性，屬于隨機過程。我們將這種隨時間順序排列的一個觀測序列稱為時間序列或隨機時間序列。3.1問題的提出3時間序列模型時間序列自身所具有的相關性，即任何時刻的觀測值都受過去觀測值的影響，是對其進行研究的基礎。

我們可以：通過時間序列的歷史數據,得出關于其過去行為的有關結論，進而對時間序列未來行為進行推斷。

建立隨機時間序列模型的目的，就是要通過序列過去的變化特征來預測未來的變化趨勢。3.1問題的提出3時間序列模型根據不同的研究對象所表現的時間統計特性，隨機時間序列可以分為兩類：平穩時間序列：平穩時間序列是平穩序列，它滿足期望為零，且任意兩個時刻的相關函數與時間t無關，僅與兩個時刻的時間差相關。非平穩時間序列：不滿足平穩隨機過程的統計特征，序列的相關函數與時間起源點有關。有季節性周期時間序列、線性趨勢時間序列、指數趨勢時間序列及不規則時間序列等不同的時間序列，其建模過程有所不同。3.1問題的提出3時間序列模型

隨機時間序列模型（TimeSeriesModeling）一般形式為

yt=F(yt-1,yt-2,…,t)

建立具體的時間序列模型的三個問題：

(1)模型的具體形式（線性/非線性？定常/時變？）

(2)時序變量的滯后期

(3)隨機擾動項的結構3.1問題的提出3時間序列模型

例如，取線性方程、一階滯后以及白噪聲隨機擾動項（t=vt），模型將是一個1階自回歸過程AR(1)：

yt=yt-1+vt

(vt特指白噪聲)一般的p階自回歸過程AR(p)是：

yt=1yt-1+2yt-2+…+pyt-p+t(*)

(1)如果隨機擾動項是一個白噪聲(t=vt)，則稱(*)式為一純AR(p)過程(pureAR(p)process)，記為

yt=1yt-1+2yt-2+…+pyt-p+vt3.1問題的提出3時間序列模型

(2)如果t不是一個白噪聲，通常認為它是一個q階的滑動平均(movingaverage)過程MA(q)：

t=vt

?

1vt-1?

2vt-2??

qvt-q

該式給出了一個純MA(q)過程(pureMA(q)process)。

將純AR(p)與純MA(q)結合，得到一個一般的自回歸滑動平均(autoregressivemovingaverage)過程ARMA(p,q)：

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-q3.1問題的提出3時間序列模型

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-qARMA(p,q)：該式表明：（1）一個隨機時間序列可以通過一個自回歸滑動平均過程生成，即該序列可以由其自身的過去以及隨機擾動項來解釋。（2）如果該序列是平穩的，即它的行為并不會隨著時間的推移而變化，那么我們就可以通過該序列過去的行為來預測未來。平穩時間序列的建模就是指用動態數據來擬合ARMA模型。3時間序列模型結構階數序列樣本確定估計參數預測未來行為時間序列分析的過程：時間序列建模3.1問題的提出檢驗3.2ARMA模型建立

線性時不變隨機時間序列模型包括AR、MA和ARMA模型。模型的建立，就是對于一個平穩的隨機時間序列，找出生成它的合適的隨機過程或模型，即判斷該時間序列是遵循一純AR過程、還是遵循一純MA過程或ARMA過程，并估計過程的參數。具體包括：3.2.1ARMA模型結構識別3.2.2ARMA模型參數估計所使用的工具主要是時間序列的自相關函數（ACF）、偏自相關函數（PACF）及最小二乘估計（LS）。3時間序列模型3.2.1

ARMA模型結構識別ARMA模型結構識別即是初步確定適合于給定樣本的ARMA模型形式，即確定p,q的取值。常用的結構識別方法有：損失函數檢驗法F檢驗法AIC準則自相關圖和偏自相關圖法

見第4章“模型階的辨識”3時間序列模型3時間序列模型3.2.1

ARMA模型結構識別AR(p)模型的識別原則：若yt的偏自相關函數k*在p以后截尾,即k>p時，k*=0，而它的自相關函數k是拖尾的，則此序列是自回歸AR(p)序列。MA(q)模型的識別規則：

若yt的自相關函數k在q以后截尾,即k>q時，k=0，而它的偏自相關函數k*是拖尾的,則此序列是滑動平均MA(q)序列。3時間序列模型3.2.1

ARMA模型結構識別

從識別上看，通常：

ARMA(p,q)過程的偏自相關函數(PACF)可能在p階滯后前有幾項明顯的尖柱，但從p階滯后項開始逐漸趨向于零；而它的自相關函數(ACF)則是在q階滯后前有幾項明顯的尖柱,從q階滯后項開始逐漸趨向于零。ARMA(p,q)的自相關函數，可以看作MA(q)的自相關函數和AR(p)的自相關函數的混合。3時間序列模型3.2.1

ARMA模型結構識別ARMA(p,q)模型的ACF與PACF理論模式模型ACFPACF白噪聲kk*AR(p)衰減趨于零(幾何型或震蕩型)p階后截尾：k*=0，k>pMA(q)q階后截尾：k=0，k>p衰減趨于零(幾何型或震蕩型)ARMA(p,q)q階后衰減趨于零(幾何型或震蕩型)p階后衰減趨于零(幾何型或震蕩型)3時間序列模型3.2.1

ARMA模型結構識別3時間序列模型3.2.1

ARMA模型結構識別3時間序列模型3.2.1

ARMA模型結構識別3時間序列模型3.2.1

ARMA模型結構識別3時間序列模型3.2.2

ARMA模型參數估計ARMA模型參數估計，是在模型結構確定后，估計模型的參數，即確定常用的參數估計方法有：矩估計最小二乘估計極大似然估計

…….

1，2，…

，p和1，2，，q3時間序列模型3.2.2

ARMA模型參數估計矩估計，也叫YuleWalker方程估計。它只需要樣本的自相關函數的估計值，求解YuleWalker線性方程組獲得參數估計值，簡單方便。但矩估計的精度較低，一般用來獲得最小二乘估計的初始值。最小二乘估計。對于AR模型，用普通最小二乘法。對于MA和ARMA模型，需要用增廣最小二乘法。（參見第1章）3.3非平穩時間序列模型

當隨機時間序列模型

yt=F(yt-1,yt-2,…,t)函數F中包含時間的確定性趨勢項時，該模型所確定的隨機序列不再是平穩序列。這時，序列的統計特性與時間原點有關。3時間序列模型3.3非平穩時間序列模型若F為線性函數，則表現為ARMA模型的一些參數為時變參數。此時，模型參數估計可采用：限定記憶或漸消記憶最小二乘法卡爾曼濾波逼近法若F為非線性函數，可嘗試用非線性最小二乘法估計模型參數或用動態神經網絡建模。（參見第9章）3時間序列模型3.3非平穩時間序列模型用卡爾曼濾波估計時變ARMA模型參數：Kalman濾波器時變ARMA模型其中，w(k)表示人為設定的時變參數的“假”噪聲，假設它是零均值、正態白噪聲，且與v(k)獨立。w(k)的方差為可調參數，根據待估計參數隨時間變化的快慢取值。由于時變參數的動態變化規律未知，將其假設為不相關的隨機漂移向量3時間序列模型3.3非平穩時間序列模型用逼近法估計時變ARMA模型參數：3時間序列模型將模型中隨時間變化的參數表示成一個時間的函數，該函數能逼近原參數的時間動態性能，如用時間t的n次多項式逼近：其中為未知參數，需要估計。時變參數逼近式原模型方程重構時變參數LS舉例時不變參數估計3.3非平穩時間序列模型逼近法中，關鍵是根據時變參數的特性選擇合適的逼近函數，除了多項式逼近，還有小波函數逼近、傅立葉級數逼近等。有時也將逼近函數稱為時變參數展開的基函數，基函數的選擇目前沒有形成統一的理論框架。3時間序列模型平穩時間序列建模過程1、檢驗時間序列的平穩性2、零均值化3、模型的初步識別4、模型的定階5、模型的參數估計6、模型的適應性檢驗

3.4應用實例3時間序列模型化學反應產出量

(每次觀測間隔兩小時)

476423713864554159487135574058448055377451575060455750452559507156745058455436544855455750624464435238595541534934355445

68385060395940575423

共70個數據3.4應用實例3時間序列模型時序數據文件建立和數據的觀察一、工作文件的建立化學反應產出量時序是每隔兩小時采集的數據，可把此數據看作無規則的數據，而且，共有70個數據，建立工作文件應選擇

3.4應用實例3時間序列模型二、建立數據對象三、輸入數據四、對數據進行瀏覽觀察

1、觀察其數據圖，看序列是否具有趨勢性、周期性、季節性，以判斷序列是否平穩序列？本序列的數據圖如下：3.4應用實例3時間序列模型本圖展示了連續觀測一項化學反應的70筆產量的觀測值，這70筆的數列數據的明顯特征就是大約在一固定的水準為50測量單位左右，并且都在20到80的測量單位固定范圍內變動，整體來說此數列不論何時皆具有大致相同的統計特征，此序列是一個平穩序列。在此例中，所預測的產量的平均水準應為50，且都在20到80之間。若再仔細觀察數列的行為可發現一趨勢：若觀測值大于平均數，則下一個觀測值即小于平均數，反之亦然，于是兩兩鄰近的觀測呈現負相關，如能適當利用此相關性可使我們的預測更精確。3.4應用實例3時間序列模型五、看數據的統計特性，觀察此序列是否正態序列：從其統計特征可以看出該序列均值為51.12857,Jarque-Bera為0.065419，Probalility為0.967819，說明此序列為正態序列。3時間序列模型六、看序列的自相關函數和偏自相關函數從序列的相關圖可以看出ACF具有拖尾性，而PACF具有截尾性。說明此序列也是平穩序列。3.4應用實例3時間序列模型時序模型的初步識別一、數據的零均化

二、觀察序列的相關函數圖，以判斷此序列初步判別序列是何種模型。通過相關圖觀察，我們發現自相關函數具有拖尾性，而偏自相關函數具有截尾性，可初步判定一步截尾，即AR(1)。另外考慮ARMA模型，從相關圖上可看出為ARMA(1,2)

3.4應用實例3時間序列模型時序模型定階和參數估計我們依據初步識別的結果，利用第4章介紹的模型階估計法對模型進行進一步分析定階。首先對本數據分別用最小二乘法擬合AR(1),AR(2),AR(3),AR(4)模型,其結果如下：3.4應用實例3時間序列模型3.4應用實例3時間序列模型3.4應用實例3時間序列模型接下來針對