NCEP集合預報系統在亞歐和北美區域的預報效果對比段明鏗;王盤興;李馳欽【摘要】使用NCEP集合預報系統(EPS)輸出的500hPa位勢高度場預報資料和相應的NCEP/NCAR再分析資料，針對集合平均預報和概率預報，采用多種預報效果檢驗評價方法，對該系統在亞歐和北美區域的預報效果進行全面的分析比較總體而言，NCEP—EPS對亞歐區域的環流集合預報效果不亞于其對北關區域的預報效果。1)ACC檢驗表明，亞歐區域的集合平均預報效果在除冬季外的三個季節都明顯優于北美區域，可用預報的時效相差達0.6~1d,且夏季的差別最大。RMSE檢驗表明，亞歐區域的預報效果在四個季節里均優于北美區域。2)集合概率預報可靠性的季節差別不明顯，均為預報時效較短(長)時，北關(亞歐)區域的可靠性更好。系統對亞歐區域的事件識別范圍相對較小，但其預報可靠性較高，北美區域則正好相反。3)夏季亞歐區域的集合概率預報效果明顯優于北美區域，秋季和冬季北關區域的預報效果較好，春季在預報時效小于5d時北美區域占優，而其后則是亞歐區域的預報分辨能力更好。％Basedontheforecastdatasetof500hPageopotentialheightfieldsfromNCEPensemblepredictionsystem(EPS)andthecorrespondingNCEP/NCARreanalysisdataset,theensembleforecastingperformanceinEurasiaregion(EA)iscomparedwiththeperformanceinNorthAmericaregion(NA).Byseveralforecastverificationandevaluationmethods,thecomparisonsfocusontheensemblemeanforecastsandensembleprobabilisticforecasts.Ingeneral,theNCEP-EPScirculationensembleperform-anceinEAisnothinglessthanthepredictioninNA.1)ACCshowsthat,exceptinwinter,theensemblemeanforecastsinEAintheotherthreeseasonsareclearlysuperiortothoseinNA,andtheirdifferenceofmaximalleadtimeofuseableforecastsis0.6-1d,withthelargestdifferenceinsummer.RMSEshowsthattheforecastresultsinEAinthefourseasonsarebetterthanthoseinNA.2)Theseasonaldifferencesofreliabilityofensembleprobabilityforecastingarenotevident.Fortheshorter(longer)leadtime,thereliabilityinNA(EA)isbetter.TheidentificationrangeofsynopticeventsinEAisrela-tivelysmaller,butthereliabilityisrelativelyhigherintheregion.ThisconclusionisoppositeinNA.3)Insummer,theensembleprobabilitypredictionsinEAareclearlysuperiortothoseinNA.Inautumnandwinter,therearebetterresultsinNA.Inspring,whentheleadtimeislessthan5d,theresultsinNAarebetter,butwhenitismorethan5d,thereisbetterforecastingresolutioninEA.期刊名稱】《大氣科學學報》年(卷),期】2012(035)006【總頁數】11頁(P641-651)【關鍵詞】集合預報;NCEP；亞歐區域;北美區域;預報效果【作者】段明鏗;王盤興;李馳欽【作者單位】南京信息工程大學氣象災害省部共建教育部重點實驗室,江蘇南京210044;南京信息工程大學氣象災害省部共建教育部重點實驗室,江蘇南京210044;南京信息工程大學氣象災害省部共建教育部重點實驗室,江蘇南京210044【正文語種】中文【中圖分類】P457集合預報是近20a來迅速發展并廣泛應用的一種數值預報方法(陳靜等，2002;段明鏗和王盤興，2004)。它可以取得比單一確定性預報更好的預報結果，且可憑借其多成員優勢提供更為合理的概率預報結果，提高預報的可用性。歐洲ECMWF(Moltenietal.，1996)、美國NCEP(TothandKalnay，1993)和加拿大CMC(Houterkameretal.，1996)等采用不同方法構建了集合預報系統(EPS)，并已發展成為數值天氣預報領域的重要預報手段(麻巨慧等，2011)。以此為基礎，中國(皇甫雪官，2002)、日本和南非等國也相繼建立了集合預報系統。2003年，世界氣象組織實施了與此有關的THORPEX計劃，其目標之一就是檢驗和展示多虱多模式和多分析的全球集合預報系統的效果(WMO,2005)。至U目前為止，該計劃已經為全球各國集合預報系統的發展和共享做出了巨大貢獻(智協飛和陳雯，2010)。對預報結果進行檢驗評價是使用和發展數值預報系統的重要一環，通過檢驗可以了解模式系統的預報特點(Zhuetal.,1998;段明鏗等，2009,2011)，有助于進一步改進和發展預報系統(JolliffeandStephenson,2003)。對用戶而言，對預報效果的檢驗評價既可以幫助其深入認識預報系統對不同要素在不同區域的預報效果，從而有選擇地直接應用預報產品，也是其對模式產品進行進一步開發利用的基礎。后者是近年來新的研究重點和發展方向，例如利用多國集合預報系統有關結果構建超級集合預報系統時，作為基礎，就需要對各分系統的預報產品進行檢驗評價，然后根據其預報能力賦予不同的權重，以期得至最優的超級集合預報結果(林春澤等，2009；智協飛等，2009;Zhietal.,2012)。由于各國集合預報系統所關注的重點不同，在初始場、初始擾動生成方法、模式框架、模式參數化方案和集合成員數等方面均有不同之處，因此其預報效果也具有明顯的時間和空間差異(Buizzaetal.,2005;Duanetal.,2012)。具體到本文所針對的NCEP集合預報系統(NCEP-EPS)，對該系統的檢驗評價通常關注的是整個北半球或者北美地區，而很少關注東亞及其上游地區，如果在我國或東亞地區使用該系統的預報結果，就有必要對該系統在亞歐區域的環流預報進行深入的檢驗評價。鑒于此，本文利用NCEP-EPS提供的500hPa位勢高度場預報資料，對亞歐和北美地區的集合平均預報和概率預報效果進行全面分析對比，包括3個方面內容:集合平均預報效果比較;集合概率預報結果的可靠性比較;集合概率預報結果的分辨能力比較。通過對比，旨在說明該預報系統在亞歐地區預報結果的可用性。使用的資料有兩類:NCEP-EPS預報資料(TothandKalnay，1993)和NCEP/NCAR再分析資料(Kalnayetal.，1996)。預報資料為該系統10個集合擾動預報成員的全球500hPa高度預報場，起報時刻為2002年9月1日至2003年8月31日的每日00時(世界時，下同)，預報時效為0.5-16d,間隔為0.5d,格點分辨率為2.5°x2.5。。再分析資料有兩類，其中1950—1999年的逐日全球500hPa高度場資料用于確定氣候等概率區間，而2002、2003年每日00時和12時的資料則作為預報效果檢驗的實況分析場，其時空分辨率與預報資料對應。分析時以季節為單位，分別對秋季(2002年9—11月)、冬季(2002年12月—2003年2月)、春季(2003年3—5月)和夏季(2003年6—8月)四季進行。其中2003年7月12日和8月27日預報資料缺失，因此四個季節參與對比分析的預報日數分別為91、90、92和90d。在整個分析時段內NCEPEPS沒有大的調整，因此集合預報效果主要反映的是季節間的差異。選擇的分析區域分別為亞歐區域(40~150°E,15~80°N)、北美區域(60~170°W,15~80°N)。這兩個區域所處的經、緯度間隔相同，格點數相同，面積相等。這樣可以使比較結果更加客觀。本文對確定性預報和概率預報分別進行檢驗評價。Duanetal.(2012)較全面地討論了對這兩類預報進行檢驗評價的具體方法和原理，因此這里僅作簡要說明。對確定性預報的檢驗，采用常見的距平相關系數(ACC)和均方根誤差(RMSE)檢驗(劉還珠和張紹晴，1992)。而對集合概率預報的檢驗評價則相對較復雜，預報總體結果既要與氣候平均狀況一致(可靠性，reliability),又要具有對個別天氣事件的識別和預報能力(分辨能力，resolution).預報的可靠性可以利用歷史資料進行訂正，而分辨能力不可訂正。這里采用Talagrand分布和可靠性曲線來揭示預報系統對天氣事件的預報概率與其實際發生頻率的差別，反映預報系統的可靠性。Talagrand分布首先將集合成員進行非降序排列后形成區間，然后統計實況分析值落在各區間內的頻率分布(Hamill,2001)。可靠性曲線則通過比較事件的預報概率和觀測頻率的對應關系，來反映系統的可靠性。理想情況下，事件的觀測頻率和預報概率應當相等(Hamill，1997)。作為分析預報系統可靠性的常用方法，兩者分析的側重點不同，前者可以分析得到系統性偏差的基本特征(例如整體偏高或偏低等情況)，而后者則可以更詳細地得到不同頻率天氣事件的預報概率狀況(例如系統對某種頻率事件的預報概率偏高，而對另一種頻率則偏低)。對分辨能力的評價主要采用ROC(relativeoperatingcharacteristic)分析。它是信號探測理論在預報檢驗中的應用(ViatcheslavandFrancis,2003)。在某預報時效下，對檢驗區域和時段內的所有格點，考慮預報出現或不出現兩種狀態，然后用實況去檢驗預報結果，其結果必是下列4種情況之一:命中(h)、正確否定(c)、漏報(m)和空報(f)，顯然有h+f+m+c=1,且有_o=h+m,表示事件的氣候頻率。可以定義預報命中率H和空報率F分別定義為ROC分析就是通過計算預報的命中率和空報率來描述系統的預報能力。命中率越高，空報率越低，則預報效果越好。這僅僅是針對確定性預報的處理方法。對概率預報而言，還需要確定多個概率閾值p*(如取p*=0%,10%，…，100%)，當天氣事件的預報概率不小于概率閾值時，認為預報天氣事件發生，否則不發生;然后根據不同的概率閾值將概率預報轉化為確定性預報，再進行分析(Talagrandetal.,1997）。本研究以落在同一氣候等概率區間（Tothetal.,2001）的集合成員數與總成員數之比作為概率閾值。下面對NCEP-EPS在亞歐和北美區域的500hPa位勢高度場的集合平均預報效果進行比較。由圖1可看出，秋、春、夏季NCEP-EPS對亞歐區域500hPa高度場的預報效果明顯優于北美區域，而冬季則北美區域的預報效果更好。總體來看，秋、春、夏季兩個區域的預報效果差別特別明顯。具體表現為:在預報剛開始的2~3d,預報效果的區域差別并不明顯;進入中期預報階段后，亞歐區域的預報效果就開始比北美區域好，而且隨著預報時效的增加，差別越來越大;直到預報后期（10d以后），北美區域在秋、夏季的預報效果才會比亞歐區域好，但此時預報的誤差已經很大，ACC值僅為0.1~0.3，預報結果基本不可用。在冬季，從預報一開始，北美區域的預報效果就比亞洲區域好，并且隨著預報時效的增大兩者的差異也越來越大，直到預報結束（16d）。通常以ACC值大于0.6的預報作為可用預報。根據圖1和表1,比較ACC等于0.6時的預報時效（可用預報的最大預報時效），可以看出，在秋、春和夏季，兩個區域的預報時效相差0.5-1d,其中以夏季的差別最大。亞歐區域的可用預報時效可達8d，而北美區域僅為6.5~7d。在冬季兩者的差別達到1d。對每個區域的可用預報最大時效的季節差異進行比較,可以發現,其預報效果在兩個區域都表現為:在秋、春季的預報效果相當,冬、夏季差別明顯。其中亞歐區域在夏季的預報效果更好,而北美區域則在冬季的預報效果更好;亞歐區域在秋、春季節的預報效果是全年中最好的，達到8d，夏季次之，冬季最差。北美區域在冬季的預報效果是全年中最好的,秋、春季次之,夏季最差。圖2是兩個區域的集合平均預報的RMSE分析結果，與ACC分析的結果略有不同。可以看出,在所有被檢驗的4個季節,亞歐區域的預報效果均優于北美區域,且其差異隨著預報時效的增加而增大。其中，秋、春、夏季兩者的差別非常明顯，而冬季預報初期（預報時效小于5d）基本沒有差別，但此后的差異越來越大。綜合上述兩種檢驗方法的結果可見，在分析時段內NCEP-EPS在亞歐區域的集合平均預報總體上明顯優于北美區域。對兩個區域高、低分辨率單一預報的比較也得到了類似的結論（圖略）。這說明兩個區域預報效果的差異主要是由于預報系統在不同區域的預報能力和預報對象本身的可預報性決定的，不同的預報技術（集合預報或單一預報）對確定性預報結果的相對大小影響不大。該結果初步說明NCEP-EPS在亞歐區域的確定性預報效果是較好的，可以用于對該區域中期天氣過程的分析。前述指出，一個預報系統提供的有技巧概率預報結果必須滿足的首要條件就是可靠性。下面分析NCEP-EPS對亞歐和北美區域500hPa高度場概率預報結果的可靠性問題。分析主要針對以下2個問題:1）集合成員的預報結果作為預報概率密度函數中的取樣，實況檢驗值是否落在這個取樣的范圍之內?2）高度場的預報概率與觀測頻率之間有何差別?根據問題的性質，對上述2個問題分別采用Talagrand分布和可靠性曲線來進行分析。圖3給出了夏季亞歐和北美區域集合結果的Talagrand分布。根據Talagrand分布原理，10個集合成員非降序排列后可劃分為11個區間，理想的Talagrand分布應該在所有區間一致，也就是說實況值落在每個區間的概率是相同的（圖中黑色直線）。但實際情況并非如此，其概率分布會呈現出不同的形態。概率分布左右不對稱表示集合平均存在偏差。如果實況分析場落在第1和第11個區間內就表示落在集合成員的包絡之外，也就是說所有的集合成員都出現了預報偏差。具體地，落在第1（11）個區間表示集合預報結果整體偏高（低）。從集合離散度的角度來考慮，落在第1和11個區間的概率之和大于期望值（這里是2x（1/11）^0.182）就說明集合成員的離散程度不足，沒有把實況分析值包括在預報概率密度函數的取樣空間內在圖3中，無論是亞歐還是北美區域都是這種情況。這也是目前集合預報系統存在的普遍問題（Talagrandetal.,1997）。夏季落在第11個區間的概率明顯大于其他季節，說明集合預報結果整體上易偏低，并且隨著預報時效增加，偏低的概率增高。在預報初期（圖3a、b和c），各區間之間的概率差別相對較小，落在中間區間（第6個區間）的概率與落在第1個區間的概率差別不大，因此預報可靠性相對較高。預報時效為7、10d（圖3d、e）時，偏差越來越明顯，實況分析值落在集合成員包絡外的概率越來越大。就兩個區域的比較而言，在1、3、5d時，北美區域的預報效果較好，7、10d時亞歐區域的預報效果較好。對其他3個季節的比較可以得到上述類似結果。進一步分析四季的Talagrand分布的均方差（圖4）可以看出，在預報初期（時效小于6~7d）,四季的亞歐區域均方差都大于北美區域，且差異非常明顯，說明北美區域的預報可靠性相對較高。此后，除了秋季的兩者相當之外，其他3個季節都是亞歐區域的預報可靠性更高。整體而言，秋季均方差最小，冬、春季次之，夏季最大;時效為3~7d的均方差增長迅速。如前所述，可靠性曲線分析的目的是了解預報系統對天氣事件的預報概率與其實際發生的頻率是否一致，以及預報系統可以識別哪些觀測頻率下的事件。這種對比是建立在統計平均基礎上的，也就是說必須基于大樣本數分析。本文研究的區域和涉及的時段完全可以滿足這一要求。圖5為夏季兩個區域的500hPa高度場集合預報可靠性曲線（圖中對角線表示理想狀態，預報概率與觀測頻率完全一致）。可以看出，低（高）于10%~15%預報概率的事件，其觀測頻率一般相對偏高（低），曲線上相應的點位于對角線以上（下）。隨著預報時效的延長，預報與觀測的差別越來越大，特別是預報概率高于10%~15%的事件。到預報時效為10d時，北美區域預報概率為70%的事件對應的觀測頻率僅為20%左右，預報偏差特別明顯。對兩個區域的比較可以看出，在預報時效較短（1、3、5d）時，北美區域的預報可靠性高于亞歐區域;在時效為7、10d時，亞歐區域的整體預報可靠性略高。對其他幾個季節的分析表明，秋、冬季北美區域在所有的預報時效下均比亞歐區域預報可靠，而春季與夏季的特征相似，亞歐區域在預報時效較長時較可靠。可靠性曲線還可以給出系統可以識別的事件觀測頻率范圍，也就是當預報概率從0%變化到100%時，對應的觀測頻率的變化范圍，由所有預報概率下的觀測頻率最小值和最大值確定。表2給出的就是與圖5對應的夏季NCEP-EPS集合預報結果可以識別的觀測頻率的范圍。可以看出，兩個區域在預報初期（1、3d）的識別能力相差不大，此后盡管亞歐區域在低觀測頻率一端的范圍大一些，但總體上還是北美區域的識別能力更強。對其他季節進行這樣的分析后發現，總體上NCEP-EPS對北美區域的識別能力更強。綜上所述，盡管對北美區域的事件識別范圍更大，但是其預報可靠性相對較低，而在亞歐區域則正好相反。在上述可靠性分析的基礎上，下面對集合概率預報結果的分辨能力進行對比。按照第2節給出的分析方案，對四季的集合概率預報結果進行ROC分析。圖6給出了夏季預報時效為1、3、5、7、10d時，兩個區域的集合概率預報ROC曲線。圖中每條曲線上的點由不同概率閾值下的命中率和空報率確定，自右上角到左下角的點（包括點（1，1）和點（0，0））分別對應概率閾值為0%、10%、…、100%時的命中率和空報率。顯然，曲線越靠近左上角，命中率越高、空報率越低，說明預報效果越好。左上角的點對應理想預報（所有的預報均正確，命中率為1、空報率為0）。曲線越靠近對角線，則說明預報效果越差。在對角線上，命中率和空報率相等，認為其預報結果與氣候預測結果相當，已經不能識別具體的天氣事件，對天氣預報而言沒有價值。如果曲線位于對角線以下，則說明其預報結果還不如氣候預測。比較兩個區域夏季的ROC曲線可以看出，當預報時效為1d時（圖6a），兩個區域的差別不太明顯，曲線非常接近。兩者的差別主要表現在:低概率閾值（10%、20%）下亞歐區域預報效果略好于北美區域，預報的空報率更低;概率閾值大于30%時，北美區域的預報效果更好。預報時效為3d和5d的結果（圖6b、c）類似，主要是低概率臨界值下，北美區域的預報命中率和空報率都較高，最終的結果是兩者的差別不明顯。預報時效達到7d后（圖6d、e），兩個區域的預報出現了明顯差別，在所有的概率閾值下，亞歐區域的預報效果均優于北美區域，表現為命中率高、或者空報率低、或者兩者兼而有之。從整個預報的演變過程來看，隨著預報時效的增加，預報效果整體下降;當預報時效達到10d時，北美區域的ROC曲線已經很接近對角線了。盡管ROC曲線可以反映預報評價的詳細信息，但是限于篇幅，不便于給出所有預報時效下的ROC曲線。為了了解ROC分析的整體結果，使用ROC面積對各季節的ROC分析結果進行比較。所謂“ROC面積”就是ROC曲線下方包圍的面積。與上述分析相對應，理想預報結果的ROC面積為1,面積越小則預報效果越差;當ROC面積小于0.5時，說明系統的預報效果還不如氣候預測。圖7給出了亞歐和北美區域四季的ROC面積。在秋季（圖7a），預報時效小于5d時，亞歐區域的預報明顯優于北美區域，但大于5d后兩者之間沒有明顯差別。在冬季（圖7b），北美區域的預報效果總體上優于亞歐區域，在預報時效小于7d和大于10.5d時最明顯，該結果與第3節的集合平均預報效果分析結論基本一致。在春季（圖7c），預報時效小于5d時，北美區域的預報效果較好，而大于5d后，亞歐區域的預報效果更好，且后者的差別比前者的差別大很多。結合圖5可以看出，在夏季（圖7d），兩個區域在預報時效小于5d時差別很小，僅僅在2d的預報中北美區域更好;而預報時效大于5d后，亞歐區域的預報顯著優于北美區域的預報。綜上所述，對集合概率預報的分辨能力而言，NCEP-EPS對亞歐區域的預報整體上不亞于北美區域，特別是在夏季，該系統對亞歐區域的預報效果明顯優于北美區域。秋季和冬季則是北美區域的預報效果較好，春季在預報時效小于5d時北美區域占優，而其后則是亞歐區域的預報效果更好。采用ACC和RMSE檢驗、Talagrand分布和可靠性曲線以及ROC分析方法，分別對亞歐和北美區域的確定性預報、概率預報結果的可靠性和分辨能力進行了全面檢驗評價，對比分析了NCEP-EPS在這兩個區域各季節的預報能力，得到如下結論:1） 集合平均預報的ACC檢驗表明，亞歐區域的預報效果在除冬季外的3個季節都明顯優于北美區域，可用預報的時效相差達0.6-1d,且夏季的差別最大。RMSE檢驗則認為，亞歐區域的預報效果在4個季節里均優于北美區域。2） 針對集合概率預報可靠性的Talagrand分布分析表明，系統這方面的特征在4個季節均比較一致，表現為預報時效較短（長）時，北美（亞歐）區域的可靠性更好。可靠性曲線的分析則說明，系統對亞歐區域的事件識別范圍相對較小，但其預報可靠性較高，北美區域則正好相反。3） 針對集合概率預報分辨能力的ROC分析表明，夏季亞歐區域的預報效果明顯優于北美區域，秋季和冬季則是北美區域的預報效果較好，而春季在預報時效小于5d時，北美區域占優，而其后則是亞歐區域的預報效果更好。需要說明的是，本文是基于1a預報資料對NCEP-EPS的分季節檢驗評價，盡管從統計學的角度看，其結果已相當可靠（Duanetal.,2012），但考慮到天氣氣候的年際差異，對多年預報結果進行更全面的評價也是非常有意義的。此外，本文的檢驗評價僅涉及500hPa位勢高度場，要全面了解預報系統的性能，還需要對其他更多變量進行檢驗，例如地面氣溫場等。這些都有待在后續的研究中進一步完善。致謝:本研究使用的預報資料由NOAA-NCEPEnvironmentalModelCenter提供，實況分析資料由NOAA-CIRESClimateDiagnosticsCenter提供，謹致謝忱！陳靜，陳德輝，顏宏.2002.集合數值預報發展與研究進展[J].應用氣象學報，13（4）:497-507.段明鏗，王盤興.2004?集合預報方法研究及應用進展綜述[J]?南京氣象學院學報，27(2):279-288.段明鏗，王盤興，吳洪寶，等.2009.夏季亞歐中高緯度環流的集合預報效果檢驗[J]?應用氣象學報，20(1):56-61.段明鏗，王盤興，吳洪寶.2011.500hPa位勢高度場極端天氣事件的NCEP集合概率預報效果分析[J].大氣科學學報，34(6):717-724.皇甫雪官.2002?國家氣象中心集合數值預報檢驗評價[J].應用氣象學報，13(1):29-36.林春澤，智協飛，韓艷，等.2009.基于TIGGE資料的地面氣溫多模式超級集合預報[J].應用氣象學報，20(6):706-712.劉還珠，張紹晴.1992.中期數值預報的統計檢驗分析[J].氣象，18(9):50-54.麻巨慧，朱躍建，王盤興，等.2011.NCEP、ECMWF及CMC全球集合預報業務系統發展綜述[J].大氣科學學報，34(3):370-380.智協飛，陳雯.2010.THORPEX國際科學研究新進展[J].大氣科學學報，33(4):504-511.智協飛，林春澤，白永清，等.2009.北半球中緯度地區地面氣溫的超級集合預報[J].氣象科學，32(5):569-574.BuizzaR，HouterkamerP，TothZ，etal.2005.AcomparisonoftheECMWF，MSC，andNCEPglobalensemblepredictionsystems[J].MonWeaRev，133(5):1076-1097.DuanM，MaJuhui，WangPanxing.2012.PreliminaryComparisonontheCMA，ECMWF，NCEPandJMAEnsemblePredictionSystems[J].ActaMeteorSinica，26(1):26-40.HamillTM.1997.Reliabilitydiagramsformulticategoryprobabilisticforecasts[J].WeaForecasting，12(4):736-741.HamillTM.2001.Interpretationofrankhistogramsforverifyingensembleforecasts[J].MonWeaRev，129(3):550-560.HouterkamerL，LefaiverL，DeromeJ，etal.1996.Asystemsimulationapproachtoensembleprediction[J].MonWeaRev，124(6):1225-1242.JolliffeI，StephensonD.2003.Forecastverification:Apractitioner'sguideinatmosphericscience[M].NewYork:JohnWiley＆Sons.K