面向水利的高效能平行系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

平行系統(tǒng)是指由一個(gè)自然現(xiàn)實(shí)系統(tǒng)和一個(gè)或多個(gè)虛擬或理想的人工系統(tǒng)連接起來(lái)的系統(tǒng)。隨著網(wǎng)格計(jì)算的發(fā)展，提出了計(jì)算和實(shí)驗(yàn)的方法，不能還原復(fù)雜系統(tǒng)中的分析和經(jīng)驗(yàn)，允許計(jì)算機(jī)對(duì)復(fù)雜系統(tǒng)進(jìn)行各種“實(shí)驗(yàn)”，從而達(dá)到預(yù)測(cè)和評(píng)估復(fù)雜系統(tǒng)的行為和能力的目的。使用計(jì)算實(shí)驗(yàn)方法，可以支持平行網(wǎng)絡(luò)系統(tǒng)，并對(duì)系統(tǒng)中的行為進(jìn)行比較和分析。完成實(shí)際系統(tǒng)的管理和開(kāi)發(fā)、相關(guān)行為和決策的實(shí)驗(yàn)評(píng)估、系統(tǒng)學(xué)習(xí)和培訓(xùn)以及其他實(shí)際系統(tǒng)的評(píng)估和評(píng)估。當(dāng)前,水利信息資源的快速增加,導(dǎo)致傳統(tǒng)水利應(yīng)用系統(tǒng)無(wú)法對(duì)實(shí)際進(jìn)行還原分析或進(jìn)行大量原型實(shí)驗(yàn),使得水利應(yīng)用系統(tǒng)間的數(shù)據(jù)交換、數(shù)據(jù)訪問(wèn)、高效利用以及不同系統(tǒng)的復(fù)用等逐步暴露出一系列問(wèn)題.水利復(fù)雜業(yè)務(wù)的開(kāi)展對(duì)高效率處理服務(wù)及高精度計(jì)算服務(wù)的需求逐漸增大,單處理機(jī)模式的計(jì)算服務(wù)已不能滿足應(yīng)用的要求,迫切需要一種高效能計(jì)算力資源來(lái)解決實(shí)際復(fù)雜的水利應(yīng)用問(wèn)題.為此,本文采用網(wǎng)格計(jì)算,構(gòu)建面向水利應(yīng)用的高效能平行系統(tǒng),提供高效能計(jì)算力資源調(diào)度環(huán)境,在該環(huán)境下對(duì)應(yīng)用進(jìn)行劃分及有機(jī)組合,基于組件開(kāi)發(fā)和原子化拆分的思想,通過(guò)高性能平行系統(tǒng)為水利應(yīng)用提供高效的計(jì)算服務(wù).1平行系統(tǒng)方案設(shè)計(jì)基于水利應(yīng)用平行系統(tǒng)及高效能計(jì)算力資源調(diào)度服務(wù),采用模塊化思想設(shè)計(jì)了面向水利應(yīng)用的高效能平行系統(tǒng)框架結(jié)構(gòu),如圖1所示,主要由4部分組成.a.過(guò)程參數(shù)及數(shù)據(jù)預(yù)測(cè)分析模塊.該模塊是不同功能模塊和計(jì)算單元之間的橋梁,其通過(guò)模塊之間數(shù)據(jù)交換的“整體性”實(shí)現(xiàn)水利應(yīng)用服務(wù)的實(shí)時(shí)性和并行性,為模塊的運(yùn)行提供最初的動(dòng)力,保證各模塊之間的平行關(guān)系.b.數(shù)據(jù)集成模塊.復(fù)雜水利應(yīng)用需要大量底層數(shù)據(jù)的支撐,平行系統(tǒng)采用一種零等待的動(dòng)態(tài)數(shù)據(jù)集成方案,方案采用數(shù)據(jù)生成與數(shù)據(jù)集成的雙通道集成方式,利用過(guò)程參數(shù)及數(shù)據(jù)預(yù)測(cè)分析模塊中的數(shù)據(jù)擬合引擎來(lái)生成所需數(shù)據(jù),并且根據(jù)實(shí)際獲得數(shù)據(jù)不斷修正完善的計(jì)算結(jié)果.c.預(yù)報(bào)模型模塊.水利應(yīng)用的特殊性使得部分?jǐn)?shù)據(jù)有規(guī)律可循,基于原始數(shù)據(jù)的預(yù)報(bào)可以提高對(duì)應(yīng)用的支持,引入預(yù)報(bào)模型模塊,對(duì)應(yīng)用自身具有的或者系統(tǒng)外部提供的預(yù)報(bào)模型進(jìn)行封裝.d.學(xué)習(xí)記憶模塊.該模塊主要完成數(shù)據(jù)和知識(shí)的積累,是保證平行系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ),也是不斷提升平行系統(tǒng)計(jì)算準(zhǔn)確度的核心部件,其由編碼組件、反饋數(shù)據(jù)、解析引擎以及補(bǔ)充數(shù)據(jù)組合而成.2水利高性能平行系統(tǒng)的計(jì)算能力資源規(guī)劃2.1計(jì)算力資源調(diào)度算法針對(duì)自然系統(tǒng)中水利應(yīng)用存在的一系列問(wèn)題,在網(wǎng)格計(jì)算的基礎(chǔ)上,為實(shí)現(xiàn)高效能計(jì)算力,構(gòu)建面向水利的計(jì)算實(shí)驗(yàn)環(huán)境.在這個(gè)環(huán)境下,實(shí)現(xiàn)不同業(yè)務(wù)在平行系統(tǒng)中的優(yōu)化服務(wù),根據(jù)水利業(yè)務(wù)的復(fù)雜度,按照功能分解為不同的作業(yè),每一個(gè)作業(yè)按照系統(tǒng)內(nèi)部算法進(jìn)行拆分,使用細(xì)粒度的算法結(jié)構(gòu)來(lái)描述特定的業(yè)務(wù)應(yīng)用,形成一個(gè)面向業(yè)務(wù)邏輯并相互獨(dú)立,具有較好可擴(kuò)展性與復(fù)用性的算法結(jié)構(gòu)單元,不同的原子按照用戶需求在計(jì)算力資源調(diào)度中實(shí)現(xiàn)平行優(yōu)化.在計(jì)算力資源調(diào)度中,作業(yè)是一個(gè)有向無(wú)環(huán)圖,是原子之間的一種邏輯依賴關(guān)系.資源圖是一個(gè)物理拓?fù)鋱D,它在一定程度上抽象地表示各節(jié)點(diǎn)之間的連接關(guān)系.根據(jù)作業(yè)圖的并行集,將作業(yè)中的所有原子劃分為一系列集合,每個(gè)集合內(nèi)部的原子都相互獨(dú)立,可以并行執(zhí)行.從而高效能計(jì)算力調(diào)度被視為,如何在信任模型下將并行集與特定的資源節(jié)點(diǎn)相互連接起來(lái),這種連接所建立的次序就是原子被調(diào)度的時(shí)序.調(diào)度過(guò)程簡(jiǎn)化為一個(gè)二分圖的逐步建立過(guò)程,即依靠并行集的偏序結(jié)構(gòu)來(lái)調(diào)配原子給節(jié)點(diǎn)就可得到計(jì)算力資源的調(diào)度算法.2.2原子并行化及運(yùn)行管理平行系統(tǒng)下高效能計(jì)算力資源調(diào)度服務(wù)流程如圖2所示,由基礎(chǔ)層、操作層與管理層3個(gè)層次構(gòu)成.基礎(chǔ)層包括原子的注冊(cè)服務(wù)以及作業(yè)的編排,先將復(fù)雜的業(yè)務(wù)邏輯劃分為原子,根據(jù)規(guī)范形成標(biāo)準(zhǔn)化的組件服務(wù),然后將多個(gè)原子通過(guò)規(guī)則編排形成作業(yè)模型,快速搭建業(yè)務(wù)應(yīng)用,并將業(yè)務(wù)應(yīng)用中的原子按其邏輯進(jìn)行并行化,提煉出可并行運(yùn)行集.操作層由參數(shù)映射、長(zhǎng)連接池、心跳機(jī)制及關(guān)鍵路徑的計(jì)算共4部分組成,對(duì)平行系統(tǒng)中用于傳遞的入口參數(shù)和出口參數(shù)進(jìn)行標(biāo)準(zhǔn)化,依照統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)在異構(gòu)計(jì)算力資源上的數(shù)據(jù)傳遞.當(dāng)進(jìn)行作業(yè)編排時(shí),前驅(qū)原子給后繼原子所傳遞的數(shù)據(jù)內(nèi)容需要通過(guò)參數(shù)映射來(lái)實(shí)現(xiàn),參數(shù)映射給出了當(dāng)前原子參考其他相關(guān)原子的具體方案,采用長(zhǎng)連接池和心跳機(jī)制能夠?qū)崿F(xiàn)原子操作合理調(diào)度,通過(guò)調(diào)整作業(yè)執(zhí)行的關(guān)鍵線路,可以壓縮時(shí)間.管理層由計(jì)算力評(píng)價(jià)、原子執(zhí)行和管理服務(wù)構(gòu)成,按照計(jì)算力評(píng)價(jià)模型對(duì)各個(gè)節(jié)點(diǎn)的計(jì)算力進(jìn)行評(píng)估,并將需要執(zhí)行的原子調(diào)配給評(píng)估值高的計(jì)算節(jié)點(diǎn),原子執(zhí)行采用反射機(jī)制動(dòng)態(tài)地給在線節(jié)點(diǎn)裝載將要執(zhí)行的原子,并將執(zhí)行結(jié)果按照表轉(zhuǎn)化參數(shù)類(lèi)型輸出,管理服務(wù)主要是完成計(jì)算節(jié)點(diǎn)用戶、原子、作業(yè)和參數(shù)類(lèi)型的管理.3文明安河農(nóng)業(yè)保險(xiǎn)的運(yùn)行實(shí)驗(yàn)錯(cuò)峰調(diào)度是指通過(guò)調(diào)洪手段對(duì)干流注入處和多條支流注入交會(huì)處發(fā)生的洪峰進(jìn)行控制,使各支流的洪峰以不同時(shí)間到達(dá),而避免由于洪峰疊加而產(chǎn)生災(zāi)害.下面以渭河陜西段為例給出平行系統(tǒng)的應(yīng)用方法.渭河全長(zhǎng)818km,流域面積13.43×105km2,上游以及北岸涇河、洛河等支流流經(jīng)黃土高原,并夾帶大量泥沙.渭河流域降水集中在夏季,多為暴雨,水土流失嚴(yán)重.渭河流域?qū)儆诟珊蛋敫珊档貐^(qū),年平均氣溫6～14℃,年平均降水量450～700mm,年蒸發(fā)量1000～2000mm,無(wú)霜期120～220d.渭河陜西段(從魏家堡至華縣)上共有4個(gè)大型水庫(kù),分別是馮家山水庫(kù)、金盆水庫(kù)、羊毛灣水庫(kù)和石頭河水庫(kù),其分別使用逐次優(yōu)化算法(POA)、動(dòng)態(tài)規(guī)劃算法(DP)、和改進(jìn)的克隆選擇算法(ICSA)進(jìn)行調(diào)度,并采用調(diào)節(jié)馮家山水庫(kù)調(diào)度方式來(lái)消減下游洪峰流量.在平行系統(tǒng)中首先對(duì)錯(cuò)峰調(diào)度應(yīng)用進(jìn)行組件封裝,將各算法進(jìn)行拆分,構(gòu)建錯(cuò)峰調(diào)度方法庫(kù)、洪水演進(jìn)參數(shù)估計(jì)庫(kù)、水庫(kù)調(diào)度方法庫(kù),然后在這些應(yīng)用庫(kù)的基礎(chǔ)上搭建洪水演進(jìn)錯(cuò)峰調(diào)度系統(tǒng).通過(guò)可交互模式來(lái)實(shí)現(xiàn)實(shí)驗(yàn)系統(tǒng)的實(shí)際系統(tǒng)的平行,使得可在手動(dòng)調(diào)節(jié)下自動(dòng)形成不同的調(diào)度方案.以平行系統(tǒng)為基礎(chǔ),在知識(shí)可視化綜合集成支持平臺(tái)上搭建的渭河流域洪水演進(jìn)及錯(cuò)峰調(diào)度的實(shí)驗(yàn)結(jié)果見(jiàn)圖3.圖3為洪水期間(2005-09-28—2005-10-12,共14d)錯(cuò)峰調(diào)度時(shí)的華縣流量(q)過(guò)程,從圖3可以看出,經(jīng)過(guò)錯(cuò)峰調(diào)度,洪峰流量被消減,從而減少