1、1.1 系統(tǒng)后臺處理1.1.1 數(shù)據(jù)處理模塊銀行卡統(tǒng)計分析系統(tǒng)涉及到的數(shù)據(jù)源包括ABIS、CMS、ABIS中間層、交換中心和國際卡等系統(tǒng)，數(shù)據(jù)源非常復雜。數(shù)據(jù)處理模塊包括數(shù)據(jù)獲取、數(shù)據(jù)清洗、數(shù)據(jù)加載三個子模塊。數(shù)據(jù)獲取子模塊基于ETL的思想，從不同的數(shù)據(jù)源準確、及時的獲取數(shù)據(jù)，形成銀行卡統(tǒng)計分析系統(tǒng)需要的數(shù)據(jù)文件。數(shù)據(jù)清洗子模塊對下載的業(yè)務數(shù)據(jù)進行初步清洗，根據(jù)功能分為數(shù)據(jù)檢測和數(shù)據(jù)轉(zhuǎn)換兩個部分。數(shù)據(jù)檢測是判斷下載數(shù)據(jù)文件的完整和準確性，保證數(shù)據(jù)在裝載前是正確無誤的。數(shù)據(jù)轉(zhuǎn)換是簡單處理文件數(shù)據(jù)中的特定標志字段的同一性，將不同來源的數(shù)據(jù)整合使用。數(shù)據(jù)清洗子模塊需要根據(jù)業(yè)務邏輯規(guī)則對數(shù)據(jù)進行清洗。

2、數(shù)據(jù)加載子模塊基于ETL的思想將“干凈”的數(shù)據(jù)裝載入數(shù)據(jù)服務器中。通過控制數(shù)據(jù)裝載的流程，完成整個數(shù)據(jù)入口控制。1.1.2 批量處理模塊批量處理模塊主要實現(xiàn)基礎數(shù)據(jù)平臺數(shù)據(jù)在周期末時嵌入銀行卡統(tǒng)計分析系統(tǒng)。批處理模塊根據(jù)處理周期不同可分成：最小周期處理、月末處理等方式。1.2 系統(tǒng)控制1.1.1. 系統(tǒng)處理監(jiān)控模塊系統(tǒng)處理監(jiān)控模塊主要是完成系統(tǒng)監(jiān)控功能，包括設備監(jiān)控、操作監(jiān)控和異常監(jiān)控三個子模塊。設備監(jiān)控子模塊：主要對設備的運行情況進行監(jiān)控，根據(jù)系統(tǒng)資源使用情況動態(tài)調(diào)度批量處理作業(yè)。處理監(jiān)控子模塊：主要處理系統(tǒng)日常操作日志的監(jiān)控，包括系統(tǒng)維護、日常操作和周期末處理的監(jiān)控，以便操作員能了解系統(tǒng)當

3、前的運行狀態(tài)，以及處理的步驟。異常監(jiān)控子模塊：主要是通過記錄在系統(tǒng)異常時記錄下系統(tǒng)錯誤信息，以便開發(fā)人員和系統(tǒng)管理員查找錯誤原因。通過三個模塊的共同處理，針對了系統(tǒng)的不同層面的監(jiān)控，保障系統(tǒng)正常運行。1.1.2. 系統(tǒng)管理與維護模塊系統(tǒng)管理與維護模塊包括用戶管理、安全控制、系統(tǒng)表維護、系統(tǒng)參數(shù)配置，數(shù)據(jù)備份與恢復，日志管理、異常處理等功能。1.3 系統(tǒng)功能模塊圖11 系統(tǒng)功能模塊1.4 調(diào)度管理模塊1.4.1 調(diào)度管理模塊框架調(diào)度管理模塊由作業(yè)指令發(fā)送系統(tǒng)（控制臺），作業(yè)調(diào)度與監(jiān)控系統(tǒng)，作業(yè)系統(tǒng)等三部分組成。其框架結構圖如圖12所示：作業(yè)監(jiān)控作業(yè)初始化作業(yè)日終處理作業(yè)指令發(fā)送系統(tǒng)維護作業(yè)狀態(tài)監(jiān)

4、控作業(yè)調(diào)度系統(tǒng)作業(yè)選擇器作業(yè)調(diào)度信號接收器作業(yè)狀態(tài)更新器消息接收器消息通知器作業(yè)系統(tǒng)作業(yè)處理器消息響應器消息接收器 作 業(yè) 容 器圖12 調(diào)度管理模塊框架后臺任務調(diào)度如圖13所示：數(shù)據(jù)抽取任務調(diào)度環(huán)境生產(chǎn)源數(shù)據(jù)加載構建卡基礎數(shù)據(jù)構建卡應用數(shù)據(jù)構建卡多維分析數(shù)據(jù)構建卡CUBE構建卡應用電子報表數(shù)據(jù)圖13 任務調(diào)度1.4.2 調(diào)度管理模塊功能及其處理流程調(diào)度管理系統(tǒng)主要處理三方面的功能，包括啟動作業(yè)調(diào)度、終止作業(yè)調(diào)度、查詢作業(yè)調(diào)度情況等。4.4.1.1 啟動作業(yè)調(diào)度的流程 1）、作業(yè)指令發(fā)送系統(tǒng)發(fā)送啟動作業(yè)調(diào)度的指令；2）、啟動和終止作業(yè)調(diào)度信號接收器接收到指令，判斷該指令是啟動作業(yè)調(diào)度指令，把指

5、令發(fā)送給作業(yè)選擇器；3）、作業(yè)選擇器接收到指令，解析該指令，選擇本次調(diào)度的作業(yè)，加載作業(yè)服務組件，發(fā)送作業(yè)服務的消息給消息通知器；4）、消息通知器接收消息，建立與作業(yè)系統(tǒng)的連接，發(fā)送該消息給作業(yè)系統(tǒng)的消息接收器；5）、消息接收器接收到消息，判斷該消息是作業(yè)服務消息，發(fā)送給作業(yè)處理器；6）、作業(yè)處理器接收到消息，處理作業(yè)容器中相關作業(yè)，發(fā)送作業(yè)服務結果給消息響應器；7）、消息響應器接收到作業(yè)服務結果，建立與作業(yè)調(diào)度與控制系統(tǒng)的連接，發(fā)送作業(yè)服務結果給消息接收器；8）、消息接收器接收到作業(yè)服務結果，提交給作業(yè)狀態(tài)更新器，并發(fā)送已接收到作業(yè)服務結果的反饋信息給消息響應器；9）、作業(yè)狀態(tài)更新器接收到作

6、業(yè)服務結果，更新作業(yè)狀態(tài)及其作業(yè)依賴關系狀態(tài)，并發(fā)送已成功更新的反饋信息給消息接收器。4.4.1.2 終止作業(yè)調(diào)度的流程1）、作業(yè)指令發(fā)送系統(tǒng)發(fā)送終止作業(yè)調(diào)度指令；2）、啟動和終止作業(yè)調(diào)度信號接收器接收到指令，判斷該指令是終止作業(yè)調(diào)度指令，分別發(fā)送該指令給作業(yè)選擇器和作業(yè)狀態(tài)更新器；3）、作業(yè)選擇器和作業(yè)狀態(tài)更新器接收到指令，停止相關工作。4.4.1.3 查詢作業(yè)調(diào)度情況的流程 1）、作業(yè)指令發(fā)送系統(tǒng)發(fā)送查詢作業(yè)調(diào)度情況指令； 2）、啟動和終止作業(yè)調(diào)度信號接收器接收到指令，判斷該指令是查詢作業(yè)調(diào)度情況指令，分別發(fā)送該指令給作業(yè)選擇器和作業(yè)狀態(tài)更新器； 3）、作業(yè)選擇器和作業(yè)狀態(tài)更新器接收到指令

7、，提交作業(yè)狀態(tài)信息。1.4.3 調(diào)度管理各子模塊功能及其處理流程4.4.1.4 控制和監(jiān)控子系統(tǒng)功能及其處理流程控制和監(jiān)控臺子系統(tǒng)主要完成作業(yè)初始化、作業(yè)日終處理、作業(yè)狀態(tài)監(jiān)控、作業(yè)指令發(fā)送、作業(yè)維護、節(jié)點維護等功能。1、作業(yè)初始化當開始運行整個銀行卡統(tǒng)計分析系統(tǒng)ETL之前，對需運行的作業(yè)進行初始化，重建作業(yè)依賴關系，將其作業(yè)的運行狀態(tài)變?yōu)槲催\行，等待作業(yè)調(diào)度控制子系統(tǒng)的作業(yè)選擇器處理。當個別節(jié)點的作業(yè)出現(xiàn)異常需要對其個別作業(yè)重新作業(yè)初始化，重新進入隊列，進行作業(yè)選擇。2、作業(yè)狀態(tài)監(jiān)控每隔約定的時間內(nèi)，如15秒，檢查作業(yè)處理狀態(tài)。根據(jù)作業(yè)處理狀態(tài)不同，按不同的顏色顯示在監(jiān)控臺上。對出錯的作業(yè)，

8、根據(jù)可允許重初始化標志，重新作業(yè)初始化。3、作業(yè)指令發(fā)送對初始化的作業(yè)，發(fā)送作業(yè)調(diào)度指令，啟動作業(yè)選擇器，進行作業(yè)調(diào)度處理。系統(tǒng)運行異常時，發(fā)送終止作業(yè)調(diào)度指令，終止作業(yè)選擇、作業(yè)狀態(tài)更新等進程。4、作業(yè)日終處理備份當日作業(yè)處理狀態(tài)，更新節(jié)點作業(yè)日期為下日。5、系統(tǒng)維護作業(yè)的增加、刪除和修改；節(jié)點的增加、刪除和修改；作業(yè)間依賴關系的增加、刪除、修改、修復作業(yè)依賴關系鏈；操作員的增加、刪除和修改。4.4.1.5 作業(yè)調(diào)度與監(jiān)控子系統(tǒng)處理流程作業(yè)調(diào)度與監(jiān)控子系統(tǒng)處理流程分兩部份，包括作業(yè)選擇和消息通知處理流程、作業(yè)響應消息獲取和狀態(tài)更新處理流程等。作業(yè)選擇器處理流程消息通知器處理流程消息接收器處理

9、流程消息接收器接收到作業(yè)系統(tǒng)作業(yè)處理信息通知，傳送給作業(yè)狀態(tài)更新器，把狀態(tài)更新器的處理結果返回給對應的作業(yè)系統(tǒng)的消息響應通知器。作業(yè)狀態(tài)更新器處理流程對返回作業(yè)成功處理的信息，更改作業(yè)狀態(tài)信息為作業(yè)已完成；作業(yè)依賴關系中此作業(yè)的處理形態(tài)改為完成，作業(yè)作為父作業(yè)的處理形態(tài)為已完成，其子作業(yè)處理形態(tài)為可以執(zhí)行。 對返回作業(yè)失敗的處理信息，更改作業(yè)狀態(tài)信息為作業(yè)已失敗狀態(tài)；作業(yè)依賴關系中此作業(yè)的處理形態(tài)改為可以執(zhí)行。作業(yè)依賴關系處理作業(yè)依賴關系處理，主要以下四個方面的問題：1、作業(yè)與父作業(yè)的關系為一對一的關系。2、作業(yè)與父作業(yè)的關系為一對多的關系。3、作業(yè)與父作業(yè)的關系是跨越節(jié)點的關系。4、作業(yè)的父

10、作業(yè)在某日停止處理，作業(yè)需要追索父作業(yè)的父作業(yè)的處理問題。解決問題的基本原則： 1、父作業(yè)未處理，則作業(yè)不能處理； 2、父作業(yè)某日不做處理，則把父作業(yè)的父作業(yè)作為作業(yè)的父作業(yè)。要求在啟動作業(yè)調(diào)度時，必須重建作業(yè)依賴關系，剔掉那些不做處理的父作業(yè)，使得父作業(yè)必須處理。4.4.1.6 作業(yè)系統(tǒng)處理流程作業(yè)系統(tǒng)處理流程由三大部分組成，包括交換器（消息接受器、作業(yè)處理器）、消息響應器和作業(yè)容器等。交換器處理流程交換器是作業(yè)調(diào)度系統(tǒng)和作業(yè)系統(tǒng)的總控，是整個系統(tǒng)的核心。所起作用控制交易并發(fā)流量、接收發(fā)起的服務、調(diào)用服務、發(fā)送服務結果。交換器在作業(yè)調(diào)度系統(tǒng)和作業(yè)系統(tǒng)中是同一個。交換器處理流程如下：作業(yè)處理狀

11、態(tài)消息響應器處理流程作業(yè)處理器作業(yè)處理完后，把處理結果交給交換器，然后交換器提交服務結果給消息響應器，響應器把處理結果發(fā)送給作業(yè)調(diào)度控制系統(tǒng)的消息接收器。作業(yè)容器根據(jù)作業(yè)所扮演的角色不同，分別有不同的作業(yè)處理模塊。每個作業(yè)模塊的功能由具體應用開發(fā)設計組進行闡述，這里不再一一累述。作業(yè)處理消息響應通知補發(fā)器消息接收器未接收到作業(yè)處理信息，寫入消息信息失敗或作業(yè)處理消息響應通知未成功發(fā)送時，都需要補發(fā)作業(yè)處理消息響應通知。對消息響應通知失敗的信息進行補提交。1.5 調(diào)度監(jiān)控系統(tǒng)調(diào)度系統(tǒng)是銀行卡統(tǒng)計分析系統(tǒng)每日運行的基礎，是銀行卡統(tǒng)計分析系統(tǒng)高效，穩(wěn)定運行的重要保證。為保證調(diào)度系統(tǒng)每日穩(wěn)定運行，調(diào)度

12、系統(tǒng)還為銀行卡統(tǒng)計分析系統(tǒng)的可維護性提供了重要保障。調(diào)度系統(tǒng)涉及到從對33個源表數(shù)據(jù)文件的處理一直到生成97個xml報表文件的處理的整個過程。由于數(shù)據(jù)文件數(shù)目較多，中間處理步驟也比較多，為保證銀行卡統(tǒng)計分析系統(tǒng)運行穩(wěn)定，處理邏輯清晰，又要保證易于維護，對每個數(shù)據(jù)文件的每一個處理步驟引入作業(yè)的概念。每一個作業(yè)的完成能保證一個數(shù)據(jù)文件的某一個處理邏輯的正常結束。為保證銀行卡統(tǒng)計分析系統(tǒng)數(shù)據(jù)準確性和完整性，調(diào)度系統(tǒng)定義并完善了作業(yè)鏈的配置，在保證數(shù)據(jù)準確，完整的同時，提高了系統(tǒng)效率。因此引用調(diào)度監(jiān)控系統(tǒng)來對調(diào)度系統(tǒng)進行監(jiān)控和維護，來確保調(diào)度系統(tǒng)運行的穩(wěn)定。1.5.1 系統(tǒng)管理系統(tǒng)管理是系統(tǒng)的公共平臺

13、，用戶管理、用戶組管理、資源管理的設計增加了系統(tǒng)的易用性、易維護性和全面性，其中用戶權限分配是系統(tǒng)管理設計的關鍵。系統(tǒng)管理設計的關鍵技術包括以下幾點：4.4.1.1 用戶管理的設計用戶權限是系統(tǒng)控制用戶能操作哪些功能菜單的機制，系統(tǒng)通過用戶、用戶組、功能菜單的對照關系來控制用戶的權限。1、每個系統(tǒng)中的用戶都分為操作員用戶和管理員用戶，他們具有不同的權限管理功能，然而本系統(tǒng)中的所謂管理員用戶或超級用戶都是按該用戶所分配的用戶組來區(qū)分的。該用戶所分配的用戶組具有什么樣的權限，該用戶就具有和用戶組一樣的權限。從而實現(xiàn)了用戶與訪問權限的邏輯分離，極大的方便了權限管理。2、登陸系統(tǒng)必須通過用戶編號和密碼

14、的驗證，密碼需要加密驗證, 加密算法采取國際上流行的不可逆算法。密碼統(tǒng)一設置為6位，可用數(shù)字與字母混合方式。3、該系統(tǒng)在第一次初始化安裝的時候，系統(tǒng)會初始化用戶表中一個管理員權限的用戶，該用戶的用戶編號為admin，密碼初始化為111111，該用戶所分配的用戶組是具有所有功能權限的用戶組。4、當用戶用管理員的身份登陸系統(tǒng)以后，需要對密碼進行修改，確保該系統(tǒng)的安全性。然后該用戶就可以按照不同下級機構的情況創(chuàng)建不同的用戶和分配給他們不同的權限。5、單擊用戶管理上面的“新增用戶”按鈕，就可以創(chuàng)建新的用戶了。用戶創(chuàng)建的時候，需要錄入用戶的相關信息。6、用戶表的結構為：中文說明字段名數(shù)據(jù)類型主鍵標志是否

15、允許空備注用戶編號User_IdCHAR(10)PKNOT NULL用戶名稱User_NameCHAR(30)NULL密碼PasswordCHAR(32)NULLMD5加密后的密碼用戶級別lvlCHAR(1)NULL7、用戶創(chuàng)建完以后，需要給該用戶授權，也就是給用戶分配用戶組。選擇要授權的用戶，單擊用戶管理上面的“用戶授權”按鈕。這樣，用戶組具有的權限，該用戶也就具有了該權限。8、創(chuàng)建好的用戶就可以分配給下級分行用戶進行系統(tǒng)的管理和操作。如果分配給下級的用戶不小心把密碼遺失了，具有管理員權限的用戶還可以運用用戶管理里的“密碼重置”的功能對分行用戶的密碼初始化為111111了，這樣，分行用戶再次

16、登陸，把密碼進行修改就可以實現(xiàn)系統(tǒng)的安全控制了。4.4.1.2 用戶組管理的設計1、系統(tǒng)管理設計了基于用戶組管理的安全訪問控制策略。用戶組設計的特點是通過分配和取消用戶組來完成用戶權限的授予和取消，并且提供了用戶組分配規(guī)則和操作檢查規(guī)則。訪問權限與用戶組相關聯(lián)，用戶組再與用戶關聯(lián)，從而實現(xiàn)了用戶與訪問權限的邏輯分離，極大的方便了權限管理?；谟脩艚M的訪問控制策略還可以很好的地描述用戶組層次關系，實現(xiàn)最少權限原則和職責分離的原則。2、用戶組表的結構中文說明字段名數(shù)據(jù)類型主鍵標志是否允許空備注組編號Grp_IdINTEGERPKIDENTITY組中文名稱Grp_NameCHAR(50)NULL創(chuàng)建

17、人Create_User_IdCHAR(50)NULL創(chuàng)建時間Create_TimeDATETIMENULL描述Grp_DescCHAR(100)NULL3、功能權限在這系統(tǒng)中就是資源、資源菜單，是系統(tǒng)中的各個功能。用戶組的功能權限和資源表是一一對應的。用戶組本身可以進行增、刪、改等操作（如果用戶組被刪除,則它與資源表中的關聯(lián)也將隨之刪除），然后在通過用戶組管理頁面中的“配置資源”的功能來實現(xiàn)用戶組和資源的關聯(lián)。從而用戶組就具備了它所對應的資源表的功能菜單。、系統(tǒng)的功能權限是系統(tǒng)控制用戶能操作哪些功能菜單的機制，如系統(tǒng)管理員組能夠維護普通用戶和設置系統(tǒng)參數(shù)等操作，操作員組可以實現(xiàn)一些日常功能的

18、操作等。為了實現(xiàn)對特殊用戶的權限控制，系統(tǒng)可以對單一用戶的功能進行授權。4.4.1.3 資源管理的設計、系統(tǒng)的功能權限，也就是系統(tǒng)的功能菜單、資源列表、資源樹。這些功能菜單的顯示都是在用戶登陸系統(tǒng)的時候動態(tài)生成的。用戶登陸系統(tǒng)時，根據(jù)用戶的登陸查找到用戶的詳細信息，然后查找用戶所分配的用戶組，最后將用戶所擁有的用戶組所關聯(lián)的資源菜單、資源樹全部動態(tài)顯示在系統(tǒng)的頁面中，方便的控制了用戶的權限功能。2、資源管理的功能是對資源表中的數(shù)據(jù)進行增加、修改和刪除等操作，通過資源表中的對應URL來實現(xiàn)資源在系統(tǒng)中訪問的URL，從而實現(xiàn)權限的控制。3、資源表的結構中文說明字段名數(shù)據(jù)類型主鍵標志是否允許空備注資

19、源編號Res_IdINTEGERPKIDENTITY本子段為自增型父資源編號Parent_IdINTEGERNULL資源名稱Res_NameCHAR(70)NULL唯一有序編號Act_CodeCHAR(50)NULL不一定所有資源都有交易編號。交易編號可用于舊系統(tǒng)掛接。如果沒有輸入，資源編號就是交易編號資源類型Res_TypeINTEGERNULL資源類型，說明資源的類型，如目錄、URL等等習慣排序Res_Seq_NoINTEGERNULL中國習慣排序。在同一個目錄下的次序資源圖標Res_IconCHAR(50)NULL對應URLRes_UrlCHAR(400)NULL不同類型有不同含義安全模

20、式Acegi_PatternCHAR(100)NULL如報表ID等等資源描述Res_DescCHAR(100)NULL4、資源管理設計了基于用戶組管理的安全訪問控制策略。資源設計的特點是通過分配和取消用戶組來完成用戶權限的授予和取消，并且提供了用戶組分配規(guī)則和操作檢查規(guī)則。訪問權限與用戶組相關聯(lián)，用戶組再與用戶關聯(lián)，從而實現(xiàn)了用戶與訪問權限的邏輯分離，極大的方便了權限管理。4.4.1.4 密碼修改功能的設計密碼修改的功能，是對當前登陸用戶的密碼進行修改，以增加系統(tǒng)的安全策略。1.5.2 動態(tài)監(jiān)控動態(tài)監(jiān)控頁面就是作業(yè)關系處理狀態(tài)表的記錄顯示頁面，該頁面按照記錄的本作業(yè)完成標志狀態(tài)分不同顏色排序顯

21、示，方便用戶進行維護。而且該頁面具有自動刷新的功能，通過在基本表維護里的設置自動刷新時間間隔來設置該頁面的自動刷新時的時間間隔。而且該頁面還可以動態(tài)顯示刷新剩余的秒數(shù)，并設置了“暫停刷新”、“啟動刷新”的按鈕來控制自動刷新。該頁面還包括對作業(yè)關系處理狀態(tài)表中記錄的增加、刪除、查看/修改等功能。該頁面在查詢時還使用了單用戶模式：就是在SELECT操作之前有一個UPDATE操作，2個操作在一個事務中進行，保證了在同一時間只有一個用戶訪問這個表。通過對這個頁面的監(jiān)控，來對整個后臺調(diào)度系統(tǒng)的管理和維護。包括：日終處理、基本表的維護、系統(tǒng)管理和啟動和關閉系統(tǒng)的功能。同時還設置了搜索按鈕，方便用戶按照關鍵字進行條件搜索，查找匹配的數(shù)據(jù)信息。1.5.3 進入下一天工作進入下一天工作的主要功能就是進行日終處理的初始化操作。初始化的具體操作為：（1）關閉系統(tǒng)（2）更新系統(tǒng)狀態(tài)表sys_status 字段status 0(正常)->1(停止)