管線資源GIS系統架構方案

技術標準系統總體設計本期管線資源管理系統系統優化設計的總體目標是在原系統基礎上進行升級，在保證穩定的、高性能、易擴展的基礎下，進一步豐富系統功能，以滿足各網絡管理部門對日常傳輸運維工作的支撐。處理性能要求由于系統支撐到網絡管理部門的日常運維工作，對系統的響應效率要求比較高。對頁面的操作的響應操作時間小于3秒。對普通數據查詢的響應時間小于5秒。對報表統計操作響應時間小于7秒。對于復雜型查詢、統計操作響應時延小于10秒，且提供查詢進度條以通知處理進度。并發操作終端數大于100個，即系統同時在線人數不少于100人。可靠性要求系統滿足高可靠性要求。采用高可用結構、容錯結構或其它可靠性技術，同時對重要硬件部分建議采用雙備份。數據庫系統支持數據庫鏡像以及日志鏡像功能。系統的硬件與軟件相互配合，提供對系統故障的管理能力。一周七天每天24小時連續正常工作；因軟件系統重大故障每年不可用時長小于24小時。系統設計壽命大于10年。系統的故障能隔離在模塊內，不具備擴散性。保證不發生因系統自身原因發生丟失報告、數據的情況。安全控制要求系統滿足高安全性要求。系統應提供安全訪問控制，按角色、權限進行訪問控制。支持系統級安全：支持關閉平臺不必要的服務，減少可能引起安全問題的原由。支持應用級安全：具備必要的防病毒軟件。采取一定的認證和授權機制，杜絕無權操作人員進行操作，規范管理人員的行為。有用戶級權限管理，管理整個系統的用戶級別。數據每月備份一次，每當數據發生重大變化時做一次全備份，提供對錯誤數據通過備份數據進行恢復機制。系統必須要詳細的登錄和操作日志，能記錄用戶詳細的操作過程和結果。擴展性要求系統滿足高可擴展性要求。管線資源管理系統實現對網絡資源和信息服務資源的有效管理，建立跨專業的、面向客戶的資源模型，形成企業共享核心資源庫，并提供相關應用服務，為服務開通、服務保障提供支撐，服務于市場營銷、客戶服務、企業經營管理和企業運行維護。系統架構可擴展，要求系統軟硬件架構具有良好的擴展性，能隨著使用量和數據量增加實現快速擴容，系統保持較好的橫向擴展能力。應用功能可擴展，上層應用開發框架和基礎數據設計具有可擴展性，能快速實現各類新業務功能開發，服務層和客戶端都能以插件的模式動態加載。支持開放的TCP/IP網絡協議，支持對流行的關系型數據庫的透明訪問，支持通過ODBC訪問其他的數據源。軟件要求系統滿足標準化、人性化設計。采用網絡型關系數據庫，支持SQLSERVER數據庫群集技術。遵循分層和復用設計理念，按照組件化、策略化設計原則，建立數據與應用相分離、應用與策略相分離的技術架構，支持新功能的快速開發。系統具有良好的開放性，應能實現縱向聯網和橫向聯網。提供統一風格的用戶界面，采用友好的圖形化窗口，用戶界面應簡潔、直觀，有利于簡化操作，并提高操作效率。應用軟件采用全漢化的圖形界面，并采用模塊化設計方法，對應用系統進行功能分塊，標準化各模塊間的接口。操作界面應簡潔、直觀，有利于簡化操作，并提高操作效率。系統總體架構對原系統的總體架構進行優化，采用分層設計；可劃分為5個層次，分為接口適配層、數據采集層、匯聚處理層、應用服務層、展現層。本系統外部資源域的傳輸線路資源數據、傳輸網絡拓撲及告警數據、基站資源及機房停電等數據，通過接口適配層提供的定制適配器，轉變為統一格式的數據結構；數據采集層通過統一的數據采集，將所有的數據進行統一的采集、歸類。匯聚處理層將所有統一采集到的數據進行數據抽取、處理并加載到數據庫，再按照業務規則進行匯聚處理和分析；應用服務層將分析處理后的數據結合應用場景向展現層提供數據服務。 系統各層之間的通訊以及底層的服務是基于SOA架構以企業服務總線（ESB）的方式對外提供服務；企業服務總線是SOA參考架構的核心。它為整個架構范圍內所有服務提供相互通訊的能力，從而實現對原有系統架構的兼容。 應用層采用B/S架構，基于中間件技術的三層體系，有利于減輕服務器的負擔、減少網絡的帶寬要求、簡化系統的維護和管理、提高系統的可伸縮性和可擴充性。系統結構定義數據存儲數據存儲層負責存儲采集的原始數據以及統計報表數據。數據存儲層采用網絡型關系數據庫，支持SQLSERVER2008或Oracle數據庫；將數據庫劃分成基礎數據庫、業務數據庫和數據集市，提供相互獨立的數據支撐。業務數據庫劃分包括傳輸線路資源數據、網絡資源數據、傳輸告警數據、機房停電數據、巡檢數據、報表數據、用戶和權限等管理數據，等等。對于結構化數據，直接進行數據庫存儲，形成數據庫記錄。按照信息結構通則規范進行字段定義和存儲，形成符合標準規范的業務應用信息。對非結構化數據如照片數據，遵循國家的相關標準規范對采集的數據進行加工處理，形成符合標準規范的電子檔案信息和照片信息。數據接入數據接入提供數據接入服務、數據對象持久化，實現對數據的采集、數據清洗、數據處理、數據裝載等數據處理；實現各類相關業務信息的歸集和整合，形成跨業務領域統一關聯的數據資源，為各級業務管理、服務、決策提供數據服務。數據采集通過系統錄入和其他系統對接，采集工單數據、設備巡檢數據、性能統計數據、投訴數據；其中數據采集方式涉及到自動爬取、任務化同步以及指令化操作。數據清洗對采集到的數據進行核查清洗，包括采集數據空值核查、采集數據屬性數目核查、采集數據條數核查、采集數據數據格式核查、入庫數據條數核查、入庫數據空值核查、入庫數據格式核查，洗掉其中的“臟”數據，包括不完整數據、錯誤的數據、重復的數據等以及圖片數據格式處理。數據轉換對采集到的數據進行轉換、關聯處理，包括監管信息關聯等。數據統計編寫存儲過程，對業務數據進行統計分析，形成統計報表，供應用層查詢。數據裝載將處理過后的數據，裝載到數據庫中；對于數據庫的連接采用數據庫連接池設計，數據庫連接池負責分配、管理和釋放數據庫連接，它允許應用程序重復使用一個現有的數據庫連接，而再不是重新建立一個；釋放空閑時間超過最大空閑時間的數據庫連接來避免因為沒有釋放數據庫連接而引起的數據庫連接遺漏。通過數據庫連接池的應用，可以提高整個應用程序的伸縮性和健壯性，以及程序的性能指標。業務應用應用層與數據層之間的鑒權、業務邏輯等接口通過SOAP實現。采用以企業服務總線（ESB）為核心的SOA架構，有效地適應了流動的業務以及不斷變化的需求。基礎數據配置管理對基礎數據進行管理和維護等。用戶管理管理系統用戶賬號，終端用戶和系統用戶的注冊的管理都在用戶管理部分進行。權限管理對系統實現訪問權限和多級權限管理，用戶的每步操作都將在權限允許范圍類。日志管理對系統各類操作日志及性能日志進行查詢管理。安全管理根據應用系統的信任等級及訪問權限等對信令數據進行分級管理，制定數據過濾策略，保證信息安全。業務邏輯查詢業務應用提供包括項目關鍵點數據、施工計劃、關鍵點數據審核、統計分析、移動終端應用等服務。服務接口服務接口包括了應用服務接口以及系統與其他外部系統接口。對于服務接口，引入WebService技術，采用可擴展的數據交換協議——XML，使得異構系統之間的交互操作、數據交換和集成易如反掌，同時支持客戶端跨平臺重用業務功能，從而降低異構系統集成的成本，降低大型系統集成用戶因為更換統一平臺而增加的成本。除此之外，該技術使開發者可以封裝自己的WebServices，并與業務平臺的WebServices集成使用，為二次開發提供增值空間。功能展現應用層通過服務接口和業務應用層、數據層進行數據交互,基于B/S結構,減輕客戶端負荷；應用層基于MVC設計模式，M代表模型Model，V代表視圖View，C代表控制器Controller。MVC模式將系統分為三層，層與層之間通過又一定的模式聯系，使數據實體與業務邏輯、業務邏輯與頁面展現分離。采用MVC模式的目的是增加代碼的重用率，減少數據表達，數據描述和應用操作的耦合度。同時也使得軟件可維護性，可修復性，可擴展性，靈活性以及封裝性大大提高，以滿足系統設計原則。系統關鍵技術基于成熟的WebService技術架構系統展現層、手機客戶端與業務服務層通過WebService進行數據交互，WebService是一種可供跨平臺調用的服務組件，解決跨不同平臺不同系統的數據傳輸問題。WebService是完全基于XML、XMLSchema等獨立于平臺、獨立于軟件供應商的標準；WebService可用于創建可互操作的、分布式的應用程序平臺。WebService主要由三個方面組成，包括服務程序、服務的描述文件以及服務的注冊登記。構建可共享的GIS服務本期系統可建立共享的GIS服務，在支撐本期系統功能的基礎上，可以延伸到支撐其他系統的GIS應用需求；共享地圖服務可提供地圖瀏覽、地圖導出、繪制與測量、標注、地理信息搜索等基礎操作，提供標準化地圖服務接口，供其他系統直接調用。共享地圖服務采用面向服務的SOA架構，與系統整體架構一致。分為空間數據層、GIS服務層、及服務訪問層。基于CORBA的統一數據采集模塊本期系統將通過CORBA技術來實現統一數據采集模塊，對接傳輸綜合網管系統、本地信匙通系統的北向接口。CORBA的核心是一套標準的語言、接口和協議，以支持異構分布應用程序間的互操作性及獨立于平臺和編程語言的對象重用。實現規范標準化的數據采集協議封裝，基于Ftp、Telnet批指令、SSH、ODBC、WebService接口等協議標準封裝數據接口，并組裝成獨立的組件，注冊到任務管理器，實現對數據采集的有效管理，可靈活配置采集組件和調度時間。系統提供對數據采集的異常告警，將各類型的采集異常轉換為系統告警，并在界面進行呈現，使系統管理員能夠實時發現異常。同時，對數據采集提供日志跟蹤，記錄采集的全部過程。高效的內部業務協同交互 基于ESB（EnterpriseServiceBus），構建內部業務協同交互，為應用系統集成和信息資源共享提供技術支撐，按照統一管理的應用管理權限和數據訪問權限，實現跨技術體系、跨網絡區域應用系統的通訊、互連、集成和任務調度，實現不同標準、數據存儲結構的信息資源的交換和共享，以及數據資源的交換、整合、同步和應用，并提供統一、標準的應用訪問入口和業務視圖。靈活快速的報表設計由于本期系統涉及報表統計非常多，而且日常維護對報表統計變化比較大，因此在設計報表時，需要考慮報表實現的靈活性和方便快捷，我們考慮引進EastReport報表工具，集成到系統上，來支撐數據報表的快速實現，滿足各級部門所需要的個性化報表。Eastreport是采用C#編寫的專門針對net環境開發的報表工具。開發環境要求系統開發環境系統運行在WindowsServer2008操作系統上，采用MicrosoftSQLServer2008企業版數據庫。系統采用Microsoft.NETFramework4.0以上框架和VisualStudio2008開發工具作為開發平臺。手機客戶端開發環境JAVAJDK1.6或以上環境，Androi