#的業務開發及數據測試。通過元數據的數據模型抽象，逐步將Hadoop、DB2的后臺數據資源高效、安全并可控可管的開放給前端進行訪問。數據共享：大數據平臺將用戶標簽、營銷目標、用戶套餐剩余量等信息通過統一的數據服務方式開放給其他系統或者在線使用，確保數據的唯一性和數據響應的及時性。3.2方案內容及亮點圖為基于大數據的能力開放體系架構，我們在原有大數據平臺上進行整合使得大數據的成果能夠有效的被外部系統調用，并具備標準的服務能力供后續的系統對接。能力開放平臺由統一調度、統一開發、數據共享三大平臺組成：統一調度平臺將原大數據平臺、經分數據倉庫、VGOP平臺等關聯度高的獨立應用系統的任務進行統一管理、執行調度及監控，提升整體的執行效率并簡化運維。統一開發平臺搭建于統一調度的基礎之上，開發者可以通過IDE使用封裝后的函數，以SQL腳本進行圖形化的數據處理程序設計及開發。通過多租戶的方式，對開發者分配獨立的大數據平臺及數據倉庫的存儲、計算資源，確保開發者在共享數據、系統能力的同時，不影響生產系統的正常運行。數據共享平臺提供標準API封裝，提供給外部系統進行數據查詢和調用，實現經分系統對外數據服務標準化，同時保障數據安全性并降低外部系統數據存儲壓力。3.2.1統一調度統一調度由控制中心和AGENT兩部分組成，如下圖所示：1）控制中心:控制中心接收來自內部的消息，通過規則引擎判斷任務是否滿足觸發條件并分發給Agent進行處理，并對任務執行情況進行監控及消息生成。消息接收：支持各種事件觸發消息，如文件到達、接口裝載、表生成；規則引擎：根據人工定義、系統資源情況、租戶定義等設置制定任務的執行條件及前后依賴關系；任務觸發：根據消息總線傳遞的消息，判斷任務是否具備執行條件，并將滿足觸發條件的任務分發至各平臺Agent端執行；任務監控：接收來自Agent的程序執行狀態及資源狀態并產生新的消息。(2)AGENT:部署到參與調度的執行平臺，負責任務執行及系統資源、任務狀態收集報告。任務監聽：輪詢掃描控制中心發出的任務；任務執行：支持tel、shell、python、java等程序，可以手工設置各個執行平臺進程數，支持多進程并發處理；資源狀態及心跳報告：支持分鐘級和主動資源收集報告，將資源信息進行反饋。控制中心實時監控Agent運行狀態，并進行短信告警，防止Agent掛死。3.2.2統一開發統一開發提供圖形化的開發能力以及統一元數據管理：(1)IDE圖形化的開發界面及統一封裝函數庫的集成，如下圖所示：?測試0上線affi國國□國itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二開發人員&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0?測試0上線affi國國□國itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二開發人員&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0?■口比保存>?測試$上銭GeriErwl0.常用密數1.輸心據3.表對最操作岡一變量賦值渚空表0基本信息?處理曲驟4.字段操作4.妳操作5.數組&變盤純輯6.FTP操作6如妞7.功戦作HL語句目標分公司的通話次數st_tef.t_kpi冒F賽刪除一張表創建X時表循環0上一歩下一歩*滿足業務部門自助開發的需求，集成圖形化的開發界面，通過拖拽的方式實現快速數據處理邏輯設計及開發；通過JAVA包對SQL命令、Hadoop、DB2執行平臺的系統命令、時間函數、字符串函數、聚合函數等基礎函數庫進行統一封裝，屏蔽底層執行平臺的系統差異，實現類SQL開發語言支持，降低系統的技術門檻;>前臺提供圖形化開發界面、拖拽式開發方式、統一封裝的函數庫、靈活的腳本編輯能力對開發過程進行支撐。包含以下功能：查看元數據、數據模型注冊、數據模型導入、設計、開發、測試、上線、優化；數據處理過程API分為7大類：數據輸入(Reader)、數據輸出(Writer)、行集處理(Process)、字段級處理、流程控制類、數據檢查類、數據交換類，并提供了一套可擴展的機制；>函數編排支持條件分支、循環、異常控制等，支持變量讀取、定義，能夠實現復雜場景下的開發；數據同步采用開源的Sqoop來實現大數據平臺和DB2、HBASE的高效數據同步。(2)統一的元數據開放共享與實時更新為實現公司內部模型及數據的復用，并實現數據資產的編目管理、共享及分級存儲，同時實現數據安全的可控可管，能力開放平臺搭建了元數據管理模塊。包含全局數據字典、程序邏輯等元數據，提供元數據維護、權限控制等工具實現元數據整個生命周期的管理。元數據的管理界面如下圖所示：元數據的自動更新:通過統一開發平臺開發的程序，相關元數據（表、字段、數據流圖、觸發條件）將自動納入元數據管理，實現元數據的自動更新，并為統一調度平臺提供程序調度觸發消息；元數據的可控開放：為了保障開放數據的安全性，安全管理員要對即將開放的基礎元數據進行逐個審批，只有得到安全管理員審批的基礎數據才能對外開放，從而保障開放數據的安全性。3.2.3數據共享為發揮大數據的價值，通過標準API封裝的方式為企業內各種實時的業務運營提供信息支撐，并對外部系統提供統一的數據調用接口，具有實時、動態的信息交互能力。標準的數據開放接口實現數據和應用的解耦、應用和UI的解耦，有利于各應用系統功能集成。數據共S數據共S開放API謂用（1）數據層為實現快速的數據查詢，數據共享平臺采用了HBASE及Redis作為數據層。HBASE:作為分布式的、面向列的開源數據庫，HBASE在Hadoop之上提供了大數據的存儲和快速查詢能力。Redis：作為基于內存亦可持久化的日志型、Key-Value數據庫，并提供多種語言的API。其查詢速度比HBASE更高。（2）封裝層基于Restful架構實現API封裝，使用Nginx的代理功能，整合后端多個Tomcat服務器，實現高并發的查詢能力。內部結構如下：數據菲亭丿F放API服務注冊服務安全管理數據查詢響應SOAP/HTTP服務服務管理服務査找及蹄由服務發布數據菲亭丿F放API服務注冊服務安全管理數據查詢響應SOAP/HTTP服務服務管理服務査找及蹄由服務發布＞服務注冊：服務屬性配置：如服務標識、服務名稱、服務描述、服務發布地址等信息的配置；服務參數配置：包括輸入參數、輸出參數、輸出內容等配置。＞服務安全管理:服務認證鑒權是用于鑒別服務請求方是否有服務調用權限；數據交換安全是用于保證服務請求-響應過程中的數據安全；權限管理是用于確定服務請求方可調用的服務權限。＞認證鑒權:確定服務請求方是否有訪問服務提供方提供的具體服務的功能權限；對于有功能權限的服務請求方，還需要再確定其可訪問的具體服務的數據范圍權限。＞服務運維:服務監控對數據服務的運行狀況提供實時的監控和分析,幫助運維人員及時了解數據服務的健康情況。＞查詢響應：負責處理數據和各類數據源進行交互，獲取查詢結果。數據獲取處理主要包含:連接相應的數據源，執行經過模型映射解析的可執行SQL語句，獲取結果數據。＞通信協議：通信協議采用全球公認的WEBSERVICE標準協議。需求方更容易安全接入系統。3.3方案效果統一調度方案效果：統一調度集中整合了運營商經分系統、大數據平臺、集團集市、VGOP等應用系統的調度管理，提高了各個平臺程序的并發度，減少重復建設，節約成本近百萬；統一開發方案效果：目前互聯網中心和信安部已經開始進行客戶體驗工作，統一開發平臺上線之后，需求的開發速度由原來的數十天量級提升到小時內量級實現，數據變現能力得到數倍的增強；數據共享方案效果：目前某省運營商已部署基于Redis的“用戶剩余流量”實時查詢系統，采用Redis內存數據庫作為內存存儲單元；每天分流500萬以上的查詢需求，同步數據達到秒級；掃描用戶流量檔次變化達到分鐘級，單機支持并發查詢量由原有BOSS系統的300次每秒提高到5000次每秒，并支持水平擴展。