HiveHbaseSolrHadoop/HDFS集群監控業務系統數據清洗策略數據聚集推送增量更新消息隊列增量數據第三方系統MON整理課件應用開發者SDK(JDBCDrive)ImpalaServerHive/HbaseHDFS應用開發者平安增強SDKImpalaServerHive/HbaseHDFSGuardianLDAP標準訪問流程〔NoSecurity〕用戶名/密碼用戶名/密碼鑒權權限&平安策略平安增強〔Securityenhanced〕雙重平安加固插件式的平安策略----authenticationLDAP身份驗證----authenticationGuardian平安&權限PlatformSecurity紅名單基于角色的數據權限平安策略Plugin整理課件大數據平臺用戶HZ_AppApp_tokenBCEF76539AFZEG21HZ_App+App_token角色角色：多同分析開發角色：車類應用開發民航_*信息鐵路_旅客訂票旅館信息互聯網上網信息機動車信息卡口信息駕駛人信息數據資源1:11:N1:N平臺層應用層整理課件創立容器獲取容器信息獲取對象信息創立對象刪除容器刪除對象獲取租戶信息第三方應用系統存儲對象數據對象存儲標準API元數據效勞目錄元數據管理對象存儲Hadoop/HDFS數據效勞總線查詢獲取對象數據獲取元數據整理課件移動警務鷹眼刑偵平臺市州...無限制金級銀級銅級分級策略訪問權限〔token〕數據效勞總線數據效勞集群訂閱數據開發效勞發布應用開發工程師業務應用查詢查詢檢索統計分析整理課件R1R2R3表2：測站根本信息表表1：監測數據表水位流量站碼、時間、位置站碼、時間、位置站碼、時間、位置ROWKEY...64M64M64M64M64M64MCF成都重慶......StormCluster整理課件1.缺失2.異常3.date查詢統計M〔spark〕DateNodes整理課件文本類數據solrcloud集群數據分類報告1報告2報告3報告4數據解析solr擴展詞停用詞同義詞分詞語義庫分布式存儲〔Hadoop/HDFS)數據索引庫solrsolr整理課件源內存抽讀寫HBase源stormROWKEY源表新表變化.....646464646464C增加數據修改、增加的過程整理課件根底資源池化資源區管理效勞目錄管理介質管理效勞編排控制中心事件中心發布管理應用生命周期管理部署管理效勞管理客運方案系統需要的環境效勞創立運行線效勞落成方案驗證效勞編制方案效勞運行線成功處理效勞落成方案效勞落成運行線效勞通用格式錯誤處理效勞通用數據錯誤處理效勞業務效勞OracleOracleOracleWebLogicWebLogicWebLogicJavaJavaTomcatJavaJavaJavaRabbitMQRabbitMQRabbitMQRabbitMQ應用堆棧效勞運維管理運維管理應用系統客運調度平臺計劃平臺應用狀態監控業務效勞狀態監控環境效勞狀態監控根底資源狀態監控效勞生命周期管理效勞部署管理效勞實例代理管理業務效勞池管理環境效勞池管理監控系統整理課件文檔解析手動按類自動分類多業務分片分片SolrcareSolr擴展詞停用詞同義詞分詞語義庫0........整理課件第三方系統身份驗證權限管理平安審計日常管理運維升級紅名單監控告警Hadoop/HDFS實時查詢分析挖掘全文檢索流式處理對象存儲Objectstorage(Ceph)警綜情報平臺PGIS數據集市〔現有存儲〕元數據管理數據聚集數據推送刑偵檔案網監案件SDK開發工具數據目錄數據查詢全文檢索算法調用可視化應用服務多同分析伴隨車比照摸排套牌車數據應用層數據效勞層數據處理層數據存儲層數據資源層算法庫展現層接入任務調度業務方案管理任務執行內務分析挖掘層整理課件部署+開發(7天*4人)部署+測試(10天*2人)安裝+上線(5天*1人)2014.11.1711.1711.2411.24安裝環境2天*4人=8人/日開發新模塊5天*4人=20人/日安裝環境修復12.112.112.312.312.512.5測試2天*2人=4人/日2天*2人=4人/日2天*2人=4人/日12.912.9安裝環境回歸2天*2人=4人/日1天*2人=2人/日12.712.712.1012.1012.1412.1412.1512.15安裝環境上線4天*1人=4人/日1天*1人=1人/日BugsBugfix5.修復開發測試生產1.環境安裝8.安裝環境9.升級及上線7.回歸6.安裝環境孫井龍4.部署及測試3.安裝環境王玲李霞2.開發新模塊吳春暉整理課件條線系統警情處置執法辦案執