智慧環保解決方案說明書XX科技股份有限公司編制目錄一、項目存在問題及需解決問題 31.存在問題 32.需解決問題 4二、解決方案 61.解決方案架構 62.關鍵技術 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 8（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、開發范圍 101.數據生產 102.數據采集/消費 103.數據分析 114.數據展示 12項目存在問題及需解決問題存在問題由于前期缺乏統籌規劃,在標準規范制定、集約化建設、資源共享和業務協同、智慧環保建設方面面臨很多問題,歸納起來,主要表現在以下幾個方面。環境信息標準規范體系不完善。我國各類環境業務系統建成于不同時期,不同的業務系統都自成一套管理體系，由于缺乏統一的環境信息標準和規范，導致了同一類數據有多種不同的編碼體系、同一種管理事務有多套應用系統、同一數據的來源有多個采集渠道等問題。由于不同部門的信息管理渠道與數據標準存在差異，造成了基層環保工作人員工作內容繁冗重復。而領導決策缺少橫、縱向可量化分析的數據基礎,嚴重制約了環境管理效率和環境監管能力。低水平重復建設現象普遍存在。近幾年,我國各地環保部門紛紛加大信息化建設力度，采購了大量軟硬件資源,建立了多個應用系統。但是,由于缺乏統一的環境信息化建設規劃和頂層設計，各部門大多是獨立開展環保信息化建設工作，面向同一業務需求存在多個相互獨立的業務應用系統,數據、應用相互矛盾的現象常有發生。與此同時,各部門的信息化建設在運維過程中普遍存在設備資源利用率低、信息系統運維難、人工成本高和能源消耗大等問題。信息資源共享和業務協同能力不足。多年以來,我國各級環保機構面向不同業務需求,已建成了環境監測、應急管理、污染源監控等一系列應用系統,也積累了大量的環境信息資源,但這些系統的互聯互通性差,信息資源交換難,造成大量的“應用孤島”、“數據孤島”。此外,目前我國的環境業務應用系統的功能更多停留在表層的信息存儲和傳遞,缺乏面向管理決策的數據海量存儲、深度挖掘、綜合應用和智能分析,無法滿足新時期環境管理與科學決策支撐的業務需要。信息化應用與管理需求不匹配。環境污染常常是多地域共同造成的,環境治理也需要各方的協同配合。但目前的環境管理方式是轄區負責制，各地方環保機構只關注自己管轄范圍內的環境問題，嚴重影響了污染治理的效果。亟需打破部門壁壘,促進跨行業、跨區域、跨部門的業務協同和資源共享。環保信息化的深入推進對現行的環境管理工作方式提出了新的挑戰,需要國家層面站在更高的角度，統籌推進全國各區域的環保信息化建設。需解決問題1、加強基礎設施建設，找尋更多發展點與贏利點總的來說，智慧環保是一種興盛的產業，絕大部分人對于此事并不了解，而且對它的優點了解并不深刻。因而，智慧環保產業要想完成迅速發展壯大，就務必從認知層和服務項目層下功夫。在認知層層面，理應擴張在全社會的宣傳和倡導，此外，創建優秀的信息精確測量、監管等認知系統軟件，完成對社會發展各類信息內容的認知和解決;在服務項目層層面，智慧環保產業應當充分利用無可比擬的云計算技術、互聯網技術、互聯網大數據等技術，融合剖析各種海量數據，大量地服務于各種傳統產業，為傳統產業的環保給出的數據支持和服務咨詢。就現階段來講，智慧環保產業要想在全社會發展范圍內尋得創業商機，就務必先從社會發展認知和服務項目下手，搭建可認知的信息管理系統及其多方位的綜合服務平臺，在社會發展中找尋盈利點和商機。智慧環保產業根據各類互聯網技術把握了很多的信息內容，因而在發展流程中是具備先天優勢和敏感度的,因而搞好社會發展認知和社會化服務這兩條 線，必定會獲得長期發展。2、潛心維護保養和經營階段，把握發展壯大主動權當今智慧環保正處在迅速發展壯大階段,從我國到各地區都會著眼于智慧環保的基本建設，預估五年內可以基本建設完成。完工以后必定會展開試運行，另外伴隨著很多的中后期維護保養，這些工作并不是哪一個部門可以承攬的，要靠社會的能量，要靠市場的導向性，因而中后期智慧環保產業的經營及維護保養必定是發展壯大的頭等大事。因而智慧環保產業要想完成迅速健康發展，就務必提早搞好運作及中后期維護保養的提前準備，緊隨市場智慧環保的基本建設進展，爭得在智慧環保中后期把握發展壯大主動權。3、傳統式環保產業應利用信息內容技術加快轉型發展在我國的環保任務十分嚴峻,而且耗資極大,后期我國必定會在環保上頒布大量現行政策，對環保標準會更為嚴苛，傳統產業假如不能夠完成轉型發展，很有可能會因為擔負不了環境污染的處罰而造成倒閉。因而,傳統產業要想從這次環保戰事中獲得開創性發展壯大，必須協同信息化管理技術，加速技術轉型發展，那樣才可以占領一些智慧環保市場。4、自主創新運營模式，提升盈利效率就現階段來講，針對智慧環保產業的詳細介紹還比較少，各界人士對于此事可能也是持猶豫心態，在我國的智慧環保基本建設依然以政府部門帶頭實施建設，可是伴隨著智慧環保基本建設的發展壯大，必然后期會存有很多的經營及維護保養工作，只靠政府部門的能量難以保持長期發展壯大。因而，智慧環保務必自主創新運營模式，將智慧環保走向市場。一方面，能夠采用在小城市規劃建設示范點，當取得實效以后，再扣除中后期的附加費、維護費用;另一方面，根據小城市示范點吸引住大都市的注意與興趣，完成大都市的選購和基本建設。解決方案解決方案架構圖1解決方案架構圖系統開發平臺使用Hadoop大數據開發平臺。Hadoop是一個高度可擴展的存儲平臺，可以存儲和分發橫跨數百個并行操作的廉價的服務器數據集群。能擴展到處理大量的數據，能提供成百上千TB的數據節點上運行的應用程序。Hadoop能夠有效的在幾分鐘內處理TB級的數據。相比關系型數據庫管理系統更具有優勢。它適用于任何規模的非結構化數據持續增長的企業，將幫助用戶持續提高用戶體驗。系統采用面向對象的軟件設計方法，把整個系統看作是多個離散對象的組合。系統設計時，首先把業務流程分解成功能模塊及其業務實體對象，然后根據業務流程分析對于這些業務實體對象的操作方法，形成業務處理對象，最后把各個功能模塊關聯起來，形成系統。軟件設計是一個將需求轉變為軟件的過程，系統通過逐步求精使得設計陳述逐漸接近于源代碼。系統程序采用MVC的設計思想，將展現邏輯、控制邏輯、業務處理邏輯分離。系統采用參數化的設計思想，定義和管理系統的實體及配置，調整實體以適應外部變化。系統采用J2EE技術保證程序邏輯實現的平臺無關性，并便于安裝部署。系統采用AJAX技術，提高客戶操作的交互性，保證實際使用的易用性。系統采用echarts可視化框架實現數據展示。關鍵技術HadoopHadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續產品，已經融合在SpringWebFlow里面。Spring框架提供了構建Web應用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數的手工設置以及結果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數據庫中的記錄。EchartsECharts是一款基于Javascript的數據可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數據可視化圖表。MySQLMySQL是一個關系型數據庫管理系統，由瑞典MySQLAB公司開發，屬于Oracle旗下產品。MySQL是最流行的關系型數據庫管理系統之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關系數據庫管理系統)應用軟件之一。MySQL是一種關系型數據庫管理系統，關系數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數據庫的最常用標準化語言。MySQL軟件采用了雙授權政策，分為社區版和商業版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇MySQL作為網站數據庫。Hivehive是基于Hadoop構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統中的數據：可以將結構化的數據文件映射為一張數據庫表，并提供完整的SQL查詢功能；可以將SQL語句轉換為MapReduce任務運行，通過自己的SQL查詢分析需要的內容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數據。而mapreduce開發人員可以把自己寫的mapper和reducer作為插件來支持hive做更復雜的數據分析。它與關系型數據庫的SQL略有不同，但支持了絕大多數的語句如DDL、DML以及常見的聚合函數、連接查詢、條件查詢。它還提供了一系列的：具進行數據提取轉化加載，用來存儲、查詢和分析存儲在Hadoop中的大規模數據集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現對map和reduce函數的定制，為數據操作提供了良好的伸縮性和可擴展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。開發范圍數據生產對于該模塊的業務，即數據生產過程，一般并不會讓你來進行操作，數據生產是一套完整且嚴密的體系，這樣可以保證數據的安全性。但是如果涉及到項目的一體化方案的設計（數據的產生、存儲、分析、展示），則必須清楚每一個環節是如何處理的，包括其中每個環境可能隱藏的問題；數據結構，數據內容可能出現的問題。數據采集/消費數據采集模塊（消費），在企業中你要清楚流式數據采集框架flume和kafka的定位是什么。我們在此需要將實時數據通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發適合下游數據消費者不多的情況；適合數據安全性要求不高的操作；適合與Hadoop生態圈對接的操作。kafka：linkedin公司研發適合數據下游消費眾多的情況；適合數據安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數據-->flume-->kafka-->flume(根據情景增刪該流程)-->HDF