PAGEPAGE125XX省基于大數(shù)據(jù)的的智慧農(nóng)業(yè)解決方案 XXX技術(shù)有限公司

目錄1 農(nóng)業(yè)大數(shù)據(jù)平臺項(xiàng)目概述 31.1 建設(shè)背景 31.2 農(nóng)業(yè)大數(shù)據(jù)帶了的新的挑戰(zhàn) 51.2.1 數(shù)據(jù)挖掘搜集復(fù)雜 51.2.2 經(jīng)驗(yàn)與數(shù)據(jù)的結(jié)合 51.2.3 分析與優(yōu)化的結(jié)合 61.2.4 數(shù)據(jù)類型復(fù)雜 61.3 農(nóng)業(yè)大數(shù)據(jù)發(fā)展趨勢 61.4 建設(shè)目標(biāo) 71.5 建設(shè)原則 72 農(nóng)業(yè)大數(shù)據(jù)需求分析 92.1 統(tǒng)一業(yè)務(wù)平臺 92.1.1 農(nóng)業(yè)監(jiān)控預(yù)警 102.1.2 農(nóng)業(yè)精準(zhǔn)種植 153 總體建設(shè)方案 213.1 總體設(shè)計(jì)原則 213.2 總體目標(biāo) 223.2.1 宏觀目標(biāo) 223.2.2 階段目標(biāo) 223.3 總體建設(shè)任務(wù) 233.4 系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu) 234 本期項(xiàng)目設(shè)計(jì)方案 294.1 應(yīng)用支撐平臺設(shè)計(jì) 294.1.1 設(shè)計(jì)目標(biāo) 294.1.2 系統(tǒng)功能設(shè)計(jì) 294.2 大數(shù)據(jù)分析層規(guī)劃設(shè)計(jì) 304.2.1 大數(shù)據(jù)平臺介紹 304.2.2 大數(shù)據(jù)分析系統(tǒng)架構(gòu) 344.2.3 數(shù)據(jù)總線 364.2.4 數(shù)據(jù)采集 374.2.5 數(shù)據(jù)存儲 394.2.6 計(jì)算引擎 404.2.7 業(yè)務(wù)處理 434.2.8 業(yè)務(wù)管理 444.2.9 用戶權(quán)限管理 454.3 應(yīng)用系統(tǒng)設(shè)計(jì) 454.3.1 總體架構(gòu) 454.3.2 以“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”為核心的業(yè)務(wù)應(yīng)用系統(tǒng) 464.3.3 綜合事務(wù)協(xié)同管理平臺建設(shè) 474.3.4 農(nóng)業(yè)機(jī)關(guān)及相關(guān)單位信息共享應(yīng)用系 484.3.5 智能視訊管理平臺系統(tǒng) 484.3.6 農(nóng)業(yè)職能延伸拓展互聯(lián)網(wǎng)應(yīng)用系統(tǒng) 494.3.7 農(nóng)業(yè)卷宗管理應(yīng)用系統(tǒng) 504.3.8 農(nóng)業(yè)培訓(xùn)信息化系統(tǒng) 504.3.9 綜合門戶平臺 514.4 網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì) 554.4.1 優(yōu)化辦公業(yè)務(wù)資源網(wǎng)絡(luò) 564.4.2 內(nèi)部辦公網(wǎng)基礎(chǔ)網(wǎng)絡(luò)和支撐平臺 634.4.3 完善省農(nóng)業(yè)廳互聯(lián)網(wǎng)數(shù)據(jù)中心 804.5 網(wǎng)絡(luò)安全系統(tǒng)設(shè)計(jì) 814.5.1 優(yōu)化辦公業(yè)務(wù)資源網(wǎng)絡(luò) 824.5.2 內(nèi)部辦公網(wǎng)基礎(chǔ)網(wǎng)絡(luò)和支撐平臺 904.5.3 完善省農(nóng)業(yè)廳互聯(lián)網(wǎng)數(shù)據(jù)中心 1074.6 網(wǎng)絡(luò)安全系統(tǒng)設(shè)計(jì) 1084.6.1 建設(shè)原則 1084.6.2 總體安全策略 1104.6.3 建設(shè)內(nèi)容 1104.6.4 安全部署總體架構(gòu)圖 1234.7 農(nóng)業(yè)云規(guī)劃 1244.7.1 云計(jì)算概述 1244.7.2 農(nóng)業(yè)云計(jì)算框架 1264.7.3 IAAS農(nóng)業(yè)云基礎(chǔ)設(shè)施層建設(shè) 1274.7.4 PAAS農(nóng)業(yè)云平臺層建設(shè) 1324.7.5 SAAS農(nóng)業(yè)云應(yīng)用層建設(shè) 1344.7.6 農(nóng)業(yè)云實(shí)施建議 1344.8 存儲備份系統(tǒng)設(shè)計(jì) 1354.8.1 建設(shè)必要性 1354.8.2 建設(shè)目標(biāo) 1354.8.3 建設(shè)方案 1364.8.4 備份策略 1374.8.5 存儲備份量計(jì)算 1384.9 農(nóng)業(yè)信息指揮中心設(shè)計(jì) 1394.9.1 建設(shè)需求 1394.9.2 建設(shè)方案 1404.9.3 系統(tǒng)實(shí)現(xiàn)功能 141農(nóng)業(yè)大數(shù)據(jù)平臺項(xiàng)目概述建設(shè)背景農(nóng)業(yè)部辦公廳關(guān)于印發(fā)《2018年農(nóng)業(yè)部網(wǎng)絡(luò)安全與信息化工作要點(diǎn)》的通知，2018年，是貫徹黨的十九大精神的開局之年，要堅(jiān)決貫徹中央農(nóng)村工作會議、全國農(nóng)業(yè)工作會議及中央1號文件精神，深入實(shí)施鄉(xiāng)村振興戰(zhàn)略，緊緊圍繞“農(nóng)業(yè)質(zhì)量年”這個主題，制定和實(shí)施國家質(zhì)量興農(nóng)戰(zhàn)略規(guī)劃，堅(jiān)持質(zhì)量第一，大力推進(jìn)質(zhì)量興農(nóng)、綠色興農(nóng)、品牌強(qiáng)農(nóng)。隨著信息技術(shù)和網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，尤其是互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算的快速興起，引發(fā)數(shù)據(jù)爆炸式增長，各類型數(shù)據(jù)和信息量急劇膨脹，海量數(shù)據(jù)已經(jīng)成為當(dāng)今社會的基本特征。農(nóng)業(yè)大數(shù)據(jù)作為大數(shù)據(jù)的重要分支，是大數(shù)據(jù)理論、技術(shù)、方法在農(nóng)業(yè)領(lǐng)域中的專業(yè)化實(shí)踐和應(yīng)用。農(nóng)業(yè)涉及農(nóng)資、育種、耕地、播種、灌溉、施肥、防治病蟲害、收獲、倉儲、農(nóng)產(chǎn)品加工、農(nóng)產(chǎn)品物流、銷售、畜牧業(yè)生產(chǎn)管理等內(nèi)容，貫穿整個農(nóng)業(yè)生產(chǎn)管理、消費(fèi)過程中的各個環(huán)節(jié)都會產(chǎn)生大量的數(shù)據(jù)。農(nóng)業(yè)大數(shù)據(jù)不僅涉及生產(chǎn)全過程中各個環(huán)節(jié)產(chǎn)生的數(shù)據(jù)，還涉及跨行業(yè)、跨專業(yè)、跨領(lǐng)域的數(shù)據(jù)。農(nóng)業(yè)大數(shù)據(jù)應(yīng)用，依托部署在農(nóng)業(yè)生產(chǎn)現(xiàn)場的各種傳感節(jié)點(diǎn)（環(huán)境溫濕度、土壤水分、二氧化碳、圖像等）和無線通信網(wǎng)絡(luò)，完成農(nóng)業(yè)大數(shù)據(jù)采集、傳輸、存儲、處理等環(huán)節(jié)的數(shù)據(jù)管理，結(jié)合大數(shù)據(jù)分析挖掘技術(shù)，最終實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)環(huán)境的智能感知、智能預(yù)警、智能決策、智能分析、專家在線指導(dǎo)，為農(nóng)業(yè)生產(chǎn)提供精準(zhǔn)化種植、可視化管理、智能化決策。如今，國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)快速發(fā)展，其典型應(yīng)用體現(xiàn)在：培育良種對人類營養(yǎng)狀況數(shù)據(jù)、生物群體的基因組等數(shù)據(jù)進(jìn)行分析，通過對農(nóng)作物的基因組進(jìn)行測序，培育一些營養(yǎng)價值較高的作物品種，有助于提升人們的健康水平。精準(zhǔn)種植精準(zhǔn)種植是基于3S技術(shù)（遙感技術(shù)、地理信息系統(tǒng)、全球定位系統(tǒng)），實(shí)施一整套現(xiàn)代化農(nóng)事操作技術(shù)與管理的系統(tǒng)，主要用于土壤肥力的精準(zhǔn)化監(jiān)測、農(nóng)田邊界圖智能管理、病蟲害精準(zhǔn)定位和防治、精準(zhǔn)施肥和灌溉等。農(nóng)業(yè)生態(tài)環(huán)境監(jiān)測生態(tài)環(huán)境監(jiān)測主要是對農(nóng)作物生長相關(guān)的土壤、水質(zhì)、氣候、氣象和災(zāi)害等情況進(jìn)行全面監(jiān)測，并對它們之間復(fù)雜的關(guān)系進(jìn)行分析，可以判斷不同生態(tài)環(huán)境對農(nóng)作物生長的影響。天氣預(yù)測通過分析歷史天氣變化規(guī)律，建立天氣識別模型，結(jié)合當(dāng)前的氣候特征和近期的天氣情況，對某地未來一定時期的天氣狀況進(jìn)行預(yù)測分析，對農(nóng)業(yè)生產(chǎn)和日常生活具有重要指導(dǎo)作用。農(nóng)產(chǎn)品與食品安全監(jiān)測通過對農(nóng)產(chǎn)品與食品的產(chǎn)地環(huán)境、產(chǎn)業(yè)鏈管理、產(chǎn)前產(chǎn)中產(chǎn)后、倉儲加工、物流等數(shù)據(jù)進(jìn)行監(jiān)測，并通過對影響農(nóng)產(chǎn)品與食品安全的關(guān)鍵性指標(biāo)設(shè)置警兆、分析數(shù)據(jù)、發(fā)布預(yù)警、尋找警源、消除警情等一系列操作，實(shí)現(xiàn)對農(nóng)產(chǎn)品與食品的安全監(jiān)控。農(nóng)產(chǎn)品物流農(nóng)產(chǎn)品物流涉及農(nóng)產(chǎn)品的收購、儲存、加工、包裝、運(yùn)輸、卸載搬運(yùn)、配送等環(huán)節(jié)，通過整合、分析各個環(huán)節(jié)的數(shù)據(jù)，不僅可以連接農(nóng)業(yè)主體和消費(fèi)需求主體，還能實(shí)現(xiàn)農(nóng)產(chǎn)品保值增值，甚至可以為整個物流管理提供有力的決策支持，如物流中心選址、最優(yōu)化配送路線、合理管理庫存等。農(nóng)產(chǎn)品市場追蹤通過對農(nóng)產(chǎn)品銷售價格、銷售量、銷售需求、消費(fèi)者購買行為數(shù)據(jù)進(jìn)行分析，可以判斷農(nóng)產(chǎn)品的供需、價格變動以及消費(fèi)者的購買習(xí)慣等。我國的農(nóng)業(yè)大數(shù)據(jù)應(yīng)用雖已取得階段性成果，但在整個農(nóng)業(yè)產(chǎn)業(yè)鏈推廣過程中仍存在許多問題。而農(nóng)業(yè)大數(shù)據(jù)作為農(nóng)業(yè)信息化的發(fā)展趨勢，是新一代信息技術(shù)的集中反映，是一個具有無窮潛力的新興科技產(chǎn)業(yè)方向。農(nóng)業(yè)大數(shù)據(jù)帶了的新的挑戰(zhàn)數(shù)據(jù)挖掘搜集復(fù)雜農(nóng)業(yè)大數(shù)據(jù)是融合了農(nóng)業(yè)地域性、季節(jié)性、多樣性、周期性等自身特征后產(chǎn)生的來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜、具有潛在價值，并難以應(yīng)用通常方法處理和分析的數(shù)據(jù)集合。農(nóng)業(yè)大數(shù)據(jù)保留了大數(shù)據(jù)自身具有的規(guī)模巨大（volume）、類型多樣（variety）、價值密度低（value）、處理速度快（velocity）、精確度高（veracity）和復(fù)雜度高（complexity）等基本特征，并使農(nóng)業(yè)內(nèi)部的信息流得到了延展和深化。大數(shù)據(jù)收集必須要明確業(yè)務(wù)所需，再對自已有價值的數(shù)據(jù)進(jìn)行收集整合，才能合理收集運(yùn)用大數(shù)據(jù)。經(jīng)驗(yàn)與數(shù)據(jù)的結(jié)合有了數(shù)據(jù)還要做判斷，把這種雜亂無章整理成我們能實(shí)際能應(yīng)用的。通過我們以往的經(jīng)驗(yàn)，再與數(shù)據(jù)結(jié)合，從而分析確定目標(biāo)數(shù)據(jù)。（1）從領(lǐng)域來看，以農(nóng)業(yè)領(lǐng)域?yàn)楹诵模êw種植業(yè)、林業(yè)、畜牧業(yè)等子行業(yè)），逐步拓展到相關(guān)上下游產(chǎn)業(yè)（飼料生產(chǎn)，化肥生產(chǎn)，農(nóng)機(jī)生產(chǎn)，屠宰業(yè)，肉類加工業(yè)等），并整合宏觀經(jīng)濟(jì)背景的數(shù)據(jù)，包括統(tǒng)計(jì)數(shù)據(jù)、進(jìn)出口數(shù)據(jù)、價格數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、乃至氣象數(shù)據(jù)等。（2）從地域來看，以國內(nèi)區(qū)域數(shù)據(jù)為核心，借鑒國際農(nóng)業(yè)數(shù)據(jù)作為有效參考；不僅包括全國層面數(shù)據(jù)，還應(yīng)涵蓋省市數(shù)據(jù)，甚至地市級數(shù)據(jù)，為精準(zhǔn)區(qū)域研究提供基礎(chǔ)；（3）從粒度來看，不僅應(yīng)包括統(tǒng)計(jì)數(shù)據(jù)，還包括涉農(nóng)經(jīng)濟(jì)主體的基本信息、投資信息、股東信息、專利信息、進(jìn)出口信息、招聘信息、媒體信息、GIS坐標(biāo)信息等。（4）從專業(yè)性來看，應(yīng)分步實(shí)施，首先是構(gòu)建農(nóng)業(yè)領(lǐng)域的專業(yè)數(shù)據(jù)資源，其次應(yīng)逐步有序規(guī)劃專業(yè)的子領(lǐng)域數(shù)據(jù)資源，例如針對畜品種的生豬、肉雞、蛋雞、肉牛、奶牛、肉羊等專業(yè)監(jiān)測數(shù)據(jù)。分析與優(yōu)化的結(jié)合分析的目的是優(yōu)化，還要做決策上的改變和調(diào)整。優(yōu)化則是會玩數(shù)據(jù)，科學(xué)的做好統(tǒng)計(jì)并加以分析。數(shù)據(jù)類型復(fù)雜根據(jù)農(nóng)業(yè)的產(chǎn)業(yè)鏈條劃分，目前農(nóng)業(yè)大數(shù)據(jù)主要集中在農(nóng)業(yè)環(huán)境與資源、農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)市場和農(nóng)業(yè)管理等領(lǐng)域。（1）農(nóng)業(yè)自然資源與環(huán)境數(shù)據(jù)。主要包括土地資源數(shù)據(jù)、水資源數(shù)據(jù)、氣象資源數(shù)據(jù)、生物資源數(shù)據(jù)和災(zāi)害數(shù)據(jù)。（2）農(nóng)業(yè)生產(chǎn)數(shù)據(jù)包括種植業(yè)生產(chǎn)數(shù)據(jù)和養(yǎng)殖業(yè)生產(chǎn)數(shù)據(jù)。其中，種植業(yè)生產(chǎn)數(shù)據(jù)包括良種信息、地塊耕種歷史信息、育苗信息、播種信息、農(nóng)藥信息、化肥信息、農(nóng)膜信息、灌溉信息、農(nóng)機(jī)信息和農(nóng)情信息；養(yǎng)殖業(yè)生產(chǎn)數(shù)據(jù)主要包括個體系譜信息、個體特征信息、飼料結(jié)構(gòu)信息、圈舍環(huán)境信息、疫情情況等。（3）農(nóng)業(yè)市場數(shù)據(jù)包括市場供求信息、價格行情、生產(chǎn)資料市場信息、價格及利潤、流通市場和國際市場信息等。（4）農(nóng)業(yè)管理數(shù)據(jù)主要包括國民經(jīng)濟(jì)基本信息、國內(nèi)生產(chǎn)信息、貿(mào)易信息、國際農(nóng)產(chǎn)品動態(tài)信息和突發(fā)事件信息等。農(nóng)業(yè)大數(shù)據(jù)發(fā)展趨勢大數(shù)據(jù)時代，農(nóng)業(yè)大數(shù)據(jù)不僅充滿了挑戰(zhàn)和未知，也讓我們充滿了更多期待和憧憬。在新一輪農(nóng)業(yè)現(xiàn)代化建設(shè)中，要將農(nóng)業(yè)大數(shù)據(jù)納入國家農(nóng)業(yè)信息化發(fā)展戰(zhàn)略，夯實(shí)智慧農(nóng)業(yè)的基石，讓大數(shù)據(jù)創(chuàng)造出真正的智慧，支撐農(nóng)業(yè)大數(shù)據(jù)的穩(wěn)健發(fā)展。要密切跟蹤國際大數(shù)據(jù)前沿技術(shù)，積極抓住發(fā)展契機(jī)，基于政府的強(qiáng)有力推動和引導(dǎo)，做好頂層設(shè)計(jì)、實(shí)現(xiàn)有序發(fā)展。圍繞國家農(nóng)業(yè)特點(diǎn)和重大需求，梳理農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)發(fā)展領(lǐng)域，創(chuàng)新農(nóng)業(yè)大數(shù)據(jù)關(guān)鍵技術(shù)，重點(diǎn)培養(yǎng)和支持一批農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用與示范項(xiàng)目。尤其是要通過大數(shù)據(jù)與農(nóng)業(yè)的融合，不斷加強(qiáng)基于農(nóng)業(yè)物聯(lián)網(wǎng)成果的示范應(yīng)用，推進(jìn)現(xiàn)代農(nóng)業(yè)跨越式發(fā)展。建設(shè)目標(biāo)（1）通過平臺的建設(shè)，匯集各方資源，構(gòu)建農(nóng)業(yè)領(lǐng)域特色的大數(shù)據(jù)研究中心；（2）通過數(shù)據(jù)整合，采集和加工處理，建設(shè)中國第一個專業(yè)的農(nóng)業(yè)數(shù)據(jù)資源中心；（3）依托農(nóng)業(yè)大數(shù)據(jù)相關(guān)技術(shù)，包括數(shù)據(jù)采集技術(shù)、存儲技術(shù)、處理技術(shù)、分析挖掘技術(shù)、展現(xiàn)技術(shù)等構(gòu)建農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺；（4）通過分析應(yīng)用平臺，進(jìn)行成果發(fā)布，形成農(nóng)業(yè)領(lǐng)域?qū)I(yè)研究的權(quán)威成果發(fā)布平臺，服務(wù)于高校和政府，涉農(nóng)企業(yè)，社會公眾等。建設(shè)原則結(jié)合本項(xiàng)目的實(shí)際應(yīng)用和發(fā)展要求，在進(jìn)行農(nóng)業(yè)大數(shù)據(jù)平臺方案設(shè)計(jì)過程中，應(yīng)始終堅(jiān)持以下原則：可擴(kuò)展性原則為了保證不斷增長的農(nóng)業(yè)大數(shù)據(jù)需求，系統(tǒng)必須具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，以便根據(jù)需要進(jìn)行適當(dāng)?shù)淖儎雍蛿U(kuò)充；主要平臺系統(tǒng)應(yīng)采用開放的結(jié)構(gòu)，符合農(nóng)業(yè)標(biāo)準(zhǔn)，適應(yīng)技術(shù)的發(fā)展和變化。我們把主要精力放在滿足現(xiàn)有農(nóng)業(yè)需求和對未來的系統(tǒng)擴(kuò)展的支持性上，也就是需要設(shè)計(jì)成一個便于擴(kuò)展的系統(tǒng)架構(gòu)，系統(tǒng)應(yīng)具備良好的擴(kuò)展能力并能夠便捷地進(jìn)行擴(kuò)展。合理性原則在一定的資金條件下，以適當(dāng)?shù)耐度耄⑿阅軆r格比高的、先進(jìn)的、完善的農(nóng)業(yè)系統(tǒng)。所有軟硬件的選型和配置要堅(jiān)持性能價格比最優(yōu)原則。在滿足系統(tǒng)性能、功能以及考慮到在可預(yù)見的未來不失去先進(jìn)性的條件下，盡量取得整個系統(tǒng)的投入合理性，以構(gòu)成一個性能價格比優(yōu)化的應(yīng)用系統(tǒng)。系統(tǒng)架構(gòu)的設(shè)計(jì)應(yīng)盡可能地運(yùn)用虛擬化、云計(jì)算等新技術(shù)，以符合未來的技術(shù)發(fā)展方向。這種設(shè)計(jì)方法可以最大化地利用投資，并在利用率、管理、能源等各方面提高用戶投資的效率，降低總體擁有成本，減少浪費(fèi)的發(fā)生。結(jié)合新技術(shù)的運(yùn)用，也可以讓各應(yīng)用系統(tǒng)更好地融入未來整體IT建設(shè)規(guī)劃中，避免發(fā)生推到重建的現(xiàn)象，從而減少農(nóng)業(yè)信息建設(shè)上的投入。可靠性原則系統(tǒng)要具有高可靠性及強(qiáng)大的容錯能力。該系統(tǒng)必須保證7×24全天候不間斷地工作，核心設(shè)備比如數(shù)據(jù)庫服務(wù)器和存儲設(shè)備具有全容錯結(jié)構(gòu)，并具有熱插拔功能，可帶電修復(fù)有關(guān)故障而不影響整個系統(tǒng)的工作，設(shè)計(jì)應(yīng)保持一定數(shù)量的冗余以保證整體系統(tǒng)的高可靠性和高可用性。即便是在系統(tǒng)建設(shè)初期也要著重考慮系統(tǒng)可用性、可靠性問題，防止出現(xiàn)系統(tǒng)停頓等問題造成信息系統(tǒng)的中斷服務(wù)。通過結(jié)合云計(jì)算等新技術(shù)，可以更好地提高系統(tǒng)的可靠性和可用性。可管理性原則選擇基于開放的技術(shù)，采用標(biāo)準(zhǔn)化、規(guī)范化設(shè)計(jì)；同時采用先進(jìn)的設(shè)備，易于日后擴(kuò)展，便于向更新技術(shù)的升級與銜接，實(shí)現(xiàn)系統(tǒng)較長的生命力；保證后期在系統(tǒng)上進(jìn)行有效的開發(fā)和使用，并為今后的發(fā)展提供一個良好的環(huán)境；在設(shè)計(jì)、組建中心機(jī)房系統(tǒng)時，采用先進(jìn)的、標(biāo)準(zhǔn)的設(shè)備；在選購服務(wù)器、存儲和連接設(shè)備時，確保系統(tǒng)部件間的嚴(yán)密配合和無縫聯(lián)接，并獲得良好的售后服務(wù)和技術(shù)支持；整個系統(tǒng)建成后按照整理一套完整的文檔資料，以便提高整個系統(tǒng)的可管理性與可維護(hù)性。安全性原則嚴(yán)格按照關(guān)于信息安全的規(guī)定和要求，規(guī)劃和部署中心機(jī)房的業(yè)務(wù)系統(tǒng)和備份系統(tǒng)；采用安全服務(wù)器、備份還原系統(tǒng)、來防止內(nèi)外部的網(wǎng)絡(luò)安全威協(xié)和數(shù)據(jù)丟失竊取威脅等；所有軟硬件采用國產(chǎn)、自主研發(fā)的產(chǎn)品，從根本上保障系統(tǒng)的安全性。農(nóng)業(yè)大數(shù)據(jù)需求分析大數(shù)據(jù)技術(shù)能夠?qū)⒋笠?guī)模數(shù)據(jù)中隱藏的信息和知識挖掘出來，為人類社會經(jīng)濟(jì)活動提供依據(jù)，提高各個領(lǐng)域的運(yùn)行效率，甚至整個社會經(jīng)濟(jì)的集約化程度。目前，大數(shù)據(jù)每年都會涌現(xiàn)出了大量新的技術(shù)，成為大數(shù)據(jù)獲取、存儲、處理分析或者可視化的有效手段；相關(guān)的平臺和工具也越來越多，給業(yè)界提供了更多的選擇，未來還會繼續(xù)出現(xiàn)新的技術(shù)和工具。統(tǒng)一業(yè)務(wù)平臺從國家的各項(xiàng)政策文件中，我們可以看出，“智慧農(nóng)業(yè)”已經(jīng)成為未來農(nóng)業(yè)發(fā)展的關(guān)鍵詞。而要實(shí)現(xiàn)智慧農(nóng)業(yè)的目標(biāo)，那么就勢必要加快農(nóng)業(yè)信息化水平建設(shè)，其中一個重要的舉措就是建立農(nóng)業(yè)大數(shù)據(jù)平臺，讓大數(shù)據(jù)這個“現(xiàn)代工具”充分發(fā)揮在我國農(nóng)業(yè)生產(chǎn)中的作用。智慧農(nóng)業(yè)云平臺案例基于目前農(nóng)業(yè)信息技術(shù)主要應(yīng)用領(lǐng)域和產(chǎn)生大數(shù)據(jù)的主要來源分析，大數(shù)據(jù)的主要應(yīng)用領(lǐng)域包括以下幾個方面：生產(chǎn)過程管理數(shù)據(jù)管理：設(shè)施種植業(yè)、設(shè)施養(yǎng)殖業(yè)（畜禽和水產(chǎn)等）、精準(zhǔn)農(nóng)業(yè)等。提高整個生產(chǎn)過程的精準(zhǔn)化監(jiān)測、智能化決策、科學(xué)化管理和調(diào)控，是農(nóng)業(yè)信息化的緊迫任務(wù)。農(nóng)業(yè)資源管理數(shù)據(jù)管理：土地資源、水資源、農(nóng)業(yè)生物資源、生產(chǎn)資料等。我國農(nóng)業(yè)資源緊缺、生態(tài)環(huán)境與生物多樣性退化，要在摸清家底的基礎(chǔ)上，進(jìn)一步優(yōu)化配置、合理開發(fā)，實(shí)現(xiàn)農(nóng)業(yè)高產(chǎn)優(yōu)質(zhì)、節(jié)能高效的可持續(xù)發(fā)展。農(nóng)業(yè)生態(tài)環(huán)境管理數(shù)據(jù)管理：土壤、大氣、水質(zhì)、氣象、污染、災(zāi)害等。需要進(jìn)行全面監(jiān)測、精準(zhǔn)管理。農(nóng)產(chǎn)品與食品安全管理：產(chǎn)地環(huán)境、產(chǎn)業(yè)鏈管理、產(chǎn)前產(chǎn)中產(chǎn)后、儲藏加工、市場流通領(lǐng)域、物流、供應(yīng)鏈與溯源系統(tǒng)等。農(nóng)業(yè)裝備與設(shè)施監(jiān)控管理：設(shè)備和實(shí)施工況監(jiān)控、遠(yuǎn)程診斷、服務(wù)調(diào)度等。在上述應(yīng)用中，關(guān)鍵是農(nóng)業(yè)環(huán)境與資源、農(nóng)業(yè)生產(chǎn)過程、農(nóng)業(yè)產(chǎn)品安全、農(nóng)業(yè)市場和消費(fèi)的監(jiān)測和預(yù)測等。科研活動產(chǎn)生的大數(shù)據(jù)管理，如大量的遙感數(shù)據(jù)，包括空間與地面數(shù)據(jù)；大量的生物實(shí)驗(yàn)數(shù)據(jù)，如基因圖譜、大規(guī)模測序、農(nóng)業(yè)基因組數(shù)據(jù)、大分子與藥物設(shè)計(jì)等。農(nóng)業(yè)監(jiān)控預(yù)警近年來，規(guī)模種植為提高人們的生活水平帶來極大的便利，得到了迅速的推廣和應(yīng)用。種植環(huán)境中的溫度、濕度、光照度、CO2濃度等環(huán)境因子對作物的生產(chǎn)有很大的影響。然而，在大面積種植中，定期檢查、灌溉、排水、施肥等工作，沒有一套指導(dǎo)標(biāo)準(zhǔn)，更多的是靠人為判斷，判斷的差異性嚴(yán)重影響種植產(chǎn)量和質(zhì)量。針對上述問題，龍信思源（北京）科技有限公司提供的智能農(nóng)業(yè)監(jiān)控系統(tǒng)融入國際領(lǐng)先的“物聯(lián)網(wǎng)-移動互聯(lián)網(wǎng)-云計(jì)算”技術(shù)，借助個人電腦，智能手機(jī)等終端設(shè)備，實(shí)現(xiàn)對農(nóng)業(yè)生產(chǎn)現(xiàn)場氣象、土壤、水源環(huán)境的實(shí)時監(jiān)測，并對大棚，溫室，灌溉等農(nóng)業(yè)設(shè)施實(shí)現(xiàn)遠(yuǎn)程自動化控制。同時，結(jié)合視頻直播、智能預(yù)警等強(qiáng)大功能，幫助廣大農(nóng)業(yè)工作者及時掌握農(nóng)作物生長狀況及環(huán)境變化趨勢，為用戶提供高效便捷、功能強(qiáng)大的農(nóng)業(yè)監(jiān)控解決方案。智能農(nóng)業(yè)監(jiān)控技術(shù)背景該系統(tǒng)通過定制開發(fā)的智能終端設(shè)備監(jiān)控農(nóng)業(yè)生產(chǎn)過程中的各類指標(biāo)（包括氣象環(huán)境、土壤情況，設(shè)備狀態(tài)等），通過高清攝像機(jī)或者照相機(jī)遠(yuǎn)程監(jiān)控生產(chǎn)園區(qū)中一系列智能終端設(shè)備（降溫、加濕、抽風(fēng)、施肥等等）數(shù)據(jù)匯聚到云計(jì)算數(shù)據(jù)中心，實(shí)現(xiàn)農(nóng)業(yè)信息檢測和標(biāo)準(zhǔn)化生產(chǎn)監(jiān)控，幫助用戶精確了解農(nóng)作物生長、病蟲害、土地灌溉及土壤空氣變更情況等，并結(jié)合農(nóng)產(chǎn)品的生產(chǎn)流程與標(biāo)準(zhǔn)指標(biāo)設(shè)置預(yù)警反饋，最終實(shí)現(xiàn)該產(chǎn)品全程監(jiān)控和預(yù)警機(jī)制。智能農(nóng)業(yè)監(jiān)控系統(tǒng)氣象監(jiān)測田間的“一站式”氣象站采用太陽能供電，集成了多種傳感器，實(shí)時監(jiān)測各種氣象信息（風(fēng)向、風(fēng)速、光照、溫度、降雨量等），并通過智能網(wǎng)關(guān)直接將數(shù)據(jù)信息傳回云數(shù)據(jù)中心。全程采用全智能化設(shè)計(jì)，一旦設(shè)定監(jiān)控條件，可完全自動化運(yùn)行，無需人工干預(yù)。最大程度避免人工操作的隨意性，同時明顯降低現(xiàn)場勞動力，幫助用戶實(shí)現(xiàn)對農(nóng)業(yè)設(shè)施的精準(zhǔn)控制。氣象監(jiān)測示例環(huán)境監(jiān)測采用“一站式”監(jiān)測站，實(shí)時監(jiān)測各種環(huán)境信息（空氣濕度、土壤濕度、CO2含量、土壤pH值等），并通過智能網(wǎng)關(guān)直接將數(shù)據(jù)信息傳回云數(shù)據(jù)中心，提高監(jiān)控效率，幫助用戶實(shí)現(xiàn)生產(chǎn)流程的標(biāo)準(zhǔn)化管理。圖2-42環(huán)境監(jiān)測示例視頻圖像綜合運(yùn)用“傳感器、控制器、智能相機(jī)、智能攝像頭、RFID”等高端物聯(lián)網(wǎng)設(shè)備，實(shí)現(xiàn)對農(nóng)業(yè)生產(chǎn)活動中從物到人的360度全面監(jiān)控，監(jiān)控范圍包括：現(xiàn)場視頻、高清圖片、環(huán)境質(zhì)量、設(shè)備狀態(tài)、人員定位等等，并根據(jù)設(shè)定條件，對各種異常情況進(jìn)行自動預(yù)警、任務(wù)跟蹤與遠(yuǎn)程控制。圖2-43視頻圖像示例設(shè)備狀態(tài)實(shí)時監(jiān)測生產(chǎn)現(xiàn)場各種設(shè)備運(yùn)行狀態(tài)（灌溉記錄、排風(fēng)記錄、流量、水壓等），并通過智能網(wǎng)關(guān)直接將數(shù)據(jù)信息傳回云數(shù)據(jù)中心，及時為用戶反饋設(shè)備運(yùn)行情況，優(yōu)化農(nóng)作物生長環(huán)境。圖2-44設(shè)備狀態(tài)監(jiān)測示例自動控制融入國際領(lǐng)先的“物聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)，云計(jì)算”技術(shù)，借助個人電腦、智能手機(jī)等終端設(shè)備，通過對農(nóng)業(yè)生產(chǎn)現(xiàn)場氣象、土壤、水源環(huán)境的實(shí)時監(jiān)測，實(shí)現(xiàn)對大棚、溫室、灌溉等農(nóng)業(yè)設(shè)施實(shí)現(xiàn)遠(yuǎn)程自動化控制。圖2-45自動控制示例總之，信息作為現(xiàn)代農(nóng)業(yè)基本要素，將很快向農(nóng)業(yè)生產(chǎn)管理深層滲透，信息服務(wù)技術(shù)向著網(wǎng)絡(luò)化、集成化、智能化、個性化、低成本方向的發(fā)展，海量信息低成本獲取、傳輸、大數(shù)據(jù)建模技術(shù)的瓶頸突破，智能農(nóng)業(yè)監(jiān)控系統(tǒng)的應(yīng)用，將使智慧農(nóng)業(yè)逐步走進(jìn)農(nóng)家，為中國實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化助力的同時，也為廣大農(nóng)產(chǎn)品消費(fèi)者帶來進(jìn)一步的效率、便利和安全。農(nóng)業(yè)精準(zhǔn)種植隨著科技的進(jìn)步、生產(chǎn)力的提高，我國農(nóng)業(yè)有了較大發(fā)展，糧食產(chǎn)量也有了大幅提高，但人們在農(nóng)業(yè)生產(chǎn)管理過程中仍存在諸多的問題：不合理使用化肥、大量噴灑農(nóng)藥、大水漫灌等，不僅對農(nóng)作物生長不利，而且還會造成土壤板結(jié)、鹽堿化程度加重等后果，進(jìn)而影響后續(xù)的農(nóng)業(yè)生產(chǎn)和收成，陷入惡性循環(huán)。現(xiàn)如今，大數(shù)據(jù)處理技術(shù)以及農(nóng)業(yè)生產(chǎn)過程中產(chǎn)生、積累的海量農(nóng)業(yè)數(shù)據(jù)，為農(nóng)業(yè)的發(fā)展帶來了新的機(jī)遇。龍信思源（北京）科技有限公司作為協(xié)作單位參與了科技部“渤海糧倉增產(chǎn)增效”項(xiàng)目中并承擔(dān)了其中部分大數(shù)據(jù)支撐研究，下面以此研究的相關(guān)成果為內(nèi)容進(jìn)行闡述。數(shù)據(jù)現(xiàn)狀與應(yīng)用需求分析目前，采集的農(nóng)業(yè)數(shù)據(jù)主要包括土壤數(shù)據(jù)、作物（小麥）生長數(shù)據(jù)、氣候數(shù)據(jù)、種植與生產(chǎn)數(shù)據(jù)、病蟲害防治數(shù)據(jù)、氣象數(shù)據(jù)等，數(shù)據(jù)的采集主要采用兩種方式：人工采集和自動采集。人工采集主要是當(dāng)?shù)氐目萍既藛T按指定的采樣標(biāo)準(zhǔn)并通過專門的數(shù)據(jù)采集網(wǎng)站對這些數(shù)據(jù)進(jìn)行記錄，如圖2-47所示；自動采集主要是利用農(nóng)田信息采集物聯(lián)網(wǎng)設(shè)備對數(shù)據(jù)進(jìn)行實(shí)時采集，如圖2-48所示：圖2-46數(shù)據(jù)（人工）采集系統(tǒng)主菜單圖2-47數(shù)據(jù)（人工）采集系統(tǒng)統(tǒng)計(jì)列表圖2-48農(nóng)田信息物聯(lián)網(wǎng)自動采集系統(tǒng)基于對農(nóng)田作物長勢及生長環(huán)境數(shù)據(jù)的采集和積累，依托于大數(shù)據(jù)分析和挖掘技術(shù)，分析采集點(diǎn)的土壤養(yǎng)分含量、播種的品種、播種的日期、上茬農(nóng)作物的種類及產(chǎn)量情況對小麥生長的影響，通過構(gòu)建大田作物（小麥）生長因素分析模型，找出影響大田作物（小麥）生長的關(guān)鍵性指標(biāo)，為改良作物生長提供決策依據(jù)及改良方向，進(jìn)而為農(nóng)作物的增產(chǎn)增效服務(wù)。分析方法與過程通過對數(shù)據(jù)和業(yè)務(wù)問題的理解，由于作物（小麥）品種多樣、長勢不一，如果不對麥苗的長勢情況進(jìn)行分類劃分，會使得數(shù)據(jù)分析或挖掘的難度很大、效果較差，因此在對這些數(shù)據(jù)進(jìn)行分析或挖掘前，需要對數(shù)據(jù)進(jìn)行預(yù)處理，根據(jù)麥田劃分標(biāo)準(zhǔn)，并結(jié)合麥苗長勢數(shù)據(jù)，將麥田劃分為三個等級：一類麥田、二類麥田、三類麥田。從宏觀和微觀層面對影響麥苗生長的指標(biāo)進(jìn)行了統(tǒng)計(jì)分析，并采用有效的可視化方式，對統(tǒng)計(jì)分析結(jié)果進(jìn)行展現(xiàn)，其關(guān)鍵在于從單指標(biāo)角度分析每個指標(biāo)與麥苗長勢之間的關(guān)系，如圖2-49和圖2-50所示。圖2-49樣本點(diǎn)苗情布局圖圖2-50樣本點(diǎn)有機(jī)質(zhì)（宏觀）布局圖圖2-51樣本點(diǎn)苗情統(tǒng)計(jì)分析圖圖2-52樣本點(diǎn)有機(jī)質(zhì)（微觀）統(tǒng)計(jì)分析圖在對影響麥苗生產(chǎn)的各個指標(biāo)統(tǒng)計(jì)分析的基礎(chǔ)上，結(jié)合數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘等技術(shù)，采用有效的挖掘算法——決策樹C5.0和Logistic回歸分析（目標(biāo)變量即麥田等級為離散的分類變量，對麥苗影響因素的分析問題轉(zhuǎn)化為對麥田等級劃分的分類問題），對影響麥苗生長的各個指標(biāo)進(jìn)行動態(tài)的、關(guān)聯(lián)性的深層次分析和挖掘，通過構(gòu)建大田作物（小麥）生長因素分析模型，分析出各種組合模式(作物品種、土壤養(yǎng)分含量、種植模式、施肥量、灌溉量)下對麥田等級劃分的有效性，從而找出影響麥苗生長的關(guān)鍵性指標(biāo)。模型構(gòu)建流程如圖2-53所示（模型構(gòu)建使用IBMSPSSModeler數(shù)據(jù)挖掘軟件）。模型構(gòu)建完成，需要對建模結(jié)果進(jìn)行分析和評估，確定一系列影響作物生長的分析指標(biāo)體系（組合模式），對訓(xùn)練結(jié)果和驗(yàn)證結(jié)果進(jìn)行比較，最終找出影響作物生長的關(guān)鍵性指標(biāo)。應(yīng)用成效通過構(gòu)建大數(shù)據(jù)采集系統(tǒng)，對農(nóng)作物苗情、土壤養(yǎng)分、含水量等數(shù)據(jù)進(jìn)行收集，可有效解決田間數(shù)據(jù)的實(shí)時采集。通過宏觀和微觀分析，可以對影響作物生長的單指標(biāo)（土壤養(yǎng)分、含水量、鹽堿程度等）進(jìn)行全面透析，有針對性地對土樣代表的地塊進(jìn)行施肥、灌溉、控鹽漬化等的綜合指導(dǎo)，同時可以根據(jù)苗情布局情況，對不同等級的麥田進(jìn)行分類指導(dǎo)，因地因苗制宜，科學(xué)運(yùn)籌肥水，抗旱保苗，促弱轉(zhuǎn)壯，控鹽保墑，構(gòu)建合理群體，加快轉(zhuǎn)化升級，奠定豐收基礎(chǔ)。

通過構(gòu)建大田作物（小麥）生長因素分析模型，初步發(fā)現(xiàn)對試驗(yàn)對象麥田等級有重要影響的指標(biāo)，在農(nóng)作物的生產(chǎn)管理過程中優(yōu)先關(guān)注并改良這些指標(biāo)，并在示范工程中取得了良好的成效，為農(nóng)作物的增產(chǎn)增效提供了有力的數(shù)據(jù)支撐。

總體建設(shè)方案總體設(shè)計(jì)原則XX省智慧農(nóng)業(yè)工程覆蓋省、市、區(qū)（縣）三級農(nóng)業(yè)機(jī)關(guān)，涉及到農(nóng)業(yè)機(jī)關(guān)內(nèi)外的數(shù)據(jù)交換、信息安全、應(yīng)用協(xié)同與運(yùn)行維護(hù)等工作，在建設(shè)的過程中要必須遵循以下原則：標(biāo)準(zhǔn)先行、安全可控原則標(biāo)準(zhǔn)先行。在系統(tǒng)建設(shè)方案設(shè)計(jì)時，需依托國家電子政務(wù)建設(shè)的各種信息技術(shù)標(biāo)準(zhǔn)（環(huán)境、技術(shù)、信息、安全、信息交換標(biāo)準(zhǔn)等），結(jié)合行業(yè)安全監(jiān)管業(yè)務(wù)應(yīng)用的特點(diǎn)，強(qiáng)化信息安全建設(shè)。安全可控。在系統(tǒng)設(shè)計(jì)和建設(shè)中既要考慮大量公共性信息的采集、儲存、處理和發(fā)布，充分實(shí)現(xiàn)信息資源的共享，提高工作效率；也要充分考慮涉密信息的采集、儲存、處理和提供利用的安全問題，采取切實(shí)可行、穩(wěn)妥可靠、符合相關(guān)標(biāo)準(zhǔn)的技術(shù)措施。統(tǒng)籌建設(shè)、集約整合原則統(tǒng)籌建設(shè)。由建設(shè)領(lǐng)導(dǎo)小組牽頭，統(tǒng)一制定項(xiàng)目規(guī)劃、方案、計(jì)劃、標(biāo)準(zhǔn)和相關(guān)制度，負(fù)責(zé)指導(dǎo)、監(jiān)督各地市管局進(jìn)行硬件設(shè)備購置、軟件和數(shù)據(jù)庫部署、運(yùn)行維護(hù)等后續(xù)實(shí)施工作，并對對地市項(xiàng)目的具體建設(shè)進(jìn)行檢查、指導(dǎo)和驗(yàn)收。集約整合。在滿足綜合信息交換與網(wǎng)絡(luò)安全傳輸要求的前提下，最大化充分利用既有信息化基礎(chǔ)設(shè)施資源、裝備設(shè)施，同時在架構(gòu)上充分優(yōu)化內(nèi)外接口關(guān)系，盡可能避免重復(fù)建設(shè)和資源浪費(fèi)。技術(shù)引領(lǐng)、持續(xù)發(fā)展原則技術(shù)引領(lǐng)。適應(yīng)社會發(fā)展和農(nóng)業(yè)業(yè)務(wù)發(fā)展趨勢，采用先進(jìn)的、開放的信息技術(shù)，統(tǒng)籌建設(shè)、使用、維護(hù)、培訓(xùn)、服務(wù)等各個環(huán)節(jié)，堅(jiān)持合理的技術(shù)路線和先進(jìn)的管理手段。持續(xù)發(fā)展。需要把控安全監(jiān)管與行業(yè)發(fā)展的平衡，在行業(yè)安全監(jiān)管的基礎(chǔ)上，深入了解農(nóng)業(yè)機(jī)關(guān)與廣大社會群眾的實(shí)際訴求，為農(nóng)業(yè)業(yè)務(wù)的現(xiàn)代化、規(guī)范化、健康可持續(xù)發(fā)展提供有力支撐。總體目標(biāo)宏觀目標(biāo)通過XX省智慧農(nóng)業(yè)工程的建設(shè)，全面提高全省農(nóng)業(yè)廳機(jī)關(guān)的信息化水平，實(shí)現(xiàn)對農(nóng)業(yè)業(yè)務(wù)全過程的規(guī)范化、現(xiàn)代化管理，全面提升農(nóng)業(yè)業(yè)務(wù)的工作效能，提高、綜合協(xié)調(diào)能力和決策能力，打造全省農(nóng)業(yè)廳機(jī)關(guān)“網(wǎng)上農(nóng)業(yè)、掌上農(nóng)業(yè)、智慧農(nóng)業(yè)”的三位一體農(nóng)業(yè)信息化創(chuàng)新發(fā)展模式，推動XX省農(nóng)業(yè)廳信息化水平提升到全國標(biāo)桿的領(lǐng)先水平。階段目標(biāo)近期（2017-2019）通過三年的建設(shè)時間，加快實(shí)現(xiàn)農(nóng)業(yè)業(yè)務(wù)工作的統(tǒng)一應(yīng)用基礎(chǔ)支撐平臺、統(tǒng)一網(wǎng)絡(luò)平臺、統(tǒng)一安全體系、統(tǒng)一運(yùn)維體系，構(gòu)筑全省“業(yè)務(wù)高規(guī)范、應(yīng)用高協(xié)同、網(wǎng)絡(luò)高性能、信息高安全”的信息化統(tǒng)一架構(gòu)體系。基礎(chǔ)設(shè)施集約化：在“三張網(wǎng)”的基礎(chǔ)上，探索云數(shù)據(jù)中心在XX省農(nóng)業(yè)廳行業(yè)中的建設(shè)模式；農(nóng)業(yè)管理精細(xì)化：對內(nèi)實(shí)現(xiàn)農(nóng)業(yè)隊(duì)伍的科學(xué)管理、對外實(shí)現(xiàn)核心業(yè)務(wù)流程對科研院校、天氣等單位跨部門信息化貫通；公開服務(wù)精準(zhǔn)化：在整合網(wǎng)站群、兩微一端等多種農(nóng)業(yè)公開方式信息的基礎(chǔ)上，提供多層次、個性化服務(wù)。中長期目標(biāo)逐步實(shí)現(xiàn)信息化與業(yè)務(wù)發(fā)展深度融合的智慧農(nóng)業(yè)，實(shí)現(xiàn)農(nóng)業(yè)在農(nóng)林工作中的高度協(xié)同，支撐全省農(nóng)業(yè)廳服務(wù)實(shí)現(xiàn)快速發(fā)展。總體建設(shè)任務(wù)構(gòu)筑橫向聚合、縱向貫通、高效安全的“1932”全省農(nóng)業(yè)廳信息化體系：全省統(tǒng)一、多種接入方式、全局展現(xiàn)的1個綜合門戶平臺；整合全省農(nóng)業(yè)廳業(yè)務(wù)、農(nóng)業(yè)保障、隊(duì)伍管理等業(yè)務(wù)的9大應(yīng)用；建設(shè)完善支撐上層農(nóng)業(yè)應(yīng)用的3張高性能、高安全通信網(wǎng)絡(luò)；發(fā)展完善網(wǎng)絡(luò)安全及運(yùn)維保障2個管理體系。系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu)XX市智慧農(nóng)業(yè)項(xiàng)目數(shù)據(jù)中心是全省數(shù)據(jù)處理加工和數(shù)據(jù)分析應(yīng)用的中心，總體上需實(shí)現(xiàn)上連省農(nóng)業(yè)廳、下連各級農(nóng)業(yè)、外連市級部門；構(gòu)建資源整合、互聯(lián)互通、資源共享的全省統(tǒng)一的數(shù)據(jù)中心資源庫；構(gòu)建完善的底層支撐平臺，實(shí)現(xiàn)各類中間件、支撐系統(tǒng)、應(yīng)用服務(wù)的統(tǒng)一管理；實(shí)現(xiàn)全省各部門、各級農(nóng)業(yè)不同口徑業(yè)務(wù)之間的協(xié)同應(yīng)用、分級管理；實(shí)現(xiàn)二張網(wǎng)絡(luò)應(yīng)用的分開部署；實(shí)現(xiàn)各級農(nóng)業(yè)電子農(nóng)業(yè)數(shù)據(jù)資源電子化、數(shù)據(jù)處理業(yè)務(wù)自動化、決策分析科學(xué)化的信息化體系。XX市智慧農(nóng)業(yè)項(xiàng)目總體設(shè)計(jì)一個綜合門戶平臺、十二個業(yè)務(wù)應(yīng)用系統(tǒng)、一個大數(shù)據(jù)中心、二張通訊網(wǎng)絡(luò)、二個保障體系。系統(tǒng)總體架構(gòu)圖如下。系統(tǒng)總體架構(gòu)圖以溫度、濕度、攝像頭等設(shè)備構(gòu)成傳感器完成大數(shù)據(jù)平臺的初始數(shù)據(jù)收集工作，采用移動互聯(lián)網(wǎng)完成數(shù)據(jù)數(shù)據(jù)的傳輸，最終在大數(shù)據(jù)平臺完成數(shù)據(jù)的清洗、歸類、分析、挖掘工作，最終形成可視化的圖標(biāo)展示等功能。綜合門戶平臺建設(shè)綜合門戶平臺，面向農(nóng)民、農(nóng)業(yè)機(jī)關(guān)、科研支撐單位以及社會公眾等各類用戶，根據(jù)角色權(quán)限以及網(wǎng)絡(luò)的不同，提供統(tǒng)一的電子農(nóng)業(yè)應(yīng)用系統(tǒng)入口，以及全方位的智慧、個性化、快捷的綜合性服務(wù)平臺。包括智能門戶系統(tǒng)、移動農(nóng)業(yè)平臺系統(tǒng)、農(nóng)業(yè)信息全局視圖系統(tǒng)和數(shù)字審批系統(tǒng)。（1）智能門戶系統(tǒng)智能門戶作為XX市智慧農(nóng)業(yè)項(xiàng)目系統(tǒng)的集中展現(xiàn)窗口，是以用戶需求為導(dǎo)向、以服務(wù)為目標(biāo)的，集展現(xiàn)、受理、交付、監(jiān)管于一身的一站式服務(wù)平臺。通過采集整合各應(yīng)用系統(tǒng)的數(shù)據(jù)資源，將分散在各處的異構(gòu)服務(wù)信息按照面向用戶的公共服務(wù)體系結(jié)構(gòu)方式進(jìn)行梳理，重構(gòu)扁平化的服務(wù)欄目結(jié)構(gòu)，搭建一個為XX市各級農(nóng)業(yè)、科研支撐單位、公眾農(nóng)民等多種身份的群體提供全方位的智慧、個性化、快捷的公共服務(wù)平臺。（2）移動農(nóng)業(yè)平臺系統(tǒng)移動農(nóng)業(yè)平臺系統(tǒng)提供了一套可在智能手機(jī)、平板電腦等移動終端設(shè)備上運(yùn)行的客戶端程序，采用與移動互聯(lián)網(wǎng)通訊技術(shù)融合的方式，將移動終端變成XX市智慧農(nóng)業(yè)項(xiàng)目的移動載體，使得XX市智慧農(nóng)業(yè)項(xiàng)目的建設(shè)及應(yīng)用模式變得更加靈活方便，滿足XX市農(nóng)業(yè)相關(guān)用戶日常辦公、審判的需求，滿足農(nóng)業(yè)各級領(lǐng)導(dǎo)開展業(yè)務(wù)處理、工作管理、決策支撐等需求，滿足社會公眾對農(nóng)業(yè)辦理、信息公開服務(wù)的需求等。（3）農(nóng)業(yè)信息全局視圖系統(tǒng)農(nóng)業(yè)信息全局視圖系統(tǒng)利用大數(shù)據(jù)分析技術(shù)形成各類管理全局視圖，實(shí)現(xiàn)對全省農(nóng)業(yè)廳工作整體的把控。同時能夠自動生成相關(guān)匯報(bào)、對外交流、成果展示等數(shù)據(jù)，利用指揮中心大屏等設(shè)備的區(qū)域設(shè)計(jì)和展示優(yōu)勢進(jìn)行多維直觀展示，實(shí)現(xiàn)全省電子農(nóng)業(yè)數(shù)據(jù)的可視化。業(yè)務(wù)應(yīng)用系統(tǒng)從滿足多樣化的應(yīng)用需求出發(fā)，以科學(xué)、規(guī)范、高質(zhì)量的各類電子農(nóng)業(yè)數(shù)據(jù)資源為基礎(chǔ)提供全面的應(yīng)用系統(tǒng)。應(yīng)用系統(tǒng)基于強(qiáng)大完備的數(shù)據(jù)資源體系，以對農(nóng)業(yè)、隊(duì)伍管理、農(nóng)業(yè)保障支撐為目的，構(gòu)建面向各類用戶的多層次多形式的綜合應(yīng)用系統(tǒng)，實(shí)現(xiàn)對農(nóng)業(yè)全過程的規(guī)范化、網(wǎng)絡(luò)化和智能化管理，全面提升農(nóng)業(yè)信息收集利用能力、綜合審判能力、快速反應(yīng)能力，提高農(nóng)業(yè)工作的高效發(fā)展。主要包括統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)、綜合事務(wù)管理、農(nóng)業(yè)信息共享管理等9個業(yè)務(wù)應(yīng)用系統(tǒng)。應(yīng)用支撐系統(tǒng)應(yīng)用支撐平臺是一個承上啟下的、組件化的支撐中間件平臺，提供業(yè)務(wù)支撐及業(yè)務(wù)協(xié)同相關(guān)的各類組件服務(wù)。通過提供一個良好的可擴(kuò)展平臺，以降低信息化系統(tǒng)建設(shè)的復(fù)雜度、提高建設(shè)的可靠度。考慮到辦公業(yè)務(wù)資源網(wǎng)的系統(tǒng)部署數(shù)量多、對外交互多的實(shí)際狀況，應(yīng)用支撐平臺能夠提供縱向貫通各類不同層級的信息資源與上層應(yīng)用之間的垂直通道，構(gòu)建高效、實(shí)時、共享、準(zhǔn)確的信息流；橫向通過各類業(yè)務(wù)組件組裝，滿足跨農(nóng)業(yè)部門、跨行業(yè)領(lǐng)域的信息共享和協(xié)同應(yīng)用，最終達(dá)成資源共享、協(xié)同管理、多元服務(wù)的總體目標(biāo)。通過標(biāo)準(zhǔn)服務(wù)總線向上層應(yīng)用平臺提供粗粒度的應(yīng)用基礎(chǔ)服務(wù)接口，對應(yīng)用開發(fā)者屏蔽下層信息細(xì)節(jié)和計(jì)算模型；另一方面對跨部門、跨領(lǐng)域應(yīng)用流程提供管道，并進(jìn)行管理與監(jiān)控，實(shí)現(xiàn)各應(yīng)用系統(tǒng)間的高效協(xié)同工作。應(yīng)用支撐平臺由三類組件構(gòu)成：基礎(chǔ)組件、統(tǒng)一身份認(rèn)證組件。大數(shù)據(jù)分析平臺按照統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一架構(gòu)的指導(dǎo)思想，采用云計(jì)算、大數(shù)據(jù)等信息化前沿技術(shù)，打造高效、集約化、先進(jìn)、穩(wěn)定的智慧農(nóng)業(yè)大數(shù)據(jù)平臺。緊密切合政務(wù)大數(shù)據(jù)的發(fā)展契機(jī)，通過采集農(nóng)業(yè)檔案數(shù)據(jù)、海量的歷史文書數(shù)據(jù)，匯總形成農(nóng)業(yè)統(tǒng)一的大數(shù)據(jù)中心。通過大數(shù)據(jù)分析技術(shù)，挖掘數(shù)據(jù)價值，自動生成相關(guān)分析報(bào)告，文書內(nèi)容，決策數(shù)據(jù)，預(yù)警數(shù)據(jù)等，以信息高效自動化手段提升農(nóng)業(yè)的工作效率和決策分析水平。通過對農(nóng)業(yè)歷史數(shù)據(jù)、采集數(shù)據(jù)、科研數(shù)據(jù)等，對數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、集中存儲，同時結(jié)合現(xiàn)有各類數(shù)據(jù)庫，形成標(biāo)準(zhǔn)化的農(nóng)業(yè)數(shù)據(jù)中心。并通過海量數(shù)據(jù)的綜合分析，形成核心數(shù)據(jù)、指標(biāo)庫、專項(xiàng)分析、業(yè)務(wù)監(jiān)督、人員管理等多項(xiàng)數(shù)據(jù)應(yīng)用服務(wù)功能，提供完善的信息檢索功能，更好的為各級領(lǐng)導(dǎo)及機(jī)關(guān)人員服務(wù)。基礎(chǔ)設(shè)施層農(nóng)業(yè)云平臺通過部署虛擬化軟件、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計(jì)算信息系統(tǒng)平臺。在數(shù)據(jù)中心，所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，這些資源根據(jù)需要進(jìn)行動態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。虛擬化是云計(jì)算的基礎(chǔ)，在數(shù)據(jù)中心，通過虛擬化技術(shù)將物理服務(wù)器進(jìn)行虛擬化，具體為CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/O虛擬化等，實(shí)現(xiàn)在單一物理服務(wù)器上運(yùn)行多個虛擬服務(wù)器（虛擬機(jī)），把應(yīng)用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象出來，從而解除應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性與兼容性與上層應(yīng)用透明，不同的虛擬機(jī)之間相互隔離、互不影響，可以運(yùn)行不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。存儲及備份系統(tǒng)隨著農(nóng)業(yè)信息系統(tǒng)的不斷發(fā)展，信息化程度越來越高，信息化建設(shè)規(guī)模不斷擴(kuò)大，農(nóng)業(yè)信息數(shù)據(jù)及各種業(yè)務(wù)應(yīng)用系統(tǒng)被廣泛依賴。數(shù)據(jù)是承載所有業(yè)務(wù)的基礎(chǔ)和核心，業(yè)務(wù)系統(tǒng)是提供高效穩(wěn)定服務(wù)的關(guān)鍵，它們已成為各級農(nóng)業(yè)體系提供正常服務(wù)的靈魂和核心。信息系統(tǒng)的數(shù)據(jù)丟失或業(yè)務(wù)系統(tǒng)中斷，將帶來嚴(yán)重后果。利用技術(shù)手段，確保重要數(shù)據(jù)安全和重要信息系統(tǒng)的連續(xù)穩(wěn)定運(yùn)行，對于農(nóng)業(yè)來講，至關(guān)重要。二套網(wǎng)絡(luò)數(shù)據(jù)分別存儲在各自的虛擬存儲資源池，數(shù)據(jù)存儲的安全性至關(guān)重要，目前以國產(chǎn)CPU為核心的分布式集群存儲完全能滿足農(nóng)業(yè)云的數(shù)據(jù)存儲需求，建議采用以國產(chǎn)CPU為核心的分布式集群存儲，從底層硬件到上層軟件完全自主研發(fā)，從根本上保障數(shù)據(jù)的安全性。三套基礎(chǔ)網(wǎng)絡(luò)（1）互聯(lián)網(wǎng)主要提供農(nóng)業(yè)的互聯(lián)網(wǎng)訪問及農(nóng)業(yè)信息的公眾發(fā)布，部署農(nóng)業(yè)信息發(fā)布網(wǎng)站集群。市農(nóng)業(yè)、各區(qū)縣農(nóng)業(yè)已建設(shè)完成。（2）辦公業(yè)務(wù)資源網(wǎng)絡(luò)辦公業(yè)務(wù)資源網(wǎng)絡(luò)為涉密業(yè)務(wù)專網(wǎng)，覆蓋市縣二級農(nóng)業(yè)，主要處理涉密敏感信息，連接全省各級農(nóng)業(yè)局、省農(nóng)業(yè)廳及農(nóng)業(yè)部。內(nèi)部辦公網(wǎng)建設(shè)了邊界防護(hù)、違規(guī)外聯(lián)、安全準(zhǔn)入、入侵檢測等各類安全防御系統(tǒng)，實(shí)現(xiàn)市縣二級農(nóng)業(yè)的分級保護(hù)。（3）內(nèi)部辦公網(wǎng)為本次新建設(shè)網(wǎng)絡(luò)，覆蓋省市縣三級農(nóng)業(yè)局，實(shí)現(xiàn)農(nóng)業(yè)信息業(yè)務(wù)的部署，同時按照國家信息安全等級保護(hù)規(guī)范對機(jī)關(guān)內(nèi)部辦公網(wǎng)進(jìn)行安全防御，確保機(jī)關(guān)內(nèi)部辦公網(wǎng)的穩(wěn)定安全運(yùn)行。二個保障體系（1）安全保障管理體系建設(shè)主要是依據(jù)《信息系統(tǒng)安全等級保護(hù)基本要求》中的管理要求，分別從安全管理機(jī)構(gòu)、安全管理制度、人員安全管理、系統(tǒng)建設(shè)管理、安全運(yùn)維管理、安全服務(wù)體系6個方面進(jìn)行設(shè)計(jì)。安全管理體系基于安全基礎(chǔ)設(shè)施、以安全策略為指導(dǎo)，提供全面的安全服務(wù)內(nèi)容，覆蓋從物理、網(wǎng)絡(luò)、系統(tǒng)、直至數(shù)據(jù)和應(yīng)用平臺各個層面，以及保護(hù)、檢測、響應(yīng)、恢復(fù)等各個環(huán)節(jié)，構(gòu)建全面、完整、高效的信息安全體系，從而提高XX市農(nóng)業(yè)的整體安全等級，為農(nóng)業(yè)發(fā)展提供堅(jiān)實(shí)的安全保障。（2）運(yùn)維保障體系建設(shè)優(yōu)化整合信息資源，在標(biāo)準(zhǔn)規(guī)范體系指導(dǎo)下，以智能運(yùn)維管理平臺為手段，建立直管、高效的IT服務(wù)管理，建設(shè)統(tǒng)一、規(guī)范的事件響應(yīng)監(jiān)督機(jī)制，實(shí)現(xiàn)統(tǒng)一管理、協(xié)調(diào)運(yùn)轉(zhuǎn)，主動預(yù)警、綜合排查，量化評估、掌控全局的體系化、立體化的全面運(yùn)行維護(hù)保障體系。

本期項(xiàng)目設(shè)計(jì)方案應(yīng)用支撐平臺設(shè)計(jì)設(shè)計(jì)目標(biāo)應(yīng)用支撐平臺是一個承上啟下的、組件化的支撐中間件平臺，提供業(yè)務(wù)支撐及業(yè)務(wù)協(xié)同相關(guān)的各類組件服務(wù)。通過提供一個良好的可擴(kuò)展平臺，以降低信息化系統(tǒng)建設(shè)的復(fù)雜度、提高建設(shè)的可靠度。考慮到農(nóng)業(yè)信息網(wǎng)的系統(tǒng)部署數(shù)量多、對外交互多的實(shí)際狀況，應(yīng)用支撐平臺能夠提供縱向貫通各類不同層級的信息資源與上層應(yīng)用之間的垂直通道，構(gòu)建高效、實(shí)時、共享、準(zhǔn)確的信息流；橫向通過各類業(yè)務(wù)組件組裝，滿足跨農(nóng)業(yè)部門、跨行業(yè)領(lǐng)域的信息共享和協(xié)同應(yīng)用，最終達(dá)成資源共享、協(xié)同管理、多元服務(wù)的總體目標(biāo)。通過標(biāo)準(zhǔn)服務(wù)總線向上層應(yīng)用平臺提供粗粒度的應(yīng)用基礎(chǔ)服務(wù)接口，對應(yīng)用開發(fā)者屏蔽下層信息細(xì)節(jié)和計(jì)算模型；另一方面對跨部門、跨領(lǐng)域應(yīng)用流程提供管道，并進(jìn)行管理與監(jiān)控，實(shí)現(xiàn)各應(yīng)用系統(tǒng)間的高效協(xié)同工作。系統(tǒng)功能設(shè)計(jì)應(yīng)用支撐平臺由兩類組件構(gòu)成：基礎(chǔ)組件和統(tǒng)一身份認(rèn)證組件。其中基礎(chǔ)組件包括服務(wù)總線、消息隊(duì)列、短信郵件及全文檢索；統(tǒng)一身份認(rèn)證包括身份管理、身份認(rèn)證、授權(quán)管理和安全審計(jì)等。圖5.2.2應(yīng)用支撐平臺功能架構(gòu)各組件遵循業(yè)界標(biāo)準(zhǔn)SOA架構(gòu)。通過這種架構(gòu)的實(shí)現(xiàn)機(jī)制，并采用開放標(biāo)準(zhǔn)和面向構(gòu)件的設(shè)計(jì)，可很好地實(shí)現(xiàn)應(yīng)用系統(tǒng)的平臺支撐作用，使系統(tǒng)具有很好的靈動性和擴(kuò)展性；同時能夠使智慧農(nóng)業(yè)數(shù)據(jù)中心在面對業(yè)務(wù)變化時能夠快速做出反應(yīng)，利用對現(xiàn)有的應(yīng)用程序和應(yīng)用基礎(chǔ)結(jié)構(gòu)投資來解決新出現(xiàn)的業(yè)務(wù)需求。大數(shù)據(jù)分析層規(guī)劃設(shè)計(jì)大數(shù)據(jù)平臺介紹平臺功能框架大數(shù)據(jù)平臺必須是一個開放的體系，相關(guān)軟件系統(tǒng)和硬件設(shè)備應(yīng)是業(yè)界主流產(chǎn)品，遵循國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，保證平臺、設(shè)備、管理系統(tǒng)能夠隨時無障礙地進(jìn)行更新和移植。大數(shù)據(jù)管理平臺還應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，充分考慮與外部系統(tǒng)（4A及其它網(wǎng)管系統(tǒng)、業(yè)務(wù)系統(tǒng)等）的接口。支撐數(shù)據(jù)挖掘、數(shù)據(jù)實(shí)時存儲和訪問、ETL計(jì)算平臺這三類業(yè)務(wù)應(yīng)用。分布式存儲功能分布式存儲為用戶提供企業(yè)級大數(shù)據(jù)平臺軟件一體化解決方案；并支持特殊應(yīng)用場景下的定制化硬件加速。面對結(jié)構(gòu)復(fù)雜、需求多變的異構(gòu)數(shù)據(jù)處理業(yè)務(wù)，分布式存儲不僅提供統(tǒng)一、穩(wěn)定、高效的存儲子系統(tǒng)，還整合了先進(jìn)的分布式集群資源管理和進(jìn)程調(diào)度方案、高性能數(shù)據(jù)總線技術(shù)、全并行架構(gòu)分布式關(guān)系數(shù)據(jù)庫、面向圖計(jì)算的并行圖數(shù)據(jù)庫、分布式KV存數(shù)據(jù)庫，以及面向用戶業(yè)務(wù)的各類工具軟件和庫支持。基于分布式存儲平臺，用戶可以以非常低的時間代價構(gòu)建大規(guī)模企業(yè)大數(shù)據(jù)一體化解決方案。存儲組件的結(jié)構(gòu)圖上圖是存儲組件的結(jié)構(gòu)圖，主要包括如下功能組件：分布式集群存儲：基于對象的高性能分布式文件存儲系統(tǒng)。DFS:分布式文件系統(tǒng)。HBase：分布式Key-Value數(shù)據(jù)庫。DSQL：分布式關(guān)系數(shù)據(jù)庫。GraphDB：并行圖數(shù)據(jù)庫。DB:傳統(tǒng)數(shù)據(jù)庫。集群存儲系統(tǒng)基于自主可控的申威硬件平臺，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對象存儲技術(shù)將文件切片分布式存儲在存儲服務(wù)器集群上，充分利用所有存儲服務(wù)器硬件性能，并且同時對客戶端提供訪問服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫效率。Hadoop分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）能提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用。通過聚合數(shù)十上百臺，甚至數(shù)千臺服務(wù)器本地文件系統(tǒng)的吞吐能力，HDFS提供同時對超大數(shù)據(jù)文件的訪問能力。分布式計(jì)算功能MapReduce是一種簡化并行計(jì)算的編程模型，名字源于該模型中的兩項(xiàng)核心操作：Map和Reduce。Map將一個任務(wù)分解成為多個任務(wù)，Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得出最終的分析結(jié)果。MapReduce適合于半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。NoSQL功能HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的局限性。HBase使用場景有如下幾個特點(diǎn)：海量數(shù)據(jù)（TB或PB級別以上）；需要很高的吞吐量；需要在海量數(shù)據(jù)中實(shí)現(xiàn)高效的隨機(jī)讀取；需要很好的伸縮能力；能夠同時處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)；不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫所具備的ACID特性。UnitedHadoop的HBase支持地理容災(zāi)、二級索引等高級特性，滿足極高可靠性和開發(fā)易用性要求。HBase適合于建立海量數(shù)據(jù)存儲平臺，用于數(shù)據(jù)的存儲和實(shí)時訪問，例如歷史明細(xì)查詢、詳單查詢等業(yè)務(wù)。數(shù)據(jù)倉庫功能Hive是一個建立在Hadoop上的數(shù)據(jù)倉庫框架，提供類似SQL的HQL語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動轉(zhuǎn)換成MapReduce任務(wù)，從而完成對Hadoop集群中存儲的海量數(shù)據(jù)進(jìn)行查詢和分析。Hive主要特點(diǎn)如下：通過HQL語言非常容易的完成數(shù)據(jù)提取、轉(zhuǎn)換和加載（ETL）；通過HQL完成海量結(jié)構(gòu)化數(shù)據(jù)分析；靈活的數(shù)據(jù)存儲格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE等存儲格式，并支持自定義擴(kuò)展；Hive的主要應(yīng)用于海量數(shù)據(jù)的離線分析（如日志分析，集群狀態(tài)分析）、大規(guī)模的數(shù)據(jù)挖掘（用戶行為分析，興趣分區(qū)，區(qū)域展示）等場景下。為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問服務(wù)的可控制，UnitedHadoop的Hive具有如下特性：基于kerberos技術(shù)的安全認(rèn)證機(jī)制；數(shù)據(jù)文件加密機(jī)制；雙機(jī)熱備；完善的權(quán)限管理。Hive適合于結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。分布式協(xié)調(diào)功能ZooKeeper是一個分布式、高可用性的協(xié)調(diào)服務(wù)。在Hadoop系統(tǒng)中主要提供兩個功能：一個功能是幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序，另一個功能是提供分布式協(xié)作服務(wù)和維護(hù)配置信息。ZooKeeper主要特點(diǎn)：順序一致性：按照客戶端發(fā)送請求的順序更新數(shù)據(jù)。原子性：更新要么成功，要么失敗，不會出現(xiàn)部分更新。單一性：無論客戶端連接哪個server，都會看到同一個視圖。可靠性：一旦數(shù)據(jù)更新成功，將一直保持，直到新的更新。及時性：客戶端會在一個確定的時間內(nèi)得到最新的數(shù)據(jù)。工作流管理功能Oozie是一個用來管理Hadoopjob任務(wù)的工作流引擎，Oozie流程基于有向無環(huán)圖（DirectedAcyclicalGraph）來定義和描述，支持多種工作流模式及流程定時觸發(fā)機(jī)制。易擴(kuò)展、易維護(hù)、可靠性高，與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合。Oozie主要特點(diǎn)：支持分發(fā)、聚合、選擇等工作流流程模式；與Hadoop生態(tài)系統(tǒng)各組件緊密結(jié)合；流程變量支持參數(shù)化；支持流程定時觸發(fā)；提供了HA機(jī)制；自帶一個WebConsole，提供了流程查看、流程監(jiān)控、日志查看等功能。維護(hù)管理功能提供的維護(hù)管理功能是Hadoop平臺的維護(hù)管理系統(tǒng)，是Hadoop系統(tǒng)操作和維護(hù)的統(tǒng)一入口，提供操作的定義和流程引導(dǎo)，并對于系統(tǒng)中的各項(xiàng)資源運(yùn)行情況和操作進(jìn)行監(jiān)控記錄，為系統(tǒng)的日常維護(hù)提供依據(jù)；運(yùn)維管理包括升級向?qū)А⑷粘Ｏ驅(qū)А⑷罩臼占c分析、告警、監(jiān)控、安裝向?qū)А⑴渲霉芾怼徲?jì)管理、用戶管理等。集群管理包括集群資源授權(quán)管理、數(shù)據(jù)服務(wù)封裝接口、集群資源動態(tài)調(diào)度、并發(fā)控制、備份和容災(zāi)、用戶和應(yīng)用接入安全、集群組件HA和數(shù)據(jù)私密性。集群管理系統(tǒng)負(fù)責(zé)整個系統(tǒng)的管理，包括北向接口、南向接口和本地管理GUI界面。北向接口包括OM類的Syslog、SNMP，以及安全管理對接接口LDAP。本地管理GUI界面提供系統(tǒng)中各類軟硬件的圖形化維護(hù)入口，包括日常維護(hù)，以及安裝、升級和擴(kuò)容向?qū)У取４髷?shù)據(jù)分析系統(tǒng)架構(gòu)平臺系統(tǒng)架構(gòu)圖如上圖所示，作為一款大數(shù)據(jù)分析平臺，平臺可以分為四個大的子系統(tǒng)。包括：采集子系統(tǒng)、存儲分析子系統(tǒng)、業(yè)務(wù)管理子系統(tǒng)、系統(tǒng)管理子系統(tǒng)。存儲分析子系統(tǒng)又自下而上可以分三層，依次是數(shù)據(jù)存儲層、算法模塊層以及業(yè)務(wù)處理層。系統(tǒng)采用分布式文件、分布式數(shù)據(jù)庫、分布式集群計(jì)算等多種分布式技術(shù)作為構(gòu)建系統(tǒng)的基礎(chǔ)平臺，使得整個系統(tǒng)平臺具有了高擴(kuò)展、高容錯、高性能、高可用的能力。采集子系統(tǒng)提供多種接口，支持對不同數(shù)據(jù)源的采集，支持對多種數(shù)據(jù)類型的提取信息，同時對采集的數(shù)據(jù)進(jìn)行分析提取，對數(shù)據(jù)內(nèi)容進(jìn)行匹配過濾，將各種類型的數(shù)據(jù)分門別類的存儲到存儲分析子系統(tǒng)中，供后者分析使用。子系統(tǒng)提供對多種文檔類型的導(dǎo)入功能，包括word，ppt，execl，pdf，rtf，txt等多種文件類型。業(yè)務(wù)管理子系統(tǒng)管理客戶的大數(shù)據(jù)分析業(yè)務(wù)，系統(tǒng)提供用戶權(quán)限、業(yè)務(wù)管理、數(shù)據(jù)檢索、業(yè)務(wù)定義等功能模塊，滿足客戶業(yè)務(wù)分析的管理需求。系統(tǒng)運(yùn)維子系統(tǒng)管理整個系統(tǒng)的設(shè)備，軟件，配置等，采用統(tǒng)計(jì)報(bào)表、狀態(tài)顯示等多種方式展示系統(tǒng)運(yùn)行狀態(tài)，維護(hù)整個系統(tǒng)穩(wěn)定運(yùn)行，實(shí)現(xiàn)系統(tǒng)的高可用性，高擴(kuò)展性。存儲分析子系統(tǒng)是整個系統(tǒng)的核心部分。實(shí)現(xiàn)海量數(shù)據(jù)的存儲、檢索、分析等功能。實(shí)現(xiàn)對目標(biāo)數(shù)據(jù)、圖像信息、聲音信息等各種文件類型的海量存儲，實(shí)現(xiàn)對這些類型的文件的關(guān)鍵字快速檢索。數(shù)據(jù)存儲層：支持海量異構(gòu)數(shù)據(jù)的統(tǒng)一可靠的存儲管理，對外提供統(tǒng)一的分布式調(diào)用接口，提供文件、數(shù)據(jù)庫、索引等多種存儲形式。基本算法模塊層：提供大數(shù)據(jù)分析的各種基本算法模塊，支持多種計(jì)算模型的分布式計(jì)算框架，為上層業(yè)務(wù)系統(tǒng)提供專業(yè)的計(jì)算處理庫。業(yè)務(wù)處理層：基于底層提供的算法模塊和基礎(chǔ)數(shù)據(jù)，完成各種業(yè)務(wù)分析處理，同時支持對基本算法的組合定義，實(shí)現(xiàn)客戶自定義的業(yè)務(wù)處理任務(wù)。數(shù)據(jù)總線是系統(tǒng)運(yùn)行的一個重要基礎(chǔ)架構(gòu)，整個系統(tǒng)中，包括子系統(tǒng)之間，子系統(tǒng)內(nèi)部均采用數(shù)據(jù)總線技術(shù)，實(shí)現(xiàn)子系統(tǒng)之間和子系統(tǒng)內(nèi)部的數(shù)據(jù)和消息傳遞。數(shù)據(jù)總線支持?jǐn)?shù)據(jù)和消息的緩存、中轉(zhuǎn)、分發(fā)、調(diào)度等。數(shù)據(jù)總線是計(jì)算與存儲的樞紐，同時是內(nèi)外數(shù)據(jù)交換的通道，完成數(shù)據(jù)在組件間及層次間中轉(zhuǎn)、緩沖及調(diào)度。產(chǎn)品特點(diǎn)：各種異構(gòu)數(shù)據(jù)接入海量數(shù)據(jù)存儲，高可用，高擴(kuò)展提供各種基本算法，可以組合業(yè)務(wù)模型基于權(quán)限管理業(yè)務(wù)，控制用戶訪問業(yè)務(wù)和數(shù)據(jù)數(shù)據(jù)總線分布式數(shù)據(jù)總線是分析系統(tǒng)的數(shù)據(jù)通路，其基于分布式內(nèi)存實(shí)現(xiàn)，可實(shí)現(xiàn)高速的數(shù)據(jù)交換、緩沖及轉(zhuǎn)換、遷移等。各子系統(tǒng)之間和子系統(tǒng)內(nèi)部的各個組件之間通過分布式數(shù)據(jù)總線互聯(lián)，實(shí)現(xiàn)數(shù)據(jù)在組件間的交換及同步；外部數(shù)據(jù)源接入內(nèi)部存儲組件前也要先經(jīng)過數(shù)據(jù)總線進(jìn)行緩沖、交換等預(yù)處理操作；此外為支持一體機(jī)對異構(gòu)數(shù)據(jù)的關(guān)聯(lián)融合，提供對異構(gòu)數(shù)據(jù)的關(guān)聯(lián)加載，并可利用數(shù)據(jù)總線的高速緩沖區(qū)進(jìn)行多集合數(shù)據(jù)的join統(tǒng)一格式轉(zhuǎn)換等處理；此外數(shù)據(jù)總線還可完成對異構(gòu)存儲組件內(nèi)數(shù)據(jù)聯(lián)合的功能，可支持上層一次操作對異構(gòu)數(shù)據(jù)集的聯(lián)合查詢。數(shù)據(jù)總線架構(gòu)圖數(shù)據(jù)總線處于數(shù)據(jù)傳輸?shù)年P(guān)鍵路徑上，因而對數(shù)據(jù)傳輸流起到控制作用，可完成對數(shù)據(jù)的分發(fā)和調(diào)度。同時還可根據(jù)上層存儲訪問的不同需求自動將數(shù)據(jù)分發(fā)到相應(yīng)的存儲組件，同時做到對上層透明。提供如下關(guān)鍵特性：各組件間數(shù)據(jù)融合、緩存、交換提供異構(gòu)數(shù)據(jù)接入、分發(fā)及數(shù)據(jù)關(guān)聯(lián)操作的內(nèi)存融合數(shù)據(jù)流高速路由/分發(fā)基于配置策略的數(shù)據(jù)分發(fā)MQ/Buf/Mcache同時提供分布式消息隊(duì)列（MessageQueue）、數(shù)據(jù)緩沖、熱點(diǎn)緩存功能分布式內(nèi)存管理提供邏輯統(tǒng)一視圖，同時支持高可靠基于流池的動態(tài)均載基于流粒度的均載策略，保證流內(nèi)一致性可定制分發(fā)策略動態(tài)可定制、基于數(shù)據(jù)特點(diǎn)、類型及標(biāo)簽的分發(fā)策略內(nèi)存互備/硬盤同步支持節(jié)點(diǎn)間內(nèi)存互備以及內(nèi)存與硬盤的持久化動態(tài)擴(kuò)展支持Broker節(jié)點(diǎn)的動態(tài)在線添加數(shù)據(jù)采集數(shù)據(jù)采集子系統(tǒng)的主要功能包括：實(shí)現(xiàn)多源數(shù)據(jù)的快速匯入、解析，分析，過濾等功能。提供便捷的數(shù)據(jù)交換API，支持多種方式接入數(shù)據(jù)。多樣化的協(xié)同代理，支持多種常用的數(shù)據(jù)獲取形式，并能根據(jù)需求快速增加新類型協(xié)同代理。支持多種常見的文檔數(shù)據(jù)格式導(dǎo)入：包括圖像數(shù)據(jù)、矢量實(shí)錄、目標(biāo)數(shù)據(jù)、聲音數(shù)據(jù)等。數(shù)據(jù)采集子系統(tǒng)分為多源數(shù)據(jù)接入模塊、數(shù)據(jù)總線模塊、分析過濾模塊三部分。系統(tǒng)入口通過多個協(xié)同代理agent對接不同數(shù)據(jù)源，并在對數(shù)據(jù)進(jìn)行格式統(tǒng)一轉(zhuǎn)換，封裝后以統(tǒng)一的格式發(fā)送到數(shù)據(jù)總線中。分析過濾模塊通過統(tǒng)一數(shù)據(jù)獲取接口從數(shù)據(jù)總線中訂閱數(shù)據(jù)。數(shù)據(jù)接入數(shù)據(jù)預(yù)處理模塊主要功能包括：實(shí)現(xiàn)多業(yè)務(wù)數(shù)據(jù)的分布式抽取，數(shù)據(jù)過濾，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)加載等ETL操作。對海量實(shí)時數(shù)據(jù)的規(guī)范化處理；數(shù)據(jù)接入模塊提供對多種接入數(shù)據(jù)的處理。對海量流式數(shù)據(jù)可提供過濾、識別、檢測、業(yè)務(wù)識別等預(yù)處理操作，同時可與后續(xù)流處理引擎對接；對web抓取數(shù)據(jù)可提供URL查重、實(shí)體抽取、數(shù)據(jù)格式封裝、數(shù)據(jù)清洗等預(yù)處理功能，處理完的數(shù)據(jù)進(jìn)入數(shù)據(jù)總線，由分析模塊分析提取數(shù)據(jù)中的信息，為數(shù)據(jù)入庫做好準(zhǔn)備。規(guī)則過濾規(guī)則過濾模塊用于實(shí)時過濾海量數(shù)據(jù)，從中選出重點(diǎn)業(yè)務(wù)數(shù)據(jù)。模塊完成以下功能：任務(wù)輪詢模塊負(fù)責(zé)輪詢?nèi)蝿?wù)并加載規(guī)則。如果任務(wù)符合重建條件，則加載所有任務(wù)的規(guī)則，并出發(fā)規(guī)則重建。規(guī)則解析解析規(guī)則內(nèi)容。規(guī)則過濾獲取實(shí)時流文檔，并通過規(guī)則熱切換獲取最新的多模匹配狀態(tài)機(jī)。規(guī)則重建模塊根據(jù)任務(wù)輪詢獲取的任務(wù)列表，建立多模匹配狀態(tài)機(jī)。1.任務(wù)輪詢不斷查詢數(shù)據(jù)庫以獲取更新的任務(wù)列表，實(shí)時過濾輪詢定期輪詢?nèi)蝿?wù)數(shù)據(jù)庫，查看是否滿足多模匹配狀態(tài)機(jī)重建的條件，如果滿足，則把需要重建的任務(wù)規(guī)則封裝好并傳給實(shí)時過濾模塊。2.規(guī)則重建主要是將任務(wù)輪詢獲取的所有有效任務(wù)進(jìn)行規(guī)則解析，提取關(guān)鍵詞，構(gòu)建多模匹配狀態(tài)機(jī)。3.規(guī)則過濾主要是從緩沖隊(duì)列中獲取數(shù)據(jù)，通過建立好的多模匹配狀態(tài)機(jī)和預(yù)處理過的規(guī)則，對文檔進(jìn)行實(shí)時過濾。數(shù)據(jù)存儲數(shù)據(jù)存儲層提供企業(yè)級大數(shù)據(jù)平臺軟件一體化解決方案；并支持特殊應(yīng)用場景下的定制化硬件加速。面對結(jié)構(gòu)復(fù)雜、需求多變的異構(gòu)數(shù)據(jù)處理業(yè)務(wù)，數(shù)據(jù)存儲層不僅提供統(tǒng)一、穩(wěn)定、高效的存儲子系統(tǒng)，還整合了先進(jìn)的分布式集群資源管理和進(jìn)程調(diào)度方案、高性能數(shù)據(jù)總線技術(shù)、全并行架構(gòu)分布式關(guān)系數(shù)據(jù)庫、分布式KV存數(shù)據(jù)庫，以及面向上層業(yè)務(wù)的各類工具軟件和庫支持。數(shù)據(jù)存儲層采用了存儲服務(wù)器集群和元數(shù)據(jù)服務(wù)器集群通過千兆以太網(wǎng)絡(luò)/萬兆以太網(wǎng)絡(luò)構(gòu)建，具備極高的擴(kuò)展性和可靠性。消除集群內(nèi)的單點(diǎn)故障，避免因?yàn)楣收隙鴮?dǎo)致服務(wù)中斷或者數(shù)據(jù)丟失等影響，并且打破了傳統(tǒng)存儲系統(tǒng)架構(gòu)上的限制。分布式列數(shù)據(jù)庫可支持大于幾十個節(jié)點(diǎn)，PB存儲規(guī)模的scale-out；性能上其針對具體大數(shù)據(jù)應(yīng)用場景進(jìn)行深度定制和調(diào)優(yōu)，尤其對于高吞吐率入庫和實(shí)時檢索場景；功能上除了支持標(biāo)準(zhǔn)的K-V訪問接口之外，還可較好的兼容SQL標(biāo)準(zhǔn)及JDBC接口，可以很好的與既有數(shù)據(jù)分析業(yè)務(wù)對接。尤其在索引性能優(yōu)化及對后綴和全文索引的支持上都有顯著優(yōu)勢。在應(yīng)用場景方面，分布式列數(shù)據(jù)庫常被用作全量基礎(chǔ)數(shù)據(jù)的組織和存儲（包括結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)），同時提供對此全量數(shù)據(jù)的實(shí)時查詢；可兼容傳統(tǒng)數(shù)據(jù)倉庫OLAP場景，對復(fù)雜SQL分析可提供近實(shí)時的分析性能。從而可同時支持對大數(shù)據(jù)的實(shí)時查詢和復(fù)雜離線分析。計(jì)算引擎功能計(jì)算引擎是大數(shù)據(jù)綜合分析平臺中進(jìn)行數(shù)據(jù)處理分析的基礎(chǔ)。其主要包括分布式計(jì)算框架及數(shù)據(jù)分析算子兩大部分。統(tǒng)一計(jì)算引擎系統(tǒng)滿足如下功能需求：提供支持大數(shù)據(jù)分析的計(jì)算框架，包括MapReduce、內(nèi)存計(jì)算等并行計(jì)算框架，具備靈活定制型、彈性擴(kuò)展等特性。提供面向大規(guī)模異構(gòu)數(shù)據(jù)源的抽取功能和異構(gòu)數(shù)據(jù)源統(tǒng)一組織模型，具備異構(gòu)數(shù)據(jù)的融合能力。基于分布式計(jì)算框架的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、文本檢索、數(shù)值分析、地理位置計(jì)算、檢索統(tǒng)計(jì)等通用算子集；對海量實(shí)時數(shù)據(jù)的統(tǒng)計(jì)特征的快速提取（如max，min，average，sum等）。組成計(jì)算引擎結(jié)構(gòu)圖如上圖所示，計(jì)算引擎分兩個層次：分布式計(jì)算框架和其上的各種基本計(jì)算模型。分布式計(jì)算框架提供對主流計(jì)算框架的支持以及編程接口，包括MapReduce、主流內(nèi)存計(jì)算框架等，分布式計(jì)算框架負(fù)責(zé)管理整個系統(tǒng)中的計(jì)算資源和數(shù)據(jù)資源，合理調(diào)度各個計(jì)算節(jié)點(diǎn)上的計(jì)算任務(wù)。計(jì)算框架提供一下功能：計(jì)算資源管理。計(jì)算任務(wù)拆分和分發(fā)。計(jì)算任務(wù)跟蹤。計(jì)算任務(wù)容錯處理計(jì)算結(jié)果匯聚計(jì)算節(jié)點(diǎn)負(fù)載監(jiān)控基本算子集基本算子集提供了數(shù)據(jù)分析中所需要的通用和基本的算法和算子，覆蓋了數(shù)據(jù)分析的各個方面。包括機(jī)器學(xué)習(xí)算子、數(shù)據(jù)統(tǒng)計(jì)算子、文本類算子、SQL類算子、地理位置類算子、圖計(jì)算、流計(jì)算等。1.機(jī)器學(xué)習(xí)算子機(jī)器學(xué)習(xí)算子提供的常用機(jī)器學(xué)習(xí)算法，包括分類、聚類、協(xié)同過濾等。同時提供機(jī)器學(xué)習(xí)的基本工具和基本庫，使得機(jī)器學(xué)習(xí)模塊有良好的擴(kuò)展性和易用性。分類算子的目的為把輸入的對象分為預(yù)先定義好的類別標(biāo)簽中。分類算子為有監(jiān)督學(xué)習(xí)，其過程可以描述為：給定有標(biāo)簽的訓(xùn)練數(shù)據(jù)集合，分類訓(xùn)練算法建立起分類器模型；當(dāng)無標(biāo)簽的測試數(shù)據(jù)集合到來后，分類算法根據(jù)訓(xùn)練好的模型預(yù)測測試數(shù)據(jù)的標(biāo)簽。本模塊實(shí)現(xiàn)了常用的分類算法有決策樹算法ID3和C4.5。ID3算法處理離散特征的數(shù)據(jù)集合，它從根節(jié)點(diǎn)根據(jù)最大熵原理決定樹的每一個節(jié)點(diǎn)用哪一個特征進(jìn)行決策，直到建立起葉子節(jié)點(diǎn)。C4.5擴(kuò)展了ID3算法使得其能夠處理連續(xù)值的特征。本模塊實(shí)現(xiàn)的決策樹算法能夠同時處理離散特征和連續(xù)特征，并且可以并行的進(jìn)行訓(xùn)練，模型訓(xùn)練速度快，預(yù)測精度高。聚類算子是一種無監(jiān)督的算法，它通過計(jì)算各個數(shù)據(jù)點(diǎn)之間的距離把高維空間中的數(shù)據(jù)自動聚成不同的類別。本系統(tǒng)實(shí)現(xiàn)常用的聚類算法有K-Means。K-Means通過不斷的計(jì)算K各聚類中心和各個數(shù)據(jù)點(diǎn)與各個中心的歸屬關(guān)系，從而將數(shù)據(jù)聚集為不同的類別。本系統(tǒng)實(shí)現(xiàn)的K-Means算法可擴(kuò)展可并行，對大數(shù)據(jù)環(huán)境有著很強(qiáng)的適應(yīng)性。2.數(shù)據(jù)統(tǒng)計(jì)算子數(shù)據(jù)統(tǒng)計(jì)提供的特征提取過程中所需要的基本和通用算子，以供具體的特征提取模塊調(diào)用，具體算子包括max,average,sum,min,以及其他統(tǒng)計(jì)算法。3.文本類算子提供文本類數(shù)據(jù)的常用基本算法，包括文本檢索，索引，關(guān)鍵字提取，拆分等。SQL類算子SQL類算子針對結(jié)構(gòu)化數(shù)據(jù)的常用基本算法，支持常用SQL語句。地理位置類算子地理位置類算子提供基于地理經(jīng)緯度的檢索和計(jì)算算法。圖計(jì)算提供圖計(jì)算的常用基本算法。支持有向多重圖的計(jì)算，有向多重圖是一個有向圖，潛在的多重平行邊（edge）共享相同的源和目的頂點(diǎn)（vertex）。提供圖形的拆分并行計(jì)算。同時提供常用的圖計(jì)算模型，包括：網(wǎng)頁排名、聯(lián)通計(jì)算、三角數(shù)計(jì)算等。流計(jì)算流計(jì)算提供對實(shí)時數(shù)據(jù)流的可擴(kuò)展的、高吞吐量的、流容錯的基本計(jì)算模型。支持多種實(shí)時數(shù)據(jù)源，包括Kafka，flume，tcp等。支持對實(shí)時數(shù)據(jù)流的復(fù)雜算法操作，例如map，reduce，join等。視頻圖像計(jì)算提供視頻和圖像處理的基本計(jì)算模型。支持圖像的基本操作，包括：去噪、邊緣檢測、角點(diǎn)檢測、采樣與插值等，支持對視頻圖像的基本操作：畫面捕捉，運(yùn)動分析等。業(yè)務(wù)處理業(yè)務(wù)處理層負(fù)責(zé)完成用戶提交的數(shù)據(jù)分析業(yè)務(wù)任務(wù)。它分為任務(wù)調(diào)度，業(yè)務(wù)分析任務(wù)，業(yè)務(wù)模型幾個部分。用戶在業(yè)務(wù)管理子系統(tǒng)提交的各種業(yè)務(wù)分析要求，都會提交到業(yè)務(wù)處理層，形成對應(yīng)的業(yè)務(wù)分析任務(wù)。業(yè)務(wù)分析任務(wù)有任務(wù)調(diào)度模塊調(diào)度執(zhí)行，任務(wù)調(diào)度模塊支持定時執(zhí)行、循環(huán)執(zhí)行、持續(xù)運(yùn)行、事件觸發(fā)等方式。業(yè)務(wù)模型定義了數(shù)據(jù)分析的算法和執(zhí)行流程。業(yè)務(wù)模型由底層的基本算法組成。系統(tǒng)提供常用的基本業(yè)務(wù)模型，同時也可以根據(jù)客戶需要定制業(yè)務(wù)模型。系統(tǒng)提供的基本業(yè)務(wù)模型包括：綜合信息檢索、通信關(guān)系、時空碰撞、實(shí)時監(jiān)控、線索分析等。綜合信息檢索提供多維度大數(shù)據(jù)檢索功能，統(tǒng)一結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)檢索，提供統(tǒng)一的檢索數(shù)據(jù)功能。提供對word，ppt，execl，pdf，rtf，txt等多種文檔數(shù)據(jù)的統(tǒng)一檢索，可以按照不同的維度統(tǒng)一檢索各種文檔。通信關(guān)系提供以特定目標(biāo)為中心的通信關(guān)系圖。通過對海量數(shù)據(jù)統(tǒng)計(jì)，提取特定目標(biāo)的通信關(guān)系網(wǎng)。時空碰撞以時間和空間為約束，發(fā)現(xiàn)目標(biāo)的模型。實(shí)時監(jiān)控提供實(shí)時過濾入庫數(shù)據(jù)的功能，可以根據(jù)用戶設(shè)定的條件，實(shí)時分析入庫數(shù)據(jù)，匹配的數(shù)據(jù)作為重點(diǎn)數(shù)據(jù)跟蹤，同時可以提供告警功能。信息分析根據(jù)用戶設(shè)定的多種不同條件，在海量基礎(chǔ)數(shù)據(jù)中檢索符合信息條件的數(shù)據(jù)，并根據(jù)檢索結(jié)果進(jìn)行統(tǒng)計(jì)和匹配度計(jì)算，得到匹配度排序。可以有效地幫助用戶減少搜索范圍，快速鎖定目標(biāo)。業(yè)務(wù)管理業(yè)務(wù)管理為用戶提供全面的業(yè)務(wù)管理功能。包括用戶權(quán)限管理，業(yè)務(wù)管理，業(yè)務(wù)授權(quán)管理，審計(jì)，統(tǒng)計(jì)等功能。用戶權(quán)限管理海量數(shù)據(jù)和關(guān)鍵業(yè)務(wù)往往是用戶的核心資產(chǎn)，對這些數(shù)據(jù)的訪問和操作必須有嚴(yán)格的控制。用戶權(quán)限管理模塊實(shí)現(xiàn)對用戶訪問權(quán)限的控制，控制用戶只可以看到需要看的數(shù)據(jù)和業(yè)務(wù)。用戶權(quán)限管理通過為不同用戶賦予不同的角色，賦予用戶不同的操作權(quán)限，用戶無法看到未授權(quán)的功能。在通過角色限制用戶的權(quán)限的同時，通過將用戶劃分為不同的業(yè)務(wù)組，分離不同業(yè)務(wù)組之間的業(yè)務(wù)數(shù)據(jù)。通過角色和業(yè)務(wù)組雙維度控制數(shù)據(jù)和業(yè)務(wù)訪問，有效防止信息泄露和數(shù)據(jù)濫用。應(yīng)用系統(tǒng)設(shè)計(jì)總體架構(gòu)XX省智慧農(nóng)業(yè)的項(xiàng)目建設(shè)規(guī)模應(yīng)滿足全省農(nóng)業(yè)廳機(jī)關(guān)對農(nóng)業(yè)數(shù)據(jù)處理、分析以及應(yīng)用等的需要，滿足農(nóng)業(yè)業(yè)務(wù)、隊(duì)伍管理、農(nóng)業(yè)保障等三大業(yè)務(wù)域的業(yè)務(wù)需求，滿足為氣象、水利、土壤等單位實(shí)現(xiàn)業(yè)務(wù)協(xié)同的需要，滿足社會公眾對農(nóng)業(yè)信息公開的需要。根據(jù)需求設(shè)計(jì)出整體功能架構(gòu)如下：圖應(yīng)用系統(tǒng)組成圖以“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”為核心的業(yè)務(wù)應(yīng)用系統(tǒng)農(nóng)業(yè)部擬搭建一個四級農(nóng)業(yè)縱向貫通、橫向集成、資源共享的信息平臺，即“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”（“大統(tǒng)一”業(yè)務(wù)系統(tǒng)）實(shí)現(xiàn)了全部農(nóng)業(yè)信息在系統(tǒng)運(yùn)行、農(nóng)業(yè)管理與信息流轉(zhuǎn)同步并進(jìn)行信息共享，但統(tǒng)一業(yè)務(wù)系統(tǒng)功能較薄弱，無法全面滿足農(nóng)業(yè)業(yè)務(wù)的需求。省廳已有的幾個應(yīng)用系統(tǒng)農(nóng)業(yè)信息管理系統(tǒng)、農(nóng)機(jī)信息系統(tǒng)等業(yè)務(wù)系統(tǒng)需要進(jìn)行圍繞與“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”的對接和數(shù)據(jù)共享進(jìn)行升級，實(shí)現(xiàn)對“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”業(yè)務(wù)功能的有效補(bǔ)充。系統(tǒng)建成后將與“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”系統(tǒng)形成有機(jī)整體，實(shí)現(xiàn)業(yè)務(wù)的深度耦合。系統(tǒng)模塊包括：生產(chǎn)過程管理數(shù)據(jù)管理、農(nóng)業(yè)資源管理數(shù)據(jù)管理、農(nóng)業(yè)生態(tài)環(huán)境管理數(shù)據(jù)管理等。圖以“統(tǒng)一業(yè)務(wù)系統(tǒng)”為核心的業(yè)務(wù)應(yīng)用系統(tǒng)功能架構(gòu)圖綜合事務(wù)協(xié)同管理平臺建設(shè)省農(nóng)業(yè)廳先后開發(fā)了績效考核、考勤管理、人民監(jiān)督員工作、車輛管理、服裝管理、資產(chǎn)管理等多個系統(tǒng)，但在逐步推進(jìn)省廳機(jī)關(guān)政務(wù)信息化管理的同時，帶來了系統(tǒng)分散，銜接不暢等問題，制約了全省農(nóng)業(yè)廳機(jī)關(guān)的辦公管理工作效率。亟需建設(shè)統(tǒng)一的綜合事務(wù)協(xié)同管理平臺，廣泛搜集海量的綜合事辦公辦公務(wù)數(shù)據(jù)，將農(nóng)業(yè)的“人”、“財(cái)”、“物”、“信息”和“流程”這些分散的海量資源進(jìn)行充分的整合，在統(tǒng)一管理和調(diào)配下進(jìn)行優(yōu)化，