1吳功宜吳英編著《物聯網工程導論》第8章

物聯網數據處理技術2第

8章知識點結構38.1物聯網數據處理技術的基本概念

8.1.1物聯網數據的特點海量物聯網節點的數量是非常多的，它們所產生的數據量一定是海量多態多種傳感器去觀測的不同數據在數值范圍、格式、單位與精度動態各種數據都將隨時間不斷變化的關聯物聯網中的數據之間在空間、時間維度上存在著緊密的關聯性4VigilNet網絡拓撲與數據處理研究的示意圖58.1.2物聯網數據處理關鍵技術海量數據存儲數據融合數據查詢、搜索與數據挖掘智能決策6海量數據存儲物聯網數據具有海量、多態、動態與關聯的特征海量數據的存儲結構影響著物聯網系統的可靠性與效率如何利用數據中心與云計算平臺存儲物聯網的海量數據，如何充分地利用好物聯網信息，同時又要實現對隱私的保護，這是物聯網數據處理技術首先要面對的一個重要問題7無線傳感器網絡數據存儲結構示意圖8數據融合20世紀70年代“數據融合（DataFusion）”術語才正式出現針對物聯網數據的多態性，需要研究基于多種傳感器的數據聚合技術，綜合分析各種傳感器的數據，從中提取有用的信息數據融合已經發展成數據處理一個新的和重要的分支在物聯網中智能交通、工業控制、環境監控、精準農業、突發事件處置、智慧城市、智能電網等物聯網應用系統中，必然會應用多種傳感器去綜合感知多種物理世界的信息，從中提取對于我們智慧處理物理世界問題有用的信息和知識數據融合技術是物聯網數據處理研究的重要內容之一9

數據查詢、搜索與數據挖掘物聯網環境中感知數據具有實時性、周期性與不確定性等特點物聯網環境中，由于各種感知手段獲取的信息與傳統的互聯網信息共存，搜索引擎需要與各種智能的和非智能的物理對象密切結合，主動識別物理對象，獲取有用的信息，這對于傳統的搜索引擎技術是一個挑戰數據挖掘是物聯網數據處理中一個重要的方法10智能決策發展物聯網的最終目標不是簡單地將物與物互聯，而是要催生很多具有“計算、通信、控制、協同和自治”特征的智能設備與系統，實現實時感知、動態控制和智能服務智能決策是物聯網信息處理技術中追求的最重要的目標118.2海量數據存儲技術

8.2.1物聯網對海量數據存儲的需求物聯網的海量數據除了來自傳感器節點、RFID節點以及其他各種智能終端設備每時每刻所產生的數據之外，各種物理對象在參與物聯網事務處理的過程中也會產生大量的數據物聯網的海量數據的存儲需要數據庫、數據倉庫、網絡存儲、數據中心與云存儲技術的支持128.2.2數據庫技術數據庫技術是計算機科學技術中發展最快、應用最廣泛的領域之一。數據庫技術經過幾十年的發展，其應用已遍及各個領域，成為21世紀信息化社會的核心技術之一物聯網的數據存儲與管理需要使用數據庫技術，物聯網的海量數據存儲與管理也會促進數據庫技術的發展數據庫管理系統可分為層次數據庫、網狀數據庫、關系數據庫以及面向對象數據庫隨著數據庫技術的發展，數據庫用戶界面變得更加簡單，功能更加強大和更加智能，未來的數據庫技術必然會與人工智能技術相互交叉融合138.2.3物聯網數據管理技術關系數據庫為物聯網海量數據的管理提供了重要的理論、工具與方法物聯網中有兩大類重要的應用，一是基于RFID標簽自動識別技術的應用，另一類是基于無線傳感器網絡的應用設計一個基于RFID標簽自動識別技術的零售業或物流業應用時，對于由RFID所產生的數據的管理與處理方法與傳統的互聯網應用有很多相似之處基于無線傳感器網絡的物聯網應用有它的特殊性，需要研究針對無線傳感器網絡的數據管理與處理方法14無線傳感器網絡數據管理系統結構無線傳感器網絡數據管理系統結構主要有：集中式結構半分布式結構分布式結構層次式結構無線傳感器網絡數據管理系統層次結構15TinyDB系統的結構1617

TinyDB關系表結構8.3物聯網海量數據存儲與云計算*

8.3.1數據存儲技術的研究與發展存儲技術的研究與發展數據存儲技術從單機封閉系統存儲向開放系統的存儲方向發展開放系統的存儲進一步分為：

—直接附加存儲（DAS）

—網絡接入存儲（NAS）

—存儲區域網絡（SAN）18服務器技術的發展各種類型的服務器與機房中的服務器19典型的機架式服務器20刀片服務器218.3.2IDC的基本概念隨著互聯網應用規模的不斷擴大，大規模的在線網絡服務促進了“互聯網數據中心（IDC）”的出現隨著業務的擴展，一些企業網、校園網、政務網、商務網也在考慮建設自己的數據中心（DataCenter）數據中心的成本是由4部分組成：服務器成本、網絡設備成本、基礎設施成本與能源成本在推動物聯網應用發展的同時，必須研究適合即能夠快速部署物聯網應用，存儲海量數據，又能夠節省資金與日常維護費用，符合環保節能的原則的數據中心技術數據中心的概念正在經歷了從中小型企業網、校園網中的計算與存儲數據的數據中心，向云計算平臺的發展的趨勢228.3.3云計算的基本概念云計算的特點彈性服務資源池化按需服務服務可計費泛在接入云計算數據中心特點自治性規模經濟規模可擴展238.3.4云計算系統組成云計算系統組成：云平臺云終端云存儲云安全24公有云與私有云的概念公有云：第三方提供商為用戶提供服務的云平臺，用戶可以把通過互聯網訪問作為一個支撐平臺，可以通過提供免費或用很低費用的服務，去吸引大量的用戶，整合上游的增值業務和廣告服務，打造新的產業鏈目前公有云主要分為四類：

—由傳統電信基礎設施運營商組建的公有云

—政府主導下組建的各省市公有云

—大型互聯網公司組建的公有云

—由IDC運營商組建的公有云25私有云：移動通信公司、銀行、政府、公安、交通、電力、有線電視等部門與機構單獨使用而組建這些部門與機構的數據存儲量、處理量和安全性要求高，而私有云能夠滿足他們對數據倉儲與處理，以及安全性和服務質量的要求私有云可部署在企業或部門數據中心的防火墻內，也可以將它們部署在一個安全的主機托管場所26IaaS、PaaS、SaaS的概念基礎設施即服務IaaSIaaS平臺向用戶提供虛擬化的計算資源、存儲資源與網絡資源，根據用戶需求進行動態分配和調整平臺即服務PaaSPaaS平臺向軟件開發人員提供類似中間件的服務，包括數據庫、數據處理與軟件開發環境等軟件即服務SaaSSaaS平臺向最終用戶提供定制的軟件服務，用戶不用通過安裝軟件副本，就可以通過網絡使用軟件27云終端云終端使用虛擬化技術，使得只要聯入到互聯網或物聯網的終端設備都可以訪問云計算平臺云終端三種類型：

—基于程序資源遠程執行的云終端

—基于WebOS云終端

—基于虛擬機的云終端28云存儲計算與存儲是計算機科學發展中兩個密不可分的關鍵技術云計算概念包括計算與存儲兩個方面的內容云存儲基于云平臺，結合傳統的大規模、可擴展的海量存儲、計算機網絡、數據網格、虛擬化、文件系統的概念與技術，面向大規模、高效、可擴展、可定制的應用系統的用戶，提供安全、廉價、按需使用的專業化倉儲服務用戶不必關心云存儲服務使用什么樣的主機、數據庫、存儲設備，只需要根據自身應用系統數據存儲的數據量、安全性要求，以定購的方式使用云存儲服務提供商提供的