物聯網大數據處理技術與實踐IoT

BigDataProcessingTechnologyandPractice物聯網與產業發展物聯網產業的發展1物聯網與大數據2物聯網產業的機遇與挑戰3PARTONE1物聯網產業的發展師傅領進門，學藝在自身。------中國諺語1.1物聯網產業的發展當前，新一代信息通信技術，包括移動互聯網、物聯網、云計算和大數據，正引領全球科技革命和產業變革。物聯網應用蓬勃發展，與傳統領域融合深入，重點領域包括M2M通信、智能汽車等。各國政府積極制定戰略，如美國的制造業復興、德國的工業4.0、中國的制造強國計劃，推動全球物聯網和大數據迅速增長。中國在物聯網領域也采取重要措施，如《中國制造2025》和《智能制造發展規劃》，強調信息化與工業化深度融合，推動物聯網和新技術應用。1.1.1傳感器與智能硬件傳感器與智能硬件產業是物聯網產業的重要組成部分，其是與物聯網產業的發展同步快速發展的。消費者物聯網設備包括可穿戴設備、智能家居產品、無人機、無人駕駛汽車等。除了面向消費者的物聯網設備之外，產業物聯網連接數在總的物聯網總連接數中的占比將提速。其中智慧工業、智慧交通、智慧健康、智慧能源等領域將最有可能成為產業物聯網連接數增長最快的領域。傳感器在賦予手機和物聯網產品更強大功能方面發揮關鍵作用，傳感器通常由敏感元件和轉換元件組成，將檢測感受到的信息轉化為電信號，廣泛用于各個領域的感知和控制。1.1.2物聯網服務平臺隨著物聯網產業的增長，物聯網服務平臺提供了端到端物聯網云服務，幫助制造商打造物聯網產品。預測顯示到2025年，物聯網平臺、應用和服務的收入將占據物聯網總收入的67%。多家知名科技公司如蘋果、華為等都推出了物聯網平臺或套件，中國移動、阿里巴巴、華為等公司在物聯網領域也取得了顯著進展，連接數和提供的應用不斷增加。物聯網服務平臺在不同行業，尤其是車聯網領域，具有巨大市場潛力，可以改善交通管理和提供智能化的車輛服務。1.1.3工業4.0與CPS美國工業的發展德國工業的發展美國與德國工業發展的異同日本工業4.0的發展美國工業的發展2006年美國提出了虛擬網絡-實體物理系統或者信息物理系統（CPS：Cyber-PhysicalSystem）的概念。2010年美國總統奧巴馬簽署了《美國制造業促進法案》，提出運用數字制造和人工智能等未來科技重構美國的制造業優勢。2012年2月美國國家科技委員會發布了《先進制造業國家戰略計劃》報告，將促進先進制造業發展提高到了國家戰略層面2012年11月美國通用電氣公司（簡稱GE）發布《工業互聯網——打破智慧與機器的邊界》報告，開始向全世界推廣工業互聯網模式。CPS將物聯網和互聯網與制造業的融合做出綜合性的概括，并將此項技術體系作為新一代技術革命的突破點。汽車、飛機、船舶、電梯、機床以及生產線等，都可以存在于虛擬和實體兩個世界，在虛擬世界中將實體的狀態以及實體之間的關系透明化.虛擬世界中代表實體狀態和相互關系的模型和計算結果能夠精確地指導實體的活動，從而使實體的活動相互協調優化.德國工業的發展2011年工業4.0的概念首次在德國漢諾威工業博覽會上第一次提出。2013年正式發布了“工業4.0實施建議”，拉開了全球范圍內推進第四次工業革命的序幕。“工業4.0”的核心就是信息物聯網和服務互聯網與制造業的融合創新。“工業4.0”會將智能技術和網絡投入到工業應用中，從而進一步鞏固德國作為生產地以及制造設備供應國和IT業務解決方案供應國的領先地位。美國與德國工業發展的異同美國與德國面對制造業未來雖然提出的概念不同，但“工業4.0”與CPS本質上是異曲同工的，其戰略核心是：制造智能化。“工業4.0”與CPS目標在于通過物聯網、信息通訊技術與大數據分析，把不同設備通過數據交互連接到一起，讓工廠內部、工廠之間都能成為一個整體，在自動化之上，形成制造的智能化。第四次工業革命主要是指通過物聯網和信息物理系統技術，將制造業向智能化轉型，實現集中式控制向分散式增強型控制的基本模式轉變，最終建立一個高度靈活的個性化和數字化的產品與服務生產模式。物聯網、互聯網服務以及大數據是“工業4.0”的基礎。美國與德國工業發展的異同德國工業4.0的戰略意圖：（1）對抗美國互聯網產業從“信息”領域加速進入“物理”業務領域的影響。（2）工業4.0希望用“信息物理系統”升級“智能工廠”中的“生產設備”，使生產設備因信息物理系統而獲得智能。（3）工業4.0戰略的推進也是德國在日本、中國等國的制造業快速趕超的背景下保持國際競爭力的重大舉措。日本工業4.0的發展2015年1月，日本政府公布了《機器人新戰略》，該戰略首先列舉了歐美與中國的技術趕超，互聯網企業向傳統機器人產業的涉足，而給機器人產業環境帶來了劇變。2021年，我國政府十五部門印發《“十四五”機器人產業發展規劃》指出，新一代信息技術、生物技術、新能源、新材料和機器人技術的深度融合，機器人產業迎來升級換代、跨越發展的窗口期。未來五年，我國要突破若干核心技術、實現制造業機器人密度翻番。這些變化，將使機器人開始應用大數據實現自律化，使機器人之間的協同實現網絡化，物聯網時代也將隨之真正到來。PARTTWO2物聯網與大數據大數據的產生近年來，隨著互聯網的飛速發展，特別是隨著電子商務、社交網絡、移動互聯網以及多種傳感器的廣泛應用，以數量龐大、種類眾多、時效性強為特征的非結構化數據不斷涌現，數據的重要性愈發凸顯。傳統的數據存儲、處理和分析技術難以有效應對這些大量的非結構化信息，大數據的概念應運而生。大數據的提出2008年9月，《自然（Nature）》刊登了一個名為“BigData”的專輯，首次提出了大數據（BigData）概念。2011年5月,EMC舉辦了主題為“云計算相遇大數據”的大會。2011年6月麥肯錫全球研究所發布研究報告——《大數據：下一個前沿——創新、競爭和生產力》,提出了“大數據時代”的到來。2012年5月聯合國“全球脈沖”計劃發布《大數據開發：機遇與挑戰》報告，闡述了大數據帶來的機遇、挑戰以及大數據的應用。大數據的定義大數據：是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產從宏觀世界角度來講，大數據是融合物理世界、信息空間和人類社會三元世界的紐帶從社會經濟角度來講，大數據是第二經濟的核心關鍵支撐“第二經濟的概念是由美國經濟學家Auther在2011年提出的，他指出由處理器、鏈接器、傳感器、執行器以及運行在其上的經濟活動形成了人們熟知的物理經濟（第一經濟）之外的第二經濟（不是虛擬經濟）。第二經濟的本質是為第一經濟附著一個“神經層”，使國民經濟活動能夠變得智能化。據Gartner預測，未來幾年內，傳感和移動設備將更深入延伸至我們的日常生活，導致數據爆發。另根據相關研究統計，物聯網中產生的來自傳感器的數據逐步超越互聯網的數據量，如果算上工業企業自動化生產線及設備上的運行數據，特別是隨著工業4.0推進而帶來的數據爆炸，物聯網數據的量更是呈現幾何級數增長。可以說，未來人們談到或研究“大數據”，無疑物聯網將是主要的數據來源。PARTTHREE3物聯網產業的機遇與挑戰物聯網產業面臨的挑戰物聯網市場的增長帶來許多好處，方便人們的生活以及企業的生產、提高效率和降低成本。但同時也面臨著不少的挑戰：碎片化問題安全性和隱私保護問題資源受限問題物聯網產業面臨的挑戰：碎片化“碎片化”原指完整的東西破成諸多零塊。我們現在更多地通過網絡傳媒了解信息，信息內容更加分散，完整的信息被各式各樣的分類分解為信息片段。由于終端產品種類繁多，同樣的功能可以由不同種類的產品來實現，其終端呈現碎片化。因此相對于互聯網，物聯網相呈現出更加碎片化的趨勢。物聯網產業面臨的挑戰：安全性和隱私保護隨著物聯網技術的發展擴大，物聯網安全問題面臨的安全威脅呈現多樣化、網絡攻擊越發猖獗。物聯網安全問題的出現可能會導致數據泄露、網絡癱瘓等多種后果。業界通過安全標準化、安全保障及隱私保護新技術等多個方面的手段應對此問題。加密通信技術、安全通信技術、訪問控制技術等。加強安全管理，嚴格管理對設備、數據的訪問權限。完善物聯網相關法律、制定專項安全規章制度等來規范物聯網產業。物聯網產業面臨的挑戰：資源受限物聯網設備受限于電池壽命物聯網的通信環境受限于物理環境條件的限制物聯網終端設備的計算能力受限于其自身有限的硬件條件…緩解方法：低功耗硬件通信技術云邊協同計算技術物聯網操作系統與數據庫物聯網操作系統提供各種物聯網軟硬件資源的管理功能，為用戶和開發者提供統一的開發接口，具有巨大的發展潛力。物聯網操作系統使物聯網設備能夠在有限的內存帶寬、數據量和處理能力的嚴格參數內通過全球網絡與云服務進行交互。物聯網操作系統架構示意圖物聯網操作系統與數據庫一部分物聯網操作系統通過對智能手機、PC操作系統的改造而成。例如：Windows物聯網操作系統Google發布的Brillo操作系統物聯網操作系統與數據庫一部分物聯網操作系統以傳統嵌入式操作系統為基礎，在其上改造以適應物聯網設備的連接及通信等需求。例如：Mbed操作系統Contiki操作系統物聯網操作系統與數據庫一部分物聯網操作系統面向特定的產業研發定制化的操作系統。例如：鴻蒙操作系統物聯網操作系統與數據庫目前各式各樣的物聯網操作系統才剛剛推出，還并未成熟，未來還存在很大的變數。無論傳感網還是智能硬件，不可避免面臨著數據管理問題，傳感器數據庫、微小型數據庫也正在進入人們的視野。隨著物聯網產業的發展，相信會形成一定的規范與市場需求。物聯網大數據未來，物聯網產生的數據將超過當今互聯網數據作為大數據的主要來源。什么是物聯網大數據？物聯網技術的發展將和大數據技術緊密結合起來，將成萬上億計的傳感器嵌入到現實世界的各種設備中，獲取來自傳感器的數據。物聯網大數據處理與應用物聯網大數據處理是指：將成萬上億計的傳感器嵌入到現實世界的各種設備中，獲取來自傳感器的數據，對其進行智能化的處理、分析，挖掘出物聯網大數據在單個物聯網設備及傳感器條件下完全不同的價值，從而提供更加深化、智能、貼近于用戶的產品及服務。物聯網大數據的應用：智慧城市、智慧醫療、智能家居、工業生產等物聯網與大數據結合中的挑戰數據類型多樣：數據類型多樣使得一個應用往往既要處理結構化數據，同時還要處理文本、視頻、語音等非結構化數據，這對現有數據庫系統來說難以應付。及時響應：在許多應用中，數據是實時變化的，用戶對數據處理響應速度及數據處理實時性的需求是關鍵因素，如何正確、及時地處理連續不斷的海量數據面臨很大的挑戰數據的不確定性：噪聲廣泛存在于原始數據的采集過程之中，是無法避免的客觀因素引起的。但追求高數據質量是對大數據的一項重要要求，最好的數據清理方法也難以消除某些數據固有的不確定性。如何應對大數據帶來的上述困難和挑戰？各大互聯網企業及學術界近幾年推出了各種不同類型的大數據處理編程框架、系統等，使大數據分析技術也得到迅速發展，已逐漸被廣泛應用于不同的行業和領域。例如：Hadoop框架spark框架THANKS

FOR

YOUR

WATCHINGLoremIpsumDolorSitErElitLamet,ConsectetaurCilliumAdipisicingPecu,SedDoEiusmodTemporIncididuntUtLaboreEtDoloreMagnaAliqua.Thankyou物聯網大數據處理技術與實踐InternetofThings

BigDataprocessingTechnologyandPractice大數據處理技術的發展大數據存儲和管理技術1大數據計算技術2大數據分析技術3人工智能研究的基本內容4人工智能的主要應用和研究領域5PARTONE1大數據存儲和管理技術師傅領進門，學藝在自身。------中國諺語大數據存儲和管理技術大數據每年都在激增龐大的信息量，加上已有的歷史數據信息，對整個業界的數據存儲、處理帶來了很大的機遇與挑戰。對于大數據的存儲，存在以下問題和挑戰：容量問題延遲問題安全問題靈活性...大數據存儲和管理技術數據在存儲設備上以數據塊的形式存儲，人們對物理數據進行直接訪問和查詢文件系統以文件為單位對數據進行訪問和管理數據庫在文件系統上增加了一個抽象層，用戶可以根據數據模型對文件中的數據進行記錄級新增、截取、更新、刪除等操作傳統的數據存儲和管理技術：與傳統的單機版文件系統及數據庫不同，對于大數據的存儲和管理，由于數據規模巨大，必須將數據存儲在多個機器中，并且在多臺機器中共享這些數據。這時，就需要采用新的文件系統技術。面向大數據的文件系統在多臺機器中存儲與共享數據：以手工的方式共享文件FTP技術被用來共享文件網絡文件系統（NetworkFileSystem,NFS），最初的分布式文件系統分布式文件系統搭建在傳統文件系統之上，它必須允許用戶在企業內部網上的任一計算機上訪問自己的文件，程序可以像對待本地文件一樣存儲和訪問遠程文件。為了達到此效果，分布式文件系統必須解決一些基本問題。這些問題包括：1).程序如何尋址遠程文件，像對待本地文件一樣訪問遠程文件？2).元數據管理問題3).一致性問題4).并發文件更新問題上世紀八十年代出現的網絡文件系統主要解決思路是實現客戶端和文件（存儲）服務器的交互問題。在緩存和一致性管理方面，Sun公司的網絡文件系統NFS采用了簡單的弱一致性方式：對于緩存的數據，客戶端周期性（30秒）去詢問服務器，查詢文件被最后修改的時間，如果本地緩存數據的時間早于該時間，則讓本地緩存數據無效，下次讀取數據時就去服務器獲取最新的數據。服務器對外提供統一的命名空間（目錄樹），存儲服務器節點之間不共享存儲空間，每個服務器存儲不同目錄子樹的方式實現擴展。網絡文件系統的服務器之間缺乏負載均衡和容錯機制，不同服務器之間的存儲空間也不能得以均衡利用，可靠性差，文件（存儲）服務器的可擴展性問題十分突出：每個存儲服務器所支持的存儲容量局限于SCSI總線的限制而難以擴展。網絡文件系統90年代，存儲區域網（StorageAreaNetwork，SAN）成為解決存儲系統可擴展性的最有效的途徑。SAN是用網絡取代SCSI總線，從而使存儲系統的容量與性能的可擴展性都得以極大提高。在SAN網絡中，可以接入多個存儲節點，每個節點都對外提供I/O通道，在寫入數據時，服務器端可以并行寫入到多個存儲節點中，從而顯著提高I/O吞吐量。早期的SAN主要用于集群計算系統中。存儲區域網分布式集群文件系統分布式集群文件系統：在傳統文件系統基礎上，每臺計算機各自提供自己的存儲空間，并各自協調管理所有計算機節點中的文件，節點通過前端網絡發送請求讀寫數據。典型代表Google文件系統GFS雅虎工程師開發了HDFSGlusterFS、Ceph、Lustre、MooseFS等分布式集群文件系統HDFS對大文件采用分塊存儲，非常適合在以計算為主和超大文件存儲的應用環境下，支持對大文件的每一塊進行獨立地計算處理。HDFS可以在集群內進行文件塊的移動遷移，將文件塊遷移到計算空閑的機器上，以充分利用CPU計算資源，加快數據處理速度。同時，分塊導致了文件難以修改數據。Ceph的主要目標是設計成可輕松擴展到數PB容量、基于POSIX、沒有單點故障、對多種工作負載提供高性能的訪問。目前Ceph支持OpenStack、CloudStack、OpenNebula、Hadoop等。GlusterFS是完全與POSIX標準兼容的分布式集群文件系統。分布式內存文件系統Tachyon可以在集群里以訪問內存的速度來訪問存在tachyon里的文件Tachyon是框架在分布式文件存儲和各種計算框架之間的一種中間件主要職責是將那些不需要落地到普通文件系統里的文件，落地到分布式內存文件系統中，來達到共享內存、提高效率，同時可以達到減少內存冗余、GC時間等的目的面向大數據的數據庫系統：并行數據庫是指那些在無共享的體系結構中進行數據庫操作的數據庫系統。這些系統大部分采用了關系數據模型并且支持SQL語句查詢，但為了能夠并行執行SQL的查詢操作，系統中采用了兩個關鍵技術：關系表的水平劃分：根據某種策略將關系表中的元組分布到集群中的不同節點上，這些節點上的表結構是一樣的，這樣就可以對元組并行處理SQL查詢的分區執行：首先為SQL查詢生成總的執行計劃，再拆分成能夠在各個節點上獨立執行的子計劃。在執行時，每個節點將中間結果發送到某一特定節點進行聚集產生最終結果。并行數據庫優點：擁有較高的性能和可用性缺點：沒有較好的可伸縮性；系統的容錯性較差只適合小規模集群，以及資源需求相對固定的應用程序NoSQL數據管理系統由于傳統關系數據庫（Oracle、MSSQLServer和MySQL等）不擅長處理模式不確定性的數據、使傳統關系數據庫表結構變得復雜和對事務管理的嚴格要求嚴重影響了系統在分布式環境下的可用性和可伸縮性等原因，出現了NoSQL數據管理系統。NoSQL（NotOnlySQL）數據存儲和管理系統是指那些非關系型的、分布式的、不保證遵循ACID原則的數據存儲系統,并分為key-value存儲、文檔數據庫和圖數據庫這3類。根據CAP定理，對于分布式系統來說，系統的一致性(consistency，C)、可用性(availability，A)和分區容錯性(partitiontolerance，P)三者是不可能同時實現的，任何設計高明的分布式系統只能同時保障其中的兩個性質。如以上的NoSQL數據庫中，Cassandra,Dynamo滿足CAP定理中的AP；BigTable,MongoDB滿足CP；而關系數據庫,如MySQL和Postgres滿足AC。NoSQL數據管理系統NoSQL典型地遵循BASE原則，更加強調讀寫效率、數據容量以及系統可擴展性.NoSQL數據庫一般只支持簡單的key/value接口，只支持根據惟一的鍵值(key)定義在一個數據項上的讀寫操作。支持事務的分布式NoSQL--FoundationDB優點：相對于復雜的關系數據庫系統，其主要優點在于其查詢速度快、支持大規模數據存儲且支持高并發，非常適合只需要通過主鍵進行簡單查詢的應用場景。缺點：它本身沒有任何表示約束和關系的機制，因此數據完整性的保障完全依賴客戶程序本身；由于目前出現了很多NoSQL數據存儲系統的產品或工具，但由于缺乏統一標準，彼此之間兼容性差等。NewSQL數據管理系統NewSQL能夠提供SQL數據庫的質量保證，也能提供NoSQL數據庫的可擴展性。VoltDB是NewSQL的實現之一，其開發公司的CTO宣稱，它們的系統使用NewSQL的方法處理事務的速度比傳統數據庫系統快45倍。VoltDB可以擴展到39個機器上，在300個CPU內核中每分鐘處理1600萬事務，其所需的機器數比Hadoop集群要少很多。NewSQL的出現：2012年Google在OSDI上發表了Spanner的論文，2013年在SIGMOD發表了F1的論文。這兩篇論文讓業界第一次看到了關系模型和NoSQL的擴展性在超龐大集群規模上融合的可能性。這種可擴展、高性能的SQL數據庫被稱為NewSQL，其中“New”用來表明與傳統關系型數據庫系統的區別。PARTTWO2大數據計算技術批處理計算模式

批量數據三大特征數據體量巨大數據精確度高數據價值密度低大數據的批處理系統適用于先存儲后計算，實時性要求不高，同時數據的準確性和全面性更為重要的場景。批處理計算模式批量數據處理適合大型、相對成熟的作業，但可能浪費時間，因為處理結果與預期差異大。MapReduce編程模型在批處理計算中廣泛應用，因為它具有良好的性價比、易于使用和可伸縮性。離線批處理計算模式適用于靜態數據，但對于實時性要求高的應用不夠強大，因為它有一些局限性，如中間數據傳輸難以優化、任務重啟開銷大等。交互式查詢計算模式數據查詢和分析是迭代的交互過程，對實時性要求高，大數據環境下需要改進響應時間，引入索引和內存計算等手段，如Spark和Dremel系統。Spark系統：是高效的開源集群計算系統，利用內存快速處理數據，比Hadoop快10倍~100倍，兼容Hadoop存儲API，支持交互式查詢。Dremel系統：交互式數據分析系統，處理PB級數據，秒級響應，嵌套數據模型適合大規模數據和相關查詢，結合Web搜索技術，能夠實現并發執行查詢。流處理計算模式流處理計算的現狀流處理計算的方式流處理的應用流處理計算的現狀流數據具有持續到達、規模大且速度快等特點，通常不會對所有數據進行永久化存儲，而基本在內存中完成。流數據處理方式更多地依賴于內存中設計巧妙的概要數據結構。在云計算和大數據環境下面臨新的挑戰，流處理仍舊是研究熱點。物聯網領域由于大量實時產生的感知數據，也對流處理計算模式有廣泛的需求。流處理計算的方式流處理兩種典型的處理方式：真正的流處理方式：計算是針對一條新的記錄進行一次。

（例如Storm，其響應時間可以達毫秒級。）微批處理方式：將流數據分為很多小的片段，針對每個片段進行一次處理。（例如SparkStreaming，響應時間難以達到毫秒級。）流處理的應用Twitter的Storm系統

Storm是一套分布式、可靠、可容錯的用于處理流數據的系統。其流式處理作業被分發至不

同類型的組件,每個組件負責一項簡單的、特定的處理任務。Storm提供了簡單的類似于MapReduce的編程模型，降低了實時處理的復雜性。它也具有擁有良好的水平擴展能力,其流式計算過程是在多個線程、進程和服務器之間并行進行的。Linkedin的Samza系統

Samza與Kafka的關系可以類比MapReduce與HDFS的關系。Samza系統由3個層次組成,包括流式數據層(Kafka)、執行層(YARN)、處理層(SamzaAPI).一個Samza任務的輸入與輸出均是流。

Samza使用Kafka來保證所有消息都會按照寫入分區的順序進行處理,絕對不會丟失任何消息。SparkStreaming系統

SparkStreaming是SparkAPI的一個擴展，它并不會像Storm那樣一次一個地處理數據流，而是在處理前按時間間隔預先將其切分為一段一段的微批處理作業。大數據實時處理的架構：Lambda及KappaLambda架構是由Storm的作者NathanMarz提出的一個實時大數據處理框架。Lambda架構將大數據系統構建為多個層次。

理想狀態下，任何數據訪問都可以通過對數據的直接查詢獲取，但是，若數據達到相當大的一個級別（例如PB），且還需要支持實時查詢時，就需要耗費非常龐大的資源。大數據實時處理的架構：Lambda及Kappa

在Lambda架構中，實現batchview的部分被稱之為批處理層（Batchlayer）。主要包含兩個職責：

存儲主數據集（不變的持續增長的數據集）

針對這個主數據集進行預運算

大數據實時處理的架構：Lambda及Kappa加速層只處理最近的數據，它會在接收到新數據時，進行一種增量的計算。

大數據實時處理的架構：Lambda及Kappa

針對Lambda架構的缺點，LinkedIn的工程師JayKreps提出了應對大數據實時處理的另外一種方式，即Kappa架構。

在Kappa架構中，流處理系統來處理輸入的數據，流處理系統的輸出直接進入數服務層，而應用直接從服務層獲取查詢結果。也就是說Kappa只有兩層：實時處理層和服務層。大數據實時處理的架構：Lambda及Kappa

在Kappa架構中，不需要對數據的處理開發和維護兩套不同的系統，因此系統復雜度減少了。

但是，由于Kappa架構去掉了批處理層，