1、 大數據及信息安全最新技術中國科學技術鬱會焰匯報內容大數據“浪潮洶涌大數據將成為信息時代下一個引爆點人們總是夸張得談論它時代繭命6更少的人知道應該如何正確去做MPP.MapReduce,GFS,data-mininggrids,cloudbasedinfilearning,sourcing.Learning,。字ure.A/Btesting,associationruleleanaturallangPatternrecogmodelling,regressioni具“大”的數據么“人人都知道，都說好，但究竟是什么J3?有關大數據浪潮的貼切描述大數據的背景意義大數據的背景意義 信息爆炸增長Wha

2、tHappensinanInternetMinute?NewWikipodKjorticlespublishedPandora増5多首歆曲64lHounFmusk厶斗NowTwtHeroccounh20milliioiiPhotovicwi203vk亦/identitytheh$83,000Inqa204millionEmoth“網上一分鐘，人間一萬年!Facebook：戶，雄277,000logins76millionFlickiS?貼30弼纏片XOOOPhotouploodsJJVideoGoogle發生2百萬次搜索查18millionScorchquriYouTubre上載32。樽發生1

3、3In202,itwouldtakeyou5yoarsBy2015,thenumberofnetworkeddevicesAndFutureGrowthisStaggeringToday,thenumberofnetworkeddevices.Hoursofvideoupkxxkd反映到數據量上是什么情況？2015年佛用琳時祠才能看完在互聯網上一秒內所轉的畫信息爆炸增長地球上至今總共的數據量:在2006年，個人用戶才剛剛邁進TB時代,全球一共新產生了約180EB的數據；GB在2011年，這個數字達到了1.8ZBo而有市場研究機構預測：1PB二25。字節1EB二26。字節1ZB二27。字節到20

4、20年，整個世界的數據總量將會增長44倍，達到35.2ZB(1ZB=1O億TB)!OO如此龐大數據的源頭是什么？大數據的背景意義大數據的背景意義普適計算InvisibleComputing感知設備VideoandO-thersensorsStoreInformationUtelationSmartHomeCommunicationsDevicesMobilesDifferentenvironrwfrnts大數據的背景意義物聯網體系架構大數據的背景意義物聯網體系架構8 8 ServicesStructuralhealthrC=OCF1dlu總monitoringagriculturalcontr

5、olDisasterSurveillanceMilitaryFieldApplications/ServicesU-Healthcare4rracsnrContextmodelinuandmanagementnputingContentsmanantMiddlewarecontentsmanagement酬訕infmanagement通信I營4Internet,Accessetc.-NetworkAccessNetwork、AccessNetworAccessNetworkessGatewayMobileRFID卜Reader/識別感知層fSNGatewaySNGatewaytworksRFI

6、D/SensorNetworksSNiiatewaySource:ETRI大數據的背景意義社交網絡承大數據的背景意義社交網絡承 大數據的背景意義云計算為支撐大數據的背景意義云計算為支撐 # 大數據大數據的背景：網絡互聯技術發展、感知設備普及以及物聯網架構成熟，并由社交網絡承載所引起的信息爆炸。云計算為其提供強大的支撐動力！云計算“藍藍的天上白云飄，白云下面數據跑”云計算技術是大數據發展的基礎和支撐 大數據的概念和內涵WikipediABigdnta.FromWikipedia,thefreeencyclopediaThisarticleisaboutlargecollectionsofdata

7、.Fortheband,seeBigData(band).Bigdata-1-isthetermforacollectionofdatssetssolargeandcomplexthatitbecomesdifficulttoprocessusingon-handdatabasemanagementtoolsortraditionaldataprocessingapplications.Thechallengesincludecapture,curatiomstorage,工search,sharing,transfer,“大數據：或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到

8、無法通過人工，在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息。“一一維基百科10TheFreeEncyclopedia大數據的概念和內涵McKinsey&CompanyBox1.Whatdowemeanbybigdata?“Bigdata”referstodatasetswhosesizeisbeyondtheabilityoftypicaldatabasesoftwaretoolstocapture,store,manage,andanalyze.Thisdefinitionisintentionallysubjectiveandincorporatesamovingdefi

9、nitionofhowbigadatasetneedstobeinordertobeconsideredbigdatai.e.,wedonstdefinebigdataintermsofbeinglargerthanacertainnumberofterabytesthousandsofgigabytes).Weassumethat,astechnologyadvancesovertime,thesizeof“大數據指的是大小超出常規的數據庫工具獲取、存儲、管理和分析能力的數據集。尺寸并無主觀度量。”麥肯錫 大數據的概念和內涵僅僅是/仆大”：?的是,有時甚至大數據中的小數據如一條微博就具有顛覆

10、性的價值大數據的背景意義矗大數據的特性BigDataisgrowingfast1itructurttdar.dunwrjlIjr*ldutah600厶27zUW5.48。34,000峙WntH.tsvurdrw8zbyM1=1冋維大數據的背景意義大數據的4V特性體量Volume多樣性Variety價值密度Value雜大數據的異構和多樣性很多不同形式（文本、圖像、視頻、t無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能（咨詢、報告等）智能非結構化數據的超大規模和增長總數據量的8090%比結構化數據增長快10倍到50倍是傳統數據倉庫

11、的10倍到50倍速度Velocity實時分析而非批量式分析數據輸入、處理與丟棄立竿見影而非事后見效大數據的背景意義充滿雜質只為粒金海量沙漠大數據研究的科學價值大數據科研屬于“數據密集型”的科學發現第四范式Y已故數十年來令天模擬JimGray)數據密集型科學weaexUnaokotxaptc)qjeataanIWvtvZi心33s知gJCtfwtonkvvHar5護”v(bXJM。歸肚c2、rt的圖靈獎得主吉姆格雷（ScicncoKaradigrru;皿sgiricaJcricA3W0X*5C“PbWV*.RT1u/號尹TdCy42PlWwOSt可亍旬叭#*；CS；心莎5sVKiJY3QanOo

12、rc*).口：.tfFbrikRKWrjwtAtvYr-neEsjaSrtfpys；W5WJ|J*-比007年r曲冊耐0：/DvA-(&ntA4-0000-Bo弔鬆0ii；6iiiogHRwWmim*)It臨床實驗數據分析醫療“大數將”(BigDcdoIB*M24矣怎勢備況TabItUowUUirUhlSiImms)IWlistdrrWIrktdcckkd5lie7nnl(WnleFawwlandRcfM*醫療統籌分析系統AdminImagingEMREmailFileNonClinImeResearch201020112012201320142015*tm*uit:RtB*TlrtUJ3*4

13、nFWH4sifAnn4RMM*mnXi)2WI*7W11280ICL2H11沁*皿l2*RUU*W0X佔ita*9ITJDWWHH祝hMMIMRFR3WIKM3CMI1HJWf-MRMIWajinwa。奶xwnr-i；M第asR4HAMMwElMcIBJi 網絡通信與大數據ChinajunicomE國聯喲3大運營商加速推進大數據應用的具體舉措:2012年底,已經成功將大數據和hadoop技術引入到移動通信用戶上網記錄集中查詢與分析支撐系統。已新增100億投資重慶大數據計劃，顯現了其發展大數據，轉型自身業務的決心信息成為企業戰略資產，基于大數據的商業智能應用將為運營商帶來巨大的機遇已提出篁智慧

14、城市“發展戰略，其中很重要的技術結合點就是物聯網和大數據。“流量經營方面，從“話務經營”向“流量經營轉型，結合大數據技術，將深入發掘移動互聯的商機網絡空間安全與大數據大數據在處理網絡空間安全問題上具有先天優勢:I:lJ或脅卡巴斯基等大眾安全公司核心技術將主機惡意軟件作為實體對象，通過對惡意軟件行為孑MITRE公百真正可靠的安全保障必須與大數據時代發展同步斯喏登羯露旳校現項曰將“人”作為實體，通過分析人在網絡空間中的多跳信息交換行為,聚類分析得到可疑分子v美軍正推進X計劃項目網絡空間所有物理與虛擬實體（包括人、路由器、服務器、終端、業務系統、軟件工具）作為研究對象，以網絡地圖的方式實現網絡空間態

15、勢感知，服務于網絡攻防作戰能源與大數據能源與大數據 能源行業數據特征能源行業面臨的大數據問題能源勘探開發數據的類型眾多，不同類型數據包含的信息各具特點，綜合各種數據所包含的信息才能得出地下真實的地質狀況。能源行業企業對大數據產品和解決方案的需求集中體現在：可擴展存儲、高帶寬、可處理不同格式數據的分析方案。 匯報內容大數據關鍵技術體系結構化半結構化非結構化應用/“PP分布式文件系統、數據庫2、存儲管理甲計算系統3、計O算模式6、隱私和安全大數據采集方法結構化日志采集非結構化數據采集其他數據采集Ml虹MV.*林m*卜tcI.*vmraiqmiiitt)trtIKH!HlleMtntto.9htni

16、sm很多互聯網企業都有自己的海量數據采集工具,多用于系統日志采集，如Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等均采用分布式架構，能滿足每秒數百MB的日志數據采集和傳輸需求SourceWebsites網絡數據采集是指通過網絡爬蟲或網站公開API等方式從網站上獲取數據信息。該方法可將非結構化數據從網頁中抽取出來，將其存儲為統一的本地數據文件，并以結構化的方式存儲對于企業生產經營數據或學科研究數據等保密性要求較高的數據，可以通過與企業或研究機構合作、使用特定系統接口等相關方式采集數據大數據預處理方法數據抽取主要完成對已采集數據的抽取、清洗等操作因采集數

17、據具有多種結構和類型，數據抽取可將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的一廠f數據清洗對于大數據，并不全是有價值的（無或錯誤干擾項）,需清洗“去噪”從數據。匕!2?處理海量數據時，如紜預處果不酬純地花速度、為隨后的數據管理和分析挖掘提供良好支撐!大數據存儲管理關鍵技術分布式文件系統分布式文件存儲系統需滿足容錯性和高吞吐量。代表技術為.GooHDFSArchitecture應用程片GFS客戶#MetadataopsNamenodeMetadata(Name,replicas,):/home/foo/data,3,CiantBlock.opsRe初Datanodes

18、DatanodesReplicationCientRack1WtiteRack2數據信息控制信息Blocks采用三請求委型遠仃g,從節點則員貢存儲致聒。肖用尸訪冋致聒時，與主節點交互的只有指令，并根據主節點返回的數據存儲位置，直接與存儲節點交互獲得數據，避免主節點出現瓶頸。艮據數據規模和吞吐量的增長需求對傳統的關系型數據庫管理系統在并行處理，事務特性的保證，互聯協議的實現，資源管理以及容錯等各個方面帶來了很多挑戰去除關系數據庫的關系型特性，采用NoSQL(NotOnlySQL)以及NewSQL數據庫，簡化了數據昆結構，便于對數據和系統架構進行擴展。0通過放松對事務ACID語義的方法來增加工作原

19、理：先分后合。Map即“分解”,把海量數據分割成若干部分,分給多臺處理器并行處理；Reduce即“合并,把各臺處理器處理后的結果進行匯總操作以得到最終結果。 入姒価刀羽K雄僅小深度學習(DeepLearningAsimpleneuralnetworkinputhiddenoutputFullyconnectwdlayerlayerlayerConvolutionoooooF6(Output)64x6432x32OL2128x128LI256x256LO(Input)512x512深層神經曙各(2006)簡單淺層神經網絡(1980)為何沉寂了20多年？最主要原因：計算能力支持(深層)深度學習的概

20、念源于人工神經網絡的研究。含多隱層的多一種深度學習結構。通過組合低層特征形成更加抽象的賈別或特征，以發現數據的分布式特征表示。充分利用大量:,有效挖掘數據中的層級特征，具有更強的表征能力，尤像、語音等有大量的非標記數據而又非常抽象的領域。深度學習（DeepLearningGoogleBrain項目HowManyComputerstoIdentifyaCat?16,000-NewYorkTime,Jun,2012處理器：16,000個神經網絡：億個連接訓練數據：10M圖像方法：深度學習-多層神經網絡(NN)-無人監管的數據成功的讓機器從大量的圖片中學到了貓的感念，且將這種毛茸茸的小動物與單詞ca

21、t聯系到了一起，可以自行鑒別什么樣的事物是cat入姒価刀羽K雄僅小深度學習（DeepLearning2012年6月，紐約時報披露了GoogleBrain項目，吸引了公眾的廣泛關注。2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統2013年1月，李彥宏高調宣布成立百度研究院，其中第一個就是“深度學習研究所大數據可視化關鍵技術大數據可視化關鍵技術主要包括:科學大規模數據的并行可視化，包括數據流線化，任務并行化，管道并行化和數據并行化并行可視化體量可視化充分結合大規模的網絡數據的節點之間的相互聯系,設計圖的排布算法，直觀有效體現基于維度壓縮、平行坐標等可視化手段，提供一

22、些子空間選擇，用戶根據分析需要進行交互圖形硬件提大數據隱私與安全Cookie時空的定位彳、所在地點通過I啣cookie線索,找到的是存在于虛擬世界口的嘰器活動軌跡單一身份I社交鏈條的艇通過社交和移動應用留下的我索找到的是實實右在的作“0門theInternet,noboyoureadog紐約1993年7月5日刊登的一則由彼彳在大數據施泰納(PeterSteiner)創作於ws是這樣嗎大數據時代：手機、社交網絡葺我的隱私和安全去哪兒了？大數據來源可兩個維度對人i大數據隱私與安全關鍵技術大數據隱私與安全關鍵技術 large-scalep/obfemstosolveDatadataandresult

23、privacy,resultintegrity,computationalsavingsResultRobustcomputingpowerK加密保護技術：保證數據的真實性，可逆性和無損性，女口SMC模型，差分隱私等。但是該技術的計算開銷很大，對大數據的支持不大適用FileattributesIDUMMY|Iliness:diabetes,fever.Hospital:A,B,CSex:MalerFemaleRace:Asian,Black,White1映忘叩UserdiabetesHospital:A；access;:structure:2、文件訪問控制技術：通過文件訪問控制來限制呈現對數據

24、的操作，在一定程度解決數據安全問題Torn,pitalshopAlicecmnpilIhdspitalhpspitalI(b)BIOSCRTMmeasure6pm1=32ptn1=26pm1=2OperatingSystemTj1=3護觀2pm91=2:8amL1=2JuryTom(fake)Alicci廠shop-Boot-loader3、匿名化保護技術：適用于各類數據和眾多應用，算法通用性高，能保證發布數據的真實性，實現簡單，如聚類、k-anonymity,1-diversity等，匿名化過程不可逆，本質上是損失數據精度和數據隱私的折中。4、可信計算(Trustedcomputing)技術

25、：通用于各類數據和眾多應用，在計算和通信系統中廣泛使用基于硬件安全模塊(可信根)支持下的可信計算平臺，以提高系統整體的安全性。 大數據發展趨勢5CCF大數據專家委員會專家調研結果發布，預測也年大數據發展趨勢：-r 大數據發展趨勢十大趨勢預測核心技術方面技術生態方面產業生態方面2013年度預測2014年度預測4.基于大數據的智能的出現5大數據分析的革命性方法2.大數據的隱私問題突出大數據安全數據科學興起3.大數據安全與隱私9.數據科學的興起1.數據的資源化3.大姍與卻十算等深數據共享聯盟大數據新職業x更大的數據2.大數據架構的多樣化模式并存4大數據分析與可視化基于大數據的推薦與預測流行.深度學習

26、與大數據智能成為支撐1大數據從“概念走向價值大數據產業成為戰略性產業+數據商品化與數據共享聯盟化10大數據生態環境逐步完善丁支撐大數據發展趨勢1x網絡大數據；2、金融大數據；3、健康醫療大數據;4、企業大數據；5、政府管理大數據；6、安全大數據)K大數據學習與挖掘；2、分布式計算架構；3、實時計算；4、大數據分析與可視化匯報內容背景背景 “果園行動”一一以色列轟炸敘利亞核設施2007年以色列導彈襲擊敘利亞時，敘利亞的防御雷達系統并沒有做出必要的預警,科學家分析其原因是由于敘利亞雷達系統使用的商業芯片在制造過程中被植入了的“木馬”或者“后門”這些芯片收到攻擊者發送的預設代碼，其正常的功能會被破壞

27、或停止，導致雷達失效2014美國國安局“量子”項目一一電腦不聯網也可被監控-可以通過數據采集節點-對安裝特定芯片的電腦進行數據收集這些芯片的硬件電路中存在木馬或者后門，集成電路芯片中的這些惡意電路可以繞過系統軟件的安全防御和用戶的設防，進行“電子間諜”傳統賴以依托的“物理隔離安全”也毫無安全可言攻擊方式設計和生產過程中植入木馬或后門修改原電路行為或直接添加惡意電路現階段的問題傳統的芯片功能驗證、測試方法根本無法檢測惡意電路傳統的集成電路設計流程和方法學也無相應設計安全的措施和手段保障系統功能出錯、失效disableorremoveanynewlyInstalledhaiebiosmemoryo

28、ptionssuchascachlngorshsafeModetoremoveordisablecomponentsfissF8toselectAdvancedstartupoptions,an(1on:DI(0 x0100000090 x00000002,0 x00000000.0 x8A27F-Address8A27FD3Fbaseat8A224000,Datestrcrashdumpforcrashdumpphysicalmemory,memorytodisk:100mpcomplete.泄露秘密使系統安全形同虛設、陷于完全暴露的境地，可造成國家安全和政治安全的巨大損失背景背景 衛星失控

29、背景背景 # 飛機墜毀背景背景通訊網絡癱瘓Jfc針對芯片的各種外部攻擊手段,如電磁攻擊、測試掃描攻擊、失效攻擊等，會破壞芯片正常功能,造成關鍵應用的故障和巨大損失 可信芯片可信芯片(TrustedIC)的誕生即不能多也不能少芯片安全保護技術芯片設計和制造的可信保障芯片設計制造整個流程中，原始設計感染惡意電路或者遭到惡意修改的機會非常多，如何保障如此長流程、多參與者的芯片設計生產過程的既不能多也不能少的可信性，同時不能明顯改變傳統設計流程以保證可用性，是一個極具挑戰的全新問題。不能少：功能完備，無缺陷；不能多：杜絕額外冗余,避免木馬.后門等芯片安全保護技術可信芯片的身份認證芯片身份認證:通過對芯

30、片唯一標識的查看和追溯，實現對芯片來源、功用和合法性等方面進行檢查和確認。在電子系統中芯片的身份合法性和可信性認證，確保了正在使用的芯片不是被仿制和篡改的芯片，是安全信任的基礎保障。通常把身份信息存儲于芯片的非易失性存儲器中，認證時對比芯片的身份信息。另夕卜還有一些其它手段如水印、指紋等技術。芯片知識產權的有效保護經濟:設計和制造成本高,經濟價值可觀。每年因為芯片知識產權侵害造成的經濟損失高達2500億美金，損失75萬個工作崗位。家和國防安全的威脅。防護方法主要從兩個方面入手,即芯片安全保護技術更重要的是對芯片安全和可信的危害,對以此為基礎的信息系統安全的危害,對國1）對芯片邏輯設計和物理版圖

31、的保護2）對芯片產品的授權保護對設計和版圖的保護主要針對逆向設計和設計資料外泄，通過混淆、加密等方法；對授權保護,主要基于加密認證、水印指紋等方式。國外芯片安全技術現狀美國美國自然科學基金委美國國防咅B4N養帀氏*LK主要集中硏究抵抗可信性攻擊的方法學、規范匚、丄9000萬以及關鍵技術，提高芯片從生產到流通全過程的安全。積極從傳統的軟件、通信安全領域由芯片安全領域聚焦/匸開究硬祥安全的各種攻擊技術（如旁路偵聽、時鐘攻擊等）和防護技術（物理不可克隆函數、混淆等）。奧大利亞國內芯片安全技術現狀自主芯片設計和制造能力相對較弱芯片安全技術硏究更處于基本空白和起步階段極立/被奉信賴安全金科玉律O僅確保底層的芯片安全，信息安全大廈（信息系統