大數據應用案例1物聯網大數據應用由于遍布全球的眾多傳感器和智能設備，物聯網觸發了數據或大數據的淹沒。只有大數據技術和框架才能處理這樣龐大的數據量，這些數據量可以傳輸各種類型的信息。物聯網的數量增長越多，就需要更多的大數據技術。在這個領域內，機構需要將重點轉移到實時易于訪問的豐富數據上。這些數據會影響客戶群，并可通過挖掘產生有意義的結論。來自傳感器的數據應該被處理以實時發現模式和見解，以推進業務目標。現有的大數據技術可以有效利用傳入的傳感器數據，將其存儲起來，并使用人工智能進行高效分析。實際上，對于物聯網處理，大數據是燃料而人工智能是大腦。物聯網不僅是大數據的重要來源，還是大數據應用的主要市場。在物聯網中，現實世界中的每個物體都可以是數據的生產者和消費者，由于物體種類繁多，物聯網的應用也層出不窮。下面簡述幾種典型物聯網大數據的使用案例。車隊管理許多運輸公司都攜帶傳感器來監控駕駛員的行為和車輛的位置。好的駕駛技能和道路安全行為得到保險公司的獎勵。通過提供所有機械和電氣組件的詳細機器日志數據，物聯網為遠程信息處理提供了一個優勢。全球物流公司UPS廣泛使用該技術來監控車隊車輛的速度，行駛里程，休息停靠，油耗，發動機使用情況等。因此，該公司減少了有害排放和燃料消耗°UPS快遞為了使總部能在車輛出現晚點的時候跟蹤到車輛的位置和預防引擎故障，它的貨車上裝有傳感器、無線適配器和GPS。同時，這些設備也方便了公司監督管理員工并優化行車線路。UPS為貨車定制的最佳行車路徑是根據過去的行車經驗總結而來的。2011年，UPS的駕駛員少跑了近4828萬公里的路程。智慧城市智慧城市，是一個基于物聯網大數據應用的熱點研究項目，圖1所示為基于物聯網大數據的智能城市規劃。邁阿密戴德縣，就是一個智慧城市的樣板。佛羅里達州邁阿密戴德縣與舊M的智慧城市項目合作，將35種關鍵縣政工作和邁阿密市緊密聯系起來，幫助政府領導在治理水資源、減少交通擁堵和提升公共安全方面制定決策時獲得更好的信息支撐。IBM使用云計算環境中的深度分析向戴德縣提供智能儀表盤應用，幫助縣政府各個部門實現協作化和可視化管理。智慧城市應用為戴德縣帶來多方面的收益，例如戴德縣的公園管理部門今年因及時發現和修復跑冒滴漏的水管而節省了100萬美元的水費。圖1基于物聯網的智慧城市農業基于物聯網應用技術平臺可以升級傳統農業流程，對農作物的用藥、灌溉、施肥及其相關畜牧業等實現實時監控，提高資源利用率，減少對環境的污染，特別是加強農作物疾病監控與常見傳染性疫情預警，在保證農作物增產率的同時提高生產經濟效益，從而實現農業現代化高效經營和可持續發展。約翰迪爾是一家銷售農場設備的跨國公司。它監測各種參數，如土壤濕度水平等。數據發送到一個集中管理平臺，根據濕度水平，可以提醒農民何時進行灌溉。這可以防止不必要的灌溉，避免特定地區的水資源集中。衛生保健可穿戴式健身追蹤器和醫療應用程序幫助人們監控他們的健康狀況。來自這些設備的數據可用于追蹤如血壓，糖水平等參數，以及預先診斷感染疾病的可能性。Preventice公司整合了應用程序，手機，筆記本電腦，平板電腦和云等，用于遠程病人監控。該公司允許客戶的醫生在線監測其健康狀況，以避免常規檢查。Proteus是一家初創公司，其藥丸中含有傳感器，可用于檢查患者是否遵醫囑。2基于大數據的智能交通信息通訊技術的發展，使交通運輸從數據貧乏轉向數據豐富的大數據時代，北京市6萬余輛出租車一天就會產生數億條GPS數據，車牌識別、交通監控視頻等數據量更大，交通相關的數據量級已從TB級別躍升到PB級別，對智能交通系統的運營和管理產生了巨大影響。面對眾多的交通大數據，如何對其進行準確、高效的處理和分析及預測，挖掘其中蘊含的深層應用，做出即時和正確的交通誘導和疏通以有效改善實際交通擁堵狀況成為智能化交通信息處理分析的核心內容。交通大數據與傳統交通數據的不同主要體現在特征中。結合交通大數據的基本類型，認為交通大數據具有6V特征，具體如表1所示。表1交通大數據的特征特征描述Volume：體量巨大結構化數據和非結構化數據的廣泛來源與長期存儲Velocity:處理快速交通流具有時變性，交通管理與服務具有時效性，需要較快的數據處理速度Variety：模態多樣數據來源廣泛、類型豐富，交通系統具有多狀態特征Veracity：真假共存數據存在缺失、錯誤、冗余等異常現象Value：價值豐富具有時間、空間、歷史等多維特征，是多元服務的基礎Visualization:可視化交通運行狀態、城市路網特性等需要可視化的展現數據是智能交通系統的基礎，交通數據采集手段和處理方法的深度革新將引領智能交通系統的變革。目前，國際智能交通領域的車路協同系統、公眾出行便捷服務、車聯網等熱點技術領域都在廣泛研究和應用大數據技術。交通大數據的應用對交通的發展將帶來巨大的變化，這主要體現在大數據技術的實時性、分布性、高效性及預測性方面。1）實時性。傳統的海量數據模糊查詢和統計分析無法達到交通實時性的需求，大數據能夠實時地對交通大數據分析、處理，提供秒級響應，幫助人們在海量的交通數據中快速發現交通異常，并定位癥結，方便交通管理，使交通運行得更加合理。2）分布性。傳統的數據應用多為單表挖掘分析，一旦涉及到跨表關聯就會因效率問題而無能為力，大數據的分布式并行處理擅長復雜的塊表關聯分析，推動數據串并關聯，提高數據處理能力，支撐高并發多用戶訪問，協同人們在交通緊急事件中多方協作、快速處置。3）高效性。高效的交通大數據挖掘能力，能夠快速發現海量交通數據中的內在關聯規律，進而提高交通運營效率以及路網的通行能力。倫敦市利用大數據減少了交通擁堵時間，提高了交通運轉效率。4）預測性。大數據技術較高的預測能力可降低交通狀態誤報和漏報的概率，通過建立區域交通狀態的監測及預測模型，共享交通運行與路況環境數據，隨時對交通的動態性進行實時監控，幫助駕駛者及用戶預先了解交通擁堵狀況，避開擁堵路段。大數據對交通的巨大影響除了以上幾個方面外，對交通環境的安全性也有巨大影響。大數據的實時性和可預測性以及綜合的決策模型有助于提高交通安全系統的數據處理能力。大數據快速整合各個傳感器數據，結合車輛運行軌跡數據，綜合分析車輛行駛安全性，為應急決策提供輔助，提高應急救援能力，有效降低交通事故的發生。由此可見，大數據技術的出現及應用能夠有效地解決智能交通面臨的諸多難題。3企業內部大數據應用目前，大數據的主要來源和應用都是來自于企業內部，商業智能(businessintelligence,BI)和OLAP可以說是大數據應用的前輩。企業內部大數據的應用，可以在多個方面提升企業的生產效率和競爭力。具體而言：市場方面，利用大數據關聯分析，更準確地了解消費者的使用行為，挖掘新的商業模式；銷售規劃方面，通過大量數據的比較，優化商品價格；運營方面，提高運營效率和運營滿意度，優化勞動力投入，準確預測人員配置要求，避免產能過剩，降低人員成本；供應鏈方面，利用大數據進行庫存優化、物流優化、供應商協同等工作，可以緩和供需之間的矛盾、控制預算開支，提升服務。在金融領域，企業內部大數據的應用得到了快速發展。例如，招商銀行通過數據分析識別出招行信用卡價值客戶經常出現在星巴克、DQ、麥當勞等場所后，通過“多倍積分累計”“積分店面兌換”等活動吸引優質客戶；通過構建客戶流失預警模型，對流失率等級前20%的客戶發售高收益理財產品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點；通過對客戶交易記錄進行分析，有效識別出潛在的小微企業客戶，并利用遠程銀行和云轉介平臺實施交叉銷售，取得了良好成效。當然最典型的應用還是在電子商務領域，每天有數以萬計的交易在淘寶上進行，與此同時相應的交易時間、商品價格、購買數量會被記錄，更重要的是，這些信息可以與買方和賣方的年齡、性別、地址、甚至興趣愛好等個人特征信息相匹配.淘寶數據魔方是淘寶平臺上的大數據應用方案，通過這一服務，商家可以了解淘寶平臺上的行業宏觀情況、自己品牌的市場狀況、消費者行為情況等，并可以據此進行生產、庫存決策，而與此同時，更多的消費者也能以更優惠的價格買到更心儀的寶貝。而阿里信用貸款則是阿里巴巴通過掌握的企業交易數據，借助大數據技術自動分析判定是否給予企業貸款，全程不會出現人工干預。據透露，截至目前阿里巴巴已經放貸300多億元，壞賬率約％左右，大大低于商業銀行。4大數據在金融領域應用金融領域一直較為重視大數據技術的發展。相比常規商業分析手段，大數據可以使業務決策具有前瞻性，讓企業戰略的制定過程更加理性化，實現生產資源優化分配，依據市場變化迅速調整業務策略，提高用戶體驗以及資金周轉率，降低庫存積壓的風險，從而獲取更高的利潤。大數據在金融領域典型應用場景在銀行業的應用主要表現在兩個方面：一是信貸風險評估。以往銀行對企業客戶的違約風險評估多基于過往的信貸數據和交易數據等靜態數據，內外部數據資源整合后的大數據可提供前瞻性預測。二是供應鏈金融。利用大數據技術，銀行可以根據企業之間的投資、控股、借貸、擔保及股東和法人之間的關系，形成企業之間的關系圖譜，利于企業分析及風險控制。在證券行業的應用主要表現為：一是股市行情預測。大數據可以有效拓寬證券企業量化投資數據維度，幫助企業更精準地了解市場行情，通過構建更多元的量化因子，投研模型會更加完善。二是股價預測。大數據技術通過收集并分析社交網絡如微博、朋友圈、專業論壇等渠道上的結構化和非結構化數據，形成市場主觀判斷因素和投資者情緒打分，從而量化股價中人為因素的變化預期。三是智能投資顧問。智能投資顧問業務提供線上投資顧問服務，其基于客戶的風險偏好、交易行為等個性化數據，依靠大數據量化模型，為客戶提供低門檻、低費率的個性化財富管理方案。在互聯網金融行業的應用，一是精準營銷。大數據通過用戶多維度畫像，對客戶偏好進行分類篩選，從而達到精準營銷的目的。二是消費信貸。基于大數據的自動評分模型、自動審批系統和催收系統可降低消費信貸業務違約風險。金融大數據的典型案例分析為實時接收電子渠道交易數據，整合銀行內系統業務數據。中國交通銀行通過規則欲實現快速建模、實時告警與在線智能監控報表等功能，以達到實時接收官網業務數據，整合客戶信息、設備畫像、位置信息、官網交易日志、瀏覽記錄等數據的目的。該系統通過為交通銀行卡中心構建反作弊模型、實時計算、實時決策系統，幫助擁有海量歷史數據，日均增長超過兩千萬條日志流水的銀行卡中心，形成電子渠道實時反欺詐交易監控能力。利用分布式實時數據采集技術和實時決策引擎，幫助信用卡中心高效整合多系統業務數據，處理海量高并發線上行為數據，識別惡意用戶和欺詐行為，并實時預警和處置；通過引入機器學習框架，對少量數據進行分析、挖掘構建并周期性更新反欺詐規則和反欺詐模型。系統上線后，該銀行迅速監控電子渠道產生的虛假賬號、偽裝賬號、異常登錄、頻繁登錄等新型風險和欺詐行為；系統穩定運行，日均處理逾兩千萬條日志流水、實時識別出近萬筆風險行為并進行預警。數據接入、計算報警、案件調查的整體處理時間從數小時降低至秒級，監測時效提升近3000倍，上線3個月已幫助卡中心挽回數百萬元的風險損失。百度的搜索技術正在全面注入百度金融。百度金融使用的梯度增強決策樹算法可以分析大數據高維特點，在知識分析、匯總、聚合、提煉等多個方面有其獨到之處，其深度學習能力利用數據挖掘算法能夠較好地解決大數據價值密度低等問題。百度“磐石”系統基于每日100億次搜索行為，通過200多個維度為億賬號精確畫像，高效劃分人群，能夠為銀行、互聯網金融機構提供身份識別、反欺詐、信息檢驗、信用分級等服務。該系統累計為百度內部信貸業務攔截數十萬欺詐用戶，攔截數十億不良資產、減少數百萬人力成本，累計合作近500家社會金融機構，幫助其提升了整體風險防控水平。在線社交網絡，是一種在信息網絡上由社會個體集合及個體之間的連接關系構成的社會性結構。在線社交網絡大數據主要來自即時消息、在線社交、微博和共享空間4類應用。由于在線社交網絡大數據代表了人的各類活動，因此對于此類數據的分析得到了更多關注。在線社交網絡大數據分析是從網絡結構、群體互動和信息傳播3個維度，通過基于數學、信息學、社會學、管理學等多個學科的融合理論和方法，為理解人類社會中存在的各種關系提供的一種可計算的分析方法。目前，在線社交網絡大數據的應用包括網絡輿情分析、網絡情報搜集與分析、社會化營銷、政府決策支持、在線教育等。圣克魯斯警察局是美國警界最早應用大數據進行預測分析的試點，通過分析社交網絡，可以發現犯罪趨勢和犯罪模式，甚至可以對重點區域的犯罪概率進行預測。2013年4月，美國計算搜索引擎WolframAlpha，通過對Facebook中100多萬美國用戶社交數據進行分析，試圖研究用戶的社會行為規律。根據分析發現，大部分Facebook用戶在20歲出頭時開始戀愛，27歲左右時訂婚，30歲左右結婚，而30~60歲之間，婚姻關系變化緩慢。這個研究結果與美國人口普查數據相比，幾乎完全一致。中國社科院國情調查與大數據研究中心聯合騰訊互聯網與社會研究中心在京發布《社交網絡與賦能研究報告》，該報告歷時1年合作而成，剖析老中青三個代際人群在使用社交網絡時的特點，社交網絡賦予他們的影響和變化。報告顯示，在55歲以上老年QQ活躍用戶中，發QQ空間的比例為32%，瀏覽QQ空間的比例為49%，發文字消息的比例為62%，發表情消息的比例為26%，玩游戲的比例為13%；使用互聯網或社交網絡的老年人在日常休閑活動的內容上更加豐富，各項活動的選擇比例也更高。比如在跳廣場舞方面，不使用互聯網的老年人僅有%的選擇比例，而使用互聯網但不使用社交網絡的老年人有11%的比例，而既使用互聯網又使用社交網絡的老年人則有約22%的會進行跳舞活動。對于中年人群體，女性比男性更加愿意用社交網絡嘗試新的購物模式，大概有％的女性中年在朋友圈買過東西，而男性中年在朋友圈購物的比例占％，在社交網絡上購物的生活方式也逐漸在中年人群體中流行起來。而對于身為互聯網原住民的青年人，94%的人表示出門不帶手機感到很不習慣，％的人無法適應從智能手機換到普通手機，73%的人通常每隔15分鐘至少看一次微信/QQ等社交軟件。半數以上的人都愿意嘗試在互聯網和社交網絡上進行職業選擇，青年人在社交網絡上職業選擇傾向現排名前三的職業分別為微商、公眾號寫手、電子游戲玩家，其分別對應的百分比為％、％、％，可見，以一種虛擬網絡平臺為基礎構建起的新型就業模式可能在青年人中有一定的市場。以下再列舉幾個具體案例：1）用戶畫像體系每個企業都不可以避免的要對用戶進行畫像，用戶畫像的提出，根本上是源于企業對用戶認知的需求。產品經理，需要了解用戶的特征，對產品進行功能的完善。內容運營人員，需要篩選目標用戶，對內容進行精準投放。2）微博事件研究事件預警：對微博中發生的重大事件進行監控，及時發出通知，編輯或運營人員高效快速的完成內容的創作或采取相應的運營策略。事件演變分析：記錄事件的演變過程，分析事件的發展態勢。3）相似文本研究在某些內容的聚合頁（如某些話題聚合頁面等），存在內容重復或及其相似的現像，會導致信息呈現不夠多元化和豐富性，引起視覺疲勞。總得說來，在線社交網絡大數據應用可以從以下3方面幫助我們了解人的行為，以及掌握社會和經濟活動的變化規律：1）前期警告。通過檢測用戶使用電子設備及服務中出現的異常，在出現危機時可以更快速地應對。2）實時監控。通過對用戶當前行為、情感和意愿等方面的監控，可以為政策和方案的制定提供準確的信息。3）實時反饋。在實時監控的基礎上，可以針對某些社會活動獲得群體的反饋信息。6電力行業大數據應用大數據分析是促進傳統電網向智慧電網進行革新的重要力量，大數據分析系統由數據采集、數據傳輸、數據挖掘、數據反饋等多個環節組成，其以物理電網為依托，將先進的傳感測量技術、通信技術、云計算技術和控制技術與物理電網高度融合，通過對電網運行數據、負載變化數據、設備監控數據、電力企業營銷數據、電力企業管理數據等多類型數據的分析與挖掘，實現對電網的全環節高效運維、全天候實時監控、全地域應急處置、全用戶需求預測，為智慧電網的安全、可靠、經濟、高效、綠色運行提供最有力的保障。電力大數據分析在電力系統的每個環節都有重要應用，協助實現了對電網的智能控制和優化配置，提高電力規劃的管理能力。第一，發電環節可對常規能源發電的機組的運行情況、設備之間的互動以及各種參數指標實行實時監控，對風力、太陽能發電進行電機組的穩態特性和動態特性進行穩定性分析預測，實現發電環節的自動、穩定和高效。第二，輸電環節可通過大數據分析提高其安全性，通過在每個節點上增加監控能力，可對整個輸送線路上的導線溫度、線路電容、絕緣子污穢以及線路風振進行全程監測，并作出評估和診斷。由于智能電網具有自愈的特性，對發現破壞或者不正常的情況進行自我治愈，對用戶實現連續供電。第三，變電環節可以通過大數據分析優化其變電方案，更好地提高變電環