.,.,Contents,我們可以做些什么,實操分享,大數據，你從哪來,你是誰,.,中國網民數量：7.51億半年增長率：2.7%,中國注冊網站數量：344.3萬個,手機網民：7.236億占網民總數：96.3%,月均網絡交易：16億筆,每日新發微博數量：1億+條,注冊微博用戶數：2.9071億,發布的網頁數量：866億頁年增速：40%,網絡直播用戶：3.43億占網民總數：47.1%,.,很多人還沒搞清楚什么是PC互聯網，移動互聯來了；我們還沒搞清楚移動互聯的時候，大數據時代又來了！馬云,.,數據爆炸式的增長,數據資產管理的挑戰,需要更高性價比的數據計算與儲存方式,需要不同的數據管理策略,01,你從哪里來？,.,數據爆炸式的增長,.,數據資產管理的挑戰,數據資產,數據資產管理,傳統數據管理方式面臨挑戰,.,需要更高性價比的數據計算與儲存方式,計算更快存儲更省,10萬GB,10萬TB,1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,.,需要不同的數據管理策略,15%結構化的DB/DW,殘缺,當我們想要擴充時，才發覺：架構只能scale-up，scale-out不易處理時間過長，time-to-value受限成本過高，cost-efficiency受限,.,概念（Concept）特征（Features）變革（Change）技術（Technology）,數據庫（database）,大數據（bigdata）,你是什么？,02,.,大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據就是“未來的新石油”。,全球信息咨詢機構國際數據公司（IDC）對大數據的技術定義是：通過高速捕捉、發現或分析，從大容量數據中獲取價值的一種新的技術架構。,所謂“大數據”(bigdata)指的是這樣一種現象：一個公司日常運營所生成和積累用戶行為數據“增長如此之快，以至于難以使用現有的數據庫管理工具來駕馭，困難存在于數據的獲取、存儲、搜索、共享、分析和可視化等方面。”這些數據量是如此之大，已經不是以我們所熟知的多少G和多少T為單位來衡量，而是以P(1000個T)，E(一百萬個T)或Z(10億個T)為計量單位，所以稱之為大數據。,概念,.,數據類型多越來越多非結構化數據；音頻、食品，地理位置信息等多類型數據對數據處理能力提出更高要求。,數據價值高海量數據帶來了巨大的商業價值。數據之間關聯性支持深層的數據挖掘。,大數據的特點-4V理論,數據處理速度快對數據實時處理有著極高的要求，通過傳統數據庫查詢方式得到的“當前結果”很可能已經沒有價值。,數據規模大從TB躍升到PB甚至EB。一組公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。,.,。,大數據改變生活,.,IBMC&PIndustry,需求海量數據存儲技術實時數據處理技術數據高速傳輸技術搜索技術,描述分布式文件系統流計算引擎服務器/存儲間高速通信文本檢索、智能搜索、實時搜索,技術Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch,數據分析技術,大數據涉及的關鍵技術,TextAnalyticsEngine自然語言處理、文本情感分析、VisualDataModeling機器學習、聚類關聯、數據模型,.,顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,概念（Concept）分類（Features）流程（Technologicalprocess）,03,我們可以做些什么？,.,大數據時代的核心價值數據分析,什么是數據分析,.,數據分析有哪些類型,初級數據分析,高級數據分析,.,數據分析的一般環節,.,04,關于數據分析的分享與交流,理論模型統計方法可視化,.,數據分析方法論,.,4P（productpriceplacepromotion）,.,5W2H,.,KANO模型,對顧客的不同需求進行分區處理，幫助團隊識別對產品來說較為關鍵的客戶需求層次，盡快完成規劃。,興奮型需求,期望型需求,基本型需求,.,數據分析統計方法,聚類分析,01,回歸分析,02,時間序列分析,03,因子分析和主成分分析,04,數據分析軟件MATLABSASSpssStataEviewsExcel,.,可視化方法,ECHARTS,EASELY,PPT,附：1、ECHARTS,.,THEEND,.,用戶行為理論,用戶行為理論的用途較單一，就是用于用戶行為研究分析用戶使用行為：認知-熟悉-試用-使用-忠誠利用用戶行為理論，梳理網站分析的各關鍵指標之間的邏輯關系，構建符合公司實際業務的網站分析指標體系：,.,ADDYOURTITLEHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數據分析統計方法,01,02,04,03,聚類分析,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數據分析統計方法聚類分析回歸分析因子分析和主成分分析時間序列分析,數據分析軟件MATLABSASSpssStataEviewsExcel,.,1.績效指標必須是具體的（Specific）2.績效指標必須是可以衡量的（Measurable）3.績效指標必須是可以達到的（Attainable）4.績效指標是要與其他目標具有一定的相關性(Relevant)5.績效指標必須具有明確的截止期限（Time-bound）無論是制定團隊的工作目標還是員工的績效目標都必須符合上述原則，五個原則缺一不可,.,ADDYOURTITLEHERE,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,03,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,數據資產管理的挑戰,.,數據資產管理的挑戰,.,.,.,軟件是大數據的引擎,和數據中心（DataCenter）一樣，軟件是大數據的驅動力.軟件改變世界!,.,中央政府對大數據的重視程度,.,零售業,制造業,信息產業,移動通信,金融證券,數據量大,挖掘潛力大,數據意識強,IT基礎好,這些產業在大數據分析應用方面具有如下優勢：,數據化讓產業績效大幅提升,電子商務,醫療服務,.,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.01,Thisisanexampletext.Goaheadandreplaceit.02,Thisisanexampletext.Goaheadandreplaceit.03,Thisisanexampletext.Goaheadandreplaceit.04,80%,47%,57%,67%,.,數據分析的一般環節,.,數據分析的一般環節,AADDYOURTEXEHERE,BADDYOURTEXEHERE,CADDYOURTEXEHERE,EADDYOURTEXEHERE,DADDYOURTEXEHERE,.,.,.,在項目投資分析之外，數據分析的價值在企業經營管理上起到更加舉足輕重的作用。各種量化的模型、量化分析方法的應用，使數據下面隱藏的規律得以展現，讓企業在運營管理上、市場營銷上、客戶服務體驗上，越來越精細化，讓企業在激烈的競爭中取勝！,.,數據分析的營銷價值-預測消費行為,數據分析的營銷價值-優化營銷策略,數據分析的營銷價值-消費者描述,數據分析的營銷價值-個性化營銷,數據分析的營銷價值-廣告精準投放,通過分析以下幾個方面的關聯性，為消費者推薦具體的產品和內容：產品本身的關聯性客戶消費習慣的關聯性客戶喜好的關聯性客戶品牌的關聯性產品價格和價值的關聯性客戶習性的一致性等等,.,01,什么是大數據,.,數據挖掘,1.從數據中提取出隱含的過去未知的有價值的潛在信息2.從大量數據或者數據庫中提取有用信息的科學,典型事例：購物籃分析顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,什么是數據？,半結構化/非結構化數據,.,何為大？數據度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,什么是大數據？,.,數據分析的流程,.,ADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,02,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,60%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,80%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,50%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,19%Thisisanexampletext.Goaheadandreplaceit.,43%Thisisanexampletext.Goaheadandreplaceit.,25%Thisisanexampletext.Goaheadandreplaceit.,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexamplet