從零開始搭建大數據平臺白德鑫@leoobai摘要屌絲的數據分析土豪要和屌絲做朋友屌絲的進化屌絲變土豪構建電視分析數據平臺本案例是在為在為超級電視及樂視盒子數據提供用戶行為的數據分析及挖掘服務而啟動的數據平臺項目的過程和經驗分享。對超級電視的用戶行為數據進行實時和離線分析，為運營提供決策支持。通過對電視數據挖掘來進行系統優化和服務提升。

白德鑫來自樂視網TV開放平臺事業部歷經電信、游戲、互聯網三個行業，互聯網電視拓荒者，目前負責樂視網超級電視運營平臺、LetvStore、TV數據挖掘分析平臺、TV開放平臺項目建設。微博:@leoobai

G粉，釣魚迷和摩托迷屌絲如何成為糕富帥苦逼屌絲配置兩臺MySQL（主從）記錄日志，通過CronJob加上SQL方式在Slave進行統計分析發奮圖強的屌絲嘗試使用Cassandra將日志存儲，使用Hadoop進行計算，然后把結果塞到MySQL里太多的數據組合，屌絲嘗試使用MySQL集群加上Kettle進行統計分析鳥槍換炮屌絲開始使用大規模殺傷性武器Kafka、Storm、Hadoop、Hbase、Hive、Oozie、Sqoop苦逼屌絲的數據起點數據越來越大，需求越來越多，土豪上門了人員離職造成系統失控，Cassandra沒人維護了人員離職對系統影響很大不一定時刻都有合適的人接替招聘成本很高，因為有技術的土豪都不愿意和屌絲做朋友人員流失往往帶來技術的流失一個蘿卜一個坑，蘿卜走了坑要很久才能填上重回屌絲時代土豪和我們做朋友了數據量從年初的3個月翻一倍到目前每個月翻一倍數據每月一億條增長到每周一億條只用了半年不到超級電視及盒子的快速增長引起需求快速變化，從設備行為快速向用戶行為轉變一邊找土豪一邊增強自身能力為此成立了獨立的數據研發團隊及數據分析人員從年初我們也開始了鳥槍換炮的工作增強內功數據研發團隊通過將近半年的努力，逐步搭建并完善了新的平臺新平臺通過Kafka接收其他系統、超級電視、樂視盒子等業務數據、日志數據、以及其他元數據（包括內容、應用）然后整合加工Storme通過整合Kafka加工之后的數據存入MySQL及Hbase中去通過Hadoop及數據服務為AD-HOC、開放數據平臺、數據門戶對各個業務部門提供數據服務這些是人才依靠招聘和內部自薦的方式進行擴充屌絲的豪華七件套數據入門第一套測試服務器兩臺4corecpu,6Gmemory，20個線程數據入門第一套測試服務器1臺4corecpu,6Gmemory，20個線程數據入門第一套測試服務器1臺4corecpu,6Gmemory，20個線程數據入門第二套Storm集群SpoutSpoutSpout…ParserBoltParserBoltParserBolt…BoltBoltBolt…CbaseKafka消息隨機…WriterBoltWriterBoltWriterBolt…組合計算數據入門第三套案例ROI分析數據量每月基本翻一倍，原有的系統架構根本無法滿足新的數據需求Kettle方式的數據整合時間越來越久采用Hadoop+Storm等方案，數據量增長不會對數據挖掘產生特別大的影響。數據從原來每日抽取報表到實時數據隨意查詢整合還有很多事情要做案例啟示不同的階段選擇不同的方案人員流失會導致技術流失技術儲備和內部自薦要比招聘牛人更快對于新業務