大數(shù)據(jù)及在互聯(lián)網(wǎng)金融中的運(yùn)用

2015/10/9什么是大數(shù)據(jù)？全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有2.88萬個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…每天發(fā)布5千萬條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天淘寶上將產(chǎn)生6.3百萬筆訂單…每個(gè)月網(wǎng)民在微信上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…什么是大數(shù)據(jù)1Byte=8bit1KB=1024Bytes1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB1YB=1024ZB1BB=1024YB1NB=1024BB1DB=1024NB什么是大數(shù)據(jù)什么是大數(shù)據(jù)什么是大數(shù)據(jù)定義：大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過人工，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為人類所能理解的信息在維克托.邁爾-舍恩伯格及肯尼斯.庫克耶編寫的《大數(shù)據(jù)時(shí)代》中，大數(shù)據(jù)是指不用隨機(jī)分析抽樣調(diào)查的方法，而采用對所有數(shù)據(jù)進(jìn)行分析的方法。1.Volume數(shù)據(jù)量2.

Variety多變性3.value價(jià)值性4.Velocity時(shí)效性結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻…..，對能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。數(shù)據(jù)的價(jià)值“提純”是目前亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命什么是BigData數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)的特性大數(shù)據(jù)的特性

更關(guān)注價(jià)值性

主要用于預(yù)測

數(shù)據(jù)量巨大

實(shí)時(shí)性要求高移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍facebook社交網(wǎng)絡(luò)微博淘寶、ebay電子商務(wù)…手機(jī)、Apps移動(dòng)互聯(lián)…大數(shù)據(jù)是如何產(chǎn)生的？大數(shù)據(jù)資源百度、阿里、騰訊為代表的互聯(lián)網(wǎng)公司。百度作為全球最大的中文搜索引擎，存儲(chǔ)數(shù)據(jù)重量近一千個(gè)PB,今年完成的云計(jì)算中心將能存貯超4000個(gè)PB數(shù)據(jù)量。阿里約有30萬臺(tái)服務(wù)器存儲(chǔ)近百PB，騰訊擁有的數(shù)據(jù)覆蓋多個(gè)領(lǐng)域，數(shù)據(jù)存儲(chǔ)量經(jīng)壓縮處理后在100PB左右，且月增數(shù)據(jù)在10%左右。其他領(lǐng)域如殺毒軟件，電子地圖，影視娛樂類互聯(lián)網(wǎng)公司等。電信、金融、保險(xiǎn)系統(tǒng)。大數(shù)據(jù)技術(shù)=海量數(shù)據(jù)+分析建模+挖掘過程大數(shù)據(jù)技術(shù)是什么？數(shù)據(jù)技術(shù)思維

大數(shù)據(jù)技術(shù)數(shù)據(jù)技術(shù)思維

大數(shù)據(jù)技術(shù)

CRISP-DM(跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程)是一種業(yè)界認(rèn)可的用于指導(dǎo)大數(shù)據(jù)分析挖掘工作的方法。

CRISP-DM認(rèn)為在大數(shù)據(jù)分析中存在一個(gè)大數(shù)據(jù)分析挖掘生命周期模型。在這個(gè)生命周期模型中存在著商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型、模型評估和結(jié)果部署這六個(gè)階段。

大數(shù)據(jù)精準(zhǔn)營銷此前，淘寶為解決買賣雙方退貨時(shí)的運(yùn)費(fèi)糾紛，引入某保險(xiǎn)公司提供退貨運(yùn)費(fèi)險(xiǎn)，經(jīng)統(tǒng)計(jì)，淘寶用戶運(yùn)費(fèi)險(xiǎn)索賠率在50%以上。也就是說，10個(gè)淘寶用戶購買運(yùn)費(fèi)險(xiǎn)，5個(gè)以上將會(huì)退換貨，該保險(xiǎn)公司需要賠付，該產(chǎn)品對這家保險(xiǎn)公司帶來的利潤只有5%左右，僅從保險(xiǎn)公司的角度，這個(gè)產(chǎn)品并不是很成功。但是該公司仍然堅(jiān)持在做，并且又有新的保險(xiǎn)公司“加盟”。其秘密在于，客戶購買運(yùn)費(fèi)險(xiǎn)后保險(xiǎn)公司就可以獲得該客戶的個(gè)人基本信息，包括手機(jī)號和銀行賬戶信息等，并能夠了解該客戶購買的產(chǎn)品信息，從而實(shí)現(xiàn)精準(zhǔn)推送。假設(shè)該客戶購買并退貨的是嬰兒奶粉尿不濕，那么保險(xiǎn)公司就可以估計(jì)該客戶家里有小孩，可以向其推薦關(guān)于兒童疾病險(xiǎn)、教育險(xiǎn)等相關(guān)產(chǎn)品，這比5%的利潤更有吸引力。利用數(shù)據(jù)來分析客戶的購