大數據及在互聯(lián)網金融中的運用

2015/10/9大數據及在互聯(lián)網金融中的運用

1大數據與在互聯(lián)網金融中運用課件2什么是大數據？什么是大數據？3全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5年…每天會有2.88萬個小時的視頻上傳到Youtube，足夠一個人晝夜不息的觀看3.3年…每天發(fā)布5千萬條消息，假設10秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16年…每天淘寶上將產生6.3百萬筆訂單…每個月網民在微信上要花費7千億分鐘，被移動互聯(lián)網使用者發(fā)送和接收的數據高達1.3EB…Google上每天需要處理24PB的數據…什么是大數據全球每秒鐘發(fā)送2.9百萬封什么是大數據41Byte=8bit1KB=1024Bytes1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB1YB=1024ZB1BB=1024YB1NB=1024BB1DB=1024NB什么是大數據1Byte=8bit什么是大數據5什么是大數據什么是大數據6什么是大數據定義：

大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、并整理成為人類所能理解的信息在維克托.邁爾-舍恩伯格及肯尼斯.庫克耶編寫的《大數據時代》中，大數據是指不用隨機分析抽樣調查的方法，而采用對所有數據進行分析的方法。什么是大數據定義：71.Volume數據量2.

Variety多變性3.value價值性4.Velocity時效性結構化數據、半結構化數據和非結構化數據如今的數據類型早已不是單一的文本形式，訂單、日志、音頻…..，對能力提出了更高的要求沙里淘金，價值密度低以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數據僅僅只有一兩秒。數據的價值“提純”是目前亟待解決的難題實時獲取需要的信息大數據區(qū)分于傳統(tǒng)數據最顯著的特征。如今已是ZB時代，在如此海量的數據面前，處理數據的效率就是企業(yè)的生命什么是BigData數據量巨大全球在2010年正式進入ZB時代，IDC預計到2020年，全球將總共擁有35ZB的數據量大數據的特點1.Volume數據量2.Variety多變性38大數據的特性大數據的特性

更關注價值性

主要用于預測

數據量巨大

實時性要求高大數據的特性大數據更關注主要用數據量實時性9移動互聯(lián)網、社交網絡、電子商務等極大拓展了互聯(lián)網的邊界和應用范圍facebook社交網絡微博淘寶、ebay電子商務…手機、Apps移動互聯(lián)…大數據是如何產生的？移動互聯(lián)網、社交網絡、電子商務等極大拓展了互聯(lián)網的邊界和應用10大數據資源百度、阿里、騰訊為代表的互聯(lián)網公司。百度作為全球最大的中文搜索引擎，存儲數據重量近一千個PB,今年完成的云計算中心將能存貯超4000個PB數據量。阿里約有30萬臺服務器存儲近百PB，騰訊擁有的數據覆蓋多個領域，數據存儲量經壓縮處理后在100PB左右，且月增數據在10%左右。其他領域如殺毒軟件，電子地圖，影視娛樂類互聯(lián)網公司等。電信、金融、保險系統(tǒng)。大數據資源百度、阿里、騰訊為代表的互聯(lián)網公司。百度作為全球最11大數據技術=海量數據+分析建模+挖掘過程大數據技術是什么？大數據技術=海量數據+分析建模+挖掘過程大數據技術是什么？12數據技術思維

大數據技術數據技術思維大數據技術13數據技術思維

大數據技術

CRISP-DM(跨行業(yè)數據挖掘標準流程)是一種業(yè)界認可的用于指導大數據分析挖掘工作的方法。

CRISP-DM認為在大數據分析中存在一個大數據分析挖掘生命周期模型。在這個生命周期模型中存在著商業(yè)理解、數據理解、數據準備、建立模型、模型評估和結果部署這六個階段。

數據技術思維大數據技術CRISP-DM(跨14

大數據精準營銷此前，淘寶為解決買賣雙方退貨時的運費糾紛，引入某保險公司提供退貨運費險，經統(tǒng)計，淘寶用戶運費險索賠率在50%以上。也就是說，10個淘寶用戶購買運費險，5個以上將會退換貨，該保險公司需要賠付，該產品對這家保險公司帶來的利潤只有5%左右，僅從保險公司的角度，這個產品并不是很成功。但是該公司仍然堅持在做，并且又有新的保險公司“加盟”。其秘密在于，客戶購買運費險后保險公司就可以獲得該客戶的個人基本信息，包括手機號和銀行賬戶信息等，并能夠了解該客戶購買的產品信息，從而實現精準推送。假設該客戶購買并退貨的是嬰兒奶粉尿不濕，那么保險公司就可以估計該客戶家里有小孩，可以向其推薦關于兒童疾病險、教育險等相關產品，這比5%的利潤更有吸引力。利用數據來分析客戶的購買傾向，從而實現精準營銷，其實國外的電子商務網站早已運用自如，比如亞馬遜的推薦系統(tǒng)可以根據客戶瀏覽信息，找到產品的相關性，并快速做出推薦。大數據應用實例——精準營銷大數據精準營銷大數據應用實例——精準營銷15大數據應用實例——精準營銷

大數據應用實例——精準營銷16大數據應用實例——精準營銷

大數據應用實例——精準營銷17（一）大數據信用體系建設大數據技術的發(fā)展引發(fā)對互聯(lián)網金融的個人和企業(yè)身份認證和信用評估的變革，除了對評估對象靜態(tài)信息的分析外，更重要的是變化中的動態(tài)信息的分析挖掘，建立用戶的信用評分和增信模型。比如對企業(yè)，在供應鏈的各個環(huán)節(jié)、如訂單、庫存、下線、結算、付款等關鍵環(huán)節(jié)產生的數據進行清理建庫、分析挖掘，進而建立企業(yè)的信用等級模型和算法，并根據其信用等級、成長性、未來發(fā)展預測等給予不同的信用額度。對于個人用戶，除了他們注冊登記的實名制靜態(tài)信息外，他們在網絡上的購物、支付、投資、生活、公益等數據形成上百種場景的信息流，將這些靜態(tài)和動態(tài)數據結合起來，就能形成用戶的行為軌跡，通過交叉檢驗，對用戶的真實身份進行識別，進而建立信用打分模型和算法，對客戶進行分類，再提供針對性服務。互聯(lián)網信用體系建設對于信用風險的管理的變革有積極的意義。。大數據應用——信用風險管理（一）大數據信用體系建設大數據應用——信用風險管理18（二）以大數據解決信息不對稱的問題以阿里金融為例，其整合了電子商務過程中所形成的各種數據來進行信用分析，包括商戶的歷史交易數據、信用記錄、客戶評價等內部數據，以及納稅記錄、海關記錄等外部數據。這些數據比現實中發(fā)布的小微企業(yè)財務數據更加真實。阿里金融將所有這些信息進行量化，然后將數值輸入網絡行為評分模型，從而對小微客戶進行評級分層，同時還引入在線視頻資信調查模式，以及通過交叉檢驗技術輔以第三方驗證確認客戶信息的真實性，最終將客戶在電子商務網絡平臺上的行為數據映射為企業(yè)和個人的信用評價，決定是否可以對其放貸，以及貸款的金額和利率，解決了傳統(tǒng)金融行業(yè)對個人和小企業(yè)貸款存在的信息不對稱和流程復雜的問題，并實現了良好的風險管理。大數據應用——信用風險管理（二）以大數據解決信息不對稱的問題大數據應用——信用風險管19

阿里小貸放貸模型“水文模型”水文模型就是阿里小貸2013年著重搭建的重要數據模型之一，它參考了人們日常所熟悉的水文管理，將特定時間的水位值與歷史的水文數據以及周邊河道的數據進行比較，就可以對水位的變化情況作出判斷。將該模型應用到小微信貸中，一方面可以完善風險管理，在更詳盡數據基礎之上進行授信，減少特殊因素對授信判斷的影響；另一方面可以通過模型進行預判，包括對小微企業(yè)自身經營的走向，以及小微企業(yè)資金需求的節(jié)點和量的判斷。阿里小貸有超過上百個數據模型，覆蓋貸前、貸中、貸后管理，反欺詐、市場分析、信用體系、創(chuàng)新研究等板塊。其決策系統(tǒng)每天處理的數據量達10TB。數據分析用于向公司的管理決策層提供科學客觀的分析結果及建議，并對業(yè)務流程提出優(yōu)化改進方案。大數據應用——信用風險管理阿里小貸放貸模型“水文模型”大數據應用——信用風險管理20

2008年美國，基于大數據估計出來的個人房屋按揭信用模型并沒有幫助防范席卷全球的金融危機。這是為什么呢？大數據應用——大數據局限性2008年美國，基于大數據估計出來的個人房屋按揭信用模21

1.任何基于歷史數據的預測模型，都假設在相同條件下，人們會做出相同的行為選擇，這通常是正確的。但在模型中沒有被捕獲的變量（即所謂潛在變量），有可能在某時某地發(fā)生改變，從而改變人們的行為。這種影響是很難單獨被傳統(tǒng)數據抓獲。而大數據的技術還也不可能產生一個系統(tǒng)地展現方式。當大數據中缺乏類似環(huán)境時，這種模式的變化就不甚明了。2.預測不僅需要模型，也需要輸入，比如假設：未來的利率如何變化，房價增長率如何？但是在很多時候，沒有一個好辦法來事先判斷假設的合理性。基于歷史的數據，以及缺乏市場風險的傳導機制的理解使得對假設的合理性缺乏判斷。

大數據應用——大數據局限性1.任何基于歷史數據的預測模型，都假設在相同條件下，人22

1.任何基于歷史數據的預測模型，都假設在相同條件下，人們會做出相同的行為選擇，這通常是正確的。但在模型中沒有被捕獲的變量（即所謂潛在變量），有可能在某時某地發(fā)生改變，從而改變人們的行為。這種影響是很難單獨被傳統(tǒng)數據抓獲。而大數