《大數據導論》數據集與數據分析一、導入一、導入數據的關聯(lián)對比產生智慧

二、數據集與數據分析數據集：一組或者一個集合的相關聯(lián)的數據。數據集中的每一個成員數據，都應與數據集中的其他成員擁有相同的特征或者屬性。（1）存儲在一個文本文件中的推文（2）一個文件夾中的圖像文件（3）存儲在一個CSⅤ格式文件中的從數據庫中提取出來的行數據（4）存儲在一個XML文件中的歷史氣象觀測數據例如：XML數據、關系型數據和圖像數據就是三種不同數據格式的數據集。數據分析：通過處理數據，從數據中發(fā)現(xiàn)一些深層知識、模式、關系或是趨勢的過程。數據分析的總體目標是做出更好的決策。如：通過分析冰淇淋的銷售額數據，發(fā)現(xiàn)一天中冰淇淋甜筒的銷量與當天氣溫的關系。二、數據集與數據分析不同的行業(yè)會以不同的方式使用大數據分析工具和技術。（1）在商業(yè)組織中，利用大數據的分析結果能降低運營開銷，還有助于優(yōu)化決策。（2）在科研領域，大數據分析能夠確認一個現(xiàn)象的起因，提出更為精確的預測。（3）在服務業(yè)領域，大數據分析有助于人們以更低的開銷提供更好的服務。二、數據集與數據分析從描述性分析到規(guī)范性分析，價值和復雜性都在不斷提升二、數據集與數據分析1.描述性分析——往往是對已經發(fā)生的事件進行問答和總結。這種形式的分析需要將數據置于生成信息的上下文中考慮。如：（1）過去12個月的銷售量如何？（2）根據事件嚴重程度和地理位置分類，收到的求助電話的數量如何？（3）每一位銷售經理的月銷售額是多少？二、數據集與數據分析進行描述性分析常常借助OLTP、CRM、ERP等信息系統(tǒng)經過描述性分析工具的處理生成的即席報表或者數據儀表板（dashboard）。報表常常是靜態(tài)的，并且是以數據表格或圖表形式呈現(xiàn)的歷史數據。查詢處理往往基于企業(yè)內部存儲的可操作數據，例如客戶關系管理系統(tǒng)（CRM）或者企業(yè)資源規(guī)劃系統(tǒng)（ERP）。二、數據集與數據分析2.診斷性分析——旨在尋求一個已經發(fā)生的事件的發(fā)生原因。這類分析的目標是通過獲取一些與事件相關的信息來回答有關的問題，最后得出事件發(fā)生的原因。如：（1）為什么Q2商品比Q1賣得多？（2）為什么來自東部地區(qū)的求助電話比來自西部地區(qū)的要多？（3）為什么最近三個月內病人再入院的比率有所提升？二、數據集與數據分析診斷性分析比描述性分析提供了更加有價值的信息，但同時也要求更加高級的訓練集。診斷性分析常常需要從不同的信息源搜集數據，并將它們以一種易于進行分析的結構加以保存。而診斷性分析的結果可以由交互式可視化界面顯示，讓用戶能夠清晰地了解模式與趨勢。診斷性分析是基于分析處理系統(tǒng)中的多維數據進行的，而且，與描述性分析相比，它的查詢處理更加復雜。二、數據集與數據分析3.預測性分析——常在需要預測一個事件的結果時使用。通過預測性分析，信息將得到增值，這種增值主要表現(xiàn)在信息之間是如何相關的。這種相關性的強度和重要性構成了基于過去事件對未來進行預測的模型的基礎。這些用于預測性分析的模型與過去已經發(fā)生的事件的潛在條件是隱式相關的，如果這些潛在的條件改變了，那么用于預測性分析的模型也需要進行更新。二、數據集與數據分析預測性分析提出的問題常常以假設的形式出現(xiàn)，如：（1）如果消費者錯過了一個月的還款，那么他們無力償還貸款的幾率有多大？（2）如果以藥品B來代替藥品A的使用，那么這個病人生存的幾率有多大？（3）如果一個消費者購買了商品A和商品B，那么他購買商品C的概率有多大？

預測性分析嘗試著預測事件的結果，而預測則基于模式、趨勢以及來自于歷史數據和當前數據的期望。目的是分辨風險與機遇。二、數據集與數據分析二、數據集與數據分析預測性分析能夠提供用戶友好型的前端接口4.規(guī)范性分析——建立在預測性分析的結果之上，用來規(guī)范需要執(zhí)行的行動。其注重的不僅是哪項操作最佳，還包括了其原因。換言之，規(guī)范性分析提供了經得起質詢的結果，因為它們嵌入了情境理解的元素。因此，這種分析常常用來建立優(yōu)勢或者降低風險。如：（1）這三種藥品中，哪一種能提供最好的療效？（2）何時才是拋售一只股票的最佳時機？二、數據集與數據分析規(guī)范性分析比其他三種分析的價值都高，同時還要求最高級的訓練集，甚至是專門的分析軟件和工具。這種分析能將內部數據與外部數據結合起來。內部數據可能包括當前和過去的銷售數據、消費者信息、產品數據和商業(yè)規(guī)則。外部數據可能包括社會媒體數據、天氣情況、政府公文等等。二、數據集與數據分析

規(guī)范性分析通過引入商業(yè)規(guī)則、內部數據以及外部數據來進行深入徹底的分析。補充：關鍵績效指標（KPI）關鍵績效指標（KPI）是一種用來衡量一次業(yè)務過程是否成功的度量標準。它與企業(yè)整體的戰(zhàn)略目標和任務相聯(lián)系。同時，它常常用來識別經營業(yè)績中的一些問題，以及闡