1、數(shù)據(jù)分析與可視化概述2022/8/20第1頁，共46頁。1認識常用的數(shù)據(jù)可視化工具目錄認識數(shù)據(jù)分析2認識Power BI3第2頁，共46頁。廣義數(shù)據(jù)分析：指依據(jù)一定的目標，通過統(tǒng)計分析、聚類、分類等方法發(fā)現(xiàn)大量數(shù)據(jù)中的目標隱含信息的過程。廣義數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。掌握數(shù)據(jù)分析的概念第3頁，共46頁。狹義的數(shù)據(jù)分析：指根據(jù)分析目的，采用對比分析、結(jié)構(gòu)分析、相關(guān)分析和描述性分析等分析方法，對收集的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)現(xiàn)數(shù)據(jù)中隱藏的關(guān)系，最終得到一個特征統(tǒng)計量結(jié)果的過程。數(shù)據(jù)挖掘：是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類模型、分類模

2、型、預(yù)測模型和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價值的過程。掌握數(shù)據(jù)分析的概念第4頁，共46頁。掌握數(shù)據(jù)分析的概念第5頁，共46頁。掌握狹義數(shù)據(jù)分析的流程第6頁，共46頁。需求分析一詞來源于產(chǎn)品設(shè)計，主要是指從用戶提出的需求出發(fā)，挖掘用戶內(nèi)心的真實意圖，并轉(zhuǎn)化為產(chǎn)品需求的過程。產(chǎn)品設(shè)計的第一步就是需求分析，也是最關(guān)鍵的一步，因為需求分析決定了產(chǎn)品方向，錯誤的需求分析可能導(dǎo)致在產(chǎn)品實現(xiàn)過程中走入錯誤方向，甚至對企業(yè)造成損失。需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步，也是非常重要的一步，決定了后續(xù)的分析方向和方法。數(shù)據(jù)分析中的需求分析的主要內(nèi)容是，根據(jù)業(yè)務(wù)、生產(chǎn)和財務(wù)等部門的需要，結(jié)合現(xiàn)有的數(shù)據(jù)情況，提出數(shù)據(jù)分析需

3、求的整體分析方向、分析內(nèi)容，最終和需求方達成一致意見。掌握狹義數(shù)據(jù)分析的流程1. 需求分析第7頁，共46頁。數(shù)據(jù)獲取是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)數(shù)據(jù)分析的需求獲取相關(guān)原始數(shù)據(jù)的過程。數(shù)據(jù)獲取主要有兩種途徑：直接來源與間接來源。 直接來源通常指來源于本人或者第一方獲取的第一手數(shù)據(jù)，包括但不限于業(yè)務(wù)記錄、調(diào)查結(jié)果和實驗結(jié)果等等。 間接來源指來源于他人獲取的第二手數(shù)據(jù)，基于別人的調(diào)查或?qū)嶒灥慕Y(jié)果，通常由一些權(quán)威的公司或政府部門提供。數(shù)據(jù)可能由不同種類的載體提供，包括Excel文件，Web數(shù)據(jù)和數(shù)據(jù)庫等。在數(shù)據(jù)分析過程中，具體使用哪種數(shù)據(jù)獲取方式，依據(jù)需求分析的結(jié)果而定。掌握狹義數(shù)據(jù)分析的流程2.

4、數(shù)據(jù)獲取第8頁，共46頁。數(shù)據(jù)預(yù)處理是指對數(shù)據(jù)進行數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)變換和數(shù)據(jù)歸約，并用于分析建模這一過程的總稱。數(shù)據(jù)集成可以將多張互相關(guān)聯(lián)的數(shù)據(jù)合并為一張。數(shù)據(jù)清洗用于修整數(shù)據(jù)中包含的不完整數(shù)據(jù)、含噪聲數(shù)據(jù)和不一致數(shù)據(jù)。數(shù)據(jù)變換則可以通過規(guī)范化、逆透視列等技術(shù)處理數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換成適合于分析的形式。數(shù)據(jù)規(guī)約通過字段規(guī)約、數(shù)據(jù)提取與數(shù)據(jù)泛化，在盡可能保持數(shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù) 量，滿足后續(xù)數(shù)據(jù)可視化與建模的數(shù)據(jù)要求。在數(shù)據(jù)分析的過程中，數(shù)據(jù)預(yù)處理的各個過程互相交叉，并沒有明確的先后順序。掌握狹義數(shù)據(jù)分析的流程3. 數(shù)據(jù)預(yù)處理第9頁，共46頁。數(shù)據(jù)建模是指建立數(shù)據(jù)間的邏輯關(guān)系

5、和進行數(shù)據(jù)操作的過程。數(shù)據(jù)建模通過建立表間關(guān)系處理多個數(shù)據(jù)表的鏈接關(guān)系。建模中的數(shù)據(jù)通常存儲在表、列與度量值中。其中，新產(chǎn)生的“計算列”與“計算表”為直接引用其它列數(shù)據(jù)或其它表數(shù)據(jù)的運算結(jié)果，而度量值則是存放在一定的篩選條件下對數(shù)據(jù)源進行聚合運算結(jié)果的單個數(shù)據(jù)。掌握狹義數(shù)據(jù)分析的流程4. 數(shù)據(jù)建模第10頁，共46頁。數(shù)據(jù)建模中排序?qū)?shù)據(jù)按照期望的順序進行排列，能夠在后續(xù)的可視化步驟中更好的展示數(shù)據(jù)關(guān)于序列的變化規(guī)律。而分組則能將數(shù)據(jù)進行分段切割，用于展示數(shù)據(jù)不同間隔間的差異。掌握狹義數(shù)據(jù)分析的流程4. 數(shù)據(jù)建模第11頁，共46頁。數(shù)據(jù)可視化定義：通過圖表直觀的展示數(shù)據(jù)間的量級關(guān)系，其目的是將抽

6、象信息化為具體的圖形，將隱藏于數(shù)據(jù)中的規(guī)律直觀地展現(xiàn)出來。通過數(shù)據(jù)可視化可進行的分析包含對比分析、結(jié)構(gòu)分析、相關(guān)性分析、描述性分析等。常用的類型：條形圖、柱形圖、散點圖、折線圖、餅圖、環(huán)形圖、瀑布圖、漏斗圖、地圖等。需要選擇合適的圖表進行可視化展示。掌握狹義數(shù)據(jù)分析的流程5. 數(shù)據(jù)可視化第12頁，共46頁。部署是指將數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實際生產(chǎn)系統(tǒng)的過程。根據(jù)需求的不同，部署階段可以是一份包含了現(xiàn)狀具體情況的數(shù)據(jù)分析報表，也可以是將分析模型部署在整個生產(chǎn)系統(tǒng)。在多數(shù)項目中，數(shù)據(jù)分析師提供的是一份數(shù)據(jù)分析報告或者一套解決方案，實際執(zhí)行與部署的是需求方。掌握狹義數(shù)據(jù)分析的流程6. 數(shù)據(jù)部署第1

7、3頁，共46頁。客戶分析主要是根據(jù)客戶的基本數(shù)據(jù)信息進行商業(yè)行為分析。步驟如下：首先界定目標客戶，根據(jù)客戶的需求、目標客戶的性質(zhì)、所處行業(yè)的特征以及客戶的經(jīng)濟狀況等基本信息，使用統(tǒng)計分析方法和預(yù)測驗證法分析目標客戶，提高銷售效率。其次了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進行分類分析，制定不同的營銷策略。了解數(shù)據(jù)分析應(yīng)用場景1. 客戶分析（Customer Analytics）第14頁，共46頁。最后還可以根據(jù)已有的客戶特征進行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益率分析。通過有效的客戶分析能夠掌握客戶具體行為特征，將客戶細分，使得運營策略達到最優(yōu)，提升企業(yè)

8、整體效益等。了解數(shù)據(jù)分析應(yīng)用場景1. 客戶分析（Customer Analytics）第15頁，共46頁。囊括產(chǎn)品分析、價格分析、渠道分析、廣告與促銷分析這4類分析。產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。價格分析又可以分為成本分析和售價分析。成本分析的目的是降低不必要成本。售價分析的目的是制定符合市場的價格。渠道分析是指對產(chǎn)品的銷售渠道進行分析，確定最優(yōu)的渠道配比。廣告與促銷分析則能夠結(jié)合客戶分析，實現(xiàn)銷量的提升、利潤的增加。了解數(shù)據(jù)分析應(yīng)用場景2. 營銷分析（Sales and Marketing Analytics）第16頁，共46頁。社交媒體分析是以不同的社交

9、媒體渠道生成的內(nèi)容為基礎(chǔ)，實現(xiàn)不同社交媒體的用戶分析、訪問分析和互動分析等。用戶分析主要根據(jù)用戶注冊信息、登錄平臺的時間點和平時發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個人畫像和行為特征；訪問分析則是通過用戶平時訪問的內(nèi)容分析用戶的興趣愛好，進而分析潛在的商業(yè)價值；互動分析根據(jù)互相關(guān)注對象的行為預(yù)測該對象未來的某些行為特征。同時，社交媒體分析還能為情感和輿情監(jiān)督提供豐富的資料。了解數(shù)據(jù)分析應(yīng)用場景3. 社交媒體分析（Social Media Analytics）第17頁，共46頁。大規(guī)模網(wǎng)絡(luò)安全事件（例如，2017年5月席卷全球的WannaCry病毒）的發(fā)生，讓企業(yè)意識到網(wǎng)絡(luò)攻擊發(fā)生時預(yù)先快速識別的重要

10、性。傳統(tǒng)的網(wǎng)絡(luò)安全主要依靠靜態(tài)防御，處理病毒的主要流程是發(fā)現(xiàn)威脅、分析威脅和處理威脅，往往在威脅發(fā)生以后才能做出反應(yīng)。新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識別分析模型，監(jiān)測大量網(wǎng)絡(luò)活動數(shù)據(jù)和相應(yīng)的訪問行為，識別可能進行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景4. 網(wǎng)絡(luò)安全（Cyber Security）第18頁，共46頁。設(shè)備管理同樣是企業(yè)關(guān)注的重點。設(shè)備維修一般采用標準修理法、定期修理法和檢查后修理法等方法。標準修理法可能會造成設(shè)備過剩修理，修理費用高檢查后修理法解決了修理費用成本問題，但是修理前的準備工作繁多，設(shè)備的停歇時間過長。目前企業(yè)能夠通過物聯(lián)網(wǎng)技術(shù)收集和分析

11、設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測設(shè)備故障，合理安排預(yù)防性的維護，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風(fēng)險。了解數(shù)據(jù)分析應(yīng)用場景5. 設(shè)備管理（Plant and Facility Management）第19頁，共46頁。物流是物品從供應(yīng)地向接收地的實體流動，是將運輸、儲存、裝卸搬運、包裝、流通加工、配送和信息處理等功能有機結(jié)合起來而實現(xiàn)用戶要求的過程。用戶可以通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測分析模型，有效預(yù)測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策

12、略。了解數(shù)據(jù)分析應(yīng)用場景6. 交通物流分析（Transport and Logistics Analytics）第20頁，共46頁。身份信息泄露及盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機關(guān)、各大金融機構(gòu)、電信部門可利用用戶基本信息、用戶交易信息和用戶通話短信信息等數(shù)據(jù)，識別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防、未雨綢繆。以大型金融機構(gòu)為例，通過分類預(yù)測對非法集資和洗錢的邏輯路徑進行分析，找到其行為特征。聚類分析方法可以分析相似價格的運動模式。例如對股票進行聚類，可能發(fā)現(xiàn)關(guān)聯(lián)交易及內(nèi)幕交易的可疑信息。關(guān)聯(lián)分析可以監(jiān)控多個用戶的關(guān)聯(lián)交易行為，為發(fā)現(xiàn)跨賬號協(xié)同的金融詐騙行為提供依據(jù)

13、。了解數(shù)據(jù)分析應(yīng)用場景7. 欺詐行為檢測（Fraud Detection）第21頁，共46頁。1認識常用的數(shù)據(jù)可視化工具目錄認識數(shù)據(jù)分析2認識Power BI3第22頁，共46頁。數(shù)據(jù)可視化工具的特性特性操作簡單實時更新多種數(shù)據(jù)源多維度展現(xiàn)第23頁，共46頁。按照基于的語言大體可分為如下3類：數(shù)據(jù)可視化工具的分類無需編程語言的工具TableauFineReportPower BIRawInfogram等基于JavaScript實現(xiàn)的工具Chart.js、D3EChartsFusionCharts等基于其他語言實現(xiàn)的工具基于PHP的jpGraph基于Java的Processing基于Python

14、的NodeBox、R、Weka等。第24頁，共46頁。3Power BI2FineReport1Tableau常用的數(shù)據(jù)可視化工具第25頁，共46頁。Tableau是桌面系統(tǒng)中最簡單的商業(yè)智能工具之一，它不強迫用戶編寫自定義代碼，新的控制臺可由用戶自定義配置。Tableau的靈活易用讓業(yè)務(wù)人員能夠一同參與報表開發(fā)與數(shù)據(jù)分析進程，通過自助式可視化分析深入挖掘商業(yè)洞察與見解。常用的數(shù)據(jù)可視化工具Tableau第26頁，共46頁。Tableau的特點：常用的數(shù)據(jù)可視化工具Tableau1.極速高效2.簡單易用，學(xué)習(xí)成本低3.可連接多種數(shù)據(jù)源，輕松實現(xiàn)數(shù)據(jù)融合4.高效接口集成，具有良好可擴展性，提升數(shù)

15、據(jù)分析能力第27頁，共46頁。FineReport報表軟件是一款由純Java編寫的、集數(shù)據(jù)展示（報表）和數(shù)據(jù)錄入（表單）功能于一身的企業(yè)級web報表工具，它具有“專業(yè)、簡捷、靈活”的特點和無碼理念，僅需簡單的拖拽操作便可以設(shè)計復(fù)雜的報表，搭建數(shù)據(jù)決策分析系統(tǒng)。常用的數(shù)據(jù)可視化工具FineReport第28頁，共46頁。FineReport的特征：常用的數(shù)據(jù)可視化工具FineReport1.功能全面且專業(yè)2.設(shè)計報表簡單高效，學(xué)習(xí)成本低3.行業(yè)積累豐富第29頁，共46頁。Power BI是一套商業(yè)分析工具，用于在組織中提供見解。可連接數(shù)百個數(shù)據(jù)源、簡化數(shù)據(jù)準備并提供即時分析。生成美觀的報表并進行

16、發(fā)布，供組織在Web和移動設(shè)備上使用。每個人都可創(chuàng)建個性化儀表板，獲取針對其業(yè)務(wù)的全方位獨特見解。在企業(yè)內(nèi)實現(xiàn)擴展，內(nèi)置管理和安全性。常用的數(shù)據(jù)可視化工具Power BI第30頁，共46頁。Power BI的特征：常用的數(shù)據(jù)可視化工具Power BI1.在一個窗格中查看所有信息2.讓細節(jié)更生動3.將數(shù)據(jù)轉(zhuǎn)換為決策4.共享最新信息5.在網(wǎng)站上分享見解第31頁，共46頁。1認識常用的數(shù)據(jù)可視化工具目錄認識數(shù)據(jù)分析2認識Power BI3第32頁，共46頁。Power BI的下載第一步：進入Power BI官方網(wǎng)站，單擊“高級下載選項”后打開Power BI Desktop下載頁面。第33頁，共46

17、頁。Power BI的下載第二步：單擊“下載”按鈕，彈出“選擇您要下載的程序”對話框，根據(jù)自己的計算機系統(tǒng)選擇合適的安裝包。第34頁，共46頁。Power BI的下載第三步：單擊“Next”按鈕，選擇文件的保存路徑，這里選擇“下載”文件夾。第35頁，共46頁。Power BI的安裝第一步雙擊下載的“PBIDesktop_x64.mis”文件，彈出安裝向?qū)υ捒颍瑔螕簟跋乱徊健卑粹o。第二步跳轉(zhuǎn)至“軟件許可對話框”，勾選“我接受許可協(xié)議中的條款”復(fù)選框第三步彈出“目標文件夾”對話框，單擊“更改”按鈕，指定安裝位置，之后單擊“下一步”按鈕。第四步在彈出的“準備安裝對話框”中，默認勾選“創(chuàng)建桌面快捷鍵

18、”復(fù)選框，單擊“安裝”按鈕。第五步彈出“安裝完成對話框”，單擊“完成”按鈕，Power BI Desktop的安裝過程到此結(jié)束。第36頁，共46頁。Power BI Desktop界面第37頁，共46頁。Power BI Desktop界面頂部導(dǎo)航欄主要包括“文件”“開始”“視圖”“建模”等選項卡，用于數(shù)據(jù)可視化操作。報表畫布顯示工作內(nèi)容的區(qū)域，創(chuàng)建可視化效果時，在畫布中會生成和顯示這些可視化效果。報表編輯器由“可視化”“篩選器”“字段”3個窗格組成。第38頁，共46頁。Power BI Desktop中有報表視圖、數(shù)據(jù)視圖和關(guān)系視圖3種。Power BI視圖第39頁，共46頁。報表視圖：可以創(chuàng)建任何數(shù)量的具有可視化內(nèi)容的報表頁、可視化內(nèi)容可以移動，也可以進行復(fù)制、粘貼、合并等操作。Power BI視圖第40頁，共46頁。數(shù)據(jù)視圖：顯示的數(shù)據(jù)是其加載到模型中的樣子，便于瀏覽、檢查和編輯Power BI Desktop模型中的數(shù)據(jù)。Power BI視圖功能區(qū)公式欄數(shù)據(jù)視圖圖標數(shù)據(jù)網(wǎng)格搜索字段列表第41頁，共46頁。關(guān)系視圖：顯示模型中的所有表、列與關(guān)系，尤其