1、數據分析與可視化概述2022/8/20第1頁，共46頁。1認識常用的數據可視化工具目錄認識數據分析2認識Power BI3第2頁，共46頁。廣義數據分析：指依據一定的目標，通過統計分析、聚類、分類等方法發現大量數據中的目標隱含信息的過程。廣義數據分析包括狹義數據分析和數據挖掘。掌握數據分析的概念第3頁，共46頁。狹義的數據分析：指根據分析目的，采用對比分析、結構分析、相關分析和描述性分析等分析方法，對收集的數據進行處理與分析，提取有價值的信息，發現數據中隱藏的關系，最終得到一個特征統計量結果的過程。數據挖掘：是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，通過應用聚類模型、分類模

2、型、預測模型和關聯規則等技術，挖掘潛在價值的過程。掌握數據分析的概念第4頁，共46頁。掌握數據分析的概念第5頁，共46頁。掌握狹義數據分析的流程第6頁，共46頁。需求分析一詞來源于產品設計，主要是指從用戶提出的需求出發，挖掘用戶內心的真實意圖，并轉化為產品需求的過程。產品設計的第一步就是需求分析，也是最關鍵的一步，因為需求分析決定了產品方向，錯誤的需求分析可能導致在產品實現過程中走入錯誤方向，甚至對企業造成損失。需求分析也是數據分析環節的第一步，也是非常重要的一步，決定了后續的分析方向和方法。數據分析中的需求分析的主要內容是，根據業務、生產和財務等部門的需要，結合現有的數據情況，提出數據分析需

3、求的整體分析方向、分析內容，最終和需求方達成一致意見。掌握狹義數據分析的流程1. 需求分析第7頁，共46頁。數據獲取是數據分析工作的基礎，是指根據數據分析的需求獲取相關原始數據的過程。數據獲取主要有兩種途徑：直接來源與間接來源。 直接來源通常指來源于本人或者第一方獲取的第一手數據，包括但不限于業務記錄、調查結果和實驗結果等等。 間接來源指來源于他人獲取的第二手數據，基于別人的調查或實驗的結果，通常由一些權威的公司或政府部門提供。數據可能由不同種類的載體提供，包括Excel文件，Web數據和數據庫等。在數據分析過程中，具體使用哪種數據獲取方式，依據需求分析的結果而定。掌握狹義數據分析的流程2.

4、數據獲取第8頁，共46頁。數據預處理是指對數據進行數據集成、數據清洗、數據變換和數據歸約，并用于分析建模這一過程的總稱。數據集成可以將多張互相關聯的數據合并為一張。數據清洗用于修整數據中包含的不完整數據、含噪聲數據和不一致數據。數據變換則可以通過規范化、逆透視列等技術處理數據，將數據轉換成適合于分析的形式。數據規約通過字段規約、數據提取與數據泛化，在盡可能保持數據原貌的前提下，最大限度地精簡數據 量，滿足后續數據可視化與建模的數據要求。在數據分析的過程中，數據預處理的各個過程互相交叉，并沒有明確的先后順序。掌握狹義數據分析的流程3. 數據預處理第9頁，共46頁。數據建模是指建立數據間的邏輯關系

5、和進行數據操作的過程。數據建模通過建立表間關系處理多個數據表的鏈接關系。建模中的數據通常存儲在表、列與度量值中。其中，新產生的“計算列”與“計算表”為直接引用其它列數據或其它表數據的運算結果，而度量值則是存放在一定的篩選條件下對數據源進行聚合運算結果的單個數據。掌握狹義數據分析的流程4. 數據建模第10頁，共46頁。數據建模中排序將數據按照期望的順序進行排列，能夠在后續的可視化步驟中更好的展示數據關于序列的變化規律。而分組則能將數據進行分段切割，用于展示數據不同間隔間的差異。掌握狹義數據分析的流程4. 數據建模第11頁，共46頁。數據可視化定義：通過圖表直觀的展示數據間的量級關系，其目的是將抽

6、象信息化為具體的圖形，將隱藏于數據中的規律直觀地展現出來。通過數據可視化可進行的分析包含對比分析、結構分析、相關性分析、描述性分析等。常用的類型：條形圖、柱形圖、散點圖、折線圖、餅圖、環形圖、瀑布圖、漏斗圖、地圖等。需要選擇合適的圖表進行可視化展示。掌握狹義數據分析的流程5. 數據可視化第12頁，共46頁。部署是指將數據分析結果與結論應用至實際生產系統的過程。根據需求的不同，部署階段可以是一份包含了現狀具體情況的數據分析報表，也可以是將分析模型部署在整個生產系統。在多數項目中，數據分析師提供的是一份數據分析報告或者一套解決方案，實際執行與部署的是需求方。掌握狹義數據分析的流程6. 數據部署第1

7、3頁，共46頁。客戶分析主要是根據客戶的基本數據信息進行商業行為分析。步驟如下：首先界定目標客戶，根據客戶的需求、目標客戶的性質、所處行業的特征以及客戶的經濟狀況等基本信息，使用統計分析方法和預測驗證法分析目標客戶，提高銷售效率。其次了解客戶的采購過程，根據客戶采購類型、采購性質進行分類分析，制定不同的營銷策略。了解數據分析應用場景1. 客戶分析（Customer Analytics）第14頁，共46頁。最后還可以根據已有的客戶特征進行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益率分析。通過有效的客戶分析能夠掌握客戶具體行為特征，將客戶細分，使得運營策略達到最優，提升企業

8、整體效益等。了解數據分析應用場景1. 客戶分析（Customer Analytics）第15頁，共46頁。囊括產品分析、價格分析、渠道分析、廣告與促銷分析這4類分析。產品分析主要是競爭產品分析，通過對競爭產品的分析制定自身產品策略。價格分析又可以分為成本分析和售價分析。成本分析的目的是降低不必要成本。售價分析的目的是制定符合市場的價格。渠道分析是指對產品的銷售渠道進行分析，確定最優的渠道配比。廣告與促銷分析則能夠結合客戶分析，實現銷量的提升、利潤的增加。了解數據分析應用場景2. 營銷分析（Sales and Marketing Analytics）第16頁，共46頁。社交媒體分析是以不同的社交

9、媒體渠道生成的內容為基礎，實現不同社交媒體的用戶分析、訪問分析和互動分析等。用戶分析主要根據用戶注冊信息、登錄平臺的時間點和平時發表的內容等用戶數據，分析用戶個人畫像和行為特征；訪問分析則是通過用戶平時訪問的內容分析用戶的興趣愛好，進而分析潛在的商業價值；互動分析根據互相關注對象的行為預測該對象未來的某些行為特征。同時，社交媒體分析還能為情感和輿情監督提供豐富的資料。了解數據分析應用場景3. 社交媒體分析（Social Media Analytics）第17頁，共46頁。大規模網絡安全事件（例如，2017年5月席卷全球的WannaCry病毒）的發生，讓企業意識到網絡攻擊發生時預先快速識別的重要

10、性。傳統的網絡安全主要依靠靜態防御，處理病毒的主要流程是發現威脅、分析威脅和處理威脅，往往在威脅發生以后才能做出反應。新型的病毒防御系統可使用數據分析技術，建立潛在攻擊識別分析模型，監測大量網絡活動數據和相應的訪問行為，識別可能進行入侵的可疑模式，做到未雨綢繆。了解數據分析應用場景4. 網絡安全（Cyber Security）第18頁，共46頁。設備管理同樣是企業關注的重點。設備維修一般采用標準修理法、定期修理法和檢查后修理法等方法。標準修理法可能會造成設備過剩修理，修理費用高檢查后修理法解決了修理費用成本問題，但是修理前的準備工作繁多，設備的停歇時間過長。目前企業能夠通過物聯網技術收集和分析

11、設備上的數據流，包括連續用電、零部件溫度、環境濕度和污染物顆粒等無數潛在特征，建立設備管理模型，從而預測設備故障，合理安排預防性的維護，以確保設備正常作業，降低因設備故障帶來的安全風險。了解數據分析應用場景5. 設備管理（Plant and Facility Management）第19頁，共46頁。物流是物品從供應地向接收地的實體流動，是將運輸、儲存、裝卸搬運、包裝、流通加工、配送和信息處理等功能有機結合起來而實現用戶要求的過程。用戶可以通過業務系統和GPS定位系統獲得數據，使用數據構建交通狀況預測分析模型，有效預測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策

12、略。了解數據分析應用場景6. 交通物流分析（Transport and Logistics Analytics）第20頁，共46頁。身份信息泄露及盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機關、各大金融機構、電信部門可利用用戶基本信息、用戶交易信息和用戶通話短信信息等數據，識別可能發生的潛在欺詐交易，做到提前預防、未雨綢繆。以大型金融機構為例，通過分類預測對非法集資和洗錢的邏輯路徑進行分析，找到其行為特征。聚類分析方法可以分析相似價格的運動模式。例如對股票進行聚類，可能發現關聯交易及內幕交易的可疑信息。關聯分析可以監控多個用戶的關聯交易行為，為發現跨賬號協同的金融詐騙行為提供依據

13、。了解數據分析應用場景7. 欺詐行為檢測（Fraud Detection）第21頁，共46頁。1認識常用的數據可視化工具目錄認識數據分析2認識Power BI3第22頁，共46頁。數據可視化工具的特性特性操作簡單實時更新多種數據源多維度展現第23頁，共46頁。按照基于的語言大體可分為如下3類：數據可視化工具的分類無需編程語言的工具TableauFineReportPower BIRawInfogram等基于JavaScript實現的工具Chart.js、D3EChartsFusionCharts等基于其他語言實現的工具基于PHP的jpGraph基于Java的Processing基于Python

14、的NodeBox、R、Weka等。第24頁，共46頁。3Power BI2FineReport1Tableau常用的數據可視化工具第25頁，共46頁。Tableau是桌面系統中最簡單的商業智能工具之一，它不強迫用戶編寫自定義代碼，新的控制臺可由用戶自定義配置。Tableau的靈活易用讓業務人員能夠一同參與報表開發與數據分析進程，通過自助式可視化分析深入挖掘商業洞察與見解。常用的數據可視化工具Tableau第26頁，共46頁。Tableau的特點：常用的數據可視化工具Tableau1.極速高效2.簡單易用，學習成本低3.可連接多種數據源，輕松實現數據融合4.高效接口集成，具有良好可擴展性，提升數

15、據分析能力第27頁，共46頁。FineReport報表軟件是一款由純Java編寫的、集數據展示（報表）和數據錄入（表單）功能于一身的企業級web報表工具，它具有“專業、簡捷、靈活”的特點和無碼理念，僅需簡單的拖拽操作便可以設計復雜的報表，搭建數據決策分析系統。常用的數據可視化工具FineReport第28頁，共46頁。FineReport的特征：常用的數據可視化工具FineReport1.功能全面且專業2.設計報表簡單高效，學習成本低3.行業積累豐富第29頁，共46頁。Power BI是一套商業分析工具，用于在組織中提供見解。可連接數百個數據源、簡化數據準備并提供即時分析。生成美觀的報表并進行

16、發布，供組織在Web和移動設備上使用。每個人都可創建個性化儀表板，獲取針對其業務的全方位獨特見解。在企業內實現擴展，內置管理和安全性。常用的數據可視化工具Power BI第30頁，共46頁。Power BI的特征：常用的數據可視化工具Power BI1.在一個窗格中查看所有信息2.讓細節更生動3.將數據轉換為決策4.共享最新信息5.在網站上分享見解第31頁，共46頁。1認識常用的數據可視化工具目錄認識數據分析2認識Power BI3第32頁，共46頁。Power BI的下載第一步：進入Power BI官方網站，單擊“高級下載選項”后打開Power BI Desktop下載頁面。第33頁，共46

17、頁。Power BI的下載第二步：單擊“下載”按鈕，彈出“選擇您要下載的程序”對話框，根據自己的計算機系統選擇合適的安裝包。第34頁，共46頁。Power BI的下載第三步：單擊“Next”按鈕，選擇文件的保存路徑，這里選擇“下載”文件夾。第35頁，共46頁。Power BI的安裝第一步雙擊下載的“PBIDesktop_x64.mis”文件，彈出安裝向導對話框，單擊“下一步”按鈕。第二步跳轉至“軟件許可對話框”，勾選“我接受許可協議中的條款”復選框第三步彈出“目標文件夾”對話框，單擊“更改”按鈕，指定安裝位置，之后單擊“下一步”按鈕。第四步在彈出的“準備安裝對話框”中，默認勾選“創建桌面快捷鍵

18、”復選框，單擊“安裝”按鈕。第五步彈出“安裝完成對話框”，單擊“完成”按鈕，Power BI Desktop的安裝過程到此結束。第36頁，共46頁。Power BI Desktop界面第37頁，共46頁。Power BI Desktop界面頂部導航欄主要包括“文件”“開始”“視圖”“建模”等選項卡，用于數據可視化操作。報表畫布顯示工作內容的區域，創建可視化效果時，在畫布中會生成和顯示這些可視化效果。報表編輯器由“可視化”“篩選器”“字段”3個窗格組成。第38頁，共46頁。Power BI Desktop中有報表視圖、數據視圖和關系視圖3種。Power BI視圖第39頁，共46頁。報表視圖：可以創建任何數量的具有可視化內容的報表頁、可視化內容可以移動，也可以進行復制、粘貼、合并等操作。Power BI視圖第40頁，共46頁。數據視圖：顯示的數據是其加載到模型中的樣子，便于瀏覽、檢查和編輯Power BI Desktop模型中的數據。Power BI視圖功能區公式欄數據視圖圖標數據網格搜索字段列表第41頁，共46頁。關系視圖：顯示模型中的所有表、列與關系，尤其