項目一

數據分析認知數據分析基本內容認知任務1.1Python開發環境的搭建任務1.2目錄引入案例任務分析知識解析案例解析任務實訓實訓評價1.1.1數據分析概述1.1.2數據分析方法任務1.1數據分析基本內容認知任務1.1數據分析基本內容認知引入案例今天，數據已滲透到每個行業和業務領域，并已成為重要的生產要素。隨著新一輪的生產力增長和消費者盈余浪潮的到來，海量數據的挖掘和使用預示著“大數據”已經存在于我們生活的方方面面。通過本節任務的學習，請大家列舉一些大家日常生活中遇到的大數據分析應用的場景。任務分析當前，越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量、速度、多樣性等等都呈現出不斷增長的復雜性。因此，大數據分析方法在這一領域也就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基于此，我們要了解數據分析的含義，理解數據分析的流程，了解數據分析的應用場景及數據分析常見的統計方法。任務1.1數據分析基本內容認知知識解析數據分析是指為了提取有用的信息和形成結論而對數據加以詳細研究和概括總結的過程。數據分析涵蓋的內容很廣，涉及領域包括數學、統計學、計算機科學以及數據科學等。一般來說，數據分析分為狹義的數據分析和廣義的數據分析。

狹義的數據分析更側重傳統的統計分析領域，可以進一步分為描述性數據分析、探索性數據分析以及驗證性數據分析。一、數據分析的概念1.1.1數據分析概述任務1.1數據分析基本內容認知廣義數據分析除了狹義數據分析外，還包含數據挖掘。數據挖掘是指從大量的、不完全的、有噪聲的、模糊的數據中抽取隱含的、以前未知的、具有潛在應用價值的信息的過程,并為管理決策提供支持。任務1.1數據分析基本內容認知二、數據分析的流程需求分析數據采集數據預處理數據可視化分析與建模部署應用1.需求分析數據分析的本質要求是滿足分析需求，如果沒有確定分析需求，將會導致分析無法落地。因此，需要相應的背景知識幫助明晰分析目標，確定用戶需求。2.數據采集根據確定的分析目標，采集相關數據。在當前時代下，數據的種類、復雜性與來源都不斷增長，包括各種財會報表數據、銷售業務數據、證券價格數據、環境監測數據、醫療保健數據、政府公開的統計數據、期刊數據以及社會化媒體數據等。對來源豐富、種類多樣的數據，我們不僅需要從多個途徑進行采集，并且還需要對收集的格式多樣的數據進行處理與合并。數據收集的工具種類繁多，如各種關系數據庫、Python數據爬蟲工具、數據采集器軟件等。任務1.1數據分析基本內容認知3.數據預處理由于收集的數據的多樣與復雜，大數據的一個重要特質表現為數據的噪聲、不完整和不一致，采集的數據通常不能直接用于數據分析數。因此，對數據進行預處理是必不可少的步驟，數據預處理過程包括數據集成、數據清洗、數據變換以及數據規約等。數據預處理是一個煩瑣過程，花在數據預處理上的時間往往超過數據分析其他階段花費的時間。4.分析與建模結合目標分析對預處理后的數據進行建模。首先，我們對數據進行比較基礎的統計分析，了解數據的基本的規律與特征，常見的方法包括對比分析法、同比分析法、環比分析法、結構分析法、因素分析法等。在了解數據的基本的規律與特征后，我們再通過包括相關分析、聚類分析、回歸分析、分類分析、關聯分析以及各種機器學習算法對數據建立模型。5.數據可視化為了便于理解，對數據分析的結果通過圖形的方式進行呈現，這就是數據可化。將數據可視化，能夠提高人們閱讀數據分析結果的能力。目前，常見的數據可視化工具包括Python、R語言、MicrosoftPowerBI等。6.部署應用數據部署應用是指將數據分析結果應用到實際業務中，是數據產生實際價值的直接體現，這個過程需要具有數據溝通能力、業務推動能力和項目工作能力。任務1.1數據分析基本內容認知任務1.1數據分析基本內容認知三、大數據分析的應用場景1.大數據在財務領域的應用財務大數據在財務領域的應用場景有財務指標分析、應收賬款信用風險管理、銷售量與訂貨量預測、潛在流失客戶畫像等，大數據的應用有利于提高財務管理的效率與質量、強化財務風險的評估與防范、全方位支撐業務的高效開展和精準驅動企業的經營管理決策。2.大數據在金融行業的應用隨著大數據技術的廣泛普及和發展成熟，金融大數據應用已經成為行業熱點趨勢，在交易欺詐識別、精準營銷、黑產防范、消費信貸、信貸風險評估、供應鏈金融、股市行情預測、股價預測、騙保識別、風險定價等涉及銀行、證券、保險等多領域的具體業務中得到廣泛應用。對于大數據分析的應用能力，正在成為金融機構未來發展的核心競爭要素。3.大數據在醫療領域應用近年來，大數據解決方案與大數據分析工具開始被廣泛運用于醫療衛生領域。醫生對患者診療和治療過程中產生的數據，包括患者的基本數據、電子病歷、診療數據、醫學影像數據、醫學管理、經濟數據、醫療設備和儀器數據等。以患者為中心，成為醫療數據的主要來源。醫療大數據的主要用于以下方面：用藥分析、病因分析、移動醫療、基因組學、疾病預防、可穿戴醫療設備等。任務1.1數據分析基本內容認知4.大數據在交通物流領域的應用物流是物品從供應地向接收地的實體流動，是將運輸、儲存、裝卸搬運、包裝、流通加工、配送和信息處理等功能有機結合起來而實現用戶要求的過程。用戶可以通過業務系統和GPS定位系統獲得數據，使用數據構建交通狀況預測分析模型，有效預測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策略。5.大數據在教育教學管理方面應用校園數據分析對于提升教師能力也有重要的意義。以前的教學主要依靠教師的個人經驗和感覺，教師教學能力的學習曲線比較平緩，在教師教學能力提升過程中，教學質量難以得到保證。如果能夠對教學資源管理平臺中的學生學習數據進行分析，教師就可以得知學生的興趣點和難點,從而幫助教師有的放矢地把握教學重點、難點，提升教學效果。通過對不同老師教學方法和教學效果的橫向對比，也可以幫助老師吸取別人的優點，提高教學能力。同時,教學數據也可以為教學管理者提供全面、科學的教師評價依據。任務1.1數據分析基本內容認知大數據分析方法，從其技術實現層面可以分為統計分析類、高級分析類和數據挖掘類三種類型。1.1.2數據分析方法任務1.1數據分析基本內容認知案例分析隨著新一輪的生產力增長和消費者盈余浪潮的到來，海量數據的挖掘和使用，預示著“大數據”已經存在于我們生活的方方面面。下面列舉兩個發生在身邊的大數據技術應用的場景。1.購物推薦系統打開淘寶，首頁內容會給你推薦很多商品，這些商品有的是你曾經瀏覽過類似的物品，有些是你可能潛意識里想買的物品，于是你不斷刷著淘寶，不斷的點進去看，不斷地買買買。打開美團，首頁給你推薦了很多美食，單是火鍋，就有各種口味的、距離你最近的、最便宜的，再到其他的奶茶等等，于是你就不斷的查看挑選，最終選擇了最心儀的店鋪與美食。2.高德地圖APP高德地圖APP能夠播報實時交通路況，推薦避堵路線方案，用戶可在高德地圖APP中輸入起點與終點可以查詢公交地鐵換乘方案，智能計算到達目的地所需的時間，且可通過輸入公交路線號查詢實時公交位置。這些都離不開大數據技術。任務1.1數據分析基本內容認知任務實訓在學習本節內容后，請同學結合自己專業談談大數據在你的專業領域中如何運用的，可以從以下幾個方面切入，包括數據分析的應用場景、數據分析流程以及數據分析可能用到的方法等。任務評價評價類別評價內容分值得分綜合得分知識與技能評價（70%）能結合專業思考數據在本專業中可能的應用場景與數據分析的流程。50

內容是否具備一定的合理性。20

素質評價（30%）具有刻苦、勤奮、好問、獨立思考和細心檢查的學習習慣10

能與組員精誠合作，能正確面對成功或失敗10

具有一定的自學能力，分析問題、解決問題能力和創新能力10

任務1.1數據分析基本內容認知引入案例任務分析知識解析案例解析任務實訓實訓評價任務1.2

Python開發環境的搭建1.2.1常用數據分析工具1.2.2

Anaconda發行版的下載與安裝1.2.3

JupyterNotebook的使用1.2.4

Python數據分析常用庫簡介任務1.2

Python數據分析環境的搭建引入案例目前，許多財會、金融崗位招聘時都要求應聘者掌握Python技能，可以說Python是財務人前往大數據分析時代的通行證。那么，利用Python進行數據分析時，什么樣的開發環境對于財務人員易于上手？如何搭建呢？還要學習Python哪些常用庫呢？

任務分析了解財務數據分析常用工具的優缺點，學會Python數據分析環境Anaconda的下載與安裝，并掌握JupyterNotebook的常用功能。最后，大家需要了解在Python中進行數據分析的常用庫。任務1.2

Python開發環境的搭建知識解析常見的數據分析工具很多，根據應用場景、應用范圍，介紹三個常見數據分析工具，包括Excel、Stata與Python。Excel自帶有數據分析模塊，可以實現描述統計分析、抽樣分析、點估計、區間估計、假設檢驗、總體均值和比例的統計推斷、回歸和相關分析、方差分析與實驗設計等，滿足基本的數據分析要求。Stata是一款統計軟件，具有數據分析、數據管理和繪制專業圖表等強大功能。Stata以其簡單易懂和功能強大受到初學者和高級用戶的普遍歡迎。Python作為一種高級編程語言，已經成為人工智能、大數據、云計算和其他學科的基礎語言，也是目前被廣泛接受的一門面向對象的高級編程語言。任務1.2

Python開發環境的搭建1.2.1

常用數據分析工具任務1.2

Python開發環境的搭建1.2.2Anaconda發行版的下載與安裝Anaconda是一個免費開源的Python的發行版本，支持Linux、Mac、Windows系統，提供了包管理與環境管理的功能，可以很方便地解決多版本Python并存、切換以及各種第三方包安裝問題。Anaconda是一個基于Python的數據處理和科學計算平臺，內置了許多非常有用的第三方庫。安裝了Anaconda相當于安裝了包管理器conda、Python解釋器與眾多常用的功能強大的Python庫。登錄官網下載Anaconda軟件/STEP01一、Anaconda軟件的下載任務1.2

Python開發環境的搭建選擇合適產品點擊Products選項，在下拉選項中選擇AnacondaDistribution。STEP02根據電腦選中合適系統根據個人電腦系統，可以選擇Windows版本、Mac版本或Linux版本，以下載windows版本下的Anaconda為例。STEP03任務1.2

Python開發環境的搭建雙擊下載好的安裝文件開始安裝，然后點擊“Next”。STEP01出現是否同意安裝條款，點擊“IAgree”選項。STEP02二、在Windows系統中安裝Anaconda任務1.2

Python開發環境的搭建選擇“JustMe”（如果電腦有多個用戶選擇“AllUsers”），然后點擊“Next”STEP03設置Anaconda的安裝路徑，路徑名稱最好為全英文，隨后點擊“Next”選項。STEP04任務1.2

Python開發環境的搭建接下來的界面中勾選這兩個選項（AddAnaconda3tomyPATHenvitonmentvariable和RegisterAnacondaasmydefaultpython3.9。第一個選項是把Anaconda添加到環境變量中，第二個選項表示在Anaconda中安裝Python3.9版本。然后點擊“Install”選項。STEP05耐心等待，等到進度條結束后，點擊“Next”選項。STEP06任務1.2

Python開發環境的搭建點擊“Next”選項。STEP07點擊“Finish”完成安裝。STEP08任務1.2

Python開發環境的搭建1.2.3JupyterNotebook的使用成功安裝Anaconda發行版，也就默認安裝了Python和Jupyter，包括Python、JupyterNotebook和其他常用的科學計算和數據科學軟件包。JupyterNotebook是一個基于Web技術的交互式和展示數據科學項目的工具，支持包括Python在內的近40種編程語言。它可以作為一個開發文檔，包含代碼、解釋說明文字、代碼運行結果、數學公式、內嵌式畫圖和圖片文件插入等等，功能非常強大，JupyterNotebook已迅速成為數據分析和機器學習的必備工具。一、啟動JupyterNotebook電腦桌面點擊“開始”，在“所有程序”中找到“Anaconda3”,進而找到“JupyterNotebook

(Anaconda3)”。STEP01任務1.2

Python開發環境的搭建首先會自動彈出如下黑色命令框（在后續使用中不能關閉），然后會打開JupyterNotebook默認的瀏覽器，最后跳轉網址localhost:8888/tree網頁表示啟動成功。STEP02任務1.2

Python開發環境的搭建二、新建一個Notebook打開JupyterNotebook后，會在計算機系統默認瀏覽器中出現JupyterNotebook主頁界面。單擊右上方的“New”，可出現下拉菜單，如下圖所示。在下拉菜單中選擇需要創建的類型，其中，“TextFile”為純文本型，“Folder”為文件夾，“Python3”表示Python腳本，“Terminal”為終端。單擊“Python3”，進入Python腳本編輯狀態界面。任務1.2

Python開發環境的搭建三、JupyterNotebook的使用1.JupyterNotebook的編輯界面及其構成JupyterNotebook界面是由Notebook的名稱、菜單欄、工具欄和Notebook的內容編輯區組成的。Notebook的內容編輯區由一系列單元（Cell）組成，這些單元可以設置為代碼單元（CodeCell）、標記(Markdown)、原生NBConvert或標題。如果要詳細了解有關Notebook或相關庫，可以使用菜單欄右側的“Help”菜單。任務1.2

Python開發環境的搭建2.菜單欄組成菜單欄中有File、Edit、View、Insert、Cell、Kernel、Help等菜單。

選項

功能NewNotebook新建一個NotebookOpen…在新的頁面中打開主面板MakeaCopy…復制當前Notebook生成一個新的NotebookRename…Notebook重命名Saveas…導出多種格式SaveandCheckpoint將當前Notebook狀態存為一個CheckpointReverttoCheckpoint恢復到此前存過的CheckpointPrintPreview打印預覽Downloadas下載Notebook存為某種類型的文件CloseandHalt停止運行并退出該NotebookFile菜單功能任務1.2

Python開發環境的搭建選項功能CutCells剪切單元CopyCells復制單元PasteCellsAbove在當前單元上方粘貼復制的單元PasteCellsBelow在當前單元下方粘貼復制的單元PasteCells&Replace替換當前的單元為復制的單元DeleteCells刪除單元UndoDeleteCells撤回刪除操作SplitCell從光標位置處拆分當前單元為兩個單元MergeCellAbove當前單元和上方單元合并MergeCellBelow當前單元和下方單元合并MoveCellUp將當前單元上移一層MoveCellDown將當前單元下移一層EditNotebookMetadata編輯Notebook的元數據FindandReplace查找替換，支持多種替換方式Edit菜單功能任務1.2

Python開發環境的搭建View菜單功能選項功能ToggleHeader隱藏/顯示JupyterNotebook的Logo和名稱ToggleToolbar隱藏/顯示JupyterNotebook的工具條ToggleLineNumbers隱藏/顯示程序行號CellToolbar更改單元展示樣任務1.2

Python開發環境的搭建Cell菜單功能選項功能RunCells運行單元內代碼RunCellsandSelectBelow運行單元內代碼并將光標移動到下一單元RunCellsandInsertBelow運行單元內代碼并在下方新建一單元RunAll運行所有單元內的代碼RunAllAbove運行該單元（不包含該單元）上方所有單元內的代碼RunAllBelow運行該單元（包含該單元）下方所有單元內的代碼CellType選擇單元內容的性質CurrentOutputs對當前單元的輸出結果進行隱藏/顯示/滾動/清除AllOutput對所有單元的輸出結果進行隱藏/顯示/滾動/清除任務1.2

Python開發環境的搭建Kernel菜單功能選項功能Interrupt中斷與內核的連接（等同于【Ctrl】+【C】）Restart重啟內核Restart&ClearOutput重啟內核并清空現有輸出結果Restart&RunAll重啟內核并重新運行Notebook中的所有代碼Reconnect重新連接到內核Changekernel切換內核任務1.2

Python開發環境的搭建Help菜單功能選項功能UserInterfaceTour用戶使用指南，可使用戶全面了解NotebookKeyboardShortcuts快捷鍵大全NotebookHelpNotebook使用指南MarkdownMarkdown使用指南Python/Ipython/NumPy/SciPy/Matplotlib/SymPy/Pandas各類庫使用指南About關于JupyterNotebook的一些信息任務1.2

Python開發環境的搭建3.工具欄組成4.單元模式在工具欄從左到右的按鈕依次為：保存、新建、剪切、復制、粘貼、上移Cell、下移Cell、運行代碼、終止運行、重啟內核、改變cell類型和命令面板等。Notebook中的單元有兩種模式：命令模式（CommandMode)）和編輯模式（EditMode)。在編輯模式(EditMode)下,右上角出現鉛筆的圖標，單元左側邊框線呈現綠色，按Esc鍵就會切換回命令模式。在命令模式（CommandMode)下，鉛筆圖標消失，單元左側邊框線呈現藍色，按Enter鍵或者單擊單元變為編輯狀態。任務1.2

Python開發環境的搭建5.代碼單元（CodeCell）的使用例如，在“In[]:”單元中輸入“10+5”,按[Shit]+[Enter]組合鍵后，就會在本單元的下方出現運算結果為“out[1]:15”,其中,“out[1]:”是紅色標記。而光標也會被移動到一個新的單元中，這時該新單元用綠色邊框線標記，表明該單元是當前工作的單元格。選提示符含義In[]程序未運行In[num]程序運行后In[*]程序正在運行代碼單元(CodeCell）是用戶編寫代碼的地方，用戶可按[Shift]+[Enter]組合鍵運行代碼，其結果會顯示在本單元的下方。代碼單元左邊有“In[]:”編號，方便用戶查看代碼的執行次序。代碼單元中提示符及其含義任務1.2

Python開發環境的搭建6.單元操作單元操作包括單元格的刪除、移動、剪切、合并等，使得程序的編寫變得更加方便。刪除單元，首先選擇要刪除的單元格，再單擊菜單“Edit→DeleteCell”。移動單元，首先選擇要移動的單元，再單擊菜單“Edit→MoveCellUp/Down”。剪貼單元，首先選擇要剪貼的單元，再單擊菜單“Edit→CutCell”，然后單擊菜單“Edit→PastCellAbove/Below”。合并單元，首先選擇要合并的單元，再單擊菜單“Edit→MergeCellAbove/Below”。利用合并單元方法，可實現一次執行—大段代碼的操作。7.JupyterNotebook的導出功能Notebook還有一個強大的特性，就是其導出功能。它可以將Notebook導出為多種格式，如HTML、Markdown、reST、PDF（通過LaTeX）和RawPython等格式，還可以將Notebook作為網頁發布在自己的網站上，甚至還可以導出為reST格式，作為軟件庫的文檔。導出功能在菜單欄“File”下拉菜單的“Downloadas”的項目中。任務1.2

Python開發環境的搭建8.JypyterNotebook快捷鍵命令模式下快捷鍵及作用編輯模式下快捷鍵及作用任務1.2

Python開發環境的搭建1.2.4

Python數據分析常用庫簡介NumPy（1）Pandas是圍繞著Series和DataFrame這兩個核心數據結構展開的。（2）提供了復雜精細的索引