第3章數據處理與應用3.3數據分析與可視化教學設計教學背景信息科技是現代科學技術領域的重要部分，主要研究以數字形式表達的信息及其應用中的科學原理、思維方法、處理過程和工程實現。當代高速發展的信息科技對全球經濟、社會和文化發展起著越來越重要的作用。義務教育信息科技課程具有基礎性、實踐性和綜合性，為高中階段信息技術課程的學習奠定基礎。信息科技課程旨在培養科學精神和科技倫理，提升自主可控意識，培育社會主義核心價值觀，樹立總體國家安全觀，提升數字素養與技能。教材分析本節課的教學內容選自人教/地圖出版社第3章數據處理與應用3.3數據分析與可視化，信息技術的發展與普及為我們創造了一個全新的數字化生活環境。它們在給我們帶來生活便利的同時，也在逐漸地改變著我們的生活方式。南水北調工程是我國繼三峽工程之后，又一個重大水利工程。南水北調工程的主要目的，是將長江流域的水資源科學合理地調配到我國華北和西北部分省市，解決當地水資源短缺問題。2014年12月12日，南水北調中線工程正式通水，開始發揮其巨大的經濟效益和社會效益。南水北調工程建設得益于我國強大的科技與工程實力，其中包括信息技術的大量應用。不僅每日采集大量數據，同時還要對龐雜的數據進行存儲、篩選、加工和分析，以確保整個工程的安全與高效。可以說，沒有巨量的科學數據和強大的科技實力做支撐，修建這樣一個浩大的工程是難以想象的。同學們，在信息社會中，大量數據的產生和積累，為人們提供了認識這個世界的新方式，但也對人們駕馭數據的能力提出了新挑戰。如何利用信息技術有效處理數據，發現并利用其中的價值，已成為信息社會生存的一項基本能力。在本章的學習中，我們將借助信息技術手段采集、分析和可視化數據，通過“用水分析助決策”項目活動，掌握數據處理和應用的基本方法。學情分析此節課針對的對象是高一年級的學生，學生對信息技術的關鍵技術以及信息技術對生活與學習的影響有一定的了解，但對所學內容只是體驗性和經驗性的認識。依據解決問題的需要，設計和描述簡單算法;利用程序設計語言實現簡單算法，解決實際問題。教學目標1.掌握常用的數據分析方法，能根據需要選擇恰當的方法進行數據分析。2.了解數據可視化的形式，能選用合適的工具進行數據可視化表達與呈現。3.通過項目研究，感受數據分析和可視化表達對日常生活的影響。教學重點與難點1.數據分析的作用和數據分析常用的四種方法。2.數據可視化的概念、作用、表現形式等。教學方法與教學手段案例分析法、講授法、任務驅動法。教學過程問題導入提出問題，引發思考：體驗探索你能讀懂這些數據嗎為了解近年來我國水資源狀況，訪問國家統計局政府網站獲得如圖3.3.1所示的數據和圖表。思考：1.利用該網站數據可視化功能，調整水資源數據指標和數據呈現方式，進一步分析不同類型圖表所表達信息的異同。2.根據自己的需求，瀏覽網站欄目，了解相應的數據，并分析其中蘊含的信息。數據分析采集了所需要的數據，并對數據進行了組織和整理后，為了獲得有價值的信息，還需要對數據做進一步的分析。數據分析指用適當的計算方法與工具對收集來的數據進行處理，提取有用信息，形成結論從而支持決策。數據分析的作用數據分析廣泛應用于社會各個領域，發揮著日益重要的作用。數據分析可以讓我們了解事物的現狀、剖析其發展歷程和預測未來走向。1.了解事物的現狀通過數據分析，可以幫助我們更好地認識所調研事物的目前狀況。例如，通過分析游客人數變化、旅游花費等數據，如圖3.3.2（參見教材P106）所示，能夠了解旅游業當前整體的發展狀況，幫助旅游業經營者有針對性地調整經營策略，制訂發展方案。2.剖析事物的發展歷程通過數據分析，可以剖析事物的發展歷程，了解事物的過去，揭示某些現象產生的原因。例如，分析全國27個主要城市近50年來月平均降水量和降水天數，再對比相關城市航班正常率的數據，可以發現航班正常率的走向與月降水量和天數呈相反方向變化的趨勢。對航空公司、空中交通管理措施和天氣等各方面大量歷史數據的分析研究，可以幫助管理者找到影響航班正常運行的干擾因素，從而選擇最佳的應對措施。3.預測事物的未來走向通過數據分析，可以預測事物未來可能會發生什么，推斷未來的發展趨勢，并為制訂相應的目標及策略提供依據。目前，利用數據分析進行預測已經應用于各個領域，包括體育賽事預測、用戶行為預測、能源消耗預測、交通行為預測和人體健康預測等。例如，通過各個家庭安裝的智能電表，對電力的使用狀況進行監控，檢測出用電模式，從而對用電需求做出預測。數據分析的基本方法從統計應用上講，數據分析可以分為描述性數據分析、探索性數據分析和驗證性數據分析。其中，描述性數據分析側重于對數據的各種特征進行分析，對變量之間的關系進行估計和描述；探索性數據分析主要用于在數據之中發現新的特征；驗證性數據分析側重于驗證已有假設的真偽。常用的數據分析方法有對比分析法、平均分析法和結構分析法等。1.對比分析法對比分析法也叫比較分析法，是將兩個或兩個以上的數據進行比較，分析它們的差異，揭示出這些數據所反映的事物規律的方法，是一種常用的分析方法。對比分析法通常用于從數量上展示和說明研究對象規模大小、水平高低、速度快慢及各種關系是否協調等。例如，在商品生產中，已完成商品數量與目標數量的差距對比，本月生產的數量與上月生產數量的對比，同公司各部門間的對比等都是對比分析法的典型應用。（參見教材P107）中的全國水資源開發利用綜合對比屬于橫向對比，圖3.3.4（參見教材P107）中的2016年中國創新能力指數數據與上年數據的對比即是縱向對比。2.平均分析法平均分析法是運用計算平均數的方法來反映總體在一定時間、地點等條件下某一數量特征的一般水平。平均指標中最常用的是算術平均數，如平均身高、平均工資和平均降水量等。圖3.3.5（參見教材P108）展示了我國2012—2016年國內旅游人均消費情況。平均分析法多用于比較同類現象在不同地區、不同行業、不同類型單位等之間的差異程度，分析現象之間的依存關系，進行數量上的推算；也可以對某一現象在不同時間的水平進行比較，以說明現象的發展規律及趨勢。3.結構分析法結構分析法也稱構成分析法，是將各個部分與總體進行對比，是分析事物內部的結構和部分與整體之間關系的方法。結構分析法的基本表現形式就是計算結構指標。結構指標即各個部分相對于總體所占的百分比，因此總體中各結構指標的總和等于100%。圖3.3.6（參見教材P108）為某網站的用戶使用不同無線網絡訪問該網站的次數統計情況。可以看出使用4G網絡訪問該網站的占63.19%，使用WiFi的占28.08%，使用3G網絡的占8.73%。圖中清楚地反映出各部分在總體中所占的百分比。上述幾種基本的數據分析方法分別適用不同的情況，在實際應用中，需要根據具體問題合理選取并綜合運用。體驗數據分析確定了數據分析方法后，我們還需要借助合適的工具才能更快捷地進行數據分析。計算機普及前，數據分析主要依靠人工方式完成。隨著計算機的廣泛應用，涌現出很多功能強大的數據分析工具，例如電子表格軟件、在線數據分析平臺和程序設計語言編寫的程序等。1.用電子表格軟件進行數據分析電子表格軟件可對數據進行格式編輯、統計計算和圖表處理等。在電子表格軟件中，通常用若干工作表存儲數據。圖3.3.7（參見教材P109）就是使用電子表格軟件處理數據的示意圖。2.用在線數據分析平臺進行數據分析隨著數據規模越來越大，應用范圍越來越廣，分析數據和挖掘數據價值的需求也越來越多，許多在線數據分析平臺應運而生。這些平臺集成了多種分析功能，提供了簡單易用的交互界面，使得多種數據分析需求得以實現。使用在線數據分析平臺分析全國供水情況登錄國家統計局網站，查找全國供水數據，體驗在線數據分析平臺分析數據的過程和方法。1.注冊賬號并登錄，熟悉國家統計局網站在線數據分析平臺的使用方式；2.查找全國供水數據，根據平臺的提示，嘗試完成在線數據分析，查看并保存分析結果；3.分析該平臺的數據分析功能，有哪些優缺點。（參見教材P109）所示。閱讀拓展政府數據網站在互聯網浪潮的推動下，政府機構向信息化、網絡化和智能化轉變已成為一種趨勢。中央和各級政府機構高度重視信息公開和數據發布，并在其官方網絡平臺為大眾提供數據服務。例如，中華人民共和國國家統計局專門設立了國家數據網站，用于發布我國各級各類統計數據，如圖3.3.9（參見教材P110）所示。國家數據網站不僅提供數據的，還可以對數據進行在線處理，如編輯、計算和生成圖表等。3.使用編程工具進行數據分析除了使用現成的工具分析數據，也可以根據需要編寫程序進行數據分析。例如，可以使用Python語言編寫程序對公共交通運營數據進行分析，找出不同線路的發展特點，針對線路的歷史成本，分析線路發展的基本規律，從而找出有用的信息；還可以編寫程序分析海量用戶行為數據，從而了解用戶的真實需求，為用戶建立獨有的行為檔案，提供個性化服務。例1：編寫程序統計分析南水北調中線工程各地區水資源情況。問題：分析南水北調中線工程各地區水資源數據，有助于了解我國水資源的分布情況。將采集并整理后的中線工程各地區水資源數據保存為“0716nsbd.csv”文件，如圖3.3.10（參見教材P110）所示。編寫程序，計算中線工程各地區2007—2016年水資源總量的平均值，并將結果保存到CSV文件中。（1）分析問題已知條件：已有中線工程各地區水資源數據文件“0716nsbd.csv”，其中包含了2007—2016年相關地區水資源數據。求解目標：統計計算中線工程各地區2007—2016年水資源總量的平均值，將統計結果保存為CSV文件“nsbd_avg.csv”，并顯示中線工程各地區十年來的平均水資源總量。已知與未知的關系：可以根據中線工程各地區水資源數據文件“0716nsbd.csv”中的2007—2016年水資源數據，計算出各地區這十年水資源總量的平均值。（2）規劃問題求解流程首先導入用到的庫，讀入“0716nsbd.csv”文件中的全部數據，然后統計各地區十年水資源總量的平均值，生成一個數據表，并將統計結果寫入CSV文件。（3）編程實現與調試進行編程實現，程序示例如下：（4）保存文件，調試運行程序程序運行結果如圖3.3.11（參見教材P111）所示。通過以上統計分析，用數據展現了我國部分地區水資源的實際情況：南方地區湖北省水資源較為豐富，而北京市、河北省等北方地區水資源相對匱乏。因此，政府實施南水北調工程意義重大，有助于優化我國水資源配置，緩解北方地區水資源短缺局面，促進經濟和社會的可持續發展。實踐活動編寫程序計算京津地區人均水資源量中國水資源短缺，且時空分布不均，南方水多，北方水少。例如，黃淮海流域水資源嚴重短缺，人均水資源量約為全國平均水平的21％。請利用前面收集到的全國各地區水資源數據，計算京津地區人均水資源量是全國平均水平的百分之幾。1.分析問題，寫出已知條件和求解目標。2.設計算法并編程實現。3.依據水資源數據，從某個角度分析實施南水北調工程的必要性。技術支持DataFrame的方法DataFrame具有一組常用的匯總和統計方法，包括計數、求和、求平均值等相關計算。格式：pandas.DataFrame.count()用于返回DataFrame的個數。默認按列統計非空數據的個數，axis=1表示按行統計非空數據的個數。格式：pandas.DataFrame.sum()用于返回所有列的和。axis=1表示對各行的數據計算和。格式：pandas.DataFrame.mean()用于返回所有列的平均值。axis=1表示對各行的數據計算平均值。上述方法的具體應用舉例如下：importpandasaspdvalues=[[38.8,38.2],[27.2,25.7]]areas=["北京","天津"]years=["2016","2015"]df=pd.DataFrame(values,areas,years)print("DataFrame中的數據為:","\n",df,"\n")df1=df.sum()print("按列求和結果為：","\n",df1)該程序將計算DataFrame各列的和，運行結果如圖3.3.12（參見教材P113）所示。若添加axis=1，將程序倒數第二行修改為df1=df.sum(axis=1)，最后一行中的“按列求和”修改為“按行求和”，程序將計算DataFrame各行的和，運行結果如圖3.3.13（參見教材P113）所示。數據可視化數據可視化是以圖形、圖像和動畫等方式直觀生動地呈現數據及數據分析結果，揭示數據之間的關系、趨勢和規律等，便于人們更好地理解數據。可視化的作用體現在多個方面，如觀察事物變化的趨勢、揭示想法和關系、總結或匯聚數據、形成論點或意見等。例如，國家統計局網站中以可視化的形式呈現的全國交通運輸狀況，如圖3.3.14（參見教材P113）所示。其中，各柱形的高低呈現了各年的貨物運輸總量情況，折線點的變化反映出運輸量增長速度在幾年內的變化趨勢。數據可視化的形式數據可視化的形式豐富多樣，常見的有圖表、詞云等。例如，圖3.3.15（參見教材P114）形象地展示了某公交線路的路線及客流情況。圖中的藍色線條顯示了公交車行進的路線，右側的柱形圖顯示了各站點乘車的人數，折線圖顯示出客流隨時間的變化情況。實踐活動了解數據可視化了解各種數據可視化形式，體驗數據可視化效果和魅力。（參見教材P114）所示，體驗數據可視化效果。2.上網查找數據可視化的網站，熟悉各種數據可視化形式。3.舉例說明數據可視化效果，填入表3.3.1中。表3.3.1數據可視化效果可視化形式示例包含的信息圖表詞云...4.分析上述數據可視化效果可以使用什么工具來實現。數據可視化的實現數據可視化幫助人們形象地獲取其中的信息。我們可以使用多種形式對數據進行可視化。1.用圖表將數據可視化圖表是數據處理中常用的數據可視化形式之一。常用的圖表包括折線圖、柱形圖、餅圖、散點圖和雷達圖等。各種圖表呈現數據的形式各有特點，應該根據實際需要選擇不同的圖表進行數據呈現。折線圖：折線圖可顯示隨時間而變化的連續數據，常用于分析相等時間間隔下數據的發展趨勢。圖3.3.17（參見教材P115）呈現了2017年2月—2018年1月鮮果類居民消費價格的變化趨勢。柱形圖：通常用于顯示一定范圍內數據的變化情況或用于各項數據的比較。例如，圖3.3.18（參見教材P116）可以對比2012—2016年全國研究生招生人數。餅圖：用于顯示各部分數據在總數據中的大小和比例關系。例如，圖3.3.19（參見教材P116）呈現了2016年全國各類用水總量在用水總量中所占的比例。散點圖：用于表示若干數據系列中各數值之間的關系，以便判斷兩個變量之間是否存在某種關聯。適用于三維數據集，但其中只有兩維需要比較。圖3.3.20展現了4種產品每月銷售量數據之間的關系。雷達圖：用來比較每個數據相對中心的數值變化，適用于多維數據的呈現，且每個維度可以排序。例如，圖3.3.21（參見教材P117）顯示了用戶1和用戶2在購買頻率、購買商品種類等5個維度上的情況。使用Python語言可以靈活地制作出以上圖表，繪制時可以使用Matplotlib庫。該庫是提供數據繪圖功能的第三方擴展庫，其pyplot子庫主要用于實現各種數據圖表的繪制。繪圖時可使用importmatplotlib.pyplotasplt語句導入該庫，在后續的代碼中，則用plt代替pyplot。例如，使用pyplot子庫中的畫圖函數plot(x,y)可以繪制折線圖，程序如下：該程序運行的效果如圖3.3.22（參見教材P117）所示。若將plot(x,y)修改為plot(x,y,"o")，則可繪制出散點圖（函數中的"o"表示的是點形標記符），程序運行效果如圖3.3.23（參見教材P118）所示。使用pyplot子庫我們還可以繪制其他圖表，也可以為圖表添加需要的文字，比如標題、橫縱坐標軸的文字說明等。例2：編寫程序用圖表可視化呈現南水北調中線工程各地區水資源總量數據。問題：前面，我們已經計算出中線工程各地區水資源總量的10年平均值，為便于直觀地對比分析中線工程各地區水資源情況，需編寫程序繪制適當的圖表進行呈現。（1）分析問題已有需要進行可視化的水資源數據，即供水區湖北省數據，受水區河南省、河北省、北京市和天津市數據，需制作圖表呈現數據。為了便于對比各區域數據，選擇用柱形圖呈現。（2）規劃問題求解流程首先導入繪制圖表需要用到的Matplotlib庫，然后從“nsbd_avg.csv”文件中讀取數據，再繪制圖表，設置圖表標題和橫、縱坐標軸，最后顯示出柱形圖。（3）編程實現與調試（4）保存文件，調試運行程序程序運行結果如圖3.3.24（參見教材P119）所示。通過對比圖3.3.24中的柱形圖，能夠直觀地看到供水區湖北省水資源遠遠多于受水區各省市。使用類似的方法，我們可以選擇適當的圖表可視化南水北調工程的各種數據。技術支持pyplot子庫中的函數利用pyplot子庫中的函數可以創建圖表、繪圖區域、畫線和添加標簽等。表3.3.2列出了pyplot子庫中繪制圖表常用的部分函數。2.用詞云將數據可視化日常生活中需要處理大量的文本數據，如新聞、郵件、報告等。面對日益加快的工作節奏，人們需要更高效的文本閱讀和分析方法。文本可視化通過豐富的圖形或圖像，以易于理解和接受的方式揭示文本中的信息，因而得到廣泛應用。詞云是目前常用的關鍵詞可視化形式，它能直接抽取文本中的關鍵詞，并將其按照一定順序和規律整齊美觀地呈現在屏幕上。關鍵詞是從文本的文字描述中提取的語義單元，可反映出文本內容的重點。用詞云可視化文本數據可以幫助人們