《大數據概論》教學大綱一、課程基本信息課程名稱大數據概論IntroductionToBigData課程編碼SCC310521020開課院部理學院課程團隊數據科學團隊學分2.0課內學時32講授32實驗0上機0實踐0課外學時32適用專業化工安全工程授課語言中文先修課程程序設計（C）課程簡介（限選）《大數據概論》是我校理工科專業的一門限選課。本課程以大數據中相關概念和處理過程為主題，結合大數據案例，了解和掌握大數據處理過程和基本方法。通過本課程的學習，學生自主選擇相關課題，利用大數據思想進行研究，形成研究報告。本課程內容主要包括大數據基礎、大數據下的云計算、大數據處理、數據統計與分析、大數據安全、數據可視化、典型案例。通過這些內容的學習，有助于把大數據思想和技術應用到本專業其它課程。"IntroductiontoBigData"isacompulsorycourseforourscienceandengineeringmajors.Thiscoursetakesrelatedconceptsandprocessingproceduresinbigdataasthetheme,andcombinesbigdatacasestounderstandandmasterthebigdataprocessingproceduresandbasicmethods.Throughthestudyofthiscourse,studentsindependentlyselectrelatedtopics,usebigdataideastoconductresearch,andformresearchreports.Thecontentofthiscoursemainlyincludesbigdatafoundation,cloudcomputingunderbigdata,bigdataprocessing,datastatisticsandanalysis,bigdatasecurity,datavisualization,andtypicalcases.Throughthestudyofthesecontents,itishelpfultoapplybigdataideasandtechnologiestoothercoursesofthismajor.負責人大綱執筆人審核人二、課程目標序號代號課程目標OBE畢業要求指標點任務自選1M1目標1：了解大數據技術發展的歷史概況以及前沿。掌握大數據的基本概念和原理。是2M2目標2：能理解時域、頻域信號目標2：掌握常見數據集的處理和分析方法，并用程序實現。處理與分析方法是3M3目標3：通過課程項目的實踐，撰寫報告并答辯，培育認識和發現問題的能力和解決工程問題的能力。是4M4目標4：能保障課程正常秩序（政治層面、課堂保障層面，非學生能力層面）否三、課程內容序號章節號標題課程內容/重難點支撐課程目標課內學時教學方式課外學時課外環節1第1章第1章大數據基礎本章重點難點：大數據時代的技術基礎、大數據的特征、大數據結構類型、數據科學。////21.11.1大數據時代大數據時代的技術基礎、大數據時代的變革、信息技術（IT）向數據技術（DT）的轉變M10.5講授0.5自學資料、課后作業31.21.2什么是大數據數據的基本知識、大數據定義、大數據的特征M10.5講授0.5自學資料、課后作業41.31.3大數據結構類型結構化數據、非結構化數據M11講授1自學資料、課后作業51.41.4大數據的應用大數據在個人生活中的應用、大數據在企業中的應用、大數據在政府部門中的運用M11講授1自學資料、課后作業61.51.5數據科學和大數據技術數據科學、大數據技術與工具M11講授1自學資料、課后作業7第2章第2章大數據下的云計算本章重點難點：云計算的體系架構、虛擬化技術、并行計算技術、云存儲。////82.12.1云計算概述云計算的定義、云計算的特征、云計算的體系架構、云計算的類型劃分、云計算的服務模式M10.5講授0.5自學資料、課后作業92.22.2云計算技術虛擬化技術、并行計算技術、海量數據管理技術、海量數據存儲技術M10.5講授0.5自學資料、課后作業102.32.3云計算與云存儲云存儲概述、云存儲的存儲方式、云存儲與云計算的關系M11講授1自學資料、課后作業112.42.4云計算與大數據云計算與大數據的關系、云計算與大數據的結合M11講授1自學資料、課后作業122.52.5案例—基于云計算的智慧城市建設框架采用云計算的體系架構構建智慧城市框架M11講授1自學資料、課后作業13第3章第3章大數據處理本章重點難點：數據采集方法、數據清洗方法、數據變換方法、數據集成方法、數據規約方式。////143.13.1數據采集數據采集方法、數據質量評估、數據質量的影響因素M11講授1自學資料、課后作業153.23.2數據清洗處理殘缺數據、處理噪聲數據、處理冗余數據M12講授2自學資料、課后作業163.33.3數據變換屬性類型變換、屬性值變換M11講授1自學資料、課后作業173.43.4數據集成模式匹配與數據值沖突、數據冗余M11講授1自學資料、課后作業183.53.5數據歸約維歸約、數值歸約M11講授1自學資料、課后作業19第4章第4章數據統計與分析本章重點難點：分類與預測、聚類分析、關聯分析、異常分析、數據挖掘算法。////204.14.1統計分析方法分類與預測、聚類分析、關聯分析、異常分析M1,M2,M32講授2自學資料、大作業214.24.2數據挖掘的基本概念數據挖掘的定義、數據挖掘的分類、數據挖掘的過程M1,M2,M31講授1自學資料、大作業224.34.3數據挖掘經典算法K-Means算法、KNN算法、決策樹算法M1,M2,M32講授2自學資料、大作業234.44.4案例—用大數據來挖掘《小時代》采用大數據算法來預測《小時代》的發行時間等M1,M2,M31講授1自學資料、大作業24第5章第5章大數據安全本章重點難點：網絡安全漏洞、個人隱私泄露、大數據安全防護關鍵技術、隱私保護技術。////255.15.1安全與隱私問題凸顯網絡安全漏洞、個人隱私泄露M1,M2,M30.5講授0.5自學資料、大作業265.25.2大數據時代的安全挑戰信息安全的發展歷程、云計算技術帶來的安全挑戰M1,M2,M30.5講授0.5自學資料、大作業275.35.3如何解決大數據安全問題大數據安全防護對策、大數據安全防護關鍵技術M1,M2,M31講授1自學資料、大作業285.45.4如何解決隱私保護問題隱私保護的政策法規、隱私保護技術M1,M2,M31講授1自學資料、大作業295.55.5案例—百度大數據安全實踐了解百度大數據安全體系M1,M2,M31講授1自學資料、大作業30第6章第6章數據可視化本章重點難點：信息可視化、可視分析學、視覺編碼、統計圖表、可視化評估方法。////316.16.1數據可視化類型科學可視化、信息可視化、可視分析學M1,M2,M30.5講授0.5自學資料、大作業326.26.2數據可視化流程及步驟數據可視化流程、數據處理和變換、視覺編碼、統計圖表、視覺隱喻M1,M2,M31講授1自學資料、大作業336.36.3可視化評估評估分類、評估方法M1,M2,M30.5講授0.5自學資料、大作業346.46.4案例-基于Python的可視化實現常見可視化圖形繪制M1,M2,M32講授2自學資料、大作業35第7章第7章綜合案例本章重點難點：綜合應用大數據解決實際問題。////367.17.1大數據在社交媒體中的應用—社交媒體大數據基于用戶的大數據分析、基于關系的大數據分析、基于內容的大數據分析M1,M2,M31講授1自學資料、大作業377.27.2大數據在旅游業中的應用—旅游大數據旅游數據的問題與發展、大數據與旅游業、旅游與數據挖掘、旅游平臺M1,M2,M31講授1自學資料、大作業387.37.3大數據在金融業中的應用—金融大數據金融大數據概述、金融大數據的應用、大數據與金融創新M1,M2,M31講授1自學資料、大作業397.47.4大數據在制造業中的應用—工業大數據大數據下的工業革命、工業大數據、大數據與智能工廠、智能制造大數據分析M1,M2,M31講授1自學資料、大作業四、考核方式序號考核環節操作細節總評占比1平時作業1.每周布置2~3道題目，平均每次課1道題以上。2.成績采用百分制，根據作業完成準確性、是否按時上交、是否獨立完成評分。3.考核學生對大數據基本知識的掌握能力，學生綜合運用所學知識分析問題、解決問題的能力題型主要有作圖、分析和統計計算題。20%2實驗1.本課程依托大數據平臺，課外完成4~6次實驗。2.成績采用百分制，根據實驗完成情況評分。3.考核學生基本數據處理和分析能力。15%3總結1.使用思維導圖對每章節進行提煉總結。2.成績采用百分制，根據思維導圖的中心主題、整體布局、關鍵詞和層級完成評分。3.考核學生對大數據基本知識的掌握能力、學習總結能力。15%4大作業1.本課程要求學生組隊自選一個大數據相關題目或實際問題，并利用Python或Matlab語言進行編程實現。2.成績采用百分制，根據數據預處理、建模、分析、可視化過程的完整性和準確性評分。3.考核學生認識和發現問題的能力，以及解決實際問題的能力。40%5考勤刷卡點名5%6課堂表現課堂回答問題情況5%五、評分細則序號課程目標考核環節大致占比評分等級1M1平時作業50%A-獨立思考、按時完成，解題思路清晰、步驟完整、格式合理、答案準確。B-獨立思考、按時完成，解題思路比較清晰、步驟比較完整、格式合理、答案基本準確。C-基本按時完成，解題思路比較清晰、步驟比較完整、格式比較合理、答案有少量錯誤。D-作業抄襲，未能按時完成，解題思路混亂，答案錯誤多。2M1總結50%A-中心主題明確，整體布局合理，關鍵詞提取精準、合理、完整，層級科學。B-中心主題明確，整體布局合理，關鍵詞提取比較精準、合理、完整，層級科學。C-中心主題比較明確，整體布局比較合理，關鍵詞提取比較精準、合理、完整，層級亂。D-中心主題不明確，整體布局比較混亂，關鍵詞提取不精準、不合理、不完整，層級亂。3M2實驗100%A-實驗過程中認真完成實驗要求，得到正確的實驗結果，實驗報告格式正確，步驟敘述清楚，正確分析實驗數據，從技術角度優選解決方案獲得有效結論。B-實驗過程中認真完成實驗要求，得到正確的實驗結果，實驗報告格式正確，步驟敘述比較清楚，正確分析實驗數據，從技術角度優選解決方案獲得比較有效的結論。C-實驗過程中認真完成實驗要求，不能得到正確的實驗結果，實驗報告格式正確，步驟敘述清楚，沒有正確分析實驗數據，但是結合理論分析可以從技術角度優選解決方案獲得有效的結論。D-實驗過程中不能完成實驗要求，不能得到正確的實驗結果，不能從技術角度優選解決方案獲得有效的結論。4M3實驗40%A-實驗過程中認真完成實驗要求，得到正確的實驗結果，實驗報告格式正確，步驟敘述清楚，正確分析實驗數據，從技術角度優選解決方案獲得有效結論。B-實驗過程中認真完成實驗要求，得到正確的實驗結果，實驗報告格式正確，步驟敘述比較清楚，正確分析實驗數據，從技術角度優選解決方案獲得比較有效的結論。C-實驗過程中認真完成實驗要求，不能得到正確的實驗結果，實驗報告格式正確，步驟敘述清楚，沒有正確分析實驗數據，但是結合理論分析可以從技術角度優選解決方案獲得有效的結論。D-實驗過程中不能完成實驗要求，不能得到正確的實驗結果，不能從技術角度優選解決方案獲得有效的結論。5M3大作業60%A-利用Python語言建立的數據模型正確，完整實現數據預處理、建模、分析、可視化過程，結果驗證合理。B-利用Python語言建立的數據模型正確，比較完整實現數據預處理、建模、分析、可視化過程，結果驗證合理。C-利用Python語言建立的數據模型正確，比較完整實現數據預處理、建模、分析、可視化過程，結果驗證比較合理。D-利用Python語言建立的數據模型不正確，不能完整實現數據預處理、建模、分析、可視化過程