1、大數據前沿教學大綱 學分：5學時：90開課單位：軟件學院任課教師及職稱（學位）：劉金博士、唐權華博士、李第平博士、汪浩教授、龔俊教授、雷剛副教授、黃龍軍副教授、蔣長根副教授、王文樂博士教學內容及要求一、課程簡介   無論是世界范圍內還是在中國，大數據浪潮正在深刻改變著各行各業，而各行各業對大數據人才的需求，以及技術從業者希望躋身大數據高級人才的需求也變得越來越強烈。因此，各行各業都迫切需要大數據人才，大數據需求旺盛與人才短缺并存，而大數據人才薪酬及職業與事業發展回報前景看好。在此背景下，學校緊隨學科發展趨勢，運用與世界同步的教學理念、教學方法與教學內容，全方位、系

2、統性進行大數據前沿教學，幫助優秀學生盡早接觸和學習當下最熱門的先進技術，使學生在未來的事業和職業發展中贏得先機。二、教學目的與要求   揭示大數據處理的挑戰和特性，有針對性的給出處理大數據的架構和主要技術方法，并介紹大數據處理技術的發展和實際應用。具體包括：1. 了解大數據的基本概念，了解海量數據處理的技術挑戰；2. 了解大數據處理技術的最新進展，幫助個人和企業了解如何選擇大數據相關產品；3. 理解大數據的架構設計原則和主要的技術方法；4. 使用hadoop進行大數據處理的主要方法；5. 了解學習各行業領域中的大數據問題及其處理方法。三、主要內容   根

3、據本課程性質及教學對象，本課程主要涉及以下三個方面的內容：1. 全面認識大數據了解什么是大數據，大數據為我們帶來了啥，大數據對經濟發展的推動；大數據帶來的思維革命、商業革命，大數據如何讓商業更智能等；介紹大數據的研究現狀及未來發展趨勢。2. 大數據關鍵技術及方法學習學習大數據處理方面關鍵技術及平臺，以及大數據技術發展趨勢。主要技術介紹：l 數據獲取與存儲技術的概念以及一些流行的工具與實現。l 數據抽取和清洗。數據抽取作為數據處理的第一步，具有至關重要的作用。數據清洗是構建數據倉庫和知識發現的必要因素。l 大數據提煉價值的關鍵步驟數據集成，包括各大公司對數據集成技術的定義、用處、發展歷程、分類、

4、數據集成技術的研究現狀、各大公司實現數據集成技術的工具，以及在大數據背景下的數據集成技術的特點等等。l 海量數據的查詢、分析與建模技術。包括數據查詢、分析和建模的各項技術的概念、發展歷史、工具等，使得讀者對于海量數據查詢、分析與建模有更進一步的了解。3. 大數據處理技術在各領域的應用大數據處理技術已滲透到各行業，如教育、商業、金融、醫療、制造業及互聯網等。根據學院現有學科優勢，本部分主要介紹大數據在視頻分析、圖像處理、社交網絡、時空數據、web文本數據中的應用：1) 大數據新媒體時代的視頻分析技術 2) 基于云端大數據的圖像處理 3) 社交網絡中的大數據處理技術4) 大數據處理技術在時空數據檢

5、索中的應用5) 大數據處理技術在web文本數據挖掘中的應用四、教學安排及課時分配   根據課程性質和培養目標，本課程共安排90學時，具體安排如下：序號教學內容課時教學方式備注1從大數據的歷史與發展、大數據的定義、大數據的研究內容、大數據問題在國內外政府、公司和大學的研究現狀等方面進行論述，為這一新興概念勾勒出一個雛形。5講授+上機實驗2數據獲取與存儲技術的概念以及一些流行的工具與實現。6講授+上機實驗3數據抽取和清洗。數據抽取作為數據處理的第一步，具有至關重要的作用。數據清洗是構建數據倉庫和知識發現的必要因素。6講授+上機實驗4大數據提煉價值的關鍵步驟數據集成，包括各大公司

6、對數據集成技術的定義、用處、發展歷程、分類、數據集成技術的研究現狀、各大公司實現數據集成技術的工具，以及在大數據背景下的數據集成技術的特點等等。7講授+上機實驗5介紹海量數據的查詢、分析與建模技術。包括數據查詢、分析和建模的各項技術的概念、發展歷史、工具等，使得讀者對于海量數據查詢、分析與建模有更進一步的了解。6講授+上機實驗6重要算法講解。隨機游走算法(Random Movement Strategy)，仿射傳播聚類算法(Affinity Propagation Clustering Algorithm)，并行化的隨機游走算法和仿射傳播聚類算法。7講授+上機實驗7異種數據源數據的統一存儲與轉

7、換技術。6講授+上機實驗8Hadoop。具體包括介紹hadoop的基本概念、構架、安裝配置及簡單的Hadoop API編程；6講授+上機實驗9大數據應用。采用HBase實現海量小型XML文檔的存儲與檢索，基于內容的海量視頻檢索系統；基于HDFS（Hadoop Distributed File System）的云文件系統；基于大數據的計算機網絡 等。6講授+上機實驗10大數據處理技術應用專題：大數據新媒體時代的視頻分析技術7講座+討論11大數據處理技術應用專題：基于云端大數據的圖像處理7講座+討論12大數據處理技術應用專題：社交網絡中的大數據處理技術7講座+討論13大數據處理技術應用專題：大數據

8、處理技術在時空數據檢索中的應用7講座+討論14大數據處理技術應用專題：大數據處理技術在web文本數據挖掘中的應用7講座+討論教材及參考書目1 李軍. 大數據：從海量到精準M.清華大學出版社,2014.2 (美)阿爾文·托夫勒(AlvinToffler)著,黃明堅譯.第三次浪潮M. 中信出版社, 20063 唐澤圣等著.三維數據場可視化M. 清華大學出版社, 1999 4 Boris Lublinsky，Kevin T. Smith Hadoop高級編程構建與實現大數據解決方案M. 清華大學出版社20145陳震, 黃文良, 曹軍威.互聯網流量大數據工程M. 清華大學出版社,2014-7-1 6（美）桑尼爾·索雷斯（Sunil Soares）著，匡斌. 譯大數據治理M. 清華大學出版社,2014.7鮑亮、李倩.實戰大數據M. 清華大學出版社,2014. 8 趙剛. 大數據:技術