1、 大數據時代背景教育企業的精準化和個性化管理及服務實踐大數據時代，企業如何利用數據實現精準化和個性化管理及服務 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66545940 1 項目概述 PAGEREF _Toc66545940 h 3 HYPERLINK l _Toc66545941 1.1 項目背景 PAGEREF _Toc66545941 h 3 HYPERLINK l _Toc66545942 1.2 需求分析 PAGEREF _Toc66545942 h 3 HYPERLINK l _Toc66545943 1.3 建設目標 PAGEREF _Toc665

2、45943 h 4 HYPERLINK l _Toc66545944 2 建設方案 PAGEREF _Toc66545944 h 5 HYPERLINK l _Toc66545945 2.1 總體架構 PAGEREF _Toc66545945 h 5 HYPERLINK l _Toc66545946 2.2 基礎支撐平臺 PAGEREF _Toc66545946 h 11 HYPERLINK l _Toc66545947 2.3 建設效果 PAGEREF _Toc66545947 h 14 HYPERLINK l _Toc66545948 3 核心組件 PAGEREF _Toc66545948

3、 h 19本文以教育行業項目的建設為例，介紹了如何通過數據采集、數據清洗、數據治理、數據挖掘、數據分析、數據管理和服務的全方位大數據管理，為每個學生進行精準畫像，從而實現精準化個性化服務、前置性預警引導服務等，為領導提供數據支持和決策參考，最終實現管理提升。1 項目概述1.1 項目背景隨著時代的不斷進步，科技的迅速發展，當前人們的生活已經發生了巨大的改變，越來越多的科學技術成果出現在人們的生活當中，給人們的生活、學習、還有工作都帶來了極大的便捷?，F在人們的生活模式已經發生了翻天覆地的改變，為了不斷的適應社會的具體狀況，人們也在不斷的對自身做出相應的調整，這樣的狀況在我國的高校中也是如此。當前的

4、社會被人們稱為大數據時代，在這樣的時代當中大數據為人們更好的認識這個世界提供了幫助，同時也為改變這個世界提供了全新的方法與技術體系。對于高校來說，是一個知識最密集、網絡信息技術運用充分、思想最活躍的前沿征地，為此我們要對高校的發展給予高度的重視。大數據時代已經來臨，教育行業作為社會大眾共享的無形財富，其開放己成為數據整合和共享應用的前提條件?！笆迤陂g有望形成和諧健康的行業生態?；A設施提供商、大數據服務商、數據挖掘與分析提供商、數據應用服務提供商、數據安全提供商、教育行政部門以及教育大數據標準研制單位等諸多角色通過合理分工、有效協同，推進高校大數據的持續有序發展。數字化校園歷經建設多年，沉

5、淀在數字化校園系統中的數據未釋放數據的價值來指導高校進行科學決策與科學管理。所以，數據建設勢必要提上高校信息化建設日程。高校信息化已數據作為切入點進行整體規劃。高校信息化在高校建設中，已經從網絡化到數字化，從數字化到智慧化演進，作為智慧化最突出的標志之一，數據化已經成為高校智慧校園建設的任務。如何利用數據的采集，分析，計算，挖掘來支撐高校的信息化戰略已成為未來戰略的必然趨勢。1.2 需求分析隨著當今時代的不斷發展，人們逐漸發現以往傳統的高校學生工作管理模式已經不能夠滿足人們具體的生活需要，高校要想發展的更好，要想給學生們提供一個良好的教育環境，那么一定要對自身的管理模式機型進行改變，因為只有這

6、樣高校才能夠長期穩定的發展下去?，F在的高校在對自身的管理模式進行改變的時候，深受社會大數據時代背景的影響，同時這也是高校自身在進行改進的時候必須參考的一個數據。教育管理體制改革需求在我國教育管理體制的不斷改革與發展中，各大高校的招生規模越來越大，所設立的專業也越來越多，相對于高校招生量來說，其管理人員的數量卻沒有增加，更沒有信息化管理意識。雖然一些高校也為學校擴招工作作了一系列的準備工作，加大了高校輔導員等等的管理隊伍建設，但管理人員的增長水平遠遠達不到高校學生管理工作的需求，以至于使很多管理人員一身兼多職，這樣不僅不能夠保證高校的教學質量，而且還使學生的管理工作難以以達到理想狀態，這些都是制

7、約高校健康發展的重要因素。大數據時代里，高校學生管理工作難度加大 21世紀是信息化的世紀、是網絡化的世紀，大數據時代的到來不僅給高校的學生管理工作帶來了很大的便利性，同時也讓其面臨著巨大的壓力的挑戰，使學校管理工作的難度越來越大，這就要求高校學生管理的模式能夠與時俱進，這樣才能夠掌握學生們的思想變化，適應學生們的生活方式。學生管理精準化需求大數據時代對高校學生的管理工作有非常巨大的幫助，高校為了更好的適應時代的發展，對自身學生工作的管理模式已經做出了巨大的改變。在當今的社會當中隨著計算機信息技術的不斷發展，互聯網的最初狀態已經發生了翻天覆地的變化，高校已經不再運用以往傳統的管理模式來進行學生的

8、管理工作，而是在學生的管理工作中加入了當今先進的科學技術手段，目前高校已經把社交網絡技術、計算機信息技術、電子商務技術、互聯網技術等應用到自身的學生管理工作當中，這些先進技術的引進大大的提高了高校學生管理工作的工作效率。學生管理工作模式變革需求隨著社會的發展和高等教育的深刻變革，學生工作的理念和方法也悄然發生著變化，從最早的世紀八十年代較為單一的傳統工作模式到“以學生為中心”“以學習為中心”的注重學生成長發展的學生工作模式，學生工作理念正逐步實現從管理到管理服務并重到服務的轉變。今天，學生工作面臨的對象是一個在移動互聯網時代成長起來的群體，網絡已經成為他們生活的一部分，如網絡閱讀、網絡學習、網

9、絡購物、網絡娛樂等，他們已經成為網絡文化形成參與的主體，且呈現出個性化發展的特征。面對這樣一個青年大學生群體，靠傳統的隨機抽樣或經驗去了解他們的工作模式已失去了優勢，一種新的依托大數據技術開展學生工作的模式應運而生。1.3 建設目標在大數據時代,教育政策的制定不再是簡單的經驗模仿,更不是政策制定者以自己有限的理解、假想、推測來取代全面的調查、論證和科學的判斷,而是強調更精細化地捕捉各個層面的變化數據,以及由數據展現的復雜相關與因果 關系,將教育治理與政策決策帶來的危機化為機遇。在管理決策方面 , 學工大數據不論是在幫助決策者更為清晰地了解現狀,及時掌握更為全面、更有價值的信息方面,還是在制定、

10、實施、調整具體的學生管理政策過程中,都具有舉足輕重的作用。本項目的建設將對重點圍繞學生管理工作需求，采集學生在學校期間的學習、生活、作息、消費、運動、圖書借閱等多位維度的數據，包含數據采集、數據清洗、數據治理、數據挖掘、數據分析、數據管理和服務的全方位大數據管理平為每個學生進行精準畫像，這樣讓學生管理這對管理對象能夠深入的了解，便于為每個學生提供精準化和個性化的服務，同時實現之前從后置性應急管理轉變為前置性預警引導等服務，促進教學管理改革，提高對學校整體狀況的把控，為領導提供數據支持和決策參考。實現精細化管理到精準化服務的模式轉變，學生工作事無巨細，涉及學生成長的方方面面，在大數據時代，在工作

11、模式和方法上，會對學生工作進行管理上的變革，運用大數據技術將學生工作從精細化管理轉向精準化服務。學生工作精準化服務主要體現在兩方面：一是學生工作者要掌握學生精準特征。青年大學生，作為年輕的成人，他們思維活躍、個性獨立，呈現出思想多元化、需求多樣化的特征，再加上大學生面臨著前所未有的全球化、國際化、互聯互通、復雜多變的社會環境，大學生的學習行為、生活習慣、思維模式、價值觀念都發生了深刻的變化，成長過程中也會碰到諸多現實困惑，這就要求學生工作者利用大數據的技術全面精準地了解學生的特點和需求。二是為學生提供私人定制的成長服務。每個學生都是獨立個體，因其教育背景、生源地、家庭狀況等的差異性，會導致不同

12、個體或群體的需求，采用團體輔導、個體輔導、朋輩輔導等方式為學生提供精準化服務。當然，學生工作者重在“輔”和“導”，要得到學生的配合和支持，需要他們主動提供自己的各類數據，與學生工作者一起診斷，認知自己，進而實現自我管理、自我成長。學工大數據作為高校的大數據服務平臺和高校智慧校園的一個子集，將為未來的高校大數據服務平臺和智慧校園提供豐富的數據源和基礎。2 建設方案2.1 總體架構2.1.1 數據采集和清洗數據源：包括的高校的業務系統（學工、人事、財務、教務、一卡通、科研、后勤、公寓、）等結構化數據、硬件的設備數據（防火墻設備的日志、上網行為審計的學生上網相關數據、以及音視頻、無線WIFI）等非結

13、構化數據、互聯網的數據（智聯、前程無憂等招聘網站的崗位招聘信息）半結構化數據。學生業務系統數據調研情況表數據采集層：1、 針對結構化數據，采用業界穩定成熟的Sqoop工具。Sqoop是一款強大的開源的工具，主要用于在Hive、Hbase與傳統的關系數據庫間進行數據的傳遞?？梢詫⒁粋€關系型數據庫中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中，在項目實施過程中使用頻率最高；2、 針對非結構化數據，采用業務穩定成熟的Flume（一個分布式、高可靠和高可用的海量日志聚合系統，支持從各類數據發送方采集數據，同時也提供對數據的簡單處理里能，并可以將處理后的數據定制化地寫

14、入各種數據接收方）+kafka（是一個分布式的、可分區的、多副本的實時消息發布和訂閱系統，提供可擴展、高吞吐、低延遲、高可靠的消息分發服務），這個主要實現對智能設備和軟件系統產生的日志信息這類型數據，另外針對各種文件類型的數據，例如word文檔、視頻、圖片等等。采用http、ftp等協議，這類數據采集完成后直接將數據存儲到HDFS中。3、 針對半結構化數據，主要使用采用爬蟲系統、kafka消息隊列系統、spark數據解析和HDFS數據存儲（可以選擇使用Elasticsearch）來配合完成。數據預處理：采集到大數據平臺的數據由于原有系統設計約束不健全或是業務人員錄入等原因造成數據可能存在缺失、

15、噪聲、重復、錯誤等問題，需要對于存儲到平臺中數據需要做預處理（清洗、集成（數據往往分布在不同的數據源中，數據集成就是將來自多個數據源的數據整合成一致的數據存儲中的過程），這部分工作需要業務部門的人員配合梳理，同時還需要對之前分散的數據按照前端應用分析集成面向主題數據，建立針對應用的主題數據庫（采用MYSQL的分布式架構MYCAT部署和存儲數據）。1、 對于缺失值：采用人工填寫替換（將缺失的屬性值用同一個常量替換）、邏輯補值（例如根據身份證號識別出生年月日、出生地等信息）、業務系統填寫（從其他業務系統中找出響應的數值）、以業務知識或經驗推測、重新提取（如果某些指標非常重要又缺失率高、那就需要和業

16、務人員了解和溝通，是否通過其他渠道可以取到相關數據）、放棄（對于缺失維度較大的數據，采取放棄的做法）；2、 重復數據：采用時間（數據錄入的時間先后順序取舍）、人工刪除、業務邏輯去重；3、 錯誤數據：不合理值修正（例如學生的年齡200歲、學生的成績異常1000分，必須指定在某個區間內）、格式錯誤修正（包括時間、日期、數值、全半角等顯示格式不一致，指定統一的格式進行轉換）、前后文矛盾修正（例如學生的身份證號是1101031980XXXXXXXX，然后年齡填18歲）、人工修正。數據標準：為確保實現高校數據的集成和共享和實現校本數據的積累，重點參照教育部出臺的高等學校管理信息標準“學生管理數據子集”中

17、的規范，結合學校實際情況，建立大學生基礎信息編碼規范和數據子集規范，統一學生編碼，確保學生的編碼唯一；統一部門編碼，保證部門編碼的唯一；統一所有業務系統的數據編碼，保證業務數據的準確；同時制訂編碼和數據的管理、更新、維護規范。數據質量：數據質量監控實現數據質量的自動檢查、監控、報告等功能，包括數據質量檢查規則庫（包括唯一性、重復性、及時性、完整性、準確性、規范性、一致性等維度）、規則執行引擎（按照指定好的規則按時執行，例如每天、時間0：00-06：00）、數據質量報告（對于檢查出的問題及時提交給用戶業務部門）、報告推送等功能。核心是規則庫，與業務無關的規則由技術人員獨立開發，與業務相關的規則需

18、要技術人員和業務人員共同確定檢查規則，然后編寫規則腳本。規則執行引擎可以定時批量執行檢查規則，及時發現數據質量問題，將數據質量報告第一時間推送給業務部門和指定相關人員，便于及時糾正問題數據。數據質量報告2.1.2 數據存儲和檢索數據存儲：對于采集到平臺內的數據進行統一存儲，1、 結構化數據：對于從傳統關系數據庫（mysql、Oracle等）采集過來的結構化數據則存放在Hive（建立在Hadoop基礎上的開源數據倉庫，提供類似SQL的HQL（Hive Query Language）語言對存儲在Hadoop中的大規模數據進行存儲、查詢和分析操作）庫中；2、 非結構化數據（音視頻、圖片、Word這類

19、型的文件類型的數據）存放在HDFS（Hadoop分布式文件系統（Hadoop Distributed File System），提供高吞吐量的數據訪問能力，適合用于大規模海量數據的存儲）中；3、 半結構化數據（設備的日志、WIFI、一卡通流水）則存放在HBase（是一種構建在HDFS之上的分布式、面向列的存儲系統，提供海量數據存儲功能，適合實時讀寫、隨機訪問超大規模數據集的應用場景）中。數據檢索：面對結構化的數據存儲檢索，將使用Impala標準數據檢索框架對hive數據格式存放在HDFS中的數據進行高速檢索，并且使用Impala的MPP查詢架構對存放信息進行高速查詢，同時還采用ElasticS

20、earch分布式全文檢索框架，用作對大量索引的高速檢索，其中涉及到大數據分析中的語義分析功能（例如：分詞器），可以對非結構化文件生成結構化索引，達到轉換查詢的目的。2.1.3 分布式計算和挖掘分布式計算：對于實時性要求較低的計算和分析，采用MapReduce分布式離線框架計算引擎（MapReduce是一種分布式計算模型。它提供了快速并行處理海量數據的能力，主要用解決海量數據的批量計算問題。MR由 Map和Reduce兩個過程組成。Map過程將一個分片數據根據用戶定義的Map邏輯處理后，經由MapReduce框架處理，形成輸出結果，供后續Reduce過程使用。Reduce過程即將Map的結果作為

21、輸入，根據用戶定義的Reduce邏輯，將數據處理并匯總，輸出最后的結果。在開發過程中，用戶只需實現map()和reduce()兩個函數，即可實現分布式計算。）；對于實時性要求較高的應用類計算和分析，采用Spark基于內存的迭代式運算(Spark是基于內存計算的的大數據分布式計算框架。它是基于MapReduce算法實現的分布式計算平臺，具有MapReduce所有優點。不同于MapReduce的是，Spark計算任務的中間結果和最終結果都可以保存在內存中，從而計算過程不再讀寫分布式文件系統。因此，Spark更加適用于數據挖掘與機器學習等需要迭代的MapReduce算法)，適合于例如對一卡通數據的分

22、析和各類食堂、圖書館、洗澡堂等推薦功能應用場景。算法引擎：采用Apache Mahout（是個可擴展的機器學習和數據挖掘庫）內常見的需要用到的功能算法有時序分析、主成分分析、關聯和推薦、統計、分類、聚類、回歸、特征工程、判別、信念網絡、圖計算等算法；運維監控：對大數據環境系統的分布式組件、硬件資源進行實時監控和運維管理，采用Cloudera Manager組件，是一個擁有集群自動化安裝、中心化管理、集群監控、報警功能的一個工具（軟件）,使得安裝集群從幾天的時間縮短在幾個小時內，運維人員從數十人降低到幾人以內，極大的提高集群管理的效率（1）管理：對集群進行管理，如添加、刪除節點等操作。（2）監控

23、：監控集群的健康情況，對設置的各種指標和系統運行情況進行全面監控。（3）診斷：對集群出現的問題進行診斷，對出現的問題給出建議解決方案。（4）集成：對hadoop的多組件進行整合。其他服務組件：包括分布式協調服務采用ZooKeeper（提供分布式、高可用性的協調服務，幫助系統避免單點故障，建立可靠的應用服務）組件對Hive、HBase、HDFS中的master組件功能提供HA功能，工作流調度引擎采用oozie工具，實現大數據環境下個各類資源之間的調度功能，資源調度則采用YARN（可以為各類應用程序進行資源管理和調度），實時對分布式環境下的CPU、內存、硬盤、網絡等資源進行監控，按照前端應用的需求

24、動態分配這些資源。2.2 基礎支撐平臺大數據底層基礎支持平臺統一采用VMware的虛擬化軟件來構建整體云計算架構，基礎支撐平臺虛擬化是實現業務虛擬化的基礎和關鍵，上層的應用支撐和業務服務都要依賴與基礎架構平臺，以滿足資源可靠性、可用性及可服務性需求。目前階段部署和實施，滿足的當前的業務應用，后期再逐步的完善功能。基礎支撐平臺進行虛擬化設計后，可將學校的服務器、存儲、網絡等硬件層設備形成計算資源池、存儲資源池和網絡資源池。在服務器虛擬化的支撐下，為現階段運行、未來擴建的各應用系統提供系統級高可用、容錯、系統在線遷移、存儲在線遷移、資源動態負載均衡、虛擬機自動備份等功能，同時借助云資源管理服務，資

25、源池在不同組織間的動態調配等能力。2.2.1 虛擬資源需求運行大數據平臺共需15臺VM，每臺VM的配置如下，分別用于安裝和部署如下功能組件：2.2.2 物理服務器配置4臺物理服務器，作業虛擬化的計算和存儲資源池，每臺配置如下：CPU：2E5-2600系統 (2.5GHz/12c)；內存：192GB DDR4；存儲：71.2TB SAS硬盤；RAID：1GB緩存，支持1/0/5/6；網卡：四千兆，雙端口SFP+萬兆網卡+2個萬兆光模塊；計算資源：21284=768核280核內存資源：1924=768GB560GB存儲資源：612004/100029TB27TB2.2.3 網絡資源1、建議部署Ha

26、doop組件（HDFSHIVEHBASEYRANZK等）的每臺VM配置雙千兆網卡，有條件最好是配置萬兆網路或是鏈路聚合功能，保障一條網絡鏈路出現故障后，網絡任可正常服務和性能要求。2、對于前端的WEB服務器（部署HA集群），建議每臺VM配置單千兆網卡即可；3、大數據環境系統所有VM建議都在一個網段。大數據平臺網絡拓撲圖2.2.4 存儲資源存儲資源如果有條件，可以采用單獨磁盤陣列，或是采用服務器內的硬盤（可以采用SSD（作為緩存）+HDD（數據容量）混合模式）作為存儲的資源。2.3 建設效果2.3.1 精準畫像所謂用戶畫像，即通過多維的數據整體描述用戶的特征，那么學生的畫像就是通過采集學生在校期

27、間的學習、生活、運動、作息、上網等多個維度的數據量化后，給每個學生都賦上特征屬性標簽（學生的作息規律、努力程度、經濟情況、社交關系等），進行全方位的分析，可以用于揭示學生在校學習、成長和生活軌跡，從而為學校針對學生進行個性化和精準化的管理和引導提供重要依據。2.3.2 社交網絡社交網絡的構建是通過分析學生之間校園行為軌跡相似性來實現的，主要是通過統計學生在地點共現（短時間內出現在同一地點，例如食堂、圖書館、澡堂等，通過WIFI和一卡通、門禁等數據的采集）的頻率，也就是說通過采集學生之間在某個時間點內同時出現的概率，概率越高，就認為是朋友關系，類似于微信的朋友圈等，分析共現的顯著性。同時通過大數

28、據的挖掘與分析，給不同個體賦上獨特屬性標簽，如專業、性別、民族等，并以此分析出其個性化的社交需求，對其社交圈進行刻畫?？梢詷嫿總€學生在班級、年級、院系的社交網絡關系圖，基于個人的社交網絡構建全校學生的設計網絡關系圖，越是處于中心人員，人際交往和社交關系比較好，越是邊緣或是連接點很少的，人際交往相對會差一些，用于發現校園內孤獨人群、進行心里健康輔導、以及一些重點人群監控等，同時可以指定相應的社交關系網絡推薦或是信息推送服務等，例如可以為學生匹配和推薦行為習慣和興趣愛好相識的個體建立社交關系等，更好地服務于學生個體的社會交往需要。2.3.3 成績預警高校學生成績特別好、特別差和成績突變的學生是教

29、育者最關心的人群，那么影響學生成績的因素除了第一課堂（學習成績、到課率、準點率、基礎知識掌握情況），還有第二課堂（學生參加活動、獎懲情況）、經濟消費、個人信息、生活規律和上網等幾個方面，針對成績預警，可以綜合這幾個維度進行全方位分析，提示教育者及早發現問題并進行干預，盡可能避免掛科問題。1、基礎知識相關性：基于矩陣分解的降維技術，通過分析課程之間在基礎知識上的相關性來進行掛科預測。例如某學生在第一學年課程中修高等數學1成績不好掛科了，那么當他在修高等數學2的時候，系統就會提醒該學生有可能掛科；2、基于學生努力程度：通過用學生在校的打水、出入圖書館、出入自習室的次數以及圖書借閱情況（例如成績好的

30、學生借閱的都是專業方向的讀物，而成績差的同學喜歡借閱諸如小說的各類課外讀物）綜合來度量其努力程度，可以反映學生上自習或者上課的頻率，間接反映了學生花在學習上的時間。因而，去教學樓打水次數高的學生、頻繁去圖書館的同學成績較好。3、基于學生的行為：選用學生上課監控數據，準點率，出勤率、努力程度、作息、上網是否健康，并結合上學期成績，做加權求和，目的在于反應學生本學期的學習基礎與學習態度，評價學生學習是否健康，公式如下所示：f（成績（包含德育成績）其中f（x）為歸一化函數。再根據學生飲食是否健康。良好合理的健康飲食習慣是身體健康的保障；不良的飲食習慣則會導致人體正常的生理功能紊亂而感染疾病，嚴重時甚

31、至會影響正常工作學習生活。因此飲食要按照科學的比例進行，公式如下：飲食指數=（2f（p_m）+2f（t_d）+f（S）+f（p_n）/6其中f（x）為歸一化函數，p_m，t_d，S，p_n分別為早餐評價，用餐標準差評價，消費差評價，宵夜評價。還有作息時間是否規律、上網時長是否合理、準點率和出勤率是否正常以及歷史學科成績等分析，最終形成學生學業成績分析結果。這個算法背后的思想是通過分析學生的作息時間、行為軌跡、上課情況等各事物間的相關性來進行成績預測，例如：作息時間規律、出勤率高、去圖書館較頻繁、按時吃早餐等的同學成績較好。2.3.4 精準資助準確識別扶助對象是實施“精準資助”管理服務的前提，客

32、觀、動態和多維度大數據整合庫，是實施“精準資助”的基礎。對貧困生判定的影響因子主要包括：（1）家庭基本信息，包括學生家庭成員組成、家庭成員信息、成員學歷、家庭年收入、負債金額等基本家庭信息。（2）歷史資助信息，學生以往獲得的資助信息（是否獲得資助、資助金額以及經濟困難情況）（3）一卡通（食堂、超市、醫院、開水室、自助打印、電費、洗衣房、浴室等）消費數據，包括一卡通平均單次消費金額、單次充值金額及充值間隔、月消費總額、逐月消費變化趨勢、消費時間段規律等。（4）消費趨勢，即獲得資助后消費習慣和軌跡改變的數據信息，如在獲得資助之后出現大額消費的數據信息。（5）調查問卷，收集來自于輔導員及周圍同學日常評價并轉換為量化數據。通過對以上數據的收集和處理分析，基于大數據分析的基礎上，建立精準資助模型：精準資助模型精準資助主要提供一下兩方面的功能：一是識別虛假貧困生，通過大數據綜合分析學生的各類消費數據，能夠有效識別家庭經濟情況較好的學生申報貧困生名額冒領國家資助的現象，對于這類學生取消其資助資格；二是發現潛在貧困生，對于一些貧困學生由于自尊心較強等因素，往往不會主動申請資助，這