1、    淺談教育大數(shù)據(jù)總體架構    姚中喜摘要：大數(shù)據(jù)的發(fā)展為教學管理提供了更多的管理手段，加快推進教學活動與現(xiàn)代科技的融合。本文從大數(shù)據(jù)框架建設開始，介紹教學大數(shù)據(jù)建設的需要的底層平臺，教學大數(shù)據(jù)的分析數(shù)據(jù)源和教學大數(shù)據(jù)的應用場景等。主要介紹教學數(shù)據(jù)的采集、治理、存儲與檢索，結合學校自身業(yè)務系統(tǒng)對教學大數(shù)據(jù)分析所需要的各種結構化和非結構化數(shù)據(jù)數(shù)據(jù)源分析，以及通過對業(yè)務系統(tǒng)梳理和對數(shù)據(jù)源的分析處理，通過大數(shù)據(jù)平臺運用算法分析來實現(xiàn)對智慧教育模式的探索。關鍵詞 大數(shù)據(jù) 數(shù)據(jù)治理 個性化教學 智慧教育在中國教育行業(yè)的發(fā)展形勢上，自大數(shù)據(jù)的概念提出以來，中國

2、大部分高校一直保持對其的高度關注。隨著大數(shù)據(jù)技術的逐漸成熟，很多高校已經(jīng)開始了接受并建設了大數(shù)據(jù)模型。除此之外，有部分高校已經(jīng)開設了大數(shù)據(jù)相關的專業(yè)課程，同時部分高校也意識到了數(shù)據(jù)對于學校信息化建設的重要性，并建立了自己的大數(shù)據(jù)開發(fā)團隊，對本校數(shù)據(jù)進行大數(shù)據(jù)分析及研發(fā)。目前高校信息化建設都比較完善，包括“一卡通系統(tǒng)、教務系統(tǒng)、oa辦公系統(tǒng)、學工系統(tǒng)、成人教育系統(tǒng)、網(wǎng)絡教學平臺、圖書館管理系統(tǒng)、人事系統(tǒng)、上網(wǎng)認證系統(tǒng)、資產(chǎn)管理系統(tǒng)、校園有線網(wǎng)、校園wifi、數(shù)據(jù)交換平臺、財務系統(tǒng)”等，而且大部分業(yè)務系統(tǒng)已經(jīng)建設多年，并且學校目前已經(jīng)對部分數(shù)據(jù)進行了整理及標準化。應該來說很多高校已經(jīng)積累了海量的教

3、育數(shù)據(jù)，即學生服務類數(shù)據(jù)、學校管理類、教學類的數(shù)據(jù)都比較豐富。但是學校還未有效利用相關數(shù)據(jù)進行挖掘分析，并沒有能夠運用已有的數(shù)據(jù)展現(xiàn)學校現(xiàn)狀以及分析學校存在的風險，展示學生學習過程、老師教學模式等的相關信息。1教育大數(shù)據(jù)平臺框架教育大數(shù)據(jù)平臺需要能夠有效采集和整合學校業(yè)務系統(tǒng)和硬件設備，建設學校統(tǒng)一的大數(shù)據(jù)管理平臺，提供統(tǒng)一的接口開發(fā)應用，為校學生、教師、院領導提供大數(shù)據(jù)服務。基于學校現(xiàn)有的數(shù)據(jù)源，構建統(tǒng)一的、分布式的教育大數(shù)據(jù)平臺，主要分為大數(shù)據(jù)倉庫建設和管理及大數(shù)據(jù)業(yè)務分析建設，首先，在數(shù)據(jù)倉庫構建方面，通過采集數(shù)據(jù)源全量數(shù)據(jù)及增量數(shù)據(jù)，構建學校原始大數(shù)據(jù)倉庫，從而更好的集中和積累校園應用

4、數(shù)據(jù)，為教育大數(shù)據(jù)分析和校園信息化發(fā)展提供數(shù)據(jù)的備份和積累;在原始數(shù)據(jù)倉庫的基礎上對原始數(shù)據(jù)進行聚類分析和標準化處理，形成聚類數(shù)據(jù)倉庫，標準化校園的業(yè)務數(shù)據(jù)，從而反推動校園業(yè)務系統(tǒng)的完善和標準化;分析校園大數(shù)據(jù)業(yè)務系統(tǒng)需求構建業(yè)務模型，根據(jù)模型對標準數(shù)據(jù)庫進行分析和關聯(lián)，形成應用模型主題庫。并通過數(shù)據(jù)管理平臺對整個數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)標準化、數(shù)據(jù)建模清洗過程進行圖形化配置、管理和應用。2教育大數(shù)據(jù)數(shù)據(jù)源采集數(shù)據(jù)采集是指通過業(yè)務系統(tǒng)數(shù)據(jù)、硬件設備數(shù)據(jù)等方式獲得的各種類型的結構化、半結構化及非結構化的海量數(shù)據(jù)，是教育大數(shù)據(jù)分析服務模型的根本。采用分布式高速高可靠數(shù)據(jù)采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)

5、收集技術;高速數(shù)據(jù)解析、轉換與裝載等大數(shù)據(jù)整合技術;設計質量評估模型，開發(fā)數(shù)據(jù)質量技術等。校內信息采集與集成，完成校內結構化數(shù)據(jù)，包括學校校務數(shù)據(jù)中心平臺、各業(yè)務系統(tǒng)數(shù)據(jù)庫;校內各類非結構化數(shù)據(jù)，包括校內各種互動教學網(wǎng)站內容、學生等各類文檔、圖片、業(yè)務系統(tǒng)日志等采集和集成。實現(xiàn)教育大數(shù)據(jù)分析接入的數(shù)據(jù)類型包括業(yè)務系統(tǒng)、硬件兩大類。學校現(xiàn)有數(shù)據(jù)源系統(tǒng)有：一卡通系統(tǒng)、教務系統(tǒng)、圖書館管理系統(tǒng)、人事系統(tǒng)、上網(wǎng)認證系統(tǒng)、資產(chǎn)管理系統(tǒng)、校園有線網(wǎng)、校園wifi、財務系統(tǒng)、學工系統(tǒng)、成教系統(tǒng)、網(wǎng)絡教學，通過對學校的數(shù)據(jù)源分析，設計大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)采集方案。通過數(shù)據(jù)采集etl工具庫，采集對數(shù)據(jù)中心內外的全量

6、及新增數(shù)據(jù)源，可采集學校各種類型的軟件、硬件設備數(shù)據(jù)和日志，教學平臺數(shù)據(jù)等海量分散數(shù)據(jù)，具有集中度高、采集速率快、可分配數(shù)據(jù)訪問權限、并具有詳細的采集日志等特點。在采集過程中，支持socket、webservice、數(shù)據(jù)庫、ftp等常見對外接口。各采集頻率需要根據(jù)業(yè)務需求、數(shù)據(jù)量大小等靈活制定，可采集的數(shù)據(jù)類型包括分布式數(shù)據(jù)信息、關系數(shù)據(jù)庫中結構化數(shù)據(jù)、各類半結構、非結構化的數(shù)據(jù)、靜態(tài)及高低頻知識數(shù)據(jù)，互聯(lián)網(wǎng)數(shù)據(jù)，以及第三方合作商提供的數(shù)據(jù)，并且能實現(xiàn)對數(shù)據(jù)質量進行監(jiān)控和迭代優(yōu)化。3教育大數(shù)據(jù)數(shù)據(jù)智能存儲及檢索智能存儲及檢索主要分為：數(shù)據(jù)的全量原始庫建設、標準化數(shù)據(jù)倉庫建設、應用模型主題庫建設

7、、數(shù)據(jù)管理及檢索平臺建設;針對采集的原始全量數(shù)據(jù)及增量數(shù)據(jù)構建原始數(shù)據(jù)倉庫，實現(xiàn)業(yè)務系統(tǒng)原始數(shù)據(jù)和增量數(shù)據(jù)的全量數(shù)據(jù)備份，同時為校內數(shù)據(jù)積累提供數(shù)據(jù)存儲;對原始數(shù)據(jù)倉庫數(shù)據(jù)清洗及標準化處理，如一卡通數(shù)據(jù)、互動教學平臺數(shù)據(jù)、教務系統(tǒng)是數(shù)據(jù)等海量分散數(shù)據(jù)進行清洗預處理，并分析適配，形成數(shù)據(jù)分析表、入庫存儲，對傳統(tǒng)的關系型數(shù)據(jù)庫，也包括xml等半結構化數(shù)據(jù)，以及以視頻、音頻、文本和其他形式存在的非結構化數(shù)據(jù)，將如殘缺數(shù)據(jù)、錯誤數(shù)據(jù)和重復數(shù)據(jù)進行處理，把結果集入庫，并記錄清洗結果，形成標準化數(shù)據(jù)庫倉庫，最后通過建模分析，針對模型建立模型分析主題數(shù)據(jù)倉庫。平臺同時提供高效的數(shù)據(jù)管理及檢索，可通過對數(shù)據(jù)平

8、臺的授權向外提供數(shù)據(jù)訪問接口，實現(xiàn)訂閱式的數(shù)據(jù)共享。4教育大數(shù)據(jù)平臺核心教育行業(yè)大數(shù)據(jù)中的核心為算法的挖掘與應用，針對教育大數(shù)據(jù)平臺，基于基礎模型和應用模型采用類似機器學習算法、基礎算法、聚類算法、實時流計算等算法，實現(xiàn)對數(shù)據(jù)的建模分析。在數(shù)據(jù)挖掘中，將整體的分析和計算的框架分為三個層次來設計，數(shù)據(jù)層、算法模型層、使用層。在數(shù)據(jù)層中，主要解決了數(shù)據(jù)的采集、調度、存儲等問題，采用了hadoop框架搭建整體的計算、存儲框架，保證系統(tǒng)的高效計算以及可靠存儲，采用分布式框架，可保證系統(tǒng)的橫向擴展和持久運行。hadoop框架中特有的并行計算和調度能力，保證了整個平臺的實現(xiàn)實時計算和實時交付的功能。算法模

9、型層主要功能在于積累了適合大數(shù)據(jù)不同功能以及實現(xiàn)不同計算效果，匹配不同模型的算法庫。在整個大數(shù)據(jù)系統(tǒng)中，常見的需要用到的功能算法有時序分析、主成分分析、關聯(lián)和推薦、深度機器學習、統(tǒng)計、分類、聚類、回歸、特征工程、判別、信念網(wǎng)絡、圖計算等算法。使用層主要針對前端業(yè)務應用效果，開發(fā)對應的開發(fā)和開放接口，對接響應的模型算法，計算和呈現(xiàn)對應的結果。提供機器學習算法庫，包含聚類分析、分類算法、頻度關聯(lián)分析和推薦系統(tǒng)在內的常用機器學習算法。通過大數(shù)據(jù)平臺的深度挖掘和關聯(lián)分析，為全校師生員工提供數(shù)據(jù)服務以及綜合數(shù)據(jù)分析服務。在設計數(shù)據(jù)模型之后，已經(jīng)確定業(yè)務概念、變量、業(yè)務規(guī)則，選擇合適的算法。數(shù)據(jù)挖掘中常見

10、的算法有回歸分析、關聯(lián)分析、聚類分析、孤立點分析等。根據(jù)學校數(shù)據(jù)維度、業(yè)務邏輯開展為業(yè)務分析。5教育大數(shù)據(jù)推動學校管理和教學走向智慧智慧教育是當前教育信息化的發(fā)展方向，也是教育信息化的美好期望，但要實現(xiàn)教育中的智能支持，大數(shù)據(jù)是必不可少的。近幾年以深度學習為代表的人工智能實現(xiàn)了突破，關鍵在于一方面是大規(guī)模并行計算能力的發(fā)展，另一方面是大數(shù)據(jù)的匯聚，通過深度人工神經(jīng)網(wǎng)絡學習大數(shù)據(jù)中蘊含的規(guī)律，從而獲得了智能，如語音自動識別、語言精準翻譯、計算機視覺等。在教育領域，如果要全面了解學生，必須全面采集學生學習過程的各種大數(shù)據(jù)，通過數(shù)據(jù)擬合，形成模型。教育大數(shù)據(jù)匯聚應用是智慧教育必經(jīng)的前置階段，依托大數(shù)

11、據(jù)，逐步形成智能系統(tǒng)和智能裝備，為智慧教育發(fā)展奠定基礎。教育大數(shù)據(jù)是在教育活動運行過程中的數(shù)據(jù)，它反映教育系統(tǒng)運行過程中實時、真實的運行狀況，蘊含著教育系統(tǒng)運行的內在規(guī)律。通過數(shù)據(jù)挖掘，將這種規(guī)律及其演化趨勢可視化展現(xiàn)出來，使教育決策部門可以預測到學校教育發(fā)展的需求趨勢，從而進行科學的教育決策與教育資源配置，實現(xiàn)事前預警，使得教育資源配置過程更迅速，甚至達到實時與即時性。教育大數(shù)據(jù)使得教育管理決策更加科學。利用大數(shù)據(jù)可以深度挖掘教育教學數(shù)據(jù)中的隱藏信息，可以發(fā)現(xiàn)教育過程中存在的問題和關鍵點，提供決策來優(yōu)化教育管理。教育大數(shù)據(jù)使得教育教學模式更加精準，在教育教學方面，將從數(shù)字化教育走向基于大數(shù)據(jù)

12、分析的智慧教育。通過大數(shù)據(jù)的群體分析抓住關鍵特征，教育更加高效、開放和多元，教學活動參與者之間的溝通更加通暢，互動更加深入。教師對教育教學過程的掌握從依靠經(jīng)驗轉向以教育數(shù)據(jù)分析為支撐。大數(shù)據(jù)分析還可以用于對教師的綜合評估，在跟蹤教學學情的過程中，用數(shù)據(jù)挖掘和分析等方法幫助教師分析教學方法和手段的有效性，使教師及時調整教學計劃和方法，提升自身教育教學的基本功、教學技能和學科素養(yǎng)。教育大數(shù)據(jù)使得學生學習方式更加個性化，通過大數(shù)據(jù)學情分析，學生在移動終端或軟件等教學媒體上的數(shù)據(jù)可以被精確記錄下來，如點擊資源的時間、停留多久、問題回答正確率、回訪率和其他資源信息，通過學情數(shù)據(jù)可以找到學生的學習特點、興

13、趣愛好和行為傾向。大數(shù)據(jù)學情分析使教育更加以學習者為中心，使集體教育轉向個性教育。同時還伴隨著教育者和學習者思維方式的改變，進一步使個性化教育成為可能。教育大數(shù)據(jù)使得教育評價方法更加公平，大數(shù)據(jù)支持的教育評價正在從“經(jīng)驗主義”走向“數(shù)據(jù)主義”，不僅表現(xiàn)在評價思維上，還包括評價方法上。基于大數(shù)據(jù)的教育教學特別強調改變“唯成績論”的做法，評估不再僅僅是由考試成績、紀律評分、自評互評等手段的主觀傳統(tǒng)意義上的措施，而是由大量的過程數(shù)據(jù)感知得到，主客觀結合，過程結果評價結合，為實現(xiàn)教學評價的公正提供了依據(jù)，優(yōu)化了教學方向。教育大數(shù)據(jù)使得科學研究路線更加客觀，大數(shù)據(jù)應用強調自動的、連續(xù)的記錄和搜集的數(shù)據(jù)流

14、，這比傳統(tǒng)調查數(shù)據(jù)更加客觀和中立。大數(shù)據(jù)還將改變傳統(tǒng)學術研究的過程，使得學術研究和信息技術、課題研究與實踐聯(lián)系在一起，讓教育科學研究路線更豐富。在大數(shù)據(jù)時代，教師的工作不再簡單的是知識傳授，而是將知識的輸出形式變得多樣化，關注學生的個性特征。將統(tǒng)一形式、集體化的教學轉變?yōu)樾畔⒓夹g支持下的教學。也就是說在了解學生的認知能力和知識結構的前提下，將知識進行遷移、整合并進行傳授。互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展，還給我們帶來發(fā)展個性化教學的機會，可以說在教育學上是有非常大的意義的。大數(shù)據(jù)技術可以在教育平臺上跟蹤和關注老師和學生的教學、學習過程，記錄老師和學生的課堂表現(xiàn)以及課下行為的數(shù)字化痕跡，通過在教育活動中點滴微觀行為的捕捉，為教育管理機構、學校、老師和家長提供最直接、客觀、準確的教育結果評價等。可以說，大數(shù)據(jù)在教育領域的運用是當代教育發(fā)展的必然趨勢。參考文獻1 教