1、2018年江蘇省高等職業院校技能大賽大數據技術與應用賽項競賽規程一、賽項名稱大數據技術與應用二、競賽目的本賽項的設置，是為適應大數據開發應用產業對高素質技術技能型人才的職業需求，賽項選取典型的大數據應用業務分析應用場景，重點檢驗參賽選手掌握大數據業務分析方法和數據分析能力、運用大數據平臺及相關工具軟件解決具體業務問題的能力，激發學生對大數據知識和技術的學習興趣，提升學生職業素養和職業技能，展示職教改革成果及參賽師生良好精神風貌。通過舉辦本賽項，可以搭建校企合作的平臺，提升高職電子信息類及相關專業畢業生能力素質，滿足企業用人需求，促進校企合作協同育人，對接產業發展，實現行業資源、企業資源與教學資

2、源的有機融合，使高職院校在專業建設、課程建設、人才培養方案和人才培養模式等方面，跟蹤社會發展的最新需要，縮小人才培養與行業需求差距，引領職業院校專業建設與課程改革。三、競賽內容賽項以大數據技術與應用為核心內容和工作基礎，重點考察參賽選手在Hadoop平臺環境下，對于大規模并行數據處理以及內存計算技術的應用能力。具體包括：1 .掌握Hadoop平臺環境部署與基本配置，了解基于大數據計算平臺的常見應用；2 .綜合利用numpypandas、matplotlib、scikit模塊和MapReducJ術、分布式存儲系統HDFS、分布式計算框架MapReduce/Yarn、數據倉庫Hive、Python

3、等開發語言工具和技術，匹配和連接數據源，實現大數據的采集，提取、清洗、轉換、分析、挖掘操作，產生分析結果，并且實現可視化呈現。3 .依據項目應用需求和分析結果，完成數據分析報告的編寫。4 .競賽時間4小時，競賽連續進行。競賽內容構成如下：考核環節考核知識點和技能點Hadoop平臺安裝部署Hadoop平臺安裝部署和基本配置。HDFSa用操作命令（查詢文件類別、上傳、刪除文件、查詢HDFS4本統計信息）。Hadoop集群的性能調優。數據抓取規則文件數據和關系型數據庫數據抓取以及數據同步（同Hadoop/Hive數據同步）。掌握Hive數據倉庫導入、導出以及同Hadoopa據文件的轉換，實現Hive

4、數據管理常用命令。能夠通過Python編程，使用streaming和MapReduc凱制實現數據的抓取。,據清洗、整理、計算和表達基于MapReduce勺HDFSfc件系統的文件數據的數據查詢、整理和計算。結合Hadoop大數據平臺相關技術實現對數據的分析和展現。應用Python編程工具，實現給定數據源的采集，提取、清洗、轉換、分析、挖掘操作，產生分析結果，并且實現可視化呈現。綜合分析綜合應用數據抓取、清洗、整理、計算和表達等相關知識及技術，使用Python編程工具，實現對提供的數據源分析、展現，根據展現結果得出結論，并對結論進行分析，形成分析報告。競賽各階段分值權重和時間分布如下:在舁廳P競

5、賽時間分值權重Hadoop平臺安裝部署240分鐘權重15%數據抓取權重30%數據清洗、整理、計算和表達權重20%綜合分析權重30%團隊分工明確合理、操作規范、文明競賽權重5%四、競賽方式本賽項為團體賽。每支參賽隊由1名領隊，3名選手（其中隊長1名），2名指導教師組成。五、競賽規則（一）競賽工位通過抽簽決定。（二）競賽所需的硬件設備、系統軟件和輔助工具由賽項組委會統一準備，參賽選手不得自帶硬件設備、軟件、移動存儲、輔助工具、移動通信等進入競賽現場。（三）參賽隊自行決定選手分工、工作程序和時間安排。（四）所有參賽選手都必須攜帶參賽證件進行檢錄。參賽證件不包含身份證和學生證。（五）參賽隊在賽前10分

6、鐘進入競賽工位并領取競賽任務，競賽正式開始后方可展開相關工作。參賽選手遲到超過競賽時間一半不得入場。（六）競賽過程中，選手須嚴格遵守操作規程，確保人身及設備安全，并接受裁判員的監督和警示。如遇到設備或軟件等故障，參賽選手應當舉手示意；現場裁判應及時予以解決。如確因計算機軟件或硬件故障，致使操作無法繼續的，由現場裁判協同技術支持人員共同解決。（7） 若因選手因素造成設備故障或損壞，無法繼續競賽的，由現場裁判報告裁判長。裁判長有權決定中止該隊競賽；若因非參賽選手個人因素造成設備故障，由裁判長視具體情況做出裁決。（8） 競賽結束或提前完成后，參賽隊要確認已成功提交所有競賽文檔，由參賽隊隊長簽字（簽工

7、位號）確認，參賽隊在確認后不得再進行任何操作。（9） 競賽結束或提前完成后，參賽隊要確認已成功提交所有競賽文檔，由參賽隊隊長簽字（簽工位號）確認，參賽隊在確認后不得再進行任何操作，經現場裁判確認后方可離開賽場（十）成績評定評分方法分為現場評分和結果評分，經裁判長、監督人員簽字確認后予以公布。（十一）競賽過程不安排現場觀摩。（十二）其它未盡事宜，將在賽前向各領隊做詳細說明。七、競賽環境1 .競賽場地。競賽場地分為：競賽現場、裁判員休息區、指導老師休息區、服務區。其中，競賽現場又劃分為：檢錄區、場內競賽區、技術支持區。以上區域應保證良好的采光、照明和通風；2 .競賽設備。場內競賽區按照參賽隊數量準

8、備比賽所需的軟硬件平臺，為參賽隊提供統一競賽設備和備用設備。選手無需自帶任何工具及附件。3 .競賽工位。競賽現場各個工作區配備單相220V/3A以上交流電源。每個比賽工位上標明編號。4 .技術支持區。為技術支持人員提供固定工位、電源保障。5 .服務區。提供醫療等服務保障。6 .競賽場地應符合消防安全規定，應急照明設施狀態合格，賽場明顯位置張貼緊急疏散圖，賽場出入口專人負責。現場臨時用電滿足施工現場臨時用電安全技術規范JGJ46-2005的要求。八、技術規范競賽項目基礎標準（見表2）和軟件開發標準（見表3）如下：（一）基礎標準標準內容GB/T11457-2006信息技術、軟件工程術語GB8566

9、-88計算機軟件開發規范GB/T12991-2008信息技術數據庫諦言SQU國1部分：框架-T-469信息技術云數據存儲和管理第1部分：總則-T-469信息技術云數據存儲和管理第2部分：基于對象的玄存儲應用接口GB/T21025-2007XML#用指南GB/T20009-2005信息安全技術數據庫管理系統安全評估準則？已發布GB/T20273-2006信息安全技術數據庫管理系統安全技術要求-T-469信息技術安全技術信息安全管理體系實施指南（二）軟件開發標準標準內容GB/T8566-2001信息技術軟件生存周期過程GB/T15853-1995軟件支持環境GB/T14079-1993軟件維護指南

10、GB/T17544-1998信息技術軟件包質量要求和測試九、技術平臺（一）競賽設備設備類別數量設備用途基本配置服務器1臺。內嵌大數據實訓管理系統,提供大數據競賽。PC服務器客戶端每支參賽隊伍3臺。根據參賽團隊數量，配備10%勺備份機器。競賽選手比賽使用。性能相當于處理器，4G以上內存，顯示器要求1024*768以上（二）軟件環境設備類別軟件類別軟件名稱服務端競賽系統運行操作系統客戶端桌面操作系統Windows7虛擬環境Virtualbox虛擬操作系統UbuntuLTS大數據平臺軟件Hadoop開發語百數據分析工具Pandas集成開發環境瀏覽器Chrome/firefox文檔編輯器Office2

11、007及以上版本（三）競賽技術平臺比賽技術平臺：北京四合天地大數據實訓管理系統十、成績評定評分標準考核環節考核知識點和技能點分值Hadoop平臺安裝部署和基本配置。Hadoop平臺安裝部署HDF引用操作命令（查詢文件類別、上傳、刪除文件、查詢HDFS4本統計信息）。15Hadoop集群的性能調優。規則文件數據和關系型數據庫數據抓取以及數據同步（同Hadoop/Hive數據同步）。數據抓取掌握Hive數據倉庫導入、導出以及同Hadoop數據文件的轉換，實現Hive數據管理常用命令。能夠通過Python編程，使用streaming和MapReducelL制實現數據的抓取。30"據清洗、整

12、理、基于MapReduceJHDF故件系統的文件數據的數據查詢、整理和計算。20計算和表達結合Hadoop大數據平臺相關技術實現對數據的分析和展現。應用Python編程工具，實現給定數據源的采集，提取、清洗、轉換、分析、挖掘操作，產生分析結果，并且實現可視化呈現。宗合分析團隊綜合應用數據抓取、清洗、整理、計算和表達等相關知識及技術，使用Python編程工具，實現對提供的數據源分析、展現，根據展現結果得出結論，并對結論進行分析，形成分析報告。分工明確合理、操作規范、文明競賽305（二）評分方式1 .競賽成績評定實行“裁判長負責制”，負責組織評分裁判進行成績評定.2 .評分裁判：負責對參賽隊伍（選

13、手）的比賽作品、比賽表現按賽項評分標準進行評定。3 .成績評定是根據競賽考核目標、內容對參賽隊或選手在競賽過程中的表現和最終成果做出評價。本賽項的評分方法為現場評分和結果評分，現場評分：現場裁判根據參賽隊的操作規范以及綜合表現情況進行評分；結果評分：依據賽項評價標準，對參賽選手提交的競賽成果進行評分。所有的評分表、成績匯總表備案以供核查，最終的成績由裁判長進行審核確認并上報賽項組委會。4 .成績公布方法競賽成績經復核無誤后，經裁判長審核簽字后公布。十一、申訴與仲裁（一）申訴1 .參賽隊對不符合競賽規定的設備、工具、軟件，有失公正的評判、獎勵，以及對工作人員的違規行為等，均可提出申訴。2 .申訴應在競賽結束后1小時內提出，超過時效不予受理。申訴時，應按照規定的程序由參賽隊領隊向賽項仲裁工作組遞交書面申訴報告。報告應對申訴事件的現象、發生的時間、涉及到的人員、申訴依據與理由等進行充分、實事求是的敘述。事實