第十六章大數據管理與應用進展大數據管理與應用——主編：王剛副主編：劉婧、邵臻01大數據產業發展動態02大數據管理與應用相關職業03大數據管理與應用挑戰04大數據管理與應用發展趨勢目前，大數據以爆炸式的發展速度迅速蔓延至各行各業。隨著各國搶抓戰略布局，不斷加大扶持力度，全球大數據市場規模保持了高速增長態勢。據相關研究數據表明，全球大數據市場規模將從2018年的420億美元增長至2024年的840億美元，年復合增長率為12.3%。美國：大數據的先行者歐洲：積極擁抱大數據亞洲：大數據的新興力量1.1國際大數據產業發展狀況大數據產業市場規模不斷擴大大數據產業形態基本形成數據資源：中國成為“世界數據中心”產品技術：跟隨全球開源趨勢，部分企業進入技術制高點應用服務：政府和企業高度重視，政務服務、智能制造等領域取得成效大數據產業呈現區域聚集分布狀態初步形成互聯網巨頭引領的產業競爭格局互聯網巨頭：百度、阿里巴巴、騰訊、京東等優勢：大量用戶數據、電子商務、定向廣告、多行業應用1.2中國大數據產業發展狀況隨著數據時代的到來，企業內部產生了很多與大數據管理與應用相關的職業，越來越多的人更愿意投身于這個行業成為其中的一員。接下來，我們主要介紹最重要的三個職業——數據科學家、數據工程師和數據分析師。2大數據管理與應用相關職業數據科學家早在2012年便被《哈佛商業評論》稱為21世紀最性感的職業，具有十分廣闊的發展前景。領英的首席數據科學家丹尼爾圖恩克指出數據科學家是能夠利用各種信息獲取方式、統計學原理和機器的學習能力構建分析模型并對其掌握的數據進行收集、去噪、分析并解讀的角色。數據科學家的主要職責包括進行數據收集、數據預處理、數據分析以及數據可視化，其中尤為重要的工作是用統計、機器學習、深度學習等方法建立模型分析數據，能夠設計算法，構建模型，找岀模式。2.1數據科學家數據工程師，與數據庫工程師、數據架構師相似，負責數據系統的建設、管理與優化從而保證數據的可接收、可存儲、可轉換、可訪問。數據工程師的主要職責在于通過技術手段保證數據科學家和數據分析師專注于解決數據分析方面的問題。首先是日常管理與維護數據系統，監控和測試系統保證性能優化；其次，構建和維護數據科學項目的數據架構，在現存的數據管道中整合數據集；同時，為數據消費開發API供相關人員使用；最后是非功能性的基礎設施問題，如數據的可擴展性、可靠性、韌性、有效性，備份等也由數據工程師來負責。2.2數據工程師數據分析師與數據科學家有一定的相似之處，他們都要從數據中抽取信息并且解釋數據背后的意義，但在解決的任務層面存在較大差別。數據分析師解決的任務一般著眼于利用現有數據發現、解釋當前岀現的問題，數據科學家解決的任務更具開放性，他們更專注于利用統計和算法工具來開發新的分析模型。數據分析師的主要職責是根據數據和業務情況，分析得出結論、制定業務策略或者建立模型，回答企業所遇到的運營問題，并通過數據化的交流方式幫助企業決策，核心職責是幫助其他人追蹤進展和優化目標。數據分析師的工作內容一般包括數據清洗，執行分析和數據可視化。2.3數據分析師這三種大數據相關職業都需要跟數據打交道，但是卻擁有不同的分工。數據科學家偏重于對現有的數據分析方法提出改良與優化、針對實際的數據分析問題提出合理可行的新的數據分析方法，同時需要基于分析的發現和在更多可能性上的調查來獲得方向。數據工程師則偏重于數據的處理和凈化，將海量的數據進行整合，主要工作在后端，持續的提升數據管道來保證數據的精確和可獲取。數據分析師一般用數據工程師提供的現成的接口來和數據科學家構建出的分析模型來抽取新的數據，然后發現數據中的趨勢、分析異常情況，以一種清晰的方式來概括和提出數據分析結果來讓非技術的團隊更好地理解，以輔助決策。2.4三者區別與聯系大數據在快速發展的同時，也受到一些技術方面的挑戰，包括基于數據倉庫的計算模式中的兩個問題、算法偏見、數據供應鏈中的問題、數據碎片化以及異構數據缺乏互操作性等，這些因素都為大數據管理與應用進一步的發展帶來重要挑戰。數據倉庫的計算模式問題算法偏見數據供應鏈中的問題數據碎片化異構數據缺乏互操作性3.1大數據管理與應用技術挑戰目前在企業內部大數據的發展依然存在諸多挑戰，包括五大方面的挑戰：業務部門沒有清晰的大數據需求企業內部數據孤島嚴重數據可用性低，數據質量差大數據人才缺乏數據開放與隱私的權衡3.2大數據管理與應用的企業內挑戰近些年來，大數據技術的發展幾乎月新日異，一些最新的技術和方法也為大數據技術的發展注入活力，大數據技術在未來將越來越加緊與邊緣計算、區塊鏈技術和量子計算等最新技術的結合。開源繼續成為大數據技術的主流邊緣計算和云計算成為互補技術區塊鏈技術提升大數據應用價值增強分析加速制定決策量子計算助力大數據分析4.1大數據技術發展趨勢總體而言，大數據產業存在五大發展方向，大數據在管理中將從概念化走向價值化，成為重要的戰略資源；大數據整合、共享和開放是發展的必然趨勢，唯有這樣才能發揮大數據的最大價值；人工智能的發展也將帶動管理與應用創新；