大數據的現狀與趨勢

全球范圍內，研究發展大數據技術、運用大數據推動經濟發展、完善社會治理、提升政府服務和監管能力正成為趨勢。大數據應用

已有眾多成功的大數據應用，但就其效果和深度而言，當前大數據應用尚處于初級階段，根據大數據分析預測未來、指導實踐的深層次應用將成為發展重點。按照數據開發應用深入程度的不同，可將眾多的大數據應用分為三個層次。第一層，描述性分析應用，是指從大數據中總結、抽取相關的信息和知識，幫助人們分析發生了什么，并呈現事物的發展歷程。如美國的DOMO公司從其企業客戶的各個信息系統中抽取、整合數據，再以統計圖表等可視化形式，將數據蘊含的信息推送給不同崗位的業務人員和管理者，幫助其更好地了解企業現狀，進而做出判斷和決策。第二層，預測性分析應用，是指從大數據中分析事物之間的關聯關系、發展模式等，并據此對事物發展的趨勢進行預測。如微軟公司紐約研究院研究員DavidRothschild通過收集和分析賭博市場、證券交易所、社交媒體用戶發布的帖子等大量公開數據，建立預測模型，對多屆奧斯卡獎項的歸屬進行預測。2014和2015年，均準確預測了奧斯卡共24個獎項中的21個。第三層，指導性分析應用，是指在前兩個層次的基礎上，分析不同決策將導致的后果，并對決策進行指導和優化。如無人駕駛汽車分析高精度地圖數據和海量的激光雷達、攝像頭等傳感器的實時感知數據，對車輛不同駕駛行為的后果進行預判，并據此指導車輛的自動駕駛。當前，在大數據應用的實踐中，描述性、預測性分析應用多，決策指導性等更深層次分析應用偏少。一般而言，人們做出決策的流程通常包括：認知現狀、預測未來和選擇策略這三個基本步驟。這些步驟也對應了上述大數據分析應用的三個不同層次。不同層次的應用意味著人類和計算機在決策流程中不同的分工和協作。例如：第一層次的描述性分析中，計算機僅負責將與現狀相關的信息和知識展現給人類專家，而對未來態勢的判斷及對最優策略的選擇仍然由人類專家完成。應用層次越深，計算機承擔的任務越多、越復雜，效率提升也越大，價值也越大。然而，隨著研究應用的不斷深入，人們逐漸意識到前期在大數據分析應用中大放異彩的深度神經網絡尚存在基礎理論不完善、模型不具可解釋性、魯棒性較差等問題。因此，雖然應用層次最深的決策指導性應用，當前已在人機博弈等非關鍵性領域取得較好應用效果，但是，在自動駕駛、政府決策、軍事指揮、醫療健康等應用價值更高，且與人類生命、財產、發展和安全緊密關聯的領域，要真正獲得有效應用，仍面臨一系列待解決的重大基礎理論和核心技術挑戰，大數據應用仍處于初級階段。未來，隨著應用領域的拓展、技術的提升、數據共享開放機制的完善，以及產業生態的成熟，具有更大潛在價值的預測性和指導性應用將是發展的重點。大數據治理

大數據治理體系遠未形成，特別是隱私保護、數據安全與數據共享利用效率之間尚存在明顯矛盾，成為制約大數據發展的重要短板，各界已經意識到構建大數據治理體系的重要意義，相關的研究與實踐將持續加強。

隨著大數據作為戰略資源的地位日益凸顯，人們越來越強烈地意識到制約大數據發展最大的短板之一就是：數據治理體系遠未形成，如數據資產地位的確立尚未達成共識，數據的確權、流通和管控面臨多重挑戰；數據壁壘廣泛存在，阻礙了數據的共享和開放；法律法規發展滯后，導致大數據應用存在安全與隱私風險等。上述種種因素，制約了數據資源中所蘊含價值的挖掘與轉化。其中，隱私、安全與共享利用之間的矛盾問題尤為凸顯。一方面，數據共享開放的需求十分迫切。近年來人工智能應用取得的重要進展，主要源于對海量、高質量數據資源的分析和挖掘。而對于單一組織機構而言，往往靠自身的積累難以聚集足夠的高質量數據。另外，大數據應用的威力，在很多情況下源于對多源數據的綜合融合和深度分析，從而獲得從不同角度觀察、認知事物的全方位視圖。而單個系統、組織的數據往往僅包含事物某個片面、局部的信息，因此，只有通過共享開放和數據跨域流通才能建立信息完整的數據集。然而，另一方面，數據的無序流通與共享，又可能導致隱私保護和數據安全方面的重大風險，必須對其加以規范和限制。例如，鑒于互聯網公司頻發的、由于對個人數據的不正當使用而導致的隱私安全問題，歐盟制定了“史上最嚴格的”數據安全管理法規《通用數據保護條例》。2020年1月1日，被稱為美國“最嚴厲、最全面的個人隱私保護法案”——《加利福利亞消費者隱私法案》（CCPA）正式生效。在我國，2019年中央網信辦發布了《數據安全管理辦法（征求意見稿）》，向社會公開征求意見，明確了個人信息和重要數據的收集、處理、使用和安全監督管理的相關標準和規范。近年來，圍繞大數據治理這一主題及其相關問題，國際上已有不少成功的實踐和研究探索工作。然而，考察當前的研究和實踐，仍存在三個方面的主要問題。一是大數據治理概念的使用相對“狹義”，研究和實踐大都以企業組織為對象，僅從個體組織的角度考慮大數據治理的相關問題，這與大數據跨界流動的迫切需求存在矛盾，限制了大數據價值的發揮。二是現有研究實踐對大數據治理內涵的理解尚未形成共識，不同研究者從流程設計、信息治理和數據管理應用等不同視角，給出了大數據治理的不同定義，共識的形成尚有待時日。三是大數據治理相關的研究實踐多條線索并行，關聯性、完整性和一致性不足。諸如，國家層面的政策法規和法律制定等較少被納入大數據治理的視角；數據作為一種資產的地位仍未通過法律法規予以確立，難以進行有效的管理和應用；大數據管理已有不少可用技術與產品，但還缺乏完善的多層級管理體制和高效管理機制；如何有機結合技術與標準，建立良好的大數據共享與開放環境仍需要進一步探索。大數據技術

數據規模高速增長，現有技術體系難以滿足大數據應用的需求，大數據理論與技術遠未成熟，未來信息技術體系將需要顛覆式創新和變革。

近年來，數據規模呈幾何級數高速成長。據國際信息技術咨詢企業國際數據公司（IDC）的報告，2030年全球數據存儲量將達到2500ZB。當前，需要處理的數據量已經大大超過處理能力的上限，從而導致大量數據因無法或來不及處理，而處于未被利用、價值不明的狀態，這些數據被稱為“暗數據”。據國際商業機器公司（IBM）的研究報告估計，大多數企業僅對其所有數據的1%進行了分析應用。近年來，大數據獲取、存儲、管理、處理、分析等相關的技術已有顯著進展，但是大數據技術體系尚不完善，大數據基礎理論的研究仍處于萌芽期。首先，大數據定義雖已達成初步共識，但許多本質問題仍存在爭議，例如：數據驅動與規則驅動的對立統一、“關聯”與“因果”的辯證關系、“全數據”的時空相對性、分析模型的可解釋性與魯棒性等；其次，針對特定數據集和特定問題域已有不少專用解決方案，是否有可能形成“通用”或“領域通用”的統一技術體系，仍有待未來的技術發展給出答案；其三，應用超前于理論和技術發展，數據分析的結論往往缺乏堅實的理論基礎，對這些結論的使用仍需保持謹慎態度。推演信息技術的未來發展趨勢，較長時期內仍將保持漸進式發展態勢，隨技術發展帶來的數據處理能力的提升將遠遠落后于按指數增長模式快速遞增的數據體量，數據處理能力與數據資源規模之間的“剪刀差”將隨時間持續擴大，大數據現象將長期存在。在此背景下，大數據現象倒逼技術變革，將使得信息技術體系進行一次重構，這也帶來了顛覆式發展的機遇。

大數據與數字經濟

大數據是信息技術發展的必然產物，更是信息化進程的新階段，其發展推動了數字經濟的形成與繁榮。

當前，我們正在進入以數據的深度挖掘和融合應用為主要特征的智能化階段（信息化3.0）。在“人機物”三元融合的大背景下，以“萬物均需互聯、一切皆可編程”為目標，數字化、網絡化和智能化呈融合發展新態勢。在信息化發展歷程中，數字化、網絡化和智能化是三條并行不悖的主線。數字化奠定基礎，實現數據資源的獲取和積累；網絡化構建平臺，促進數據資源的流通和匯聚；智能化展現能力，通過多源數據的融合分析呈現信息應用的類人智能，幫助人類更好地認知復雜事物和解決問題。信息化新階段開啟的另一個重要表征是信息技術開始從助力經濟發展的輔助工具向引領經濟發展的核心引擎轉變，進而催生一種新的經濟范式——“數字經濟”。數字經濟是指以數字化知識和信息為關鍵生產要素、以現代信息網絡為重要載體、以信息通信技術的有效使用為效率提升和經濟結構優化的重要推動力的一系列經濟活動，是以新一代信息技術和產業為依托，繼農業經濟、工業經濟之后的新經濟形態。從構成上看，農業經濟屬單層結構，以農業為主，配合以其他行業，以人力、畜力和自然力為動力，使用手工工具，以家庭為單位自給自足，社會分工不明顯，行業間相對獨立。工業經濟是兩層結構，即提供能源動力和行業制造設備的裝備制造產業，以及工業化后的各行各業，并形成分工合作的工業體系。數字經濟則可分為三個層次：提供核心動能的信息技術及其裝備產業、深度信息化的各行各業以及跨行業數據融合應用的數據增值產業。當前，數字經濟正處于成型展開期，將進入信息技術引領經濟發展的爆發期、黃金期。從另一個視角來看，如果說過去20多年，互聯網高速發展引發了一場社會經濟的“革命”，深刻地改變了人類社會，現在可以看到，互聯網革命的上半場已經結束。上半場的主要特征是“2C”（面向最終用戶），主戰場是面向個人提供社交、購物、教育、娛樂等服務，可稱為“消費互聯網”。而互聯網革命的下半場正在開啟，其主要特征將是“2B”（面向組織機構），重點在于促進供給側的深刻變革，互聯網應用將面向各行業，特別是制造業，以優化資源配置、提質增效為目標，構建以工業物聯為基礎和工業大數據為要素的工業互聯網。作為互聯網發展的新領域，工業互聯網是新一代信息技術與生產技術深度融合的產物，它通過人、機、物的深度互聯，全要素、全產業鏈、全價值鏈的全面鏈接，推動形成新的工業生產制造和服務體系。當前，新一輪工業革命正在拉開帷幕，在全球范圍內不斷顛覆傳統制造模式、生產組織方式和產業形態，而我國正處于由數量和規模擴張向質量和效益提升轉變的關鍵期，需要抓住歷史機遇期，促進新舊動能轉換，形成競爭新優勢。我國是制造大國和互聯網大國，推動工業互聯網創新發展具備豐富的應用場景、廣闊的市場空間和巨大的推進動力。數字經濟未來發展呈現如下趨勢：一是以互聯網為核心的新一代信息技術正逐步演化為人類社會經濟活動的基礎設施，并將對原有的物理基礎設施完成深度信息化改造和軟件定義，在其支撐下，人類極大地突破了溝通和協作的時空約束，推動平臺經濟、共享經濟等新經濟模式快速發展。二是各行業工業互聯網的構建將促進各種業態圍繞信息化主線深度協作、融合，在完成自身提升變革的同時，不斷催生新的業態，并使一些傳統業態走向消亡。三是在信息化理念和政務大數據的支撐下，政府的綜合管理服務能力和政務服務的便捷性持續提升，公眾積極參與社會治理，形成共策共商共治的良好生態。四是信息技術體系將完成蛻變升華式的重構，釋放出遠超當前的技術能力，從而使蘊含在大數據中的巨大價值得以充分釋放，帶來數字經濟的爆發式增長。我國大數據發展的態勢

我國在大數據方面仍存在一系列亟待補上的短板。一是大數據治理體系尚待構建。首先，法律法規滯后。目前，我國尚無真正意義上的數據管理法規，只在少數相關法律條文中有涉及數據管理、數據安全等規范的內容，難以滿足快速增長的數據管理需求。其次，共享開放程度低。推動數據資源共享開放，將有利于打通不同部門和系統的壁壘，促進數據流轉，形成覆蓋全面的大數據資源，為大數據分析應用奠定基礎。第三，安全隱患增多。近年來，數據安全和隱私數據泄露事件頻發，凸顯大數據發展面臨的嚴峻挑戰。在大數據環境下，數據在采集、存儲、跨境跨系統流轉、利用、交易和銷毀等環節的全生命周期過程中，所有權與管理權分離，真假難辨，多系統、多環節的信息隱性留存，導致數據跨境跨系統流轉追蹤難、控制難，數據確權和可信銷毀也更加困難。二是核心技術薄弱。基礎理論與核心技術的落后導致我國信息技術長期存在“空心化”和“低端化”問題，大數據時代需避免此問題在新一輪發展中再次出現。近年來，我國在大數據應用領域取得較大進展，但是基礎理論、核心器件和算法、軟件等層面，較之美國等技術發達國家仍明顯落后。在大數據管理、處理系統與工具方面，我國主要依賴國外開源社區的開源軟件，然而，由于我國對國際開源社區的影響力較弱，導致對大數據技術生態缺乏自主可控能力，這成為制約我國大數據產業發展和國際化運營的重大隱患。三是融合應用有待深化。我國大數據與實體經濟融合不夠深入，主要問題表現在：基礎設施配置不到位，數據采集難度大；缺乏有效引導與支撐，實體經濟數字化轉型緩慢；缺乏自主可控的數據互聯共享平臺等。當前，工業互聯網成為互聯網發展的新領域，然而仍存在不少問題：政府熱、企業冷，政府時有“項目式”“運動式”推進，而企業由于沒看到直接、快捷的好處，接受度低；設備設施的數字化率和聯網率偏低；大多數大企業仍然傾向打造難以與外部系統交互數據的封閉系統，而眾多中小企業數字化轉型的動力和能力嚴重不足；國外廠商的設備在我國具有壟斷地位，這些企業紛紛推出相應的工業互聯網平臺，搶占工業領域的大數據基礎服務市場。若干思考和建議

大力發展行業大數據應用

當前，我國互聯網領域的大數據應用市場化程度高、發展較好，但行業應用廣度和深度明顯不足，生態系統亟待形成和發展。

事實上，與實體經濟緊密結合的行業大數據應用蘊含了更加巨大的發展潛力和價值。以制造業為例，麥肯錫研究報告稱：制造企業在利用大數據技術后，其生產成本能夠降低10%~15%。而大數據技術對制造業的影響遠非成本這一個方面。利用源于產品生命周期中市場、設計、制造、服務、再利用等各個環節數據，制造業企業可以更加精細、個性化地了解客戶需求，建立更加精益化、柔性化、智能化的生產系統，創造包括銷售產品、服務、價值等多樣的商業模式，并實現從應激式到預防式的工業系統運轉管理模式的轉變。建立系統全面的大數據治理體系

大數據是數字經濟的關鍵要素，強大的信息技術產業和全面深度信息化賦能的傳統行業無疑是數字經濟的基礎！大數據治理須從營造大數據產業發展環境的視角予以全面、系統化考慮。

在一國之內，大數據治理體系建設涉及國家、行業和組織三個層次，至少包含數據的資產地位確立、管理體制機制、共享與開放、安全與隱私保護等四方面內容，需要從制度法規、標準規范、應用實踐和支撐技術等視角多管齊下，提供支撐。在國家層次，重點是要在法律法規層面明確數據的資產地位，奠定數據確權、流通、交易和保護的基礎，制定促進數據共享開放的政策法規和標準規范，促進政務數據和行業數據的融合應用，并且出臺數據安全與隱私保護的法律法規，保障國家、組織和個人的數據安全。在行業層次，重點是要在國家相關法律法規框架下，充分考慮本行業中企業的共同利益與長效發展，建立規范行業數據管理的組織機構和數據管控制度，制定行業內數據共享與開放的規則和技術規范，促進行業內數據的共享交換和融合應用。在組織層次，重點是要提升企業對數