1、大數據導論（通識課版） 廈門大學計算機科學系 林子雨 廈門大學計算機科學系 2019版林子雨林子雨廈門大學計算機科學系廈門大學計算機科學系E-mail: 主頁：主頁：http:/ 數據開放數據開放（PPT版本號：版本號：2019年秋季學期）年秋季學期） 大數據導論（通識課版）教材官網： http:/ 廈門大學計算機科學系 林子雨 課程教材 林子雨 編著大數據導論數據思維、數據能力和數據倫理（通識課版） 高等教育出版社，2019年11月大數據導論（通識課版） 廈門大學計算機科學系 林子雨 提綱9.1政府開放數據的理論基礎政府開放數據的理論基礎9.2政府信息公開與政府數據開放的聯系與區別政府信息公

2、開與政府數據開放的聯系與區別9.3政府數據開放的重要意義政府數據開放的重要意義9.4國外政府開放數據的經驗國外政府開放數據的經驗9.5國內政府開放數據國內政府開放數據9.6政府數據開放的幾點啟示政府數據開放的幾點啟示百度搜索廈門大學數據庫實驗室網站訪問平臺大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.1政府開放數據的理論基礎政府開放數據的理論基礎9.1.1數據資產理論9.1.2數據權理論9.1.3開放政府理論大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.1.1數據資產理論在大數據時代，數據已經被當作一種重要的戰略資源，也可以成為一種資產。數據資產是無形資產的延伸，是主要

3、以知識形態存在的重要經濟資源，是為其所有者或合法使用者提供某種權利、優勢和效益的固定資產數據資產的類型有很多，常見的數據資產包括書面技術新材料、數據與文檔、技術軟件、物理資產（主要指通信協議類）、員工與客戶（包括競爭對手）、企業形象和聲譽以及服務等同其他資產一樣，數據資產也是企業價值創造的工具和資本作為現代企業和政府，擁有數據的規模、活性，以及收集、運用數據的能力，將決定企業和政府的核心競爭力大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.1.2數據權理論數據權的概念發起于英國，主要將其視為信息社會的一項基本公民權利，讓政府所擁有的數據集能夠被公眾申請和使用，并且按照標準公布數據。因

4、此，早期的數據權理念強調的是公民利用信息的權利隨著數據的進一步開放，大型網絡公司對于歷史文獻資料的數據化，商業集團對于客戶資料的搜集，政府部門對于個人信息的調查與掌握，社會化媒體對于社會交往的滲透與呈現，使國家和政府加強了對數據主權的關注，并將其納入到數據主權的范疇數據主權源于信息主權。信息主權是國家主權在信息活動中的體現，國家對于政權管轄地域內任何信息的制造、傳播和交易活動，以及相關的組織和制度擁有最高權力大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.1.2數據權理論數據權包括兩個方面：數據主權和數據權利數據主權的主體是國家，是一個國家獨立自主對本國數據進行管理和利用的權力數據權

5、利的主體是公民，是相對應于公民數據采集義務而形成的對數據利用的權利，這種對數據的利用又是建立在數據主權之下的。只有在數據主權法定框架下，公民才可自由行使數據權利。公民的數據權利，是一項新興的基本人權，它是信息時代的產物，是公民個人的基本權利。公民數據權的保護，不僅具有正當合理性，而且已經成為一種人權保障的世界性趨勢大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.1.3開放政府理論開放政府最早出現在20世紀50年代信息自由立法的介紹當中。1957年Park的論文“開放政府原則：依據憲法的知情權”中首次提出開放政府理念，其核心是關于信息自由方面的內容。隨著很多國家對信息法案的修訂，尤其在

6、2009年奧巴馬政府公布了開放政府指令后，開放政府的理論又被重新提起。2009年1月21日，在關于政府透明和開放化的備忘錄上，奧巴馬總統指示美國行政管理預算局局長發布一份政府開放指令，開放政府由此提出。自2009年開放政府理念被重新提起后，世界各國都在努力使用信息技術革新政府，并在2011年建立了以美國領導的“開放政府聯盟”。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.2政府信息公開與政府數據開放的聯系與區別政府信息公開與政府數據開放是一對既相互區別又相互聯系的概念。政府信息公開主要是為了對公眾知情權的滿足而出現的，信息公開既可以理解為一項制度，又可以理解為一種行為。作為一項制度

7、，主要是指國家和地方制定并用于規范和調整信息公開活動的法規規定；作為一種行為，主要是指掌握信息的主體，即行政機關、單位向不特定的社會對象發布信息，或者向特定的對象提供所掌握的信息的活動大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.2政府信息公開與政府數據開放的聯系與區別政府數據開放是政府信息公開的嬗變必然，將開放對象延伸至原始數據的粒度。政府數據開放強調的是數據的再利用，公眾可以分享數據利用創造的經濟和社會價值，并且可以根據對數據的分析判斷政府的決策是否合理政府數據開放強調的是數據的再利用，公眾可以分享數據利用創造的經濟和社會價值，并且可以根據對數據的分析判斷政府的決策是否合理。政

8、府信息公開更側重對與公眾相關信息通過報紙、互聯網、電視等媒體的發布，更強調程序公開，正義公開仍是難點大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.3政府數據開放的重要意義9.3.1政府開放數據有利于促進開放透明政府的形成9.3.2政府開放數據有利于創新創業和經濟增長9.3.3政府開放數據有利于社會治理創新大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.3.1政府開放數據有利于促進開放透明政府的形成政府開放數據是更高層次的政府信息公開，而政府信息公開也將推動政府民主法治進程如果說政府信息公開還是處于起步階段，那么政府開放數據則是更高層次的政務公開數據是政府手中的重要資源，政

9、府開放數據的范圍、程度、速度都代表著政府開放的程度大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.3.2政府開放數據有利于創新創業和經濟增長美國是氣象災害頻發的國家，為減少氣象災害帶來的嚴重損失，2014年3月，美國白宮宣布：將氣象數據發布在D上，隨后，與氣象相關的企業服務應運而生，包括各種氣象播報、氣象顧問、氣象保險等，形成了一個新的產業鏈，創造出了極高的經濟價值政府數據的再利用，在歐洲也創造出很高的經濟價值。2010年歐盟公布的數據顯示，歐洲利用政府公開的數據創造出的價值就達到320億歐元，同時帶來了更多的商業和就業機會大數據導論（通識課版） 廈門大學計算機科學系

10、林子雨 9.3.3政府開放數據有利于社會治理創新政府數據的開放不僅打破了政府部門對數據的壟斷，促進了數據價值的最大發揮，同時也構建起了政府同市場、社會、公眾之間互動的平臺數據分享和大數據技術應用，不僅可以有效推動政府各部門在公共活動中實現協同治理，提高政府決策的水平，也能夠充分調動各方的積極性來完成社會事務，實現社會治理機制的創新，給公眾的生活帶來便利，比如緩解交通壓力、增強食品安全、解決環境污染等大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4國外政府開放數據的經驗9.4.1 概述9.4.2 G8數據開放原則9.4.3美國開放數據國家行動計劃9.4.4英國開放數據國家行動計劃9.

11、4.5德國政府開放數據行動9.4.6日本政府開放數據行動大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.1 概述1.開放數據發展的三個時期開放數據發展的三個時期大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.1 概述2.開放數據的路徑探索開放數據的路徑探索國外政府在以下幾個方面探索政府開放數據：第一是政府開放數據的范圍，即政府開放數據程度上應把握的分寸。第二是政府開放數據的開放許可證，即由誰來負責政府數據的開放。第三是政府開放數據后的數據安全，即如何避免數據關聯后帶來的新風險。第四是政府開放數據的質量，即如何減少不同部門由于統計口徑不同而帶來的數據不一致的問題。第五

12、是政府開放數據的形式，即如何讓公眾讀懂這些數據。第六是政府開放數據實施的方法，即通過何種途徑、手段來開放數據。第七是政府開放數據的技術，即通過哪種技術來開放數據。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.1 概述3.開放數據的特點開放數據的特點國外開放數據呈現出以下特點：第一，出臺戰略和政策，以一定的格式開放政府數據，使開放數據稱為默認的規則；第二，紛紛建設開放數據門戶，分類開放數據集；第三，注重數據的再利用，采取鼓勵措施激發企業和創新者利用數據開發更多應用，促進經濟增長和就業；第四，通過示范和典型案例引導數據的開放和開發利用；第五，在開放數據的同時，注重數據的安全、隱私保

13、護和保密，完善相關法律制度。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.2 G8數據開放原則2013年6月17-18日，美、英、法、德、意、加、日、俄召開八國集團首腦峰會，八國領導人在北愛爾蘭簽署了八國集團開放數據憲章八國集團開放數據憲章明確了5大原則、14個重點開放領域和三項共同行動計劃，其宗旨就是推動政府更好地向公眾開放數據，挖掘政府擁有的公共數據的潛力，促進經濟增長的創新，提高政府的透明度和責任感。“5大原則”包括開放數據成為規則、注重數量和質量、讓所有人都可用、為改善治理發布數據、為激勵創新發布數據。14個重點開放領域包括：公司、犯罪與司法、地球觀測、教育、能源與環境

14、、財政與合同、地理空間、全球發展、政府問責與民主、健康、科學與研究、統計、社會流動性與福利、交通運輸與基礎設施等，并提供相關的數據集實例三項共同行動計劃包括：G8國家的行動計劃、發布高價值的數據和元數據的映射。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.3美國開放數據國家行動計劃圖 美國開放政府數據進展大事記大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.4英國開放數據國家行動計劃圖 英國開放政府數據進展大事記大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.5德國政府開放數據行動2010年9月，德國發布政府計劃：網絡型與透明型行政管理，強調公共行政

15、需要網絡連接與透明度。為此，各級政府部門應當在法律范圍內界定開放數據，如公共部門的職能、規劃目標及其所能搜集或處理的相關數據2010年9月，德國信息技術規劃委員會發布“國家電子政務戰略”，將“促進開放政府”的項目作為實施電子政務戰略計劃七個重點項目之一，主要重點在于開放政府數據2014年2月，德國發布塑造德國的未來，強調聯邦政府與行政部門必須在符合法律的前提下推動開放數據，以標準、機器可讀格式，通過開放授權條款來釋放數據2013年2月19日，德國推出Beta 版政府開放數據門戶網站，經過2年實驗階段以后于2015開始正常運行大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.4.6日本政

16、府開放數據行動日本推動開放政府數據的政策，可追溯至2010 年5 月信息通訊技術戰略本部所發布的新信息通信技術戰略，其旨在促進執政透明化、鼓勵公民參與公共政策決策，其核心在于創造以公民為中心的電子政府2012 年7 月，IT 戰略本部發布開放政府數據戰略以“公共數據為公民資產”以及“推動開放政府與促進公共數據利用”為主旨，以機器可讀為基本方向，主張公私合作的創新，提供多元價值的公共服務，并在經濟、行政效率層面，希望通過開放政府數據來加速整體經濟及政府的行政效率2013 年6 月，安倍內閣正式發布世界最先進的 IT國家宣言，闡述2013年至2020 年期間以發展開放政府數據和大數據為核心的日本新

17、IT 國家戰略大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.5國內政府開放數據9.5.1 概述9.5.2 我國政府數據開放制度體系9.5.3當前數據開放存在的主要問題9.5.4 各地政府數據開放實踐大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.5.1 概述通過開放決策過程數據，可以提高政府的公信力；通過開放商業數據，可以驅動經濟轉型；通過開放各類獎懲信息，可以提高社會信用；通過開放社會統計基礎數據，可以促進社會發展科學化。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.5.2 我國政府數據開放制度體系圖 我國政府數據開放制度體系大數據導論（通識課版） 廈門大學

18、計算機科學系 林子雨 9.5.3當前數據開放存在的主要問題問題 數數據利用價據利用價值值低，低，難難回回應應公民需求公民需求平臺功能不健全，缺乏人才支平臺功能不健全，缺乏人才支撐撐基基礎數礎數據據庫運庫運行缺乏整體行缺乏整體協協同同數數據據開開放存在安全性放存在安全性問題問題數數據據開開放面放面臨隱臨隱私私權權和和知情知情權權的沖突的沖突政策政策與與立法立法滯滯后后缺乏缺乏統統一的一的數數據管理機據管理機構構，各自各自為為政政大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.5.4 各地政府數據開放實踐1.北京政府數據開放實踐2.上海政府數據開放實踐3.貴州省政府的數據開放探索和創新4

19、.深圳市政府數據開放實踐5. 廈門市政府數據開放實踐大數據導論（通識課版） 廈門大學計算機科學系 林子雨 1.北京政府數據開放實踐北京市政府公開的數據主要發布在各政府部門官網、政府主導建設的對公眾開放的數據庫以及政府數據開放門戶網站（北京市政務數據資源網）上北京市政務數據資源網由北京市經濟和信息化委員會牽頭建設，北京市各政務部門共同參與，于2012年10月開始試運行，提供北京市政務部門可開放的各類數據的下載與服務大數據導論（通識課版） 廈門大學計算機科學系 林子雨 2.上海政府數據開放實踐上海在國內率先啟動了各政府部門向社會開放政府數據資源。上海市政府數據開放走在全國的前列。上海市政府開放數據

20、體現以下特點：（1）開放內容擴大（2）查詢更為便捷（3）新增互動平臺大數據導論（通識課版） 廈門大學計算機科學系 林子雨 3.貴州省政府的數據開放探索和創新2014年，貴州省宣布“云上貴州”系統平臺正式上線。作為貴州大數據產業發展的重要基礎設施，這一系統平臺將為貴州省電子政務云、工業云、智能交通云等“7N”云工程提供云服務，將來貴州還有可能像供電一樣向全國提供云計算、云存儲和寬帶資源等服務。貴州也由此成為國內首個基于云計算建成省級數據統一管理、支持共享平臺的省份貴州省政府開放數據的創新之處突出表現在兩大方面：（1）多方參與，依托大數據產業共同打造政府云平臺）多方參與，依托大數據產業共同打造政府

21、云平臺（2）給政府數據）給政府數據“脫敏脫敏”大數據導論（通識課版） 廈門大學計算機科學系 林子雨 4.深圳市政府數據開放實踐2016年11月，深圳市政府數據開放平臺、深圳市統一移動互聯網惠民服務平臺正式發布。據介紹，深圳市政府數據開放平臺為公眾打造統一的開放數據訪問門戶，集中、免費開放政府數據資源。目前，平臺已在道路交通、城市建設、公共安全、經濟建設等12個領域向社會開放數據，涉及550項數據集、450萬條數據，提供數據瀏覽、查詢、下載及API調用等服務大數據導論（通識課版） 廈門大學計算機科學系 林子雨 5. 廈門市政府數據開放實踐廈門建設了“i廈門”一站式惠民服務平臺，各部門只需將已開發

22、的應用軟件直接部署在平臺上，省錢又省力廈門市建成了城市基礎數據庫群，并搭建起全市跨部門、跨層級的信息共享、數據同步、業務協同的完整體系，此舉不僅促進了政務部門的資源共享，也提供基礎數據支撐政府向公眾開放信息大數據導論（通識課版） 廈門大學計算機科學系 林子雨 9.6政府數據開放的幾點啟示（1）開放數據是技術、政策、文化三位一體的系統工程（2）發布機器可讀的高價值數據和推動數據開發利用是當前數據開放的重點（3）加大數據使用、安全和隱私保護等法律法規和規則的制定，以更好地迎接開放數據帶來的挑戰（4）推進數據開放過程中應該注重政府和民間的合作大數據導論（通識課版） 廈門大學計算機科學系 林子雨 附錄

23、A：主講教師林子雨簡介單位：廈門大學計算機科學系E-mail: 個人網頁：http:/ 廈門大學計算機科學系 林子雨 附錄B：大數據學習路線圖大數據學習路線圖訪問地址：http:/ 廈門大學計算機科學系 林子雨 附錄C：大數據技術原理與應用教材歡迎訪問大數據技術原理與應用概念、存儲、處理、分析與應用教材官方網站：http:/ ISBN:978-7-115-44330-4 定價：49.80元全書共有15章，系統地論述了大數據的基本概念、大數據處理架構Hadoop、分布式文件系統HDFS、分布式數據 庫HBase、NoSQL數據庫、云數據庫、分布式并行編程模型MapReduce、Spark、流計算

24、、圖計算、數據可視化以及大數據在互聯網、生物醫學和物流等各個領域的應用。在Hadoop、HDFS、HBase和MapReduce等重要章節，安排了入門級的實踐操作，讓讀者更好地學習和掌握大數據關鍵技術。本書可以作為高等院校計算機專業、信息管理等相關專業的大數據課程教材，也可供相關技術人員參考、學習、培訓之用。大數據導論（通識課版） 廈門大學計算機科學系 林子雨 附錄D：大數據基礎編程、實驗和案例教程本書是與大數據技術原理與應用（第2版）教材配套的唯一指定實驗指導書步步引導，循序漸進，詳盡的安裝指南為順利搭建大數據實驗環境鋪平道路深入淺出，去粗取精，豐富的代碼實例幫助快速掌握大數據基礎編程方法精心設計，巧妙融合，五套大數據實驗題目促進理論與編程知識的消化和吸收結合理論，聯系實際，大數據課程綜合實驗案例精彩呈現大數據分析全流程清華大學出版社 ISBN:978-7-302-47209-4 定價：59元大數據導論（通識課版） 廈門