1、大數(shù)據(jù)：商業(yè)革命與科學革命什么叫大數(shù)據(jù)？“大數(shù)據(jù)”是“數(shù)據(jù)化”趨勢下的必然產(chǎn)物！數(shù)據(jù)化最核心的理念是：“一切都被記錄，一切都被數(shù)字化”，它帶來了兩個重大的變化：一是數(shù)據(jù)量的爆炸性劇增，最近2年所產(chǎn)生的數(shù)據(jù)量等同于2010年以前整個人類文明產(chǎn)生的數(shù)據(jù)量總和；二是數(shù)據(jù)來源的極大豐富，形成了多源異構的數(shù)據(jù)形態(tài)，其中非結構化數(shù)據(jù)（包括語音、視頻、圖像等）所占比例逐年增大。什么叫大數(shù)據(jù)？牛津大學互聯(lián)網(wǎng)研究所維克托邁爾-舍恩伯格教授指出，“大數(shù)據(jù)”所代表的是當今社會所獨有的一種新型的能力以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產(chǎn)品和服務，或深刻的洞見。這種“前所未有的”巨大價值和深刻

2、洞見，并不僅僅來自于單一數(shù)據(jù)集量上的變化，而且是不同領域數(shù)據(jù)集之間深度的交叉關聯(lián)，可稱之為“跨域關聯(lián)”。什么叫大數(shù)據(jù)？譬如微博上的內(nèi)容和社交關系，F(xiàn)lickr上的圖片共享，手機通訊關系，淘寶上的購物記錄等數(shù)據(jù)通過同一個用戶關聯(lián)起來；又如移動手機定位的移動軌跡，車載GPS的移動數(shù)據(jù)，街旁上的簽到數(shù)據(jù)，順豐物流的遞送數(shù)據(jù)，智慧城市中的文本描述等數(shù)據(jù)通過同一個地點關聯(lián)起來。跨域關聯(lián)是數(shù)據(jù)量增大后從量變到質(zhì)變的飛躍，是大數(shù)據(jù)巨大價值的基礎。什么叫大數(shù)據(jù)？大數(shù)據(jù)會給整個社會帶來從生活到思維上革命性的變化：企業(yè)和政府的管理人員在進行決策的時候，會出現(xiàn)從“經(jīng)驗即決策”到“數(shù)據(jù)輔助決策”再到“數(shù)據(jù)即決策”的變

3、化；人們所接受的服務，將以數(shù)字化和個性化的方式呈現(xiàn)，借助3D打印技術和生物基因工程，零售業(yè)和醫(yī)療業(yè)亦將實現(xiàn)數(shù)字化和個性化的服務；什么叫大數(shù)據(jù)？綜上，大數(shù)據(jù)不是數(shù)據(jù)量的簡單刻畫，也不是特定算法、技術或商業(yè)模式上的發(fā)展，而是從數(shù)據(jù)量、數(shù)據(jù)形態(tài)和數(shù)據(jù)分析處理方式，到理念和形態(tài)上重大變革的總和大數(shù)據(jù)是基于多源異構、跨域關聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學范式、生活方式和觀念形態(tài)上的顛覆性變化的總和。大數(shù)據(jù)的戰(zhàn)略地位大數(shù)據(jù)被認為是繼信息化和互聯(lián)網(wǎng)后整個信息革命的又一次高峰。云計算和大數(shù)據(jù)共同引領以數(shù)據(jù)為材料，計算為能源的又一次生產(chǎn)力的大解放，甚至可以與以蒸汽機的使用和電氣的使用為代表的第一

4、次工業(yè)革命和第二次工業(yè)革命相媲美。大數(shù)據(jù)的戰(zhàn)略地位與環(huán)境問題相關的全球氣候及生態(tài)系統(tǒng)的分析，局部天氣及空氣質(zhì)量預測；與醫(yī)療衛(wèi)生相關的個性化健康監(jiān)護及醫(yī)療方案，大規(guī)模流行病趨勢預測和防控策略；與人民幸福生活相關的個性化保險理財方案，智能交通系統(tǒng)等等。數(shù)據(jù)儲備和數(shù)據(jù)分析能力將成為未來新型國家最重要的核心戰(zhàn)略能力。大數(shù)據(jù)的戰(zhàn)略地位2012年3月29日，美國政府宣布了“大數(shù)據(jù)研究和發(fā)展倡議”，來推進從大量的、復雜的數(shù)據(jù)集合中獲取知識和洞見的能力。2012年5月，我國召開第424次香山科學會議，這是我國第一個以大數(shù)據(jù)為主題的重大科學工作會議。2012年9月13日，北京航空航天大學聯(lián)合英國愛丁堡大學、英國

5、利茲大學等共同組建大數(shù)據(jù)科學與工程國際研究中心。大數(shù)據(jù)的戰(zhàn)略地位2012年12月13日，在“中關村大數(shù)據(jù)日”活動會上，由寬帶資本、百度、北京大學、阿里巴巴、騰訊等企業(yè)、高校共同發(fā)起成立了大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟。2013年3月5日7日，國家自然科學基金委于在同濟大學舉辦了第89屆“雙清”論壇，論壇的主題是“大數(shù)據(jù)技術與應用中的挑戰(zhàn)性科學問題”，與會的有近十名院士。2013年6月30日，中國信息化百人會以“大數(shù)據(jù)：挑戰(zhàn)與機遇”為主題，在上海召開第四次專題研討會。大數(shù)據(jù)商業(yè)革命在商務智能時代積累起來的和數(shù)據(jù)打交道的經(jīng)驗既是大數(shù)據(jù)新商業(yè)模式技術和理念的基礎，又有可能束縛大數(shù)據(jù)商業(yè)革命，因為有經(jīng)驗的商務智能人士

6、會不自覺地把大數(shù)據(jù)分析庸俗化，認為只是傳統(tǒng)商務智能針對更大規(guī)模數(shù)據(jù)集的一種平凡推廣。大數(shù)據(jù)商業(yè)模式也可以粗略地分為1.0版本，2.0版本和3.0版本。大數(shù)據(jù)商業(yè)革命大數(shù)據(jù)1.0追求從數(shù)據(jù)到分析，從分析到更多更好的數(shù)據(jù)，再到更深入分析這樣的正向循環(huán)。它是指：企業(yè)自身的產(chǎn)品和服務產(chǎn)生了大量的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深入的挖掘分析，改進自身業(yè)務，改進后的業(yè)務吸引更多用戶或客戶，產(chǎn)生更大量的數(shù)據(jù)，形成正向的循環(huán)。大數(shù)據(jù)商業(yè)革命這些精準的個性化服務的背后，是非常復雜的算法和實時大數(shù)據(jù)處理能力。個性化推薦算法大大提高了用戶的黏度和企業(yè)的銷售額，從而產(chǎn)生了更多有價值的數(shù)據(jù)，這些數(shù)據(jù)又幫助亞馬遜和百分點把分析

7、做得更深入，進一步提高自身或客戶的訪問和銷售量，產(chǎn)生更多高質(zhì)量的數(shù)據(jù)。大數(shù)據(jù)商業(yè)革命大數(shù)據(jù)2.0強調(diào)的是數(shù)據(jù)的外部性。它是指：企業(yè)用自身業(yè)務產(chǎn)生的數(shù)據(jù)，去解決主營業(yè)務以外的其他問題，獲得重大的價值；或者引入非企業(yè)自身業(yè)務的外部數(shù)據(jù)，來解決企業(yè)自己遇到的問題。大數(shù)據(jù)商業(yè)革命谷歌（Google）曾利用網(wǎng)頁搜索詞的記錄，來預測流感爆發(fā)后隨時間變化的新增病例數(shù)以及實時電價。顯然，預測流感趨勢和實時電價這些需求并不包含在記錄網(wǎng)頁搜索詞的初衷中。淘寶的銷售記錄可以用來估計消費價格指數(shù)（CPI），手機移動軌跡數(shù)據(jù)可以用于交通預報和交通規(guī)劃，等等。大數(shù)據(jù)商業(yè)革命大數(shù)據(jù)3.0是一個尚在探索中的商業(yè)形態(tài)。首先要求

8、政府和行業(yè)，對數(shù)據(jù)質(zhì)量、價值、權益、隱私、安全等產(chǎn)生充分認識，出臺量化與保障措施。在此基礎上，數(shù)據(jù)運營商出現(xiàn)，提供集成數(shù)據(jù)和存儲、計算的平臺。最后，形成了以加工粗數(shù)據(jù)和已有數(shù)據(jù)產(chǎn)品，產(chǎn)生新的數(shù)據(jù)產(chǎn)品為主要活動的數(shù)據(jù)客（Dacker）。大數(shù)據(jù)商業(yè)革命個人、團隊和企業(yè)通過數(shù)據(jù)API接口或其他方式付費使用數(shù)據(jù)產(chǎn)品，數(shù)據(jù)客、運營商和被加工原料所有者共同分享數(shù)據(jù)產(chǎn)品的利益。數(shù)據(jù)市場也可能應運而生，數(shù)據(jù)和數(shù)據(jù)產(chǎn)品有可能像今天淘寶集市上的商品被售賣交換。于是，一種以數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸入，數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸出的新商業(yè)模式誕生，這種模式不同于2B（to business）和2C（to customer）的模式。

9、大數(shù)據(jù)商業(yè)革命譬如一款精確位置告知實時空氣質(zhì)量的API接口（應用程序接口），既可能被企業(yè)和政府使用，也可能被個人使用。為了區(qū)分，稱這種模式為2D（to data）的商業(yè)模式。新商業(yè)模式的直接后果，就是促進學術團體、企業(yè)和政府通過大量異質(zhì)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品產(chǎn)生科學、社會、經(jīng)濟等方面的新價值。大數(shù)據(jù)科學革命以前基于實驗室小規(guī)模控制實驗的半定量甚至以定性為主的學科分支將走向基于大規(guī)模非控制數(shù)據(jù)分析的定量科學，其中社會學、心理學和管理學首當其沖。通過數(shù)據(jù)分析，我們可以在數(shù)千萬甚至上億樣本的規(guī)模下研究宗教問題、亞文化問題、信息傳播軌跡、社會流動性問題等，而這在以前的社會科學中是絕對不可想象的。大數(shù)據(jù)科學革命

10、首先，數(shù)據(jù)給我們提供了一個解釋現(xiàn)象的新穎視角。最近的一項研究另辟蹊徑，科學家分析了320萬手機用戶4.89億條短信和19.5億條通話記錄，根據(jù)通信頻繁程度，找出了每個人的第一好友、第二好友等。大數(shù)據(jù)科學革命有趣的是，男性盡管在30多歲的時候表現(xiàn)出對同齡異性特定高關注度的快速下降，但是在進入中老年后對配偶的依賴性遠遠高于女性。這樣的研究當然不能嚴格證明任何演化生物學的假說，但是卻給出了一種研究這類問題的有趣而新穎的視角。大數(shù)據(jù)科學革命2010年科學家通過對全英32482個行政區(qū)6500萬人口通話關系的研究發(fā)現(xiàn)，電話聯(lián)系人多樣性越強的行政區(qū)，其經(jīng)濟社會發(fā)展水平也越高，從一個側面證明了社會資本等價于

11、經(jīng)濟資本。通過對8498份菜譜的分析，證明了地理文化因素比氣候因素對于飲食結構的形成作用更大，挑戰(zhàn)了“氣候決定飲食結構”這一廣泛為人們接受的常識。大數(shù)據(jù)科學革命其次，數(shù)據(jù)給我們提供了一個繞開理論直接走向應用的新途徑。Google分析了5000萬搜索詞，從中找到所有和流感傳播趨勢有關的搜索詞，又通過其中相關性最強的45個詞，利用線性回歸模型，預測流感的染病人數(shù)。 Google的預測非常準確，并且能夠比疾控中心早一周對實時染病情況進行預報。大數(shù)據(jù)科學革命通過分析了包括亞馬遜和Netflix在內(nèi)的4個網(wǎng)站上數(shù)百萬用戶對各種商品的評分數(shù)據(jù)，發(fā)現(xiàn)用戶的評分存在明顯的錨定效應，也就是說，用戶在給出一個高分

12、之后，下一次評分也偏高，在給出一個低分之后，下一次評分也偏低。大數(shù)據(jù)科學革命這和我們常識中看過一部爛片之后下一部片子無論如何都不錯正好相反我們甚至可以推論，如果你的前任是極品，你的現(xiàn)任恐怕要受前任連累，而不是從中獲益，當然，這還需要大數(shù)據(jù)科學的驗證。進一步的研究顯示，如果去除掉這些心理的偏差，對于用戶的評分預測和推薦會變得更加精確。大數(shù)據(jù)科學革命可以看到，Google并沒有給出從搜索詞到疾病預測之間的某種嚴謹?shù)睦碚摚硪粋€例子也沒有對人們評分的心理行為給出任何理論解釋，但是通過海量數(shù)據(jù)分析得到的這些研究結果已經(jīng)可以應用于實際了。大數(shù)據(jù)科學革命大數(shù)據(jù)帶來了很多新的重要的科學問題，其中最重要的是預

13、測。預測問題主要可以分為兩類，一是趨勢預測，二是缺失信息預測。趨勢預測是指通過事物的一些基本屬性信息和早期的態(tài)勢分析，預測事物發(fā)展的軌跡和最終影響力。大數(shù)據(jù)科學革命譬如通過分析社交網(wǎng)絡中注冊一個月的用戶的行為以及這些用戶與其他用戶的互動，預測哪些用戶將來會成為很有影響力的用戶；通過用戶商品兩部分圖中產(chǎn)品的早期表現(xiàn)，例如一首新歌或一個新歌手上線一周的情況，來預測這首歌或者這個歌手有沒有可能走紅；通過一條信息早期數(shù)小時在微博網(wǎng)絡上的傳播情況，來預測這條信息最終的影響力等等。大數(shù)據(jù)科學革命缺失信息預測假設我們觀察到的信息只是全部真實信息的一部分，在這個基礎上探討如何利用當前信息去預測未觀察到得信息。

14、譬如我們現(xiàn)在通過實驗所知道的蛋白質(zhì)之間的相關作用關系只是全部關系中很小的一部分，但是實驗驗證費用昂貴。通過預測，預先判斷哪些蛋白質(zhì)之間可能有相互作用并以此指導實驗，能夠大大節(jié)省實驗成本。大數(shù)據(jù)科學革命又比如，新浪微博上的關注對象推薦是一種典型的缺失信息預測，因為做出推薦的基本假設是“某甲應該關注某乙，只不過現(xiàn)在還沒有關注”。在可預期的未來，絕大部分深入的大數(shù)據(jù)應用，都可以轉(zhuǎn)化為某種預測問題。大數(shù)據(jù)時代大數(shù)據(jù)的風險和現(xiàn)存問題大數(shù)據(jù)與數(shù)據(jù)挖掘。第2章 條碼技術條碼的應用過程 物品的編碼 條碼的生成與印制 條碼識讀 條碼質(zhì)量檢測 條碼防偽技術 條碼的應用過程 企業(yè)要使用條碼來標識自己的產(chǎn)品，必須按照

15、國家規(guī)定向國家物品編碼中心申請 。申請條件企業(yè)義務注冊程序廠商代碼維護廠商代碼編碼物品的編碼按照代碼的特性，企業(yè)需要為每一個產(chǎn)品編制一個唯一的代碼。物品的編碼廠商識別代碼由710位數(shù)字組成，中國物品編碼中心負責分配和管理。前3位代碼為前綴碼，國際物品編碼協(xié)會已分配給中國物品編碼中心的前綴碼為690695。商品項目代碼由25位數(shù)字組成，一般由廠商編制，也可由中國物品編碼中心負責編制。校驗碼為1位數(shù)字，用于檢驗整個編碼的正誤。申請到廠商代碼后，企業(yè)就可以為自己的每一種產(chǎn)品編制商品項目代碼了。條碼的生成企業(yè)為自己的產(chǎn)品編制好唯一的代碼后，下一步的工作就是把代碼轉(zhuǎn)換為條碼。依照標準自行編制：依照相關條

16、碼標準，按各種碼制的編碼原則、符號標準等，用戶可以自己編制條碼生成軟件。條碼的生成商業(yè)化的編碼軟件可以讓用戶很方便地制作各類風格不同的證卡、表格和標簽，具有強大數(shù)據(jù)庫功能，能夠?qū)崿F(xiàn)圖形壓縮、雙面排版、數(shù)據(jù)加密、數(shù)據(jù)庫管理、打印預覽和單個/批量制卡等功能，可以生成各種碼制的條碼符號。同時，可以向應用程序提供條碼生成、條碼設置、識讀接收、圖形壓縮和信息加密等二次開發(fā)接口（用戶自己可以替換），還可以向高級用戶提供內(nèi)層加密接口。條碼的印制條碼是一種比較特殊的圖形，生成技術要靠印制來實現(xiàn)。印制時必須嚴格按照其編碼規(guī)則達到印制質(zhì)量標準及技術指標的要求。由于條碼是通過條碼閱讀設備來識別的，這就要求條碼符合光

17、電掃描器的某些光學特性。條碼在印制方法、印制工藝、印制設備、符號載體和印制涂料等方面都有一些特殊要求。條碼的印制條碼的印制是條碼技術應用中一個相當重要環(huán)節(jié)，也是一項專業(yè)性很強的綜合性技術。它與條碼符號載體、所用涂料的光學特性以及條碼閱讀設備的光學特性和性能有著密切的聯(lián)系。想要制作出高質(zhì)量的、設計新穎的條碼符號印刷品，必須了解條碼印制中的一些特殊要求。條碼的印制條碼的印制方式基本有兩大類：一是預印制（非現(xiàn)場印制），即采用傳統(tǒng)印刷設備大批量印刷制作，它適用于數(shù)量大、標簽格式固定、內(nèi)容相同的標簽的印刷，如產(chǎn)品包裝等。二是現(xiàn)場印制，即由計算機控制打印機實時打印條碼標簽，這種方式打印靈活，實時性強，可適

18、用于多品種、小批量、需現(xiàn)場實時印制的場合。條碼的印制預印制：需要大批量印制條碼符號時，應采用工業(yè)印刷機用預印制的方式來實現(xiàn)，一般采用濕油墨印刷工藝。尤其是需要在商標、包裝裝潢上將條碼膠片、商標圖案等制成同一印版，一起印出時，可大大降低成本和工作量。預印制按照制版形式可分為凸板印刷、平板印刷、凹板印刷和孔版印刷。條碼的印制現(xiàn)場印制：一般采用圖文打印機和專用條碼打印機來印刷條碼符號。圖文打印機常用的有點陣打印機、激光打印機和噴墨打印機。這幾種打印機可在計算機條碼生成程序的控制下方便靈活地印刷出小批量的或條碼號連續(xù)的條碼標識。專用條碼打印機有熱敏、熱轉(zhuǎn)印、熱升華式打印機，因其用途的單一性，設計結構簡單、體積小、制碼功能強，在條碼技術各個應用領域普遍使用。印刷載體 通常把用于直接印制條碼符號的物體叫符號載體。常見的符號載