1.5數(shù)據(jù)與大數(shù)據(jù)1大數(shù)據(jù)

問題提出導(dǎo)航上交通擁堵情況怎么判斷？導(dǎo)航上最佳路線怎么計(jì)算的？導(dǎo)航根據(jù)什么來確定未來用時(shí)？

一、大數(shù)據(jù)概念★大數(shù)據(jù)：代表著數(shù)據(jù)量大、速度快、種類繁多的信息資產(chǎn)，需要特定的技術(shù)和分析方法將其轉(zhuǎn)化為價(jià)值。在大數(shù)據(jù)時(shí)代，任何微小的數(shù)據(jù)都可能產(chǎn)生不可思議的價(jià)值

二、大數(shù)據(jù)4V特征數(shù)量（volume）大數(shù)據(jù)4V特征速度（Velocity）多樣（Variety）價(jià)值（Value）速度(Velocity):數(shù)據(jù)產(chǎn)生的速度快，數(shù)據(jù)處理的速度快價(jià)值（Value）：價(jià)值高，但價(jià)值密度低，且價(jià)值與數(shù)量成反比

二、大數(shù)據(jù)4V特征數(shù)量(volume):數(shù)據(jù)體量巨大，TB\PB\EB\ZBK

1KB=1024ByteM（兆）字節(jié)

1MB=1024KBG（吉）字節(jié)

1GB=1024MBT（太）字節(jié)

1TB=1024GBP（拍）字節(jié)

1PB=1024TBE（艾）字節(jié)

1EB=1024PBZ（澤）字節(jié)

1ZB=1024EBY（堯）字節(jié)

1YB=1024ZB

二、大數(shù)據(jù)4V特征數(shù)量(volume):數(shù)據(jù)體量巨大，TB\PB\EB\ZB1Byte1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書館藏書信息內(nèi)容5EB相當(dāng)于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類體內(nèi)的微細(xì)胞總和一般情況下，大數(shù)據(jù)以PB、EB、ZB為單位進(jìn)行計(jì)量

二、大數(shù)據(jù)4V特征速度(Velocity):數(shù)據(jù)產(chǎn)生的速度快，數(shù)據(jù)處理的速度快“1秒定律”或者秒級(jí)定律，就是說對處理速度有要求，一般要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果，時(shí)間太長就失去價(jià)值了。這個(gè)速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。道路監(jiān)控?cái)z像頭24小時(shí)不間斷地記錄著視頻數(shù)據(jù)，根據(jù)第3節(jié)中圖像數(shù)據(jù)的計(jì)算公式，引入幀頻參數(shù)進(jìn)行計(jì)算，對于1個(gè)720p(1280×720像素、24位色)的高清攝像頭，按25FPS拍攝，可以計(jì)算出每秒的數(shù)據(jù)量，乘以86400秒就是1天的數(shù)據(jù)量。若按200:

1的壓縮比進(jìn)行存儲(chǔ)，大致可以估算出1個(gè)720p高清攝像頭1天產(chǎn)生的數(shù)據(jù)量。

二、大數(shù)據(jù)4V特征多樣(Variety)：數(shù)據(jù)來源多，有人工產(chǎn)生的+機(jī)器自動(dòng)產(chǎn)生，所以數(shù)據(jù)類型多。短信、微信、視頻、語音、電子郵件結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化結(jié)構(gòu)化——數(shù)據(jù)庫中數(shù)據(jù)；非結(jié)構(gòu)化——word、ppt、圖片和視頻等半結(jié)構(gòu)化——電子郵件等。拓展知識(shí)10結(jié)構(gòu)化數(shù)據(jù)行數(shù)據(jù)，是由二維表結(jié)構(gòu)來進(jìn)行邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)嚴(yán)格遵守?cái)?shù)據(jù)格式與長度規(guī)范通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)和管理半結(jié)構(gòu)化數(shù)據(jù)介于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)具有一定的結(jié)構(gòu)性非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)各類格式的辦公文檔、文本、圖片、HTML、各類報(bào)表、圖像、音頻、視頻等。

二、大數(shù)據(jù)4V特征價(jià)值(Value)：價(jià)值高但價(jià)值密度低，且價(jià)值與數(shù)量成反比挖掘大數(shù)據(jù)的價(jià)值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征；

二、大數(shù)據(jù)4V特征三、大數(shù)據(jù)思維大數(shù)據(jù)是一場變革，

改變的不僅是數(shù)據(jù)，還有人們的思維。

大數(shù)據(jù)要分析的是全體數(shù)據(jù)，而不是抽樣數(shù)據(jù)。

對于數(shù)據(jù)不再追求精確性，而是能夠接受數(shù)據(jù)的混雜性。

不一定強(qiáng)調(diào)對事物因果關(guān)系的探求，而是更加注重它們的相關(guān)性。

三、大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別對比項(xiàng)采集方法分析方法表示方法……大數(shù)據(jù)傳統(tǒng)數(shù)據(jù)采用自動(dòng)化方法采集數(shù)據(jù)采用分布式數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行處理PB（拍字節(jié)）以上數(shù)量級(jí)表示GB（吉字節(jié)）或TB（太字節(jié)）表示采用手工方法采集數(shù)據(jù)大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理大數(shù)據(jù)：認(rèn)識(shí)全面、信息詳盡傳統(tǒng)數(shù)據(jù)：樣本隨機(jī)、結(jié)論不準(zhǔn)大數(shù)據(jù)：關(guān)注關(guān)聯(lián)，較為準(zhǔn)確傳統(tǒng)數(shù)據(jù)：樣本少、局限多傳統(tǒng)數(shù)據(jù)：容錯(cuò)低、數(shù)據(jù)量小大數(shù)據(jù)：容錯(cuò)強(qiáng)、弱化個(gè)體樣本的影響四、大數(shù)據(jù)對社會(huì)的影響

大數(shù)據(jù)已經(jīng)滲入到社會(huì)的各個(gè)層面，不斷提高工作效率與生活便利性

大數(shù)據(jù)讓決策更加精準(zhǔn)

大數(shù)據(jù)帶來新的就業(yè)機(jī)會(huì)

大數(shù)據(jù)帶來新的社會(huì)問題一起討論★

大數(shù)據(jù)背景下，我們該如何保護(hù)自己信息不被泄露？保護(hù)自己的隱私不被偷窺？★下列關(guān)于大數(shù)據(jù)思維的描述，錯(cuò)誤的是（）A.大數(shù)據(jù)時(shí)代，人們可以采集全體數(shù)據(jù)進(jìn)行分析，避免樣本不同導(dǎo)致結(jié)論不同B.基于大數(shù)據(jù)技術(shù)，我們能夠接受數(shù)據(jù)的混雜性，個(gè)別數(shù)據(jù)的不準(zhǔn)確不影響數(shù)據(jù)分析C.數(shù)據(jù)總量變大會(huì)導(dǎo)致大量不相干的數(shù)據(jù)增加，大數(shù)據(jù)具有價(jià)值密度低的特點(diǎn)D.使用大數(shù)據(jù)思維，我們更強(qiáng)調(diào)事物因果關(guān)系的探求，而不僅僅是數(shù)據(jù)之間的相關(guān)性課堂練習(xí)D★下列數(shù)據(jù)中屬于大數(shù)據(jù)的是（）①各地交通攝像頭記錄的全部數(shù)據(jù)②學(xué)生