大數據的產生、特點及其數據分析方法大數據產生背景進入2012年以來大數據(BigData)一詞越來越多地被人們提及與使用，人們用它來描述和定義信息爆炸時代產生的海量數據，它已經出現過在《紐約時報》、《華爾街時報》的專欄封面、進入過美國白宮網的新聞、現身在國內外一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國君證劵、國泰君安、銀河證劵等寫進了投資推薦報告。有人說21世紀是數據信息時代，移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域，我們在享受便利的同時，也無償貢獻了自己的“行蹤”?，F在互聯網不但知道對面是一只狗，還知道這只狗喜歡什么食物，幾點出去遛彎，幾點回窩睡覺。我們不得不接受這個現實，每個人從互聯網進入到大數據時代，都將是透明性存在。各種數據正在迅速膨脹并變大，它決定著企業的未來發展，雖然現在企業可能并沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力“大數據”提供了前所未有的空間與潛力。正如《紐約時報》2012年2月的一篇專欄中所稱，大數據時代已經降臨，在商業、經濟及其他領域中，各種決策將日益基于數據和分析而作出，而并非基于經驗和直覺。哈佛大學社會學教授加里金說：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。大數據的四大特點海量性：例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模范圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。多樣性：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。其中部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數據的多樣性。高速性：高速描述的是數據被創建和移動的速度。在高速網絡時代，通過基于實現軟件性能優化的高速電腦處理器和服務器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據IMSResearch關于數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。易變性：大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業務數據，大數據存在不規則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業面臨的挑戰是處理并從各種形式呈現的復雜數據中挖掘價值。大數據三大特征第一個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數據對數據的處理能力提出了更高的要求。第二個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。第三個特征是處理速度快、時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。大數據主要分析技術我們要想從急劇增長的數據資源中充分挖掘并分析出有價值的信息，就需要以先進的分析技術作為支撐。從宏觀上來看，大數據分析技術的發展所面臨的問題均包含以下三個主要特征：對變量B有正作用，且變量B對變量C有正作用，但是變量A對變量C可能有負作用。為了避免類似“中間變量悖論”現象的發生