1、 大數據時代下的數據學習技術 當今社會， 數據量正在以爆炸方式迅猛增長， 數據表示形式 千變萬化，標志著我們已經進入了大數據時代。云計算、三網融 合、物聯網、移動互聯網的出現， 更加催生了大數據時代的產生。 在大數據時代下，其所需存儲、處理的數據量驚人，為大數據的 分析和應用帶來很多挑戰。 若想充分發揮大數據所賦予的機遇和 優勢， 必須采取有效的數據學習與處理方法， 從高質量的大規模 數據中提取隱含的、有用的信息，才能做出更加精準、更加符合 市場和客戶需求的決策。 本文就當前大數據分析技術面臨的挑戰 和機遇， 介紹大數據學習系統的關鍵技術， 最后對大數據分析技 術的未來發展進行討論。 1 大數

2、據帶來的機遇和挑戰 大數據是繼云計算、物聯網之后 IT 產業又一次顛覆性的技 術革命。 大數據挖掘和應用可創造出超萬億美元的價值， 使人們 可以利用以前不能有效利用的多種數據潛在信息， 抓住被忽略的 機遇。隨著數據存儲技術的成熟， 大數據的重心將從存儲和傳輸， 過渡到如何選擇高效的數據學習形式對數據進行處理和利用， 這 需要根據大數據特點對傳統的常規數據處理技術進行變革。此 外，大數據的海量數據， 通常采用云端存儲， 數據管理比較分散， 如何保證大數據的安全以及學習結果的可靠性對大數據學習技 術提出了更高的要求。 2 大數據學習關鍵技術 伴隨著需要處理的數據量多且增長速度迅速的特點， 對數據

3、學習的實時性、 有效性提出了更高要求。 大數據學習核心即為挖 掘，從技術角度看， 就是從大量的、 復雜的、不規則的、 隨機的、 模糊的數據中獲取隱含的、 人們事先未發覺的、 有潛在價值的信 息和知識的過程。 有關智能計算中的大數據學習關鍵技術常見的 有神經網絡、數據挖掘和回歸分析等。 （1）神經網絡。受生物神經網絡結構和運作的啟發，模擬 動物神經網絡行為特征， 進行分布式并行信息處理的算法數學模 型。應用實例包括識別高價值客戶離開特定公司的風險， 以及識 別欺詐性的保險理賠行為等。 （2）數據挖掘。結合統計數據和機器學習、使用數據庫管 理技術從大型數據集中提取有用信息和知識的技術。 根據其它屬

4、 性的值預測特定 （目標）屬性的值， 如回歸、分類、異常檢測等， 或尋找概括數據中潛在聯系的模式，如關聯分析、演化分析、聚 類分析、序列模式挖掘等。 （3）回歸分析。確定當一個或多個獨立變量值被修改時相 關變量如何變化的統計方法。 通常用于預測或預報。 應用實例如 基于不同的市場和經濟變量， 或通過確定何種制造業參數對客戶 滿意度影響最大來預測銷售量等。 （4）分類分析。在訓練集包含的數據點已經被歸類的基礎 上，確定新的數據點所屬類別的方法。 典型應用是在明確假設或 客觀結果前提下，預測部分特定客戶行為（例如，購買決策、流 失率、消費率等）。因為使用訓練集，屬于監督學習，是無監督 學習類型聚類

5、分析的反面。 （5）聚類分析。一種多元化群體的分類統計方法。在事先 不知道的前提下， 將一個集合分成較小的對象組， 組內對象具有 相似特點。聚類分析的典型例子是將消費者分割成具有自相似性 的群體做針對性營銷。 因為不使用訓練數據， 屬于無監督學習類 型，是監督學習類型分類分析的反面。 （ 6）關聯規則學習。 在大數據集變量中發現感興趣關系 （即 “關聯規則”）的方法，包括多種生成和測試可能規則的算法。 典型應用是市場購物籃分析， 其中零售商可以決定哪些產品經常 一起購買和如何使用這種營銷信息。 （7）數據融合與集成。集成和分析來自多個源的數據的方 法。典型應用如， 使用來自互聯網的傳感器數據綜

6、合分析如煉油 廠這樣的復雜分布式系統的性能。 使用社會媒體數據， 經過自然 語言處理分析， 并結合實時銷售數據， 確定營銷活動如何影響顧 客的情緒和購買行為等。 （8）機器學習。研究計算機怎樣模擬或實現人類的學習行 為，獲取新的知識或技能， 重新組織已有的知識結構并不斷改善 自身的性能， 是人工智能的核心， 是使計算機具有智能的根本途 徑。自然語言處理是機器學習的一個例子。 3 大數據分析未來趨勢 當前的數據分析技術的研究可以分為 6 個重要方向： 結構化 數據分析、文本數據分析、多媒體數據分析、Web數據分析、網 絡數據分析和移動數據分析。 在今后大數據技術面臨的主要發展 趨勢：大數據與人工智能的融合； 跨學科領域交叉的數據分析應 用；數據科學帶動多學科融合。今后，深度學習成為大數據智能 分析的核心技術， 利用大數據學習技術構建大規模、 有序化開放 式的知識體系成為大數據處理的關鍵。 大數據與云計算、 移動互 聯網等的綜合應用， 大數據技術課程體系建設和人才培養快速發 展都將成為未來趨勢。 4 總結 保證大數據的質量， 如何建模、 提取并利用隱藏在大數據中 的信息成為擺在業界和學術界面前