大數據平臺近期工作總結在我看來，Hadoop的分布式計算功能就像一個包工頭設計的工作分配制度，既保證工作的完成不會特別依賴某一個人，又保證了如果工作量上升了只需要再雇一個勞工就能解決問題。大數據核心基礎技術hadoop闡述數據采集同步方式問題目前異構云橋和XX在采集無主鍵數據時都是采用全量同步方式，此同步方式存在一定的數據處理風險，在某個數據消費者消費數據時，全量同步會造成使用者突然取不到數據，或者不完整的數據。共享交換平臺框架技術比較陳舊，代碼規范欠佳當前架構善不具備實時大數據量同步、分析的能力當前架構主要針對非實時性要求的數據做了相應的數據同步、清洗、轉換，數據發布與使用等功能，基本能滿足日常非實時數據的交換共享要求，但對于實時性數據則無相應的處理方案體現。架構中存在的問題共享交換平臺前端框架和后端框架均比較陳舊，代碼層次結構不清晰，不利于二次開發。數據采集同步方式問題通過在異構云橋增加臨時表，采用兩表差集方式，給前置數據庫所有數據表增加唯一性標識，而XX對有唯一性標識數據可支持增量方式同步，通過此種解決方案即可解決異構云橋和XX針對無唯一性標識數據不能增量同步的問題共享交換平臺框架技術比較陳舊，代碼規范欠佳當前架構善不具備實時大數據量同步、分析的能力后期考慮使用springcloud技術架構替代當前技術架構，使平臺功能組件化，易配置、高可用、易維護。備用子分類樣式架構問題解決辦法使用flume+sparkstreaming+kafka+habase進行實時大數據處理。所需求數據常不在XX，而存儲在區級單位，以致數據接入溝通流程較為復雜。數據接入流程復雜12014某些數據目錄，設計多個職能部門，每個職能部門提供一部分數據，在采集數據時難以確保采集后數據的一致性。數據來源不單一3由于各XX之間并不了解除本單位其它XX數據結構，故即使數據全部獲取依然無法利用。數據難以利用22014很多職能單位數據并未形成標準化，數據目錄定義較為隨意，有些有統一標準的職能部門也會存在由于信息化升級、職能部門權限重新劃分等原因導致數據結構不一致的情況。數據標準不統一4數據歸集、利用問題闡述數據接入流程復雜收集各XX真實迫切的數據需求，根據各XX需求定制出相應的業務需求目錄，已達到數據使用一目了然的效果。盡量熟悉各XX的數據業務，根據各XX業務關系找出需求目錄所需中間數據，保證數據采集后數據的完整性。把數據錄入規范化，提供數據錄入平臺，信息化落后的XX可通過政務外網錄入本XX的數據。多想、多做、多主動，盡量摸清楚各XX數據接入困難關鍵點，然后協調各方資源針對數據接入過程當中遇到的問題進行一一擊破，以防數據接入工作反復、進展停滯的情況。數據難以利用數據來源不單一數據標準不統一數據歸集、利用問題解決大數據團隊建設展望加強數據服務理念目前數據收集后只是做一些簡單的梳理、治理，沒有充分從數據服務的角度去設