1、.1基礎數(shù)據(jù)建設實踐.2互聯(lián)網(wǎng)+大數(shù)據(jù).3基礎數(shù)據(jù)建設演進.4原始社會數(shù)據(jù)需求方產(chǎn)品研發(fā)工程師提出需求產(chǎn)品需求*日志打印數(shù)據(jù)需求.5奴隸社會數(shù)據(jù)需求方提出需求產(chǎn)品研發(fā)工程師產(chǎn)品需求*日志打印數(shù)據(jù)工程師數(shù)據(jù)需求.6封建社會數(shù)據(jù)需求方數(shù)據(jù)工程師產(chǎn)品研發(fā)工程師提出需求日志規(guī)范數(shù)據(jù)需求產(chǎn)品需求*日志打印.7資本主義社會數(shù)據(jù)需求方數(shù)據(jù)工程師產(chǎn)品研發(fā)工程師提出需求日志規(guī)范數(shù)據(jù)需求產(chǎn)品需求*日志打印主題建設數(shù)據(jù)倉庫工程師.8共產(chǎn)主義社會數(shù)據(jù)倉庫+.9.10數(shù)據(jù)倉庫建設.11日志數(shù)據(jù)日志數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)文檔數(shù)據(jù)文檔數(shù)據(jù)業(yè)務范圍業(yè)務范圍日志管理日志管理業(yè)務劃分業(yè)務劃分基礎層基礎層結構化結構化擴展規(guī)范擴展

2、規(guī)范數(shù)據(jù)標注數(shù)據(jù)標注.12中間層中間層數(shù)據(jù)倉庫數(shù)據(jù)倉庫建模建模主題劃分主題劃分一致性一致性粒度粒度vs靈活靈活維度模型維度模型.13主題劃分主題劃分高度匯總高度匯總指標唯一指標唯一數(shù)據(jù)一致數(shù)據(jù)一致數(shù)據(jù)分析平臺數(shù)據(jù)分析平臺需求驅動需求驅動線上服務線上服務數(shù)據(jù)挖掘數(shù)據(jù)挖掘報表層報表層.14數(shù)據(jù)質量建設.15.16元數(shù)據(jù)元數(shù)據(jù)報表 位置 層級指標數(shù)據(jù)倉庫數(shù)據(jù)倉庫表結構 屬性信息 依賴關系前端展現(xiàn)前端展現(xiàn)任務 層級 依賴任務執(zhí)行情況元數(shù)據(jù)管理日志日志/業(yè)務庫元數(shù)據(jù)業(yè)務庫元數(shù)據(jù)日志模塊 日志傳輸、參數(shù)結構業(yè)務庫表結構 表、屬性狀態(tài)etl.17元數(shù)據(jù)管理.18日志掃描類型類型離線日志掃描離線日志掃描技術技

3、術實時計算實時計算實時日志掃描實時日志掃描規(guī)則引擎規(guī)則引擎分析內容分析內容日志錯、漏、重復、異常等日志錯、漏、重復、異常等日志使用情況日志使用情況日志冗余日志冗余.19日志掃描.20（基礎日志）（基礎日志）統(tǒng)統(tǒng)數(shù)據(jù)分析師數(shù)據(jù)分析師數(shù)數(shù)1、日志規(guī)則制定和錄入4.2、獲取日志日志規(guī)范流程5.2、報警查詢日志規(guī)則及解釋qa2.2、獲取需要埋點的日志規(guī)則2.1、獲取需要埋點的日志規(guī)則0、提出業(yè)務需求5.1、報警3、測試產(chǎn)品產(chǎn)品品線品線 發(fā)工程師發(fā)工程師研研 工工數(shù)據(jù)需求方數(shù)據(jù)需求方數(shù)據(jù)工程師數(shù)據(jù)工程師4.1、獲取日志規(guī)則元數(shù)據(jù)系統(tǒng)（基礎日志）（基礎日志）監(jiān)控系統(tǒng)系統(tǒng) 統(tǒng)（基礎日志）（基礎日志）.21上游業(yè)務庫上游業(yè)務庫報警并需要數(shù)據(jù)工程師審核/完善變更查詢數(shù)據(jù)更新時間獲取元數(shù)據(jù)業(yè)務庫規(guī)范流程數(shù)據(jù)需數(shù)據(jù)需析師析師 方方查詢數(shù)據(jù)庫表結構及釋義元數(shù)據(jù)系統(tǒng)元數(shù)據(jù)系統(tǒng)（上游業(yè)務庫）（上游業(yè)務庫）添加/維護元數(shù)據(jù)信息（上游業(yè)務庫數(shù)據(jù)庫及表結構）據(jù)分據(jù)分求求數(shù)據(jù)工程師數(shù)據(jù)工程師（線上（線上（線上（線上線上業(yè)務庫數(shù)據(jù)庫最新變更信息數(shù)據(jù)加載進展監(jiān)控系統(tǒng)監(jiān)控系統(tǒng)（上游業(yè)務庫）（上游業(yè)務庫）.22血統(tǒng)分析拓撲圖分析了解單點對于上下游甚