大數(shù)據(jù)運用-系統(tǒng)監(jiān)控與日志分析1/7/2024目錄網易有道簡介在線效力監(jiān)控離線日志分析1/7/2024有道的發(fā)起者是一群執(zhí)著于搜索技術的年輕人，我們發(fā)現(xiàn)中文網絡中的搜索還遠未到達理想，所以希望經過我們如今和未來的努力，把想象中的效力一點點變成現(xiàn)實，分享給大家運用，讓他更快一秒找到想要的好東西。關于有道1/7/2024有道產品搜索類1/7/2024有道產品翻譯類其他產品1/7/2024在線監(jiān)控與離線分析1/7/2024設計原那么不影響正常效力水表不能把水堵了通用性假設不夠通用…1/7/20241/7/2024目錄有道產品簡介在線效力監(jiān)控離線日志分析1/7/2024在線效力監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報警系統(tǒng)1/7/2024訪問控制系統(tǒng)主要目的：防止非用戶抓取沖擊系統(tǒng)效力影響訪問統(tǒng)計非法運用數(shù)據(jù)挑戰(zhàn)靈敏的控制規(guī)那么減小對產品效力的影響1/7/2024訪問控制規(guī)那么過濾規(guī)那么Key:Header字段，parameterKey:正那么表達式例子：Ip=123\.45\..*,agent=“firefox.*〞頻度控制統(tǒng)計時間〔span〕次數(shù)的閾值〔threshold〕例子：span:3600000threshold:10001/7/2024訪問控制系統(tǒng)總體構造旁路統(tǒng)計規(guī)那么封禁訪問控制效力器維護規(guī)那么庫按規(guī)那么進展統(tǒng)計為產品生成封禁列表產品效力端轉發(fā)懇求同步封禁列表實施訪問控制1/7/2024訪問控制系統(tǒng)1/7/2024性能監(jiān)控系統(tǒng)功能：實時統(tǒng)計效力中的性能參數(shù)如處置時間、吞吐率等特點通用性集中的數(shù)據(jù)分析與存儲直觀的展現(xiàn)方式1/7/2024性能監(jiān)控的需求通用性各種產品不同的需求自定的統(tǒng)計量不同的編程言語性能要求減小對產品效力的影響大數(shù)據(jù)量的分析與存儲1/7/2024監(jiān)控系統(tǒng)的設計松耦合經過日志文件交換數(shù)據(jù)文本格式自定義統(tǒng)計量<產品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率緊縮存儲1/7/2024監(jiān)控系統(tǒng)構造圖1/7/20241/7/20241/7/2024異常報警系統(tǒng)功能自動篩查日志中的Exception發(fā)現(xiàn)問題自動發(fā)信報警優(yōu)點通用性強運用簡單1/7/2024目錄有道產品簡介在線效力監(jiān)控離線日志分析1/7/2024離線日志統(tǒng)計主要的目的用戶運用習慣用戶對產品的好感度系統(tǒng)運轉形狀市場推行情況1/7/2024日志搜集集中的日志效力器產品的效力器是分布式的，需求一致分析一切產品公用，降低運營復雜度大數(shù)據(jù)量存儲效力器建立本地緩存最終保管在分布式文件系統(tǒng)中緊縮存儲防止日志喪失支持備份效力器分布式文件系統(tǒng)保證可靠性1/7/2024日志搜集系統(tǒng)1/7/2024日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運算時間的要求組合統(tǒng)計處理方法分布式計算1/7/2024分布式分析程序1/7/2024常規(guī)統(tǒng)計訪問量時間地域用戶新用戶：推行與傳播的效果老用戶：真正運用這個產品功能切換頁面切換產品切換1/7/2024一些有意思的統(tǒng)計規(guī)律周末與非周末什么時候流量更大？1/7/2024周末與非周末工具〔網頁搜索、海量詞典〕vs文娛〔視頻搜索、音樂搜索〕平常需求工具，周末需求文娛1/7/2024一些有意思的統(tǒng)計規(guī)律不同的時段訪問有區(qū)別嗎？搜索和吃飯的關系？1/7/2024工具vs文娛白天需求工具，晚上需求放松1/7/2024公網vs教育網白領和中小學生要早睡，大學生都是夜貓子1/7/2024更多的分析<有道閱讀的12個有趣的發(fā)現(xiàn)>訂閱博客范圍，新老各有地盤職業(yè)和閱讀習慣閱讀真的變成快餐了明星博客