2019智慧企業IT大數據平臺建設方案Contents目錄1.智慧企業IT大數據平臺介紹2.智慧企業IT大數據平臺部署3.智慧企業IT大數據平臺使用3.智慧企業IT大數據平臺運維Part1智慧企業IT大數據平臺介紹日志處理的歷史背景

日志沒有被集中統一管理查看時需要登陸每個服務器和進入應用目錄，使用腳本命令或程序查看

日志主要用于事后問題追查日志經常在安全事件發生后被關注沒有對日志實時監控、分析智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案

日志未被完整保留日志被定期清理，節省磁盤空間黑客入侵后抹去入侵記錄日志

日志導入關系型數據庫傳統數據庫無法適應TB級以上日志關系型數據庫無法適應半結構化和非結構化日志信息不提供全文檢索日志的價值數據類型位置它可以告訴您什么應用日志本地日志文件、WebSphere、JBosslog4j、、.NETlog4net、PHP、Weblogic、業務流程管理日志Web服務器、路由器、代理服務器和廣告服務器系統配置文件數據庫日志文件、審計表用戶活動、欺詐檢測、應用性能業務流程日志點擊流數據配置文件數據庫審計日志文件系統審計日志智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案敏感數據存儲在共享文件系統中監測并審計敏感數據讀取權限操作系統度量、狀態和診斷命令跨渠道客戶活動、購買、帳戶變更以及問題報表可用性分析、數字市場營銷和一般調查如何設置基礎設施、調試故障、后門攻擊、"定時炸彈"病毒如何根據時間修改數據庫數據以及如何確定修改人與通過命令行實用程序（例如iostat以及Windows上的性能監視器）顯示的Unix和Linux上的psCPU、內存利用率和狀態信息tcpdump其他有用的數據包級和會話級信息和tcpflow可生成pcap或流量數據以及路由器、交換機和網絡設備上的Syslog故障排除、分析趨勢以發現潛在問題并調查安全事件數據包/流量數據性能降級、超時、瓶頸或可疑活動可表明網絡被入侵或者受到遠程攻擊故障排除、分析、安全審計SyslogWeb訪問日志Web訪問日志會報告Web服務器處理的每個請求Web市場營銷分析報表Web代理日志Web代理記錄用戶通過代理發出的每個Web請求監測并調查服務條款以及數據泄露事件產品特點全網日志統一管理問題溯源與大數據集成定制化開發支持任何來源、格式日智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智能運維，智能告警整合大數據存儲、計強大的數據處理和方便的擴展能力，以應用、插件的方式集成。志，例如TCP、UDP、數據庫審計、文件等方式。通過采集、結構化、分類、歸并、分析日志數據。，及時發現問題、定位、原始數據取證，并自動與用戶、資產信息關聯算、搜索能力，對海量數據進行實時分析、挖掘。簡介使用IT大數據系統進行日志數據的集中存儲、管理和分析?Lion利用分布式存儲計算框架，對大量的系統和應用產生的日志進行采集、監控和分析，保證日志的多副本安全存儲和實時快捷的分析計算能力。Lion具有友好的用戶界面，方便用戶通過web界面中的可視化數據進行日常運維和問題快速定位。Lion支持多種日志格式的采集和解析，并提供定制化開發和第三方插件集成。??智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案功能介紹

數據導入

數據可視化支持日志文件上傳、文件和目錄監控、服務器端口監聽、服務器性能監控等數據導入方式的界面化操作和進度查看。通過數據的查詢、過濾、聚合結果生成多種可視化圖表，支持動態實時更新。

數據搜索

更多功能數據搜索結果支持時間軸篩選、自定義過濾條件、字段結果分類統計。告警功能、主機管理、用戶權限控制等。多種應用智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案分析結果服務程序虛擬化設備日志數據IT大數據系統服務器路由交換框架?LionUI具備友好交互的Web應用，進行數據管理和可視化的界面配置和展示LionUI全文檢索數據可視化數據管理告警?LionService基于RPC的分布式服務設計，能快速處理復雜數據和業務LionService計算挖掘運維管理任務調度API?ElasticSearch基于Lucene的搜索引擎，分布式架構，具有集群，分片，副本等屬性數據存儲ElasticsearchPostgreSQL智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案?Logstash日志接收、富化、轉發的引擎。Spark支持系統日志、webserver日志、應用日志等Beats日志采集器，搜集文件、Windows事件、網絡流量、性能指標信息數據采集BeatsLogstashStreamKafka?Part2智慧企業IT大數據平臺部署軟件環境名稱版本要求操作系統CentOS6.5/7Redhat6.5/7Ubuntu14.04、15.10、16.04chrome37+瀏覽器智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案Firefox25+IEJDK10+Lion安裝包內部1.7.0_79集成環境Python2.7.9部署方案控制臺輸入部署控制臺提示，支持默認模式和自定義模式運行Lion安裝包控制臺輸入配置信息Lion集群部署智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案讀取配置文件部署

一鍵部署，簡單快捷配置Lion配置文件執行Lion安裝命令Lion集群部署安裝前準備

集群主機檢測網絡

安裝包準備安裝包命名規則為lion-<version>.bin。發送安裝包到Lion集群主節點。

集群主機時間校對智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案

集群主機信息獲取獲取集群主機IP、ssh端口(默認22)、root密碼的信息。

集群主機名檢測合法的hostname，不能為localhost。保證/etc/hosts中hostname和IP一一對應。Lion安裝控制臺輸入方式部署Lion過程智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案Part3智慧企業IT大數據平臺使用功能點主頁數據可視化大屏展示主機列表主機管理全文搜索和精確過濾添加服務器和探針數據搜索結果導出、搜索條件另存為告警告警任務創建、編輯、啟動、停止告警管理可視化圖表多種可視化圖表新建、保存、分享告警信息查詢數據可視化可視化圖表自由組合成儀表盤數據索引管理智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案儀表盤數據管理定時刷新，圖表聯動和下鉆保存的對象管理文件上傳遠程文件和目錄監控、端口監聽用戶和角色管理數據監控訪問控制數據導入數據庫、系統性能、系統事件監控數據權限管理數據事件數據導入事件狀態查詢、啟動、停止系統參數設置系統管理解析規則數據解析規則查看和配置后臺任務管理主頁智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案/usr/local/lion/lion_start.完成攻擊源TOP5統計數據庫日志文件、審計表完成攻擊源TOP5統計Supervisor啟動各服務日志傳統數據庫無法適應TB級以上日志智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧企業IT大數據平臺介紹完成攻擊源TOP5統計智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據導入數據采集數據解析數據存儲智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據搜索數據可視化文件上傳智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據監控場景

如何監控遠程文件和目錄

如何接收轉發的日志(TCP/UDP/SNMP)

如何監控用戶上網行為(HTTP/DNS)

智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案如何監聽郵件服務(POP3/IMAP)

如何監控數據庫操作

如何監控服務器性能

如何監控Windows日志數據監控智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案采集流程智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據事件數據導入事件狀態查詢數據導入事件啟動、停止、查看日志智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案解析規則智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案數據搜索具備快速自定的各種型態搜尋，而不是只有固定幾種的字段，不需要指定數據的格式(format)，更可結合時間與關鍵詞進行搜尋，呈現出清楚的搜尋結果，使用上就像Google一樣的直觀易用。鍵入關鍵詞后任意搜尋即時的在線查詢自定義過濾條件自定義字段顯示智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案搜索結果導出搜索另存為告警時間選擇器使用時間范圍挑選器指定檢索事件的時間段。時間范圍挑選器提供了許多可供選擇的預設時間范圍，但您也可以輸入自定義時間范圍圍挑選器指定檢索事件的時間段。智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案相對時間選擇：選擇相對現在的時間范圍自動刷新：選擇刷新頻率數據可視化智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案新建可視化圖表支持多種可視化圖表繪制通過數據的查詢、過濾、聚合結果生成圖表實時的可視化分析報表鉆取智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案編輯可視化1.度量2.聚合3.多維4.拆分表智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案5.選項6.鉆取編輯可視化餅圖智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案1.將數據以字段srcAddress（攻擊源地址）不同的值作為不同條目進行分組2.提取每個分組中的數據的統計數量，進行倒序排序，提取數量最大的前5個srcAddress值3.完成攻擊源TOP5統計日志導入關系型數據庫修改個人屬性智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案2.化圖表，支持動態實時更新。鍵入關鍵詞后任意搜尋定時刷新，圖表聯動和下鉆智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案2.能快速處理復雜數據和業務智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案查看Web客戶端服務運行狀態沒有對日志實時監控、分析智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案X軸為時間維度，使用時間序列聚合方法，將數據以時間傳統數據庫無法適應TB級以上日志LionService基于RPC的分布式服務設計，編輯可視化折線圖1.X軸為時間維度，使用時間序列聚合方法，將數據以時間LogTime（攻擊日志時間戳）每分鐘匯總一次智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案2.Y軸為攻擊次數，使用每分鐘內數據的統計數量3.完成攻擊次數變化趨勢新建儀表盤自定義圖表排列實時數據更新圖表間數據動態關聯可增加時間段和其它智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案過濾條件保存和導出儀表盤保存儀表盤將儀表盤導出PDF保存儀表盤時間范圍共享儀表盤給其他用戶智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案主機管理主機類型服務器探針主機Windows智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案UbuntuCentsOS/Redhat告警管理能夠定期執行，并依據搜尋結果發出各項警示通知，可通過email等方式通知用戶。智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案訪問控制-用戶和角色管理智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案角色是權限集用戶繼承角色的權限訪問控制-數據權限功能權限數據權限索引權限對象權限

智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案智慧小區云服務平臺整體解決方案可視化報表儀表盤搜索條件個人設置更換主題數據權限設置主頁修改密碼修改個人