日志審計系統技術白皮書華為技術有限公司HuaweiTechnologiesCo.,Ltd.華為HiSecLogAuditor1500系列日志審計系統技術白皮書目錄1概述 32產品綜述 42.1產品簡介 42.2技術架構 4 52.2.2通信服務器 5 62.2.4上層展現 63主要功能 63.1日志信息接收 63.2日志信息解析 63.3日志信息標準化 7 73.5聚合處理 7 73.7狀態檢測處理 83.8通信服務器的功能 83.9關聯引擎的功能 84產品優勢 84.1全面的智能采集功能 84.2標準化日志 84.3創新的日志解析能力 94.4先進的關聯算法 94.5可維護性及可擴展性 94.6采用通用的安全事件標準 94.7分布式設計 5典型部署應用 5.1簡單環境部署 5.2復雜環境部署 近年來，隨著信息技術的飛速發展和信息化建設的不斷深入，無論是國家還是企業，對安全建設都越來越重視，先后部署了一定數量的、多種類型的安全產品，如防火墻、漏洞掃描系統、IDS、IPS等等，安全防御體系已初具規模。但設備之間各自為政，互為安全孤島，難以統一建設和管理，加之網絡攻擊和威脅的手法也越來越復雜，導致企業和組織即使進行了安全建設，也無法避免安全事件的頻頻發生。安全建設面臨著新的挑戰：●海量日志，無法有效管理：當發生安全事件時，管理人員需要登錄一臺臺設備進行日志的查看與排錯，安全管理人員有限，但不同設備每天都會產生數以千萬的日志信息，無法有效地進行監控和管理。●種類繁多，格式多樣：海量的設備日志有著各種各樣的格式和含義，這無疑對安全管理人員的專業要求也提出了頗高的要求。如果沒有專業的系統，人工地從各個設備的界面和彼此割裂的信息中處理安全事件，往往會造成高成本低效率的局面●信息孤島，日志無法關聯：大量的安全事件需要多端溯源與關聯分析才能被發現，日志單獨查看能發現的問題有限，需結合其他相關的日志分析，才可能發現潛在的攻擊威脅。●大量誤報，關鍵告警淹沒：各臺設備都會產生海量告警，而其中不乏多種誤報信息，關鍵的告警容易被淹沒另一方面，法律法規的健全和完善，也對安全建設提出了明確的要求。其中《中華人民共和國網絡安全法》中明確規定了日志留存不得少于六個月。《網絡安全等級保護安全設計技術要求2.0》和《關鍵信息基礎設施網絡安全保護基本要求》中，也對日志審計作出了明確規定。另外，其他行業法規例如《企業內部控制基本規范》中也對日志審計做出了相應的要求。綜上所述，企業和組織迫切需要一個提供日志統一存儲和分析、監控告警和安全審計的一站式日志審計系統，來幫助用戶更高效地管理日志，審計系統安全事件。華為HiSecLogAuditor1500系列日志審計系統作為信息系統的綜合性管理系統，通過對客戶網絡設備、安全設備、主機和應用系統日志進行全面的標準化處理，真正滿足了客戶的安全審計需求。可及時發現各種安全威脅、異常行為事件，為管理人員提供全局的視角，確保客戶業務的不間斷運營安全，同時也為各個行業的客戶提供了滿足《網絡安全法》、等保制度、關保制度及各種行業法律法規的合規性日志審計產品。2產品綜述2.1產品簡介華為HiSecLogAuditor1500系列日志審計系統通過基于國際標準化的關聯分析引擎，為客戶提供全維度、跨設備、細粒度的關聯分析，透過事件的表象真實地還原事件背后的信息，為客戶提供真正可信賴的事件追責依據和業務運行的深度安全。同時提供集中化的統一管理系統，將所有的日志信息收集到系統中，實現信息資產的統一管理、監控資產的運行狀況，協助用戶全面審計信息系統整體安全狀況。華為HiSecLogAuditor1500系列日志審計系統旨在實現網絡資產安全狀況的統一管理，使企業的利益受損風險降低，廣泛適用于政府、金融、運營商、公安、電力能源、稅務、工商、社保、交通、衛生、教育、電子商務及各企事業單位等。本產品主要由采集器、通信服務器、關聯引擎及上層展現組成。HUAWEI華為HiSecLogAuditor1500系列日志審計系統技術白皮書2022-2-7華為保密信息，未經授權禁止擴散第5頁，共11頁>關聯分析規則定義》知識庫>統一服務報告模板>客戶匯總信息>安全事件匯總信息>未知事件收集及處理平臺1平臺2平臺3事件存儲事件處通信模塊(事件收集模塊)接口11接口S客戶A設備客戶B設備客戶A設備客戶C設備平合升級管理采集器升級管理展示平合綜合處理子平合主要實現日志采集、日志解析與格式統一、日志預處理、完成日志向系統的傳送等功能。被監控設備分為標準設備(支持Syslog或SNMPtrap)和非標設備(不支持Syslog和SNMPtrap),采集器主要完成標準設備日志的收集功能。把采集的日志數據過濾并轉化為統一定義的標準數據格式，然后進行壓通信服務器完成采集器與系統間的通信，將格式統一后的日志直接寫分析模塊進行分析處理。通信服務器可以接收多個采集器的日志2022-2-7華為保密信息，未經授權禁止擴散第6頁，共11頁整個日志審計系統收集到的事件種類多，數量大，為了更有效地對這些海量的事件進行分析和處理，確保第一時間對各種存在的安全問題采取措施，系統必須具有強大的事件處理和分析功能。目前對實踐進行處理和分析最有效的方法就是做事件的關聯。包括實時進行關聯分析、跨設備關聯分析、基于事件因果關系、事件安全要素、跨協議層、多層架構、時間回溯以及關聯結果的回放等內容。2.2.4上層展現展現層是日志審計系統的工作界面。用戶可在該層與系統進行交互，實現對整個系統的收集、分析、告警的可視化呈現。3主要功能3.1日志信息接收根據采集器的配置，日志信息接收模塊可以監聽在相應的端口上。收到相應的數據報文后，轉換為相應的格式標準(SYSLOG報文轉換為字符串格式，SNMPTRAP報文轉換為SNMPPDU數據格式),并且附加上來源地址信息。如果有必要，需要對收到的報文中文本信息進行正確的解碼處理，保證不出現亂碼現象。3.2日志信息解析接收到的原始日志信息，經過解析規則的模式匹配，提取出直接信息和非直接信息，最終就得到了解析后的通用事件。日志信息解析模塊啟動的時候，需要首先進行規則庫的加載，加載各種日志格式的解析、映射定義。加載完成后，才能進行日志的解析處理。當原始日志無法匹配規則庫中任何一個規則時，就會生成一個未識別日志信息。用戶收到未識別日志信息后，應該更新規則庫，以支持這種日志格式。3.3日志信息標準化完成解析后的通用事件，可以根據規則庫，進行標準化處理。標準化主要是對解析后的日志，根據標準化的通用事件格式，對各個標準化字段，進行信息的直接映射、非直接映射處理。映射處理基于預先定義的標準。在本系統，標準基于對安全領域的技術、威脅、模式、以及網絡層、應用層的抽象。標準化過程，也會進行字段的格式處理，如時間戳的format、locale的處理。經過映射處理后，就得到了最終的通用事件。采集器為了消除不必要的日志事件，或者去掉不重要的日志事件，可以設定過濾規則。任何標準化完成后的通用事件，都會經過過濾規則匹配。當滿足匹配后，此事件就會被過濾，直接過濾掉，不會進入后續模塊進行處理；當不滿足匹配，此事件就不會被過濾，直接進行后續模塊處理。采集器為了減少重復日志事件的數量，會在處理流程中，通過設定一個聚合周期、聚合規則，對于在聚合周期內，所有滿足聚合規則的事件，進行聚合處理，得到聚合事件。聚合事件中的事件計數字段，會記錄本次聚合的源事件的數量。聚合處理不會影響后續關聯分析等處理。為了實現日志緩存的需求，需要對隊列進行持久化處理。采集器日志緩存基于狀態驅動。當隊列的空閑狀態較低時，超過最低閾值后，會觸發回寫模塊，把內存隊列中的事件持久化到設備磁盤系統上。當隊列的空閑狀態較高時，超過最高閾值后，會觸發加載模塊，把磁盤系統上持久化的數據，加載到內存隊列中。為了實現狀態檢測處理，需要維護每個資產的狀態信息。當收到設備的原始日志后，會更新此設備的事件計數、最后活躍時間等信息。當狀態檢測周期到達后，采集器會把每個設備的狀態信息組裝成心跳事件，上送給上層設備。通信服務器接收各個采集器上發的通用事件，匯總后進行存儲。通信服務器處理收到的心跳事件，更新對應資產的心跳狀態，并持久化心跳信息到數據庫中。通信服務器處理配置同步請求。當用戶或管理員在界面上新增、刪除、修改了客戶、資產、規則庫后，通信服務器應該能夠把這些改動同步到各個連接的采集器上。關聯引擎從接收到的通用事件中，基于關聯規則，發現關聯事件。關聯事件包括各個原始事件列表。關聯引擎產生的關聯事件，能夠支持入庫接口，進行持久化處理。關聯引擎支持自定義的關聯規則，支持規則的啟用、禁用。4產品優勢華為HiSecLogAuditor1500系列日志審計系統可以采集企業和組織的各類網絡或安全設備、安全系統、數據庫、主機操作系統以及各種應用系統的日志，不斷地連接檢查和完整性檢查以及可自定義的緩存功能，可確保系統接收到所有數據，并對傳輸鏈的各個環節進行監控；可配置過濾和聚合功能可以消除無關數據，并且合并重復的設備日志，強大的數據壓縮功能可節省昂貴的帶寬。各種安全事件日志(攻擊、入侵、異常)、各種行為事件日志(內控、違規)、各種弱點掃描日志(弱點、漏洞)、各種狀態監控日志(可用性、性能、狀態)、安全視角的事件描述：事件目標對象歸類、事件行為歸類、事件特征歸類、事件結果歸類、攻擊分類、檢測設備歸類。解析規則激活，僅當接收到對應的日志后，規則才會被激活，同時支持未識別日志水印處理，采用多級解析功能和動態規劃算法，實現靈活的未解析日志事件處理，同時支持多種解析方法(如正則表達式、分隔符、MIB信息映射配置等);日志解析性能與接入的日志設備數量無關。華為日志審計系統的關聯分析引擎本系統的最大亮點之一。華為日志審計系統的關聯引擎采取了In-Memory的設計，全內存運算方式保證了事件分析極高的效率和實時性，這和一般的日志審計產品通過SQL查詢方式提供關聯分析能力有巨大差別，無論在分析速度、分析維度、靈活性、IO抗壓能力方面都完全不可和華為日志審計系統的關聯分析引擎比擬。另外，在關聯算法方面，華為日志審計系統有如下獨到之處：●標準化之上的關聯規則，適應性強●可定制性強，幾乎可根據通用事件的任何字段進行關聯●基于邏輯表達式，可以進行復雜關聯●時序寬容，無懼亂序系統具有對自身的維護配置功能，如：系統參數設置、系統日志管理等。硬件系統采用模塊結構，保證系統內存、CPU及儲存容量的擴展；硬件配置的升級不會引起軟件的修改和開發；每個組件都可以橫向擴展，通過增加設備滿足業務需求。華為日志審計系統根據多年的網絡安全經驗，總結出了通用標準的安全事件歸一化格式和分類體系結構。華為日志審計系統可以以標準方式處理以下元素：●各種安全事件日志(攻擊、入侵、異常)●各種行為事件日志(內控、違規)●各種弱點掃描日志(弱點、漏洞)●各種狀態監控日志(可用性、性能、狀態)●安全視角的事件描述：事件目標對象歸類、事件行為歸類、事件特征歸類、事件結果歸類、攻擊分類、檢測設備歸類華為日志審計系統采取分布式設計，將系統分為采集器、通訊服務器、關聯分析引擎和管理中心四個部分。四個部分可以分布式部署，也可以組合部署，最大程度上兼顧了系統的可擴展性和靈活性；另外基于HTTPS的通訊模式，使跨互聯網部署成為了可能，異地監控不再需要昂貴的專線私網模式。可以適用于從大型電信級網絡環境到寥寥數臺設備的中小企業。華為日志審計系統采用了安全策略與基礎系統分離的設計架構，將事件格式分析規則、關聯分析規則、報警規則、綜合報表規則等策略內容獨立出來，變成可以獨立演進、獨立配置、獨立升級的內容(稱