1、【Word版本下載可任意編輯】 一種Web日志分析系統實現 隨著Web站點規模的增大，所涉及的應用服務種類越來越多。所謂網站（Website），就是指在網際網路（因特網）上，根據一定的規則，使用HTML等工具制作的用於展示特定內容的相關網頁的集合。簡單地說，網站是一種通訊工具，就像布告欄一樣，人們可以通過網站來發布自己想要公開的資訊（信息），或者利用網站來提供相關的網路服務（網絡服務）。人們可以通過網頁瀏覽器來訪問網站，獲取自己需要的資訊（信息）或者享受網路服務。站點的監控和統計分析已成為站點建設的一項重要內容。Web服務器的訪問日志文件記錄了客戶端每次請求的細節，因此，對Web站點訪問日志開

2、展分析，已成為評估網站運行質量的一種常用方法。 大型Web站點的日志文件的重要特征是數據量巨大，每日幾百兆甚至上千兆，并且隨著時間推移不斷增加。因此很多站點對日志文件開展按日分割（即每天產生1個文件），而這樣就帶來日志文件的離散性。傳統日志分析系統過多關注日志分析的效率問題，而忽略了對離散文件開展連續分析的研究及對每次分析結果的構造化保存問題。隨著數據挖掘技術逐漸由理論到實踐以及人們對海量數據的利用越來越關注，開展持續分析以及對分析結果開展構造化存儲甚至比效率顯得更加重要。 現代關系數據庫很重視原始數據的導入，一般都提供數據導入工具，本文就是通過在日志分析系統中嵌入SQL-SERVER的DTS

3、，從而使系統既有較高的執行效率，又很好地解決了離散文件的連續性分析與存儲問題。 1 DTS介紹 大多數組織都使用多種格式和多個位置來存儲數據。為了支持決策、改善系統性能或對現有系統開展升級，經常必須將數據從一個數據存儲位置移動到另一個存儲位置。Microsoft SQL Server 2000 數據轉換服務（DTS ）提供一組工具，可以從不同的源將數據抽取、轉換和合并到一個或多個目標位置。要利用SQL-SERVER的這一強大功能，首先要建立DTS包。DTS包是數據轉換服務的可執行單元，每個包都包含1個或多個順序或并行執行的程序步驟。當包執行時，首先連接到正確的數據源，然后復制數據和數據庫對象，

4、完成數據轉換工作。每個軟件包可包含一組已安排好的任務，它們定義要執行的工作、對數據和對象的轉換、定義任務執行的工作流約束條件以及數據源和目標間的連接方式。DTS 軟件包還提供一些服務，如記錄軟件包執行詳細情況、控制事務和處理全局變量。 創立好DTS包后，便可在客戶端通過DTS執行實用工具（如dtsrun）開展調用，這樣就可將特定格式的數據從不同的數據源導入目的數據庫中。由于DTS是系統提供的一種多線程數據遷移工具，因此具有很高的轉換效率。詳細的關于如何創立DTS包和dtsrun的調用方法請參考相關專著和SQL-SERVER聯機幫助。 2 系統設計 通過上面的分析，本文認為運用DTS技術能夠很好

5、地解決日志系統運行效率與數據構造化存儲之間的瓶頸問題。整個系統的架構設計如圖1所示。本設計基本實現了以下目標。 （1）適合日志文件的多樣性 現有多種流行的Web服務器，如Apache、IIS等。不同服務器的訪問日志文件所記錄的內容大同小異，如請求資源、請求時間、客戶IP、服務器IP、發送字節數和接收字節數等，然而記錄格式卻不盡相同。Apache和IIS的Web日志格式如下表1所示。 由此可見，日志文件屬于半構造化的文本文件。對于這樣的文件DTS是不能夠直接導入到數據庫中的。因此，在原始日志文件到本地后，應該對文件開展規范化處理，這里稱為日志文件的歸一化處理，即將不同的日志格式轉換成一種DTS可

6、以直接操作的文件格式。 （2）離散非構造數據的構造化存儲 日志文件在開展歸一化處理后，便可使用DTS服務了。首先通過向導（Wizard）或數據轉換服務中的工具定義一個DTS包，其中數據源是經過歸一化處理的日志文件，導入目的庫是系統使用的數據庫。一切定義好之后，便可以將數據導入到數據庫表中。 （3）開展遠程離線統計 分析系統應該盡量做到對Web服務器的無干擾操作，否則會影響Web服務器的正常工作。為此，分析系統應該在物理上與Web服務器隔離，使之位于另一臺服務器上，甚至另一個網絡中。 （4）分析功能的定制性 功能定制也稱為基于組件的軟插拔技術，是現代軟件所倡導的技術之一。因此，本系統的分析功能采

7、用基于軟組件的方法，實現了系統功能的配置與定制。數據在導入數據庫系統之后，便可以利用關系數據庫和編程語言的強大功能開展數據挖掘和分析處理。 （5）功能豐富的報表輸出B/S方式 B/S方式已成為人機交互和信息表現的主流方式。本系統也是通過該方式顯示分析結果，通過豐富的報表、統計圖等直觀的手段，為網站管理者和決策者提供有價值的信息。 3 系統實現 本系統由2部分組成，其中后臺服務程序負責完成日志文件、歸一化處理、DTS入庫、分析等功能，根據需要可以設置為自動運行和手動運行?，F已實現了訪問統計功能、頻道統計功能、熱門頁面（HotPage）排行和用戶地域分析等功能。前臺顯示程序是基于B/S構造，通過統計表和統計圖方式直觀地展示分析結果。本系統采用Java語言開發，為系統移植和擴展提供了方便。利用本系統對某大型新聞類網站開展的一個月度訪問走勢比照分析如圖2所示。 4 結束語 本文介紹了Web日志分析系統的特點和目前研究重點，并概要介紹了Microsoft SQL Server的DTS技術。在此根底上開發的Web日志分析