1、一種準實時的高校BBS 輿情檢測系統設計與實現欒文娟 李芝棠 涂浩 史春永 丁藎 鮑金霞 華中科技大學計算機學院 華中科技大學網絡與計算中心大綱背景介紹系統介紹關鍵技術介紹實驗環境及結果總結2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心1.背景介紹1.背景介紹1.背景介紹潛在的危害：用戶極有可能發表一些敏感、非法、不健康的言論和泄露一些保密信息，危害網絡環境安全。設計本系統的目的：減少有害信息的傳播打造一個干凈安全的網絡環境2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心大綱背景介紹系統介紹關鍵技術介紹實驗環境及結果總結2010-10-28華中科技

2、大學計算機學院 華中科技大學網絡與計算中心2.系統介紹-系統示意圖2.系統介紹-系統的爬蟲擴展2.系統介紹-數據流程圖2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心本文討論的高校BBS 輿情檢測系統是利用Crawler 實時爬取所檢測的BBS內容。大綱背景介紹系統介紹關鍵技術介紹實驗環境及結果總結2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心3.關鍵技術系統特點：時效性好，新數據處理周期短。采用多種排重手段，避免處理重復的帖子。2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心3.關鍵技術-時效性改進的爬蟲只針對特定的版面進行

3、爬取。而不是使用原始的爬取測試，將整個網站的數據全部周期性的重爬。實時搜索采用Lucense建立索引。給用戶提供實時搜索的功能。自動生成“事件”實時按照規則將關鍵的帖子找出來生成“事件”。2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心3.關鍵技術-時效性實時搜索功能的實現一般搜索高級搜索2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心返回3.關鍵技術-時效性自動生成“事件”功能的實現定義規則的方法：關鍵詞匹配，表達式匹配，詞匯間存在與、或、非關系舉例：“溝通”很可能會把“水溝通到了淡水河”、“挖溝通衢”搜出來。溝通！(水溝|挖溝)2010-10-2

4、8華中科技大學計算機學院 華中科技大學網絡與計算中心3.關鍵技術-時效性“事件”生成流程圖大綱背景介紹系統介紹關鍵技術介紹實驗環境及結果總結2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心4.實驗環境及結果2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心系統的實驗平臺是在Ubuntu 下完成，爬蟲采用開源項目的scraPy 作為原型，網頁預處理是通過Java語的HTMLParser 包來完成，索引部分是通過Lucene來完成的，系統原始數據采集和處理采用java 語言編程實現。此外，系統以mysql 作為數據庫，同時采用LAMP(linux+apac

5、he+mysql+php)架構實現系統的web界面平臺。 4.實驗環境及結果2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心4.實驗環境及結果2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心4.實驗環境及結果2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心大綱背景介紹系統介紹關鍵技術介紹實驗環境及結果總結2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心5.總結2010-10-28華中科技大學計算機學院 華中科技大學網絡與計算中心 本文提出了一個實際可用的系統功能設計，通過主動對BBS 的敏感事件進行檢測，實時搜索帖子，大大提高了采用人工檢測B