1、網站網頁數據庫其他存儲系統郵件文件網盤文件文檔解析文本數據提取分詞算法分布式索引存儲智能提示多字段組合搜索高亮顯示漸進式檢索模糊檢索運營管理數據統計分析推薦管理結果干預管理分布式架構模塊化設計數據可擴展服務能力可伸縮可運營高安全高可用詞庫管理系統支撐拼音搜索同義詞搜索索引壓縮、合并 總體總體架構架構數據采集服務讀取源數據更新索引數據更新通知消息數據更新通知消息獲取消息 模塊功能介紹模塊功能介紹數據采集模塊數據采集模塊 消息處理器消息隊列全文檢索系統應用系統應用系統數據源存儲系統消息處理器更新索引獲取消息支持兩種模式：支持兩種模式：1. 1.主動抓取模式主動抓取模式( (網絡爬蟲網絡爬蟲) )2

2、. 2.通知式異步消息隊列模式通知式異步消息隊列模式異步消息隊列接受應用層的數據更新通知消息；消息處理器獲取異步消息隊列中的消息，并從數據源存儲系統中獲取源數據，解析文檔，并提取需要建立檢索索引的元數據；把提取的元數據發給全文檢索系統更新索引； 模塊功能介紹模塊功能介紹數據處理模塊數據處理模塊索引生成器分詞器過濾器存儲分詞結果索引存儲索引存儲docment去停詞庫提取檢索字段敏感詞庫輸入文檔 模塊功能介紹模塊功能介紹信息檢索模塊信息檢索模塊索引檢索器語法分析器分詞算法權重計算相似度計算 打分算法讀取分詞查詢結果過濾器篩選器索引存儲索引存儲 Query StringQuerypostings過濾

3、、排序 模塊功能介紹模塊功能介紹系統管理模塊系統管理模塊基礎服務層策略設置數據上報系統支撐系統數據入庫展示全文檢索系統數據采集系統Web Portal統計代理服務統計數據庫運營管理系統詞典管理數據采集管理服務器維護 系統優勢系統優勢多樣化的數據：多樣化的數據： 系統支持不同的數據來源和種類繁多的數據格式，多樣的采集方式和分析方法。 多種采集策略相結合滿足用戶不同的需求，適用不同的場景：l通知式異步消息隊列方式；l網絡爬蟲方式；lFTP采集；l郵件采集；l網絡文件采集等多種采集策略相結合；強大的文檔解析能力l純文本，xml文件，html文件，MS office文件，PDF文件，音頻，視頻文件，圖

4、片，多媒體文件；l超強短信，彩信，郵件解析能力；l非加密的壓縮文件：zip，tar，rar，tar.gz，jar，bzip等； 智能化的檢索服務：智能化的檢索服務： 系統在全文檢索過程中采用相關智能技術以達到迅速、準確、全面定位目標信息。例如采用相關度分析技術，使相關度較高的結果排在結果列表的前面，相關度較低的結果排在后面，并屏蔽無用和錯誤的信息；構造強大的語義規則庫，使系統能夠正確地判斷與檢索詞相關的同義詞、近似詞，幫助用戶判斷結果的相關度，并進行進一步的查詢；支持完善的信息分類體系，對檢索結果自動分類或者信息聚類；提供智能化的概念擴展查詢等。通過這些技術，能夠滿足大多數智能化搜索需求。 .

5、 . 豐富的查詢語法豐富的查詢語法 支持布爾型檢索(AND，OR， NOT，XOR) 和概率型檢索組合； 支持多字段檢索； 支持通配符檢索，如：xap*； 支持別名檢索，如：C#自動轉換成C sharp； 支持拼寫糾錯，如：hella會糾錯為hello； 支持同義詞搜索； . . 豐富的結果干預豐富的結果干預 支持對搜索結果排序進行干預； 支持對搜索敏感詞進行過濾； 支持對搜索結果進行人工干預，支持推薦內容；高可用和高性能高可用和高性能系統采用大量的技術來實現搜索和索引寫入的高性能：采用閃存卡存儲索引文件 由于普通磁盤磁頭尋址時間過長，會造成搜索的延遲，所以系統索引文件采用ssd卡進行存儲，加快搜索速度。索引文件的塊壓縮 系統會定時對索引文件進行壓縮存儲和塊大小優化，使數據更聚合緊致，減少數據塊大小，加快搜索的速度。索引文件分片 由于單個索引文件過大時，對搜索速度會有所影響，為了加快搜索的速度，系統利用策略規則，將索引文件進行分片，分成多個小的索引文件，以加快搜索速度。高可用技術： 系統的索引文件采用多個副本的方式進行存儲，以此來提高系統的容錯性，實現高可用。當個某個節點某個分片損壞或丟失時可以從副本中恢復。另外這樣做也可以提高系統